기술 요약: 표준 해석 가능 모델 (Standard Interpretable Model, SIM)

문제 정의

인공지능 모델이 복잡해짐에 따라, 이러한 시스템을 디버깅하고 제어하며 공정성을 보장하기 위한 해석 가능성(interpretability)이 필수적이 되었습니다. 그러나 현재 이 분야에는 해석 가능한 방법론을 연역적으로 설계할 수 있는 일반적이고 체계적인 이론이 부족합니다. 기존 문헌은 파편화되어 있으며, 일관되지 않은 평가 프로토콜과 이론적 원칙(예: 손실 함수, 아키텍처, 메트릭) 및 실제 구현 사이의 단절 문제를 안고 있습니다. 현재의 접근 방식은 추상적인 해석 가능성 원칙을 구체적이고 운용 가능한 방법으로 변환하는 데 실패하는 경우가 많으며, 이로 인해 모델들을 체계적으로 비교, 재현 또는 기반하여 발전시키기가 어렵습니다.

방법론: 표준 해석 가능 모델 (SIM)

저자들은 **라그랑주 역학(Lagrangian mechanics)**과 "불변량(immutables)"(대칭성)의 개념에 기초한 일반 이론인 **표준 해석 가능 모델(SIM)**을 제안합니다. SIM은 사용자 정의 전제로부터 해석 가능한 머신러닝(ML) 방법론을 도출하는 연역적 프레임워크를 제공합니다.

이 프레임워크는 다음과 같은 6단계 과정을 거칩니다:

1. 해석 가능성 전제 (Interpretability Premises): 특정 대상 엔티티 $h$(예: 유한한 추론 능력과 정형화된 어휘를 가진 인간)에 대해 무엇이 "해석 가능하다"는 것인지 정의합니다.
2. 해석 가능성 대칭성 (Interpretability Symmetries): 이러한 전제들을 특정 변환 $g$에 대해 불변성을 유지해야 하는 속성으로 정형화합니다.
3. 해석 가능성 제약 (Interpretability Constraints): 대칭성을 대칭성 위반을 정량화하는 운용적 제약 조건 $q(z) \leq 0$으로 변환합니다.
4. 라그랑주 정식화 (Lagrangian Formulation): 파라미터 역학을 나타내는 $T$와 해석 가능성 제약이 포함된 목적 함수(손실) $V$로 구성된 라그랑지안 $\mathcal{L} = T - V$를 구축합니다. $V$의 최솟값은 최적의 해석 가능한 모델에 해당합니다.
5. 궤적 (최적화) (Trajectories/Optimization): 파라미터 $\theta$를 불투명한 모델에서 해석 가능한 모델로 업데이트하기 위해, $\mathcal{L}$의 작용 적분(action integral)을 최소화하는 운동 방정식(예: 모멘텀을 가진 경사 하강법)을 도출합니다.
6. 제약 컴파일 (Constraint Compilation): 또는 제약 조건을 모델 아키텍처에 직접 컴파일하여, 최적화 페널티를 통한 것이 아니라 구조 자체에 의해 해석 가능성이 보장되도록 합니다.

사례 연구: 유한하고 정형화된 엔티티

본 논문은 고정된 어휘, 의미론, 유한한 계산 자원을 가진 대상 엔티티 $h$를 위한 SIM의 구체적인 인스턴스를 도출합니다. 이 도출 과정은 세 가지 핵심 대칭성과 그에 상응하는 제약 조건을 생성합니다:

• 대칭 I (개념 불변성, Concept Invariance): 모델의 개념 맵은 단조 변환 하에서도 인간의 개념 의미론의 전순서(preorder)(순위)를 보존해야 합니다.
  • 제약: 모델의 쌍별 개념 점수 차이는 인간이 유도한 순서를 준수해야 합니다.
• 대칭 II (예측-개념 의존성, Prediction-Concept Dependency): 모델의 예측은 오로지 공유된 개념들에만 의존해야 합니다. 예측 함수의 그래디언트는 개념 그래디언트들의 스팬(span) 내에 존재해야 합니다.
  • 제약: 예측 자코비안(Jacobian)의 개념 그래디언트 부분 공간으로의 투영은 불변이어야 합니다(즉, 개념 공간 외부의 방향에 대한 민감도가 없어야 함).
• 대칭 III (유한한 추론, Bounded Reasoning): 개념들이 예측으로 결합되는 방식은 대상 엔티티가 다룰 수 있는 가설 클래스(예: 희소 선형 함수)에 속해야 합니다.
  • 제약: 개념 공식은 특정 미분 연산자 $K[h]$의 해여야 합니다(예: 선형 함수의 경우 헤시안(Hessian)이 0이어야 함).

이러한 제약 조건들은 "해석 가능성 지형(interpretability landscape)" $V$를 형성합니다. SIM은 해석 가능한 아키텍처의 설계(제약 컴파일)와 제약 최적화(손실에 페널티 항 추가)를 통합합니다.

주요 기여

1. 해석 가능성에 관한 일반 이론: SIM은 제1원리로부터 해석 가능한 방법론을 도출하는 연역적 방법을 제공하여, 추상적 이론과 운용적 설계 사이의 간극을 메웁니다.
2. 대규모 모델을 위한 운용 프레임워크: 저자들은 SIM을 적용하여 대규모 모델을 분석하고 개선하는 방법을 보여주며, 어떻게 훈련 없이도 "깨진" 개념 의미론과 예측 의존성을 식별하고 수정할 수 있는지 입증합니다.
3. 체계적 비교 및 격차 분석: 본 프레임워크는 기존의 해석 가능한 모델 군(예: Concept Bottleneck Models, Prototypal Networks, Sparse Autoencoders)을 특수 사례로 포섭하여, 공유된 의미론의 결여나 과도하게 제약된 가설 공간과 같은 한계를 드러냅니다.
4. 소프트웨어 구현 (PyTorch Concepts): 이 이론은 이론적 대칭 및 제약 조건과 직접적으로 대응하는 모듈형 레이어, 손실 함수, 메트릭을 제공하는 오픈 소스 라이브러리인 **PyTorch Concepts (PyC)**로 번역되었습니다.

실증 결과

본 논문은 통제된 실험과 대규모 모델에 대한 적용을 통해 SIM을 검증합니다:

• 대칭성 검증:
  • 대칭 I: 표준 성능 지표(예: 평균 절대 오차, MAE)는 의미론적 보존을 포착하는 데 실패합니다. MAE를 최소화하는 모델은 인간이 유도한 개념 순서를 위반하는 경우가 많은 반면, 제약이 컴파일된 모델(Architecture I)은 의미론을 완벽하게 보존합니다.
  • 대칭 II: 최적화 기반의 제약 강제(손실에 페널티 추가)는 예측과 개념 사이의 국소적 정렬만을 달성합니다. 예측이 개념의 함수임을 보장하기 위해서는 아키텍처적 컴파일(예측을 개념의 함수로 강제함)이 필요합니다.
  • 대칭 III: SIM은 라그랑주 승수를 통해 개념 공식의 복잡도(예: 선형 vs 비선형)를 조정할 수 있게 하여, 유연한 적합(fitting)과 유한한 추론 사이를 보간합니다.
• 대규모 모델 적용:
  • 시각-언어 모델 (VLMs): 사전 학습된 VLM(CLIP, Moondream2, Qwen2)은 종종 개념(예: "빨간색")에 대한 일관되지 않은 쌍별 순위를 생성하여 대칭 I을 위반합니다. 그러나 저자들은 레이블 없이도 개념 의미론을 수정할 수 있음을 보여줍니다. 즉, 정렬된 프로토타입을 사용하여 올바른 순위를 회복할 수 있습니다.
  • 생각의 사슬 (Chain-of-Thought, CoT): Qwen2.5에 대한 실험 결과, CoT 설명은 실제 예측 계산과 크게 독립적임(높은 대칭 II 위반)을 보여주며, 이는 CoT가 충실한(faithful) 설명이 아님을 시사합니다.
  • 개념 기반 LLM (Steerling-8B):* 분석 결과, 대규모 개념 기반 모델의 예측은 소수의(~1.5%) 감독된 개념에 의존합니다. 이 의존성은 추론 시점에 더욱 희소화될 수 있으며, 이는 이러한 모델들이 설계 단계부터 제어 가능하게(steerable) 만들어질 수 있음을 확인시켜 줍니다.

의의 및 주장

본 논문은 SIM이 해석 가능성을 비정형적인 방법론의 집합에서 엄격하고 연역적인 연구 분야로 전환시킨다고 주장합니다.

• 통합: 파편화된 형식주의, 손실 함수, 아키텍처를 화해시키기 위한 단일 언어(라그랑주 역학)를 제공합니다.
• 사용자 인식: 해석 가능성을 대상 사용자의 특성에 따라 명시적으로 매개변수화하며, 서로 다른 전제가 서로 다르면서도 내부적으로 일관된 이론을 낳을 수 있음을 인정합니다.
• 반증 가능성: 프레임워크는 분석적 검사(불변성), 경험적 테스트(제약 위반), 그리고 인식론적 평가(사용자 연구)를 통해 해석 가능성 주장을 반증 가능하게 만듭니다.
• 교육적 가치: 해석 가능성을 기하학, 물리학, 논리학의 확립된 원리에 근거하게 함으로써, SIM은 고등 교육에서 해석 가능성을 가르치기 위한 토대를 제공합니다.

저자들은 SIM이 모든 해석 가능성 문제를 해결한다고 주장하는 것이 아니라, 해석 가능한 방법론을 도출하고, 기존 접근 방식의 한계를 식별하며, 미래의 프로그래밍 인터페이스 및 연구 방향을 안내하기 위한 체계적인 레시피를 제공한다고 강조합니다.