Rigorous Interpretation Is a Form of Evaluation

기술적 요약: 엄격한 해석 가능성은 평가의 한 형태이다

문제 제기
현재의 머신러닝 평가는 홀드아웃 데이터에서 도출된 벤치마크 정확도나 승률과 같은 집계 지표인 '행동 스냅샷'에 크게 의존하고 있습니다. 이러한 지표들은 표면적인 역량을 포착하지만, 건전한 추론을 통해 올바른 출력을 생성하는 모델과 취약한 휴리스틱이나 우연한 상관관계에 의존하는 모델을 구분하지는 못합니다. 결과적으로 표준 평가는 모델이 '무엇'을 수행하는지에 대한 사후적 요약은 제공하지만, 특정 행동을 '어떻게' 또는 '왜' 생성하는지에 대한 통찰은 거의 제공하지 못합니다. 이러한 격차는 실패의 근본 원인을 진단하거나, 출력이 정확해 보일 때 미묘한 내부 결함을 탐지하거나, 행동적 발현 전에 실패를 예측하는 능력을 제한합니다.

방법론 및 프레임워크
본 논문은 해석 가능성을 단순히 진단용 부가 기능으로 재구성하는 것이 아니라, 그 자체로 엄격한 평가의 한 형태로 재정의할 것을 제안합니다. 이러한 역할을 수행하기 위해 저자들은 해석 가능성 방법이 세 가지 과학적 기준인 반증 가능성 (falsifiability), 재현성 (reproducibility), 그리고 예측성 (predictivity) 을 준수해야 한다고 주장합니다. 논문은 이러한 기준 하에서 해석 가능성이 평가적으로 기능하는 세 가지 뚜렷한 시나리오를 탐구합니다:

1. 디버깅을 위한 반증 가능성: 해석 가능성 주장은 표적 테스트나 개입을 통해 반증될 수 있도록 구조화되어야 합니다. 이를 통해 원인과 결과를 규명하고 원치 않는 행동을 수정할 수 있습니다. 논문은 전문가가 정의한 개념을 사용하여 출력을 제약하는 개념 병목 모델 (Concept Bottleneck Models, CBMs) 을 반증 가능한 디버깅의 성공 사례로 검토합니다. 반면, 희소 오토인코더 (Sparse Autoencoders, SAEs) 와 어텐션 히트맵을 비판하며, 이들은 직관을 제공하지만 특징 해석이 종종 비구체적이고 분포 간에 일관성이 없으며 과부정결 (underdetermination) 의 영향을 받아 인과적 개입에는 신뢰할 수 없다고 지적합니다.
2. 결함 있는 메커니즘 탐지를 위한 재현성: 평가 목표가 모호할 때 (예: 모호한 입력에서의 편향 탐지), 해석 가능성은 내부 추론에 대한 견고하고 재현 가능한 설명을 제공해야 합니다. 저자들은 스페인어에서 영어로의 기계 번역 사례 연구 (성별 편향) 를 통해, 재현 가능한 해석 없이는 모델이 우연한 상관관계 (예: 직업을 통해 성별을 유추함) 에 의존하는지 아니면 직접적인 의미적 연결에 의존하는지 구분할 수 없음을 시사합니다. 재현성은 분포 변화 (distribution shifts) 에서도 식별된 메커니즘이 유효함을 보장하여, 진정한 결함 있는 추론과 노이즈를 구분합니다.
3. 미래 실패 예측을 위한 예측성: 알려진 오류에 반응하는 것을 넘어, 해석 가능성은 반사실적 조건 하에서의 잠재적 실패에 대한 가설을 생성해야 합니다. 학습된 표현의 기하학적 속성 (예: 임베딩 공간의 선형 방향) 을 분석함으로써, 해석 가능성은 개념 간의 '기하학적 얽힘 (geometric entanglements)' (예: 성별과 직업) 을 사전에 식별할 수 있습니다. 이를 통해 배포 전에 모델을 스트레스 테스트하기 위한 표적 분포 외 (OOD) 도전 세트를 구축할 수 있으며, 평가를 사후 점수 관리에서 전향적 메커니즘 분석으로 전환합니다.

주요 결과 및 분석
본 논문은 새로운 실험 결과를 제시하지는 않지만, 제안된 과학적 기준에 따라 기존 해석 가능성 방법들을 평가하기 위해 기존 문헌을 종합합니다.

• 현재 방법의 한계: 저자들은 어텐션 메커니즘과 표준 SAEs 를 포함한 많은 인기 있는 방법들이 현재 세 가지 기준을 모두 충족하지 못한다고 발견합니다. 예를 들어, SAEs 는 종종 동일한 행동에 영향을 미치는 것으로 보이는 여러 특징이 존재하는 '과부정결 (underdetermination)'로 고통받으며, 그 해석은 분포 변화 하에서 자주 무너집니다 (예: 채팅 데이터에서 식별된 '거부' 특징이 웹 텍스트로 일반화되지 않음).
• 성공 사례: 개념 병목 모델 (CBMs) 은 특정 개념에 해당하는 가중치를 직접 개입할 수 있게 함으로써 반증 가능성 기준을 성공적으로 충족하는 방법으로 강조됩니다.
• 격차: 논문의 표 1 은 SAEs, CBMs, 어텐션, 프로빙 (Probing) 등 단일 현재 방법 군이 반증 가능성, 재현성, 예측성을 동시에 만족하지 못함을 요약합니다.

의의 및 주장
본 논문은 해석 가능성 방법이 엄격한 과학적 기준을 충족하도록 개발된다면, 모델 평가를 정적이고 행동 중심적인 평가에서 동적이고 메커니즘에 민감한 학문으로 변혁시킬 수 있다고 주장합니다.

• 기술에서 평가로: 저자들은 해석 가능성이 현재는 종종 직관을 구축하는 기술적 (descriptive) 성격에 머무르고 있다고 주장합니다. 반증 가능성, 재현성, 예측성의 기준을 강제함으로써 해석 가능성은 행위에 대한 과학적으로 근거 있는 설명이 될 수 있습니다.
• 상호 보완성: 해석 가능성과 평가는 상호 보완적인 도구로 제시됩니다. 평가는 행동을 이끌어내는 반면, 해석 가능성은 이를 추동하는 인과적 메커니즘을 탐구합니다.
• 미래 방향: 논문은 이러한 기준을 달성함으로써 연구자들이 '단축 학습 (shortcut learning)'과 우연한 상관관계를 넘어설 수 있게 되며, 내부 타당성 위험을 탐지하고 특정 모델 약점을 겨냥한 평가 목표를 사전에 설계할 수 있다고 제시합니다.

결론적으로, 본 논문은 해석 가능성이 반증 가능하고, 재현 가능하며, 예측적인 주장을 생성하도록 진화한다면, 표면적 지표를 넘어 모델 내부에 대한 더 깊고 원칙적인 이해를 제공할 수 있는 '그 자체로서의 평가'가 될 잠재력을 지니고 있다고 단언합니다.