기술적 요약: 해석 가능성은 실행 가능해야 한다

문제 제기

심층 신경망에 대한 해석 가능성 연구가 급격히 성장하고 있음에도 불구하고, 그 통찰이 실질적인 현실 세계의 영향력으로 이어지지 못한다는 우려가 커지고 있다. 현재의 연구는 모델 변경, 훈련 관행, 배포 결정, 또는 정책 수립에 활용되는 데 있어 실용성이 부족하다는 비판을 자주 받는다. 이 논문은 핵심적으로 결여된 요소가 새로운 방법론의 부재가 아니라 엄격한 평가 기준의 부재라고 주장한다. 구체적으로, 이 분야는 해석 가능성 연구가 실용적이고 의사결정 지향적인 관점에서 성공적인지 판단할 수 있는 공유된 프레임워크가 부족하다. 근본적인 문제는 해석 가능성이 종종 그 자체로 '이해'를 평가하는 데 초점을 맞추는 반면, 이러한 이해가 가능하게 하는 구체적인 행동과 개입을 평가하지 않는다는 점이다.

방법론 및 프레임워크

이 입장 논문은 실행 가능한 해석 가능성 (Actionable Interpretability) 으로 평가 패러다임을 전환할 것을 제안한다. 저자들은 새로운 알고리즘적 방법을 제시하는 것이 아니라, 이론적 통찰과 실용적 유용성 사이의 간극을 메우기 위해 고안된 개념적 프레임워크와 일련의 평가 기준을 제시한다.

실행 가능한 해석 가능성의 정의

이 논문은 AI 모델에 대한 통찰이 비해석 가능성 목표 (non-interpretability objectives) 를 향한 행동을 정보 제공하거나 안내할 때, 해석 가능성 지향적 작업을 실행 가능 (actionable) 한 것으로 정의한다.

• 통찰: 모델 표현, 내부 메커니즘, 또는 행동 설명에 관한 발견.
• 행동: 이러한 통찰에 반응하여 개발자, 실무자, 정책 입안자 등 인간이 내리는 결정이나 개입으로, 그렇지 않았다면 취하지 않았을 것이며 구체적 개선 (예: 향상된 성능, 안전성, 또는 신뢰) 으로 이어지는 것.

실행 가능성의 차원

저자들은 실행 가능성을 두 가지 연속적인 차원으로 특징짓는다:

1. 구체성 (Concreteness): 명시된 행동의 정밀도. 이는 모호한 제안 (낮은 구체성) 에서 구현 세부 사항이 포함된 정확한 명세 (높은 구체성) 까지 다양하다.
2. 검증 (Validation): 행동의 유용성에 대한 경험적 지지. 이는 검증되지 않은 가설 (낮은 검증) 에서 해석 가능성 연구 자체를 넘어선 의미 있는 결과에 대한 정량적 또는 정성적 증거를 통한 체계적 평가 (높은 검증) 까지 다양하다.

실행 가능성 체크리스트

이 프레임워크를 운영화하기 위해 저자들은 연구자들을 위한 6 단계 체크리스트를 제안한다 (논문의 Figure 1 에 시각화됨):

1. 명확한 목표 정의: 해석 가능성 질문이 해결하려는 구체적인 문제를 식별한다.
2. 대상 청중 식별: 개발자, 실무자, 정책 입안자 등 특정 이해관계자를 위해 통찰을 맞춤화한다.
3. 구체적 행동 제안: 통찰이 가능하게 하는 구체적인 결정이나 개입을 명시한다.
4. 경험적 검증: 제안된 행동을 구현하고 그 효과를 입증한다.
5. 현실적 환경에서 평가: 대규모 모델과 비합성 데이터셋에 방법을 적용한다.
6. 실행 가능한 지표 사용: 기여가 표준 베이스라인 (예: 프롬프팅, 파인튜닝) 을 능가하는지, 다양한 환경에서 일반화되는지, 다른 능력을 저하시키지 않고 표적 효과를 생성하는지, 그리고 대상 청중에게 유용한 설명을 산출하는지에 기반하여 성공을 평가한다.

주요 기여

1. 장벽 진단

이 논문은 현재 해석 가능성 연구가 현실 세계의 영향력을 달성하지 못하게 하는 세 가지 주요 장벽을 식별한다:

• 불일치하는 인센티브: 출판 기준은 실용적 응용보다 방법론적 참신함을 우선시한다. 실용적 시연은 종종 단순한 '공학적 작업'으로 치부되며, 표준 머신러닝의 벤치마크 향상과 같은 유용성을 입증하는 강제적 기능 (forcing function) 이 부재하다.
• 방법론적 한계: 연구는 종종 실행 가능한 통찰이 부족하여 (발견이 어떻게 행동을 영감시키는지를 명시하지 못함), 지나치게 단순화된 설정 (예: 단일 토큰 예측 대 멀티 토큰 생성) 에 의존하며, 프롬프팅이나 파인튜닝과 같은 표준 베이스라인에 대한 불충분한 비교 분석으로 고통받는다.
• 배포 과제: 높은 기술적 복잡성과 오픈 가중치 접근의 요구 사항 (이는 독점적 최첨단 모델을 배제함) 은 연구 커뮤니티 외부의 실무자 채택을 방해한다.

2. 고유한 레버리지가 가능한 5 가지 영역 식별

저자들은 해석 가능성이 확장 (scaling) 이나 블랙박스 테스트보다 고유한 장점을 제공하는 다섯 가지 구체적인 영역을 식별한다:

• 확장이 해결하지 못하는 문제: 그 기원을 식별함으로써 확장으로 인해 지속되거나 악화되는 근본적인 실패 모드 (환각, 편향, 적대적 취약성) 를 해결한다.
• 정렬 (Alignment): 블랙박스 테스트만으로는 완전히 확립될 수 없는 모델 최적화 목표와 인간의 의도 간의 일치성을 검증한다.
• 외과적 개입: 비용이 많이 드는 재훈련 없이 특정 행동을 수정하기 위해 표적 수정 (예: 모델 편집, 런타임 개입) 을 가능하게 한다.
• 아키텍처 설계: 특정 설계 선택과 행동 효과를 연결함으로써 모델 설계를 시행착오에서 원칙적인 공학으로 전환한다.
• 의미 있는 개념으로의 전환: 기술적 내부 신호와 도메인에 적합하고 고차원적인 인간 개념 (예: 방사선 전문의의 임상적 특징) 사이의 간극을 연결한다.

3. 실행 가능성에 대한 평가 기준

이 논문은 세 가지 범주의 행동에 대한 고유한 평가 지표를 제안한다:

• 모델 출력을 수정하는 행동: 표준 베이스라인에 대한 비교적 유용성 (예: SAE 를 이용한 조정이 LoRA 를 능가하는가?), 메커니즘적 충실도 (식별된 구성 요소에 대한 개입이 예측된 변화를 생성하는가?), 시드 및 아키텍처 전반에 걸친 일반화, 그리고 관련 없는 능력을 저하시키지 않는 표적 효과 (specificity) 를 입증해야 한다.
• 배포 및 사용에 관한 행동: 작업 향상 (인간 의사결정 속도 또는 정확도 개선), 이해 가능성 (사용자 개념적 프레임워크와의 정렬), 그리고 무작위 시드 및 교란에 대한 신뢰성 (안정성) 을 입증해야 한다.
• 미래 관행을 형성하는 행동: 배포 중단을 위한 둔한 수단과 비교하여 모니터링 비용을 효과적으로 줄이는 안전 감사 지원, 해석 가능한 프록시 모델, 또는 위험한 메커니즘의 부재 검증과 같은 실현 가능한 AI 거버넌스를 가능하게 해야 한다.

결과 및 주장

이 논문은 입장 논문으로서 새로운 실험 결과나 새로운 벤치마크를 제시하지 않는다. 대신, 그 '결과'는 기존 문헌의 종합과 간극의 식별이다.

• 간극의 증거: 이 논문은 Mosbach 외 (2024) 를 인용하여 해석 가능성 논문이 인용되기는 하지만, 그 영향은 주로 개념적이며 훈련, 아키텍처, 또는 평가의 변경을 인정하는 인용은 거의 없음을 보여준다.
• 잠재력의 증거: MLP 키 - 밸류 뷰를 활용한 모델 편집 방법 (Meng 외, 2022), 회로 기반 분석 (Wang 외, 2023), 그리고 AlphaZero 의 체스 개념을 인간 플레이어에게 전달하기 위한 개념 벡터 사용 (Schut 외, 2025) 과 같은 실행 가능한 해석 가능성의 성공 사례를 인용한다.
• 필요성에 대한 주장: 저자들은 실행 가능성을 핵심 목표로 설정하는 것이 탐구적 연구를 경시하는 것이 아니라, 발견을 현실에 기반하게 하는 더 높은 기준을 제공할 것이며, 통찰이 인공물이 아닌 진정한 모델 행동을 반영하도록 보장할 것이라고 주장한다.

중요성

이 논문의 중요성은 해석 가능성 분야의 성공 기준을 재정의하라는 요구에 있다. 해석 가능성이 성숙하고 측정 가능한 현실 세계의 영향을 달성하기 위해서는, 커뮤니티가 '이해 자체를 위한 이해'를 넘어 통찰이 무엇을 가능하게 하는지를 명시적으로 추적해야 한다고 주장한다. 실행 가능성을 핵심 평가 기준으로 채택함으로써, 이 분야는 다음과 같은 이점을 얻을 수 있다:

1. 입증 가능한 결과에 초점을 맞춤으로써 진전을 가속화한다.
2. 통찰이 방법론적 인공물이 아닌 현실에 기반함을 입증한다.
3. 학술적 연구와 개발자, 실무자, 정책 입안자의 요구 사이의 간극을 연결한다.

저자들은 호기심 주도 연구가 여전히 가치 있지만, 이 분야가 해석 가능성 연구가 실용적 관점에서 언제 성공적인지 판단할 수 있는 공유된 프레임워크를 수립해야 한다고 결론지으며, 이를 통해 해석 가능성을 진단 도구에서 구체적인 AI 개선을 위한 레버 (지렛대) 로 전환할 것이라고 주장한다.