기술 요약: 임상 신경과학 트랜스포머 기반 언어 모델의 안정적 해석 가능성을 위한 단일 의미론적 귀속 프레임워크

문제 정의

알츠하이머병(AD)의 진단 및 진행 모니터링과 같은 고위험 임상 환경에서 대규모 언어 모델(LLM) 및 트랜스포머 기반 언어 모델(LM)의 배포는 신뢰할 수 있는 해석 가능성의 결여로 인해 저해되고 있다. 기존의 귀속 방법들(예: 그래디언트, 섭동, 통합 경로)은 두 가지 주요한 한계를 갖는다:

1. 다의성(Polysemanticity): 트랜스포머 내부의 신경 표현은 종종 다의적이다. 즉, 개별 뉴런이나 특징이 여러 개의 서로 관련 없는 개념을 인코딩한다는 의미이다. 이러한 얽힘은 특징과 의미 사이의 일대일 대응을 가정하는 표준 귀속 기법의 근간을 흔들며, 모호하거나 오해의 소지가 있는 설명을 초래한다.
2. 불안정성 및 가변성: 귀속 방법들은 높은 방법 간 가변성과 불안정한 설명을 나타내며, 특히 분포 변화(예: 한 임상 코호트에서 다른 코호트로 이동하는 경우)에 직면했을 때 그러하다. 이러한 불안정성은 AI 기반 임상 의사결정에 대한 신뢰를 저하시킨다.

반대로, 희소 오토인코더(Sparse Autoencoders, SAEs)와 같은 기계론적 해석 가능성 접근법은 의미론적으로 일관된 단일 의미적(monosemantic) 구성 요소를 성공적으로 식별하지만, 일반적으로 실제 시나리오에서 특정 입력이 모델 예측에 어떻게 기여하는지 설명하는 데 필요한 귀속 해상도가 부족하다.

방법론

저자들은 귀속적 해석과 기계론적 해석 관점을 통합하는 **통합 단일 의미론적 귀속 프레임워크(Unified Monosemantic Attribution Framework)**를 제안한다. 이 프레임워크는 다음의 파이프라인을 통해 작동한다:

1. 단일 의미적 특징 추출 (SAE):

   • 프레임워크는 트랜스포머 기반 LM(구체적으로 ModernBERT의 22번째 레이어)의 다의적 활성화 값을 단일 의미적 잠재 공간으로 변환하기 위해 희소 오토인코더(SAE)를 채택한다.
   • 활성화 값을 더 높은 차원의 희소한 특징 공간으로 매핑함으로써, SAE는 겹쳐진 개념들을 분리하여 개별 특징이 특정 의미적 요인에 대응하도록 보장한다.
   • 테스트된 변형 모델 중 TopK가 우수한 성능을 보였다.

2. 이중 수준 귀속 (Dual-Level Attribution):

   • 여섯 가지 확립된 귀속 방법(Feature Ablation, Layer Activations, Layer Conductance, Layer Gradient-SHAP, Layer Integrated Gradients, Layer Gradient×Activation)이 두 가지 수준에서 적용된다:
     • SAE 특징 공간에서 인코더 레이어로의 귀속.
     • 인코더 레이어에서 입력 토큰 임베딩으로의 귀속.
   • 이를 통해 분리된 단일 의미적 내부 메커니즘의 동작을 기반으로 입력 토큰에 대한 중요도 점수를 귀속시킬 수 있다.

3. 설명 최적화 (TEO/DEO):

   • 방법 간의 가변성을 해결하기 위해, 프레임워크는 **설명 최적화 도구(Explanation Optimizer)**를 도입한다. 두 가지 아키텍처가 탐색된다: Diffusion UNet1D (DEO)와 Transformer 기반 오토인코더 (TEO).
   • 최적화 도구는 여섯 가지 방법의 합의를 포착하는 통합 귀속 벡터를 재구성하도록 훈련된다.
   • 손실 함수는 네 가지 구성 요소인 희소성(Gini Index), 상대적 입력 안정성(RIS), 상대적 출력 안정성(ROS), 그리고 기본 방법들의 가중 평균과의 유사성을 결 조합한다.

4. 기하학적 제약 (UMAP 선형 제약):

   • 전역적 일관성과 강건성을 보장하기 위해, 프레임워크는 귀속 점수에 UMAP 투영을 적용하고 임베딩 구성 요소에 대한 선형 제약($u_{i1} = u_{i2}$)을 부과한다.
   • 이 제약은 설명 공간의 지배적인 통계적 방향을 따라 선형 구조를 강제하며, 코호트 전체에 걸쳐 일관된 모집단 수준의 패턴을 생성하는 정규화 도구 역할을 한다.

주요 기여

• 패러다임의 통합: 본 논문은 임상 추론을 위한 LLM에 특화되어, 귀속 기법(표면 수준의 설명)과 기계론적 해석(SAE를 통한 구조적 통찰)을 성공적으로 통합한 최초의 프레임워크를 제시한다.
• 단일 의미성을 통한 안정성 확보: 다의적 활성화를 단일 의미적 공간으로 변환하는 것이 귀속 점수의 방법 간 가변성을 크게 줄이고 안정성을 향상시킨다는 것을 입증하였다.
• 최적화 메커니즘: 선형 UMAP 제약이 포함된 Transformer 설명 최적화 도구(TEO)의 도입은 단순한 가중 평균보다 뛰어난, 설명의 희소성과 안정성 사이의 조절 가능한 트레이드오프를 제공한다.
• 임상적 검증: 프레임워크는 ADNI(IID) 및 BrainLat(OOD) 데이터셋을 사용하여 이진 분류(Control vs. AD) 및 3클래스(Control, EMCI, LMCI) 분류 작업에 대해 엄격하게 테스트되었다.

실험 결과

프레임워크는 ADNI (IID) 및 BrainLat (OOD) 데이터셋을 사용하여 이진(Control vs. AD) 및 3클래스(Control, EMCI, LMCI) 분류 작업에 대해 평가되었다.

• 안정성 지표: 제안된 TEO-SAE 변형은 모든 작업과 데이터셋에서 가장 낮은 상대적 입력 안정성(RIS) 및 상대적 출력 안정성(ROS) 점수를 지속적으로 달성하였으며, 이는 고전적인 귀속 방법 및 SAE가 없는 최적화 도구에 비해 우수한 강건성을 나타낸다.
• 희소성-안정성 트레이드오프: SAE는 일반적으로 안정성을 개선하지만, 때때로 희소성을 감소시킨다. TEO-UMAP (SAE) 변형은 낮은 RIS/ROS를 유지하면서도 더 높은 희소성(>0.40)을 성공적으로 회복하여 조절 가능한 균형을 제공하였다.
• 통계적 유의성: 쌍체 t-검정 및 윌콕슨 부호 순위 검정 결과, SAE 병목을 추가하는 것이 복잡성을 크게 줄이고 이진 작업에서 RIS를 감소시킴을 확인하였다 ($p < 10^{-4}$). 3클래스 작업의 MCI 그룹에 대해서는 ROS에서 가장 일관된 개선이 나타났다.
• 외부 의미론적 검증: 강조된 토큰을 해석하기 위해 ChatGPT-5.1을 사용한 보조 평가 결과, TEO-SAE 및 TEO-UMAP은 일관된 신경인지 지표와 인구통계학적 위험 요인을 포함하는 설명을 생성하였다. 반면, SAE가 없는 TEO는 임상적으로 의미 있는 바이오마커 대신 작업 아티팩트(예: 명령 횟수)에 집착하는 모습을 보였다.
• 바이오마커 식별: 프레임워크는 기존 임상 문헌과 일치하는 클래스별 바이오마커(예: 대조군을 위한 Functional Activities Questionnaire, AD를 위한 Auditory Verbal Learning Test)를 성공적으로 식별하였으며, 이는 최소한의 고효율 평가 세트 추출을 지원한다.

의의 및 주장

본 논문은 이 프레임워크가 다음과 같은 방식으로 인지 건강 및 신경 퇴행성 질환 분야에서 LM의 안전하고 신뢰할 수 있는 적용을 진전시킨다고 주장한다:

1. 신뢰성 향상: 표준 트랜스포머 모델에 내재된 다의적 얽힘에 덜 민감하며, 안정적이고 일관되며 임상적으로 의미 있는 설명을 제공한다.
2. 강건성 개선: 인구통계학적 및 프로토콜 변화(OOD 설정)에 효과적으로 일반화되는 조절 가능한 희소성-안정성 경계를 정의하며, 이는 임상 배포의 핵심 요구사항이다.
3. 임상 통합 촉진: 특정 인지 바이오마커(예: AVLT, FAQ, CDT)의 식별을 가능하게 하여 스크리닝 파이프라인을 간소화하고 임상 부담을 줄인다.

저자들은 본 연구가 현재 신경 퇴행성 영역에 국한되어 있음을 인정하며, 프레임워크의 잠재력을 더 넓은 의료 맥락에서 완전히 실현하기 위해서는 임상가 참여 평가, 불확실성 정량화, 그리고 공정성 감사가 향후 과제로 필요함을 밝히며 신중한 입장을 유지하고 있다.