Recovering Lesion Parameters from Aphasic Picture Naming Error Profiles in Large Language Models

기술 요약: 실어증 사진 명명 오류 프로파일로부터 병변 파라미터 복구하기

문제 정의
프로빙 분류기(probing classifiers), 어텐션 시각화(attention visualization), 인과적 추적(causal-tracing), 활성화 패칭(activation patching)을 포함한 현재의 거대 언어 모델(LLM) 해석 가능성 방법론은 주로 모델의 내부 상태와 그 행동 간의 상관관계를 설명한다. 그러나 이러한 방법들은 추론된 내부 상태가 관찰된 행동을 생성하는 데 *인과적으로 충분한지(causally sufficient)*를 직접적으로 테스트하지는 못한다. 즉, 이들은 행동과 무엇이 상관관계가 있는지는 식별하지만, 무엇을 개입시켰을 때 그 행동이 발생하는지는 밝히지 못한다. 본 논문은 이 간극을 메우기 위해 역방향 질문을 던진다: 특정 행동적 출력(실어증 사진 명명 오류 프로파일)이 주어졌을 때, 해당 출력을 만들어낸 구체적인 병변 파라미터(레이어 인덱스, 수정 백분율, 노이즈 크기)를 복구할 수 있는가? 나아가, 이 역방향 문제의 구조가 트랜스포머 연산의 근본적인 특성을 드러내는가?

연구 방법론
본 연구는 멀티모달 모델인 LLaVA-Vicuna 1.6 13B(CLIP 비전 인코더와 40개 레이어의 Vicuna 언어 디코더 결합)를 활용한다. 방법론은 순방향 섭동(forward perturbation) 단계와 역방향 매핑(inverse mapping) 단계로 구성된다.

1. 순방향 섭동 (데이터 생성):

   • 파라미터 공간: 저자들은 세 가지 파라미터를 변화시키는 4,840개의 구성 격자를 정의했다:
     • 레이어 인덱스 ($L$): 0–39 (언어 디코더 레이어만 해당).
     • 수정 백분율 ($M$): 0–100% (영향을 받는 은닉 유닛의 비율).
     • 노이즈 시그마 ($\sigma$): 1.0–2.0 (가우시안 노이즈의 강도).
   • 병변 메커니즘: 주어진 구성 $(L, M, \sigma)$에 대해, 레이어 $L$에서 $M$ 비율의 은닉 유닛과 관련된 가중치들을 $(1 + \varepsilon)$을 곱함으로써 수정하였다 (여기서 $\varepsilon \sim N(0, \sigma^2)$).
   • 행동적 출력: 각 섭동된 모델은 175개 항목으로 구성된 필라델피아 명명 검사(PNT)를 통해 평가되었다. 응답은 정답, 의미적 오류, 무관한 오류, 형식적 오류, 혼합 오류, 신어(neologism), 무응답의 7가지 임상 분류 체계로 분류되었다.
   • 특징 추출: 역방향 모델의 입력값은 다음을 포함하는 166차원 벡터이다:
     • Tier 1: 7개의 BERT 분류 오류율.
     • Tier 2: 5개의 파생 통계량 (예: 총 오류율, 엔트로피).
     • Tier 3: 12개의 텍스트 수준 통계 (길이, 문자 클래스).
     • Tier 4: 10개의 확률 모멘트 (불확실성 지표).
     • Tier 5: 8개의 어휘 다양성 특징.
     • Tier 6: 116개의 문장 트랜스포머 임베딩 통계.
   • 데이터셋: 4,840개의 구성은 70/15/15 비율로 훈련, 검증, 테스트 세트로 분할되었다. 데이터 누수를 방지하기 위해 별도의 랜덤 시드를 사용하여 독립적인 검증 세트를 생성했다. 또한, 278명의 뇌졸중 생존자(CSTAR 데이터셋)로부터 얻은 행동 데이터를 외삽(out-of-distribution) 테스트에 사용했다.

2. 역방향 모델 아키텍처:

   • 행동 프로파일을 세 가지 섭동 파라미터로 매핑하기 위한 멀티태스크 신경망을 훈련시켰다.
   • 인코더: 배치 정규화, ReLU, 드롭아웃을 포함한 세 개의 완전 연결 블록 (256 $\to$ 128 $\to$ 64 유닛).
   • 헤드(Heads):
     • 레이어 헤드: 40개 방향 분류를 위한 선형 레이어 (교차 엔트로피 손실).
     • 강도 헤드: 수정 백분율과 노이즈 시그마를 예측하기 위한 두 개의 병렬 회귀 헤드 (평균과 분산을 예측하기 위해 이분산 가우시안 음의 로그 가능도 손실 사용).
   • 훈련: AdamW를 통해 500 에포크 동안 최적화되었다. 총 손실은 세 가지 태스크 손실의 가중 합이다.

3. 검증 프레임워크:

   • 반사실적 검증 (Counterfactual Validation): 역방향 모델로부터 예측된 파라미터가 인과적으로 충분한지 확인하기 위해, 예측된 파라미터를 섭동되지 않은 새로운 LLaVA-Vicuna 인스턴스에 적용하였다. 결과로 나타난 오류 프로파일을 코사인 유사도와 피어슨 상관계수를 사용하여 원래의 타겟 프로파일과 비교하였다. 높은 충실도(fidelity)는 유사도 > 0.85 및 상관계수 > 0.90으로 정의되었다.
   • 임상적 적용: 훈련된 역방향 모델을 (재학습 없이) 278명의 뇌졸중 생존자에게 적용하여, 복구된 파라미터가 임상적 실어증 증후군(예: 브로카, 명칭실어증, 전실어증)을 구별할 수 있는지 테스트하였다.

주요 결과

1. 파라미터의 부분적 복구:

   • 강도는 복구 가능함: 모델은 섭동 강도를 성공적으로 복구했다. 수정 백분율 예측은 $R^2 = 0.570$, 피어슨 $r = 0.771$을 달성했다. 노이즈 시그마 예측은 $R^2 = 0.315$, $r = 0.581$을 기록했다.
   • 위치는 모호함: 레이어 인덱스 예측은 현저히 정확도가 낮았다. Top-1 정확도는 14.8%(우연 확률 2.5%)였으나, Within-5 정확도는 77.6%(우연 확률 27.5%)였다. 이는 모델이 병변의 '근방(neighborhood)'은 식별할 수 있지만 정확한 레이어는 특정하기 어려움을 시사한다.

2. 반사실적 충실도 (Counterfactual Fidelity):

   • 레이어 식별의 어려움에도 불구하고, 복구된 파라미터는 타겟 행동을 재현하는 데 인과적으로 충분했다. 독립적인 전체 그리드 검증 세트(4,840개 구성)에서 **81.4%**의 사례가 높은 충실도 재현을 달est했다.
   • 결정적으로, 레이어 인덱스는 틀렸지만 강도는 맞춘 경우에도 높은 충실도의 재현이 나타났다. 반대로, 레이어는 맞았으나 강도가 틀린 경우에는 낮은 충실도를 보였다. 이는 섭동 강도가 행동적 충실도의 주요 결정 요인이며, 위치는 부차적임을 나타낸다.

3. 기능적 중복성 (Functional Redundancy):

   • 낮은 레이어 복구 정확도와 높은 반사실적 충실도 사이의 해리(dissociation)는 트랜스포머 레이어 간의 기능적 중복성을 시사한다. 일치하는 강도로 섭동되었을 때, 많은 중간 스택 레이어들이 기능적으로 동등한 행동적 흔적을 생성한다.
   • 레이어별 분석 결과 비대칭적인 U자형 패턴이 나타났다: 임베딩 인터페이스(0–2)와 출력 인터페이스(36–39)의 레이어들이 중간 스택(3–35)보다 더 잘 복구되었으며, 이는 네트워크 경계에서의 정보 국소화와 일치한다.

4. 임상적 일반화 (외삽):

   • 278명의 뇌졸중 생존자에게 적용했을 때, 역방향 모델이 복구한 파라미터는 증후군 구별 능력을 보였다.
   • 수정 백분율: 가장 강력한 구별력을 보였다 ($\eta^2 = 0.288$). 심각도 구배는 임상 증후군과 일치했다 (예: 전실어증 및 브로카 실어증은 명칭실어증이나 대조군보다 높은 수정 백분율로 매핑됨).
   • 레이어 인덱스: 중간 정도의 구별력을 보였다 ($\eta^2 = 0.130$). 심각한 비유창성 증후군이 더 이른 레이어에 매핑되었다.
   • 노이즈 시그마: 증후군 간의 유의미한 구별을 보이지 않았다.
   • 다섯 가지 다른 그룹화 방식에 대한 민감도 분석을 통해 이러한 결과가 대조군과의 단순 차이나 작은 표본 크기에 의한 것이 아님을 확인했다.

의의 및 주장

본 논문은 반사실적 검증에 기반한 LLM 해석 가능성을 위한 일반적 방법론적 프레임워크를 구축한다고 주장한다. 주요 기여는 다음과 같다:

• 인과적 충분성 테스트: 상관관계 기반의 해석을 넘어, 추론된 내부 상태(병변 파라미터)를 복구하고 이를 재적용하여 특정 행동을 재현할 수 있음을 입증함으로써 상관관계를 넘어선다.
• 구조적 통찰: 본 연구는 표준 해석 방법으로는 포착되지 않는 트랜스포머 아키텍처의 특성인 기능적 중복성을 드러낸다. 행동이 '어느' 레이어가 섭동되었는지보다 '얼마나 많이' 섭동되었는지에 의해 결정된다는 발견은, 특정 행동이 고유하게 특정 레이어와 매핑된다는 가정을 반박한다.
• 합성 데이터와 임상 데이터의 가교: 합성 LLM 섭동만으로 훈련된 역방향 모델이 실제 임상 실어증 데이터에 일반화되어, 확립된 임상 증후군과 일치하는 파라미터를 복구할 수 있음을 보여준다. 이는 학습된 행동-섭동 매핑이 특정 LLM의 훈련 분포를 초월하는 언어 처리의 구조적 특성을 포착하고 있음을 시사한다.

저자들은 이러한 발견이 특정 멀티모달 모델(LLaVA-Vicuna 13B)에 대한 "존재 증명(existence proof)"이며, 복구 가능성의 정도는 서로 다른 트랜스포머 아키텍처에 따라 달라질 수 있음을 겸허히 언급한다. 그들은 특정 트랜스포머 레이어를 특정 뇌 영역에 매핑했다고 주장하는 것이 아니라, 역방향 문제의 구조가 모델 자체의 계산적 특성을 드러낸다고 주장한다.