기술적 요약: 고정된 잔류 스트림 선형 조정으로 해독 가능하지만 수정되지 않음

문제 제기

본 논문은 대규모 언어 모델 (LLM) 의 해석 가능성과 제어 분야에서 중요한 간극인 **분류 - 수정 간극 (classification-correction gap)**을 조사합니다. 이전 연구들은 특정 행동 상태 (예: 거부, 감정) 가 숨겨진 상태 (hidden states) 에서 선형적으로 해독될 수 있으며 활성화 조정을 통해 수정될 수 있음을 입증했으나, 복잡한 다단계 추론 실패의 경우에도 이것이 유효한지는 명확하지 않습니다. 저자들은 의료 질문 답변 (MedQA) 에서 발생하는 특정 실패 양상인 **과도한 사고 (Overthinking, OT)**에 초점을 맞추는데, 이는 모델이 리샘플링 시에는 정답을 내지만 확장된 사고 과정 (Chain-of-Thought, CoT) 추적을 생성할 때는 실패하는 현상입니다. 핵심 질문은 다음과 같습니다: 만약 실패 양상이 숨겨진 상태에서 선형적으로 해독 가능하다면, 고정된 선형 조정 벡터를 사용하여 이를 수정할 수 있는가?

방법론

1. 행동 양상 식별 (과도한 사고)

저자들은 **과도한 사고 (OT)**를 다음과 같은 행동 구성으로 정의합니다:

• 모델이 샘플링된 추적 (traces) 의 60% 이상에서 정답을 도출함 (지식이 존재함을 시사).
• 모델이 긴 추론 추적 (>200 토큰) 에서 잘못된 답변을 생성함.
• 이 양상은 지식 결핍 (Knowledge Deficit, KD) (사실적 오류) 과 추론 체인 단절 (Reasoning Chain Break, RCB) (유효한 사실, 유효하지 않은 논리) 과 구별됨.
• OT 는 높은 안정성으로 식별됨 (임계값 교란 하에서 자카드 지수 $\ge$0.81, annotator 간 일치도 94%).

2. 기하학적 분석

Llama-3.1-8B-Instruct와 Qwen2.5-7B-Instruct를 사용하여 저자들은 12,000 개의 추적 (각 실패 양상당 2,000 개 + 매칭된 정답 추적 6,000 개) 에서 숨겨진 상태를 추출했습니다.

• 대조 벡터 (Contrastive Vectors): 정답 추적과 특정 실패 양상의 평균 숨겨진 상태 간의 정규화된 차이로 계산됨 ($v = \bar{h}_{correct} - \bar{h}_{mode}$).
• 분류: OT 와 비-OT 추적을 구분하기 위해 선형 프로브 (linear probes) 를 훈련시켰습니다.
• 특이도 분해: 저자들은 **특이도 비율 (specificity ratio)**을 계산하여 대조 벡터의 얼마나 많은 부분이 실패 양상에만 고유한지 versus 일반적인 "잘못됨 vs 옳음" 방향과 공유되는지 결정했습니다.
• 교차 아키텍처 및 교차 도메인: 일반화 가능성을 테스트하기 위해 Qwen2.5-7B 와 MMLU-STEM 도메인에서 검증을 수행했습니다.

3. 활성화 조정 실험

저자들은 Llama-3.1-8B 테스트 세트 ($n=1,273$) 와 Qwen2.5-7B ($n=1,273$) 에서 다섯 가지 고정 선형 조정 개입 계열을 테스트했습니다:

1. 대조 조정 (Contrastive Steering): 피크 레이어에서 $\alpha \cdot v$를 추가합니다.
2. 프로브 유도 조정 (Probe-Guided Steering): 대조 벡터 대신 프로브 가중치 벡터를 사용합니다.
3. 다중 레이어 조정 (Multi-layer Steering): 1, 3, 또는 5 개의 레이어에서 벡터를 적용합니다.
4. 랭크-k 부분 공간 조정 (Rank-k Subspace Steering): 상위 특이 벡터로 span 된 부분 공간 내에서 조정합니다.
5. 프롬프트 끝 조정 (Prompt-End Steering): 응답 오염을 피하기 위해 생성 전 (pre-generation) 프롬프트에서 파생된 벡터를 사용합니다.

• 개념 소거 (Concept Erasure): 인과적 얽힘을 테스트하기 위해 실패 방향을 투영하여 제거하는 보완적 개입입니다.
• 통제: 거부 조정 통제는 인프라를 검증했으며, 온도 스윕 (temperature sweeps) 과 동일 온도 평가는 실패의 주요 원인이 분포적 이동 (distributional shifts) 이 아님을 배제했습니다.

4. 생성 후 신뢰성

저자들은 해독 가능한 구조가 수정의 대안으로 선택적 기피 (selective abstention) (프로브가 낮은 신뢰도를 예측할 때 답변 거부) 를 지원할 수 있는지 평가했습니다.

주요 결과

1. 분류 - 수정 간극

• 해독 가능성: OT 는 Llama-3.1-8B 에서 71.6% 균형 정확도 ($p \approx 10^{-16}$) 로 선형적으로 해독 가능합니다. 이 신호는 길이 회귀 및 임계값 교란에 강건합니다.
• 조정 실패: 높은 해독 가능성에도 불구하고, 다섯 가지 방법 계열에 걸친 29 가지 구성의 고정 선형 조정은 $\Delta \approx 0$ (정확도에서 유의미한 개선 없음) 을 보였습니다.
  • 양상별 조정: $\Delta = -0.2$ pp.
  • 다중 레이어 조정: $\Delta \approx 0$.
  • 프롬프트 끝 조정: $\Delta \approx 0$.
• 교차 아키텍처 일관성: null 결과는 Qwen2.5-7B (9 가지 구성) 와 MMLU-STEM (4 가지 구성) 에서도 유효했습니다.

2. 표현적 얽힘의 증거

조정에 실패한 이유는 실패 신호와 작업 필수 계산 사이의 표현적 얽힘 (representational entanglement) 때문입니다:

• 낮은 특이도: OT 특이도 비율은 Llama 에서 0.119, Qwen 에서 0.152에 불과합니다. 이는 대조 신호의 약 88% 가 공유된 "잘못됨 vs 옳음" 방향과 정렬됨을 의미합니다.
• 인과적 손상:
  • 공유 방향 조정 (공유된 잘못된 방향 적용) 은 정확도를 심각하게 손상시켰습니다 ($\Delta = -12.1$ pp).
  • 개념 소거: 평균 차이 투영을 통해 OT 방향을 제거하면 정확도가 손상되었습니다 ($\Delta = -3.6$ pp, $p=0.01$). 반면 10 개의 무작위 방향은 손상을 주지 않았습니다 ($\Delta = +0.3$ pp). 이는 OT 방향이 단순한 상관관계가 아니라 올바른 추론과 인과적으로 얽혀 있음을 확인시켜 줍니다.
  • 인스턴스별 비상관성: 프로브 신뢰도와 조정 효과 간의 상관관계는 $r = -0.002$ ($p=0.97$) 로, 모델이 언제 과도하게 사고하는지 아는 것이 어떻게 조정해야 하는지 예측하지 못함을 나타냅니다.

3. 긍정적 발견: 선택적 기피

조정은 실패했지만, 해독 가능한 구조는 생성 후 신뢰성 추정을 가능하게 했습니다:

• 정답성 프로브는 홀드아웃 테스트 세트에서 AUROC 0.610을 달성하여, 다섯 가지 단일 순방향 통과 불확실성 기준선 (최고 기준선 AUROC = 0.569, $\Delta = 0.041$, $p=0.009$) 을 크게 능가했습니다.
• 선택적 기피: 낮은 신뢰도 예측을 기피함으로써 모델은 60% 커버리지에서 +5.5 pp의 정확도 향상을 달성했습니다.
• 자기 일관성 (Self-Consistency) 과의 비교: 다수결 투표 (자기 일관성) 는 OT 오류의 100% 를 수정하지만 10 배의 생성 비용이 필요합니다. 프로브는 수정이 불가능한 상황에서 신뢰성 추정을 위한 비용 효율적인 단일 통과 대안을 제공합니다.

4. 비선형 개입

학습된 비선형 MLP(잔류 어댑터) 를 사용한 예비 실험은 modest 하지만 유의미한 개선을 달성했습니다 ($\Delta = +2.8$ pp, $p=0.025$). 이는 간극이 절대적인 것이 아니라 고정 선형 개입에 특정한 것이며, 비선형 변환이 공유 부분 공간을 부분적으로 분리할 수 있음을 시사합니다.

중요성과 주장

본 논문은 단순한 현상 기록을 넘어, 다단계 추론 양상에서 활성화 조정이 실패하는 이유에 대한 기작적 증거를 제공한다고 주장합니다.

1. 기하학적 설명: 저자들은 분류 - 수정 간극이 추론 작업의 실패 신호가 작업 관련 계산과 얽혀 (entangled) 있기 때문에 발생한다고 주장합니다. 거부 (특이도 비율 0.999 로 조정 가능) 와 달리, OT 신호는 올바른 추론 경로와 방향의 약 88% 를 공유합니다.
2. 관측 - 개입 비대칭성: 본 연구는 해독 가능성이 조정 가능성을 함의하지 않음을 보여줍니다. 신호가 프로브에 의해 통계적으로 읽을 수 있어도 (관측), 공유된 작업 계산을 필연적으로 방해하기 때문에 가산적 교란을 통해 인과적으로 실행 가능하지 (개입) 않을 수 있습니다.
3. 프로빙의 운영적 가치: 조정이 실패하더라도 해독 가능한 구조는 신뢰성 추정 (선택적 기피) 을 위한 유용성을 가지며, 수정이 불가능한 배포 상황에서 실용적인 도구를 제공합니다.
4. 진단 프레임워크: 저자들은 **선형 접근성 프로파일 (Linear Accessibility Profile, LAP)**과 특이도 비율을 사전 개입 진단 도구로 제안합니다. 방향의 특이도가 낮고 (<0.21) 작업 계산과 높은 중첩을 보인다면, 고정 선형 조정은 성공할 가능성이 낮다고 제안합니다.

본 논문은 의료 추론에서 "분류 - 수정 간극"이 견고한 경험적 현상이지만, 공유된 방향을 분리할 수 있는 학습된 비선형 개입에 의해 부분적으로 해소될 수 있으며, 이는 향후 연구 방향이라고 결론짓습니다.