기술적 요약: HyperLens

문제 제기

대규모 언어 모델(LLM) 은 뛰어난 성능을 보이지만, 기존 분석 도구의 해상도 한계로 인해 그 내부 추론 역학은 여전히 잘 이해되지 않고 있습니다. 로짓 렌즈 (Logit Lens) 와 튜닝드 렌즈 (Tuned Lens) 와 같은 현재의 프로빙 (probing) 방법들은 지식 검색과 같은 단순 작업과 어려운 수학이나 코딩과 같은 복잡한 작업에 필요한 인지 과정을 구별하지 못하는 경우가 많습니다. 이러한 방법들은 일반적으로 정적 투영이나 외부 학습 어댑터에 의존하는데, 저자들은 이것이 "근시안적"이거나 "편향된" 관찰자 역할을 한다고 주장합니다. 그 결과, 이러한 방법들은 작업 난이도와 관계없이 종종 구별 불가능한 신뢰도 궤적을 생성하여, 복잡한 작업이 해법에 수렴하기 전에 더 길고 낮은 신뢰도의 "고군분투 (struggle)" 단계를 필요로 한다는 직관을 검증하지 못합니다.

방법론: HyperLens

저자들은 LLM 의 추론 과정에서 미세한 신뢰도 궤적을 추적하고 인지적 노력을 정량화하도록 설계된 고해상도 프로브인 HyperLens를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소에 기반합니다:

1. 고유 자기 증폭 메커니즘

이 논문은 트랜스포머 아키텍처의 고유한 속성을 규명합니다: 더 깊은 레이어는 레이어별 신뢰도의 작은 변화를 본질적으로 증폭시킵니다. 최종 언임베딩 레이어 (초점 깊이 $m=0$) 를 사용하여 숨겨진 상태를 직접 디코딩하는 이전 방법들과 달리, HyperLens 는 숨겨진 상태를 미래 레이어 시퀀스 ($m$개 레이어) 를 통해 전파한 후 어휘 공간으로 투영합니다.

• 초점 깊이 (Focal Depth, $m$): 투영에 사용되는 미래 레이어의 수.
• 이론적 근거: 저자들은 초점 깊이 $m$을 증가시키면 "정제 레이어 (refinement layers, 잠재 상태가 출력으로 디코딩되는 트랜스포머의 후기 단계)"에서 관찰된 신뢰도가 엄격하게 증폭된다는 것을 증명합니다. 이 증폭은 작업의 본질적 난이도에 의해 제한되므로, 쉬운 작업과 어려운 작업이 궤적에서 명확히 분리되도록 합니다.

2. 고해상도 프로빙

HyperLens 는 모델의 마지막 $m$개 레이어와 언임베딩 투영을 구성하는 디코딩 함수 $D_m$을 활용합니다. "적절한" 초점 깊이를 선택함으로써 (너무 작아 노이즈가 발생하지도, 너무 커서 모든 신호가 확신으로 포화되지도 않는), 이 프로브는 다음과 같은 뚜렷한 신뢰도 궤적을 드러냅니다:

• 쉬운 작업: 빠른 신뢰도 수렴을 보입니다.
• 어려운 작업: "고군분투" 단계를 반영하여 더 긴 시간 동안 낮은 신뢰도 상태를 유지합니다.

3. 정량적 지표: 정제 영역 (Refinement Area, $\Omega$)

인지적 노력을 정량화하기 위해, 저자들은 정제 레이어 내의 증폭된 신뢰도 궤적 위의 면적으로 **정제 영역 ($\Omega$)**을 정의합니다:
$$\Omega = \sum_{k \ge i_0} (1 - C^{(m)}_k)$$
여기서 $i_0$는 자동으로 결정된 정제 레이어의 시작점이며, $C^{(m)}_k$는 초점 깊이 $m$을 가진 레이어 $k$에서의 신뢰도입니다. 더 높은 $\Omega$는 더 큰 누적 불확실성을 나타내며, 따라서 출력을 생성하는 데 필요한 더 높은 인지적 노력을 의미합니다.

주요 기여

1. HyperLens 프로브: 트랜스포머의 자기 증폭 메커니즘을 활용하여 모델의 인지적 노력을 시각화하고 정량화하는 새로운 고해상도 프로빙 방법으로, 쉬운 작업과 어려운 작업의 신뢰도 궤적을 성공적으로 분리합니다.
2. 이론적 특성화: 트랜스포머의 고유한 자기 증폭 메커니즘에 대한 형식적 증명으로, 초점 깊이 증가가 신뢰도를 엄격하게 증폭시켜 추론 역학에 대한 고해상도 뷰를 보장함을 보여줍니다.
3. SFT 의 기계적 진단: 감독 미세 조정 (SFT) 에서의 "맹목적인 확신 (blind confidence)" 현상을 드러내기 위해 HyperLens 를 적용했습니다. 저자들은 간단한 SFT 가 모델로 하여금 필요한 낮은 신뢰도의 고군분투 단계를 건너뛰게 함으로써 도메인 내 작업에서 인지적 노력을 감소시키고 성능 저하를 초래함을 보였습니다.

실험 결과

저자들은 수학, 코딩, 논리, 일반 QA 를 아우르는 8 개의 데이터셋과 8 개의 LLM(Llama3, Deepseek, 다양한 Qwen 크기 포함) 에 걸쳐 HyperLens 를 평가했습니다.

• 증폭 검증: 실험은 초점 깊이 ($m$) 를 증가시키면 신뢰도 궤적이 엄격하게 증폭됨을 확인했습니다. 충분한 $m$(예: $m=5$) 을 사용하면 쉬운 작업과 어려운 작업의 궤적이 명확히 분리되었으나, $m=0$(Logit Lens) 에서는 구별할 수 없었습니다.
• 인지적 노력 상관관계: 정제 영역 ($\Omega$) 은 작업 난이도와 일관되게 상관관계가 있었습니다. 어려운 작업 (예: AIME, APPS) 은 쉬운 작업 (예: MATH Level 1-2, CoNaLa) 보다 훨씬 높은 $\Omega$ 값을 보였습니다.
• 의미 진화: HyperLens 는 중간 레이어에서 "확신이 없습니다", "알고 싶습니다"와 같은 이해 가능한 고수준 의미 토큰을 성공적으로 디코딩하여, 외부 어댑터 없이 표준 Logit Lens 가 포착하지 못했던 "사고 단계"를 드러냈습니다.
• SFT 의 부작용:
  • 성능 저하: 간단한 SFT 는 Llama3-8B 와 Qwen2.5-7B 모두에서 도메인 내 작업의 정확도 급감을 초래했습니다.
  • 맹목적인 확신: HyperLens 는 SFT 모델이 레이어 시퀀스 초기에 훨씬 일찍 높은 신뢰도에 도달하여 고군분투 단계를 우회함을 시각화했습니다.
  • 정량적 변화: 대부분의 모델에서 SFT 는 정제 영역 ($\Omega$) 을 감소시켜 인지적 노력 감소를 나타냈습니다. 특히 $\Omega$가 증가한 것처럼 보이는 경우 (예: 수학/코드 작업의 Qwen2.5-7B) 에도 상세 분석 결과, 모델은 설명용 "필러" 토큰을 생략하고 공식/코드와 같은 짧고 고밀도의 핵심 토큰을 출력하여 토큰당 지표에도 불구하고 전체 노력 ($\hat{\Omega}$) 을 효과적으로 감소시키고 있음이 드러났습니다.

의의 및 주장

이 논문은 모델의 내부 신비를 관찰하는 가장 효과적인 프로브는 모델 자신일 수 있다고 주장합니다. 트랜스포머의 미래 레이어를 자연스러운 제로샷 어댑터로 활용함으로써 HyperLens 는 고차원 잠재 공간에서 손실되는 신호들을 해결합니다.

저자들은 투명성과 해석 가능성을 강화함으로써 더 신뢰할 수 있고 견고한 AI 시스템으로 나아가는 한 걸음으로 이 작업을 위치시킵니다. 구체적으로, 그들은 "인지적 노력" 궤적을 이해하는 것이 표준 SFT 가 성능을 저하시키는 이유에 대한 기계적 설명을 제공한다고 주장합니다. 즉, 모델이 추론 과정을 단축하도록 훈련시켜 진정한 문제 해결이 아닌 "맹목적인 확신"을 초래한다는 것입니다. 이 논문은 트랜스포머 아키텍처 내의 이러한 고유한 속성을 규명하는 것이 미래의 자기 해석 연구에 대한 실현 가능한 길이라고 결론지으며 마무리합니다.