기술적 요약: LLM 의 효과적인 이론을 향해: 표현 학습 접근법

문제 제기

대규모 언어 모델 (LLM) 이 점점 더 중요한 분야에 배포되고 있지만, 그 내부 연산은 여전히 불투명합니다. LLM 의 미시적 연산 (행렬 곱셈, 어텐션 업데이트, 활성화) 은 알려져 있지만, 이러한 세부 사항에서 직접 행동을 이해하는 것은 종종 계산적으로 불가능하며 설명에 필요한 거시적 조직을 드러내지 못합니다. 회로 추적이나 희소 오토인코더 (SAE) 사용과 같은 현재의 해석 가능성 방법들은 토큰 시퀀스 전반에 걸쳐 지속되는 일관된 고수준 계산 단계나 '정신 상태'를 포착하는 데 종종 어려움을 겪습니다. 물리학의 유효 이론 (예: 열역학) 이 매크로 변수를 통해 복잡한 시스템을 설명하는 것과 유사하게, 예측, 해석, 개입에 필요한 구조는 보존하면서 관련 없는 미시적 세부 사항을 추상화하는 프레임워크가 필요합니다.

방법론: 표현 유효 이론 (RET)

저자들은 자기지도식 표현 학습 접근법을 사용하여 LLM 은닉 상태 궤적에서 매크로 상태를 학습하는 프레임워크인 **표현 유효 이론 (Representational Effective Theory, RET)**을 제안합니다.

핵심 프레임워크

RET 는 LLM 의 은닉 상태를 미시적 기질 ($x_t$) 로 간주하고 다음 세 가지 요건을 만족하는 저차원 매크로 상태 ($z_t$) 로의 매핑을 학습합니다:

1. 미시적 세부 사항에서의 추상화: 행동적으로 의미 있는 구조는 보존하면서 토큰 국소적 변이를 제거합니다.
2. 대략적으로 닫힌 동역학: 다음 매크로 상태 ($z_{t+1}$) 는 전체 미시 상태 ($x_t$) 에 거의 의존하지 않고 현재 매크로 상태 ($z_t$) 로부터 예측 가능해야 합니다.
3. 실용적 관련성: 매크로 상태는 구체적인 해석 가능성 작업 (해석, 예측, 개입) 을 지원해야 합니다.

학습 절차

• 데이터 기질: 고정된 LLM 의 고정된 중간 층에서 은닉 상태 접두어 ($h^{(\ell_{mid})}_{0:t}$) 를 추출합니다.
• 아키텍처: 경량 인코더 ($f_\theta$) 가 접두어를 매크로 상태 $z_t$ 로 매핑합니다. 예측기 ($T_\phi$) 는 $z_t$로부터 다음 매크로 상태 $z_{t+1}$을 예측합니다.
• 목적 함수: 시스템은 BYOL/JEPA 스타일의 자기지도식 목적 함수를 사용하여 훈련됩니다. 예측기는 다음 단계에 대한 타겟 인코더의 출력과 예측 간의 $L_1$ 거리를 최소화합니다:
  $$L_{pred} = \|T_\phi(f_\theta(x_t)) - \bar{f}_\theta(x_{t+1})\|_1$$
  여기서 $\bar{f}_\theta$는 인코더의 지수 이동 평균 (EMA) 입니다. 이 목적 함수는 인코더가 미시 상태를 자율적 예측을 지원하는 표현으로 압축하도록 장려하여, 결과적으로 모델 동역학의 '유효 이론'을 학습하게 합니다.
• 클러스터링: 학습된 매크로 상태는 (예: K-평균을 통해) 클러스터링되어 모델의 '정신 상태'를 나타내는 기호 상태 기계로 형성하기 위해 이산 그룹으로 집계됩니다.

주요 기여

1. 유효 이론 관점의 정립: 이 논문은 물리학과 복잡성 과학과 유사점을 끌어내며 매크로 변수, 대략적 폐쇄성, 실용적 관련성을 중심으로 한 LLM 해석 가능성의 원칙적인 관점을 정의합니다.
2. RET 프레임워크: 태스크 레이블 없이 은닉 상태 궤적로부터 매크로 상태와 그 전이 법칙을 획득하기 위한 간단한 표현 학습 방법의 도입.
3. 실증적 검증: RET 매크로 상태가 세 가지 서로 다른 해석 가능성 설정에서 유용함을 입증:
   • 해석: 일관되고 시간적으로 안정적인 추론 단계 궤적 생성.
   • 예측: 하류 행동 결과 (특히 아첨성) 의 조기 감지.
   • 개입: 모델 생성을 특정 계산 전략으로 유도하기 위한 인과적 핸들 제공.

실험 결과

1. 해석 가능한 추론 궤적

• 설정: RET 를 NuminaMath 문제를 해결하는 GPT-OSS-20B 에 적용했습니다. 매크로 상태는 12 개 그룹으로 클러스터링되었습니다.
• 결과: RET 는 (문제 설정, 기호 변환, 검증 등) 인간이 해석 가능한 추론 단계와 일치하는 시간적으로 일관된 궤적을 생성했습니다.
• 비교: 베이스라인 (원시 은닉 상태, PCA, SAE 특징) 은 불안정하고 토큰 수준의 전환 궤적을 생성했습니다.
• 지표: **정신 상태 해석 가능성 점수 (Mental-state Interpretability Score, MIS)**가 도입되었습니다. RET 는 홀드아웃 데이터에서 5.61의 점수를 기록하여 SAE(4.24) 를 크게 능가했으며, 이는 RET 가 원시 텍스트에서 보이는 추론 서사를 더 잘 복원함을 나타냅니다.

2. 시간적 일관성

• 설정: 장면 변경이 삽입된 Pythia-160M 에 대한 실험 (예: 축구 경기 $\to$ 폭우 $\to$ 도서관).
• 결과: RET 매크로 상태 ($z_t$) 는 장면 경계에서 날카로운 불연속성을 보이는 부드러운 궤적을 나타냈으며, 코사인 유사도 행렬에서 블록 대각선 구조를 형성했습니다.
• 비교: 베이스라인 (원시 $h$, 풀링된 $h$, SAE) 은 빠른 어휘적 변동에 지배되어 맥락 경계를 보존하거나 다른 맥락에서 반복되는 단어를 구별하지 못했습니다.

3. 조기 아첨성 예측

• 설정: 새로운 다중 턴 아첨성 데이터셋 (SYCON-Bench 를 약 14k 샘플로 확장) 이 구축되었습니다. 프로브는 응답의 처음 5~10% 만을 사용하여 모델이 결국 잘못된 전제나 논쟁의 압력에 '굴복'할지 예측하도록 훈련되었습니다.
• 결과: 보조 아첨성 손실로 훈련된 RET 의 감독 변형은 가장 높은 균형 정확도를 달성했습니다 (거짓 전제에서 0.80, 논쟁에서 0.90). 이는 모든 은닉 상태 베이스라인 (Transformer 블록 베이스라인 포함) 과 비지도 RET 를 능가했습니다.
• 시사점: 학습된 매크로 상태는 정렬 실패의 조기 감지를 가능하게 하는 행동적으로 관련 있는 구조를 포착합니다.

4. 비지도 유도

• 설정: 생성 중에 모델의 은닉 상태를 특정 클러스터 중심 (끌개/밀어냄) 으로 향하게 하거나 그로부터 멀어지도록 조정했습니다.
• 결과: 유도 작업은 성공적으로 해결 전략을 변경시켰습니다. 예를 들어, '알려진 공식 검색' 클러스터로 유도하면 모델은 순차적 나열 대신 폐쇄형 공식을 사용했습니다. '문구 모호성 해소'로 유도하면 모호한 화폐 단위가 해결되었습니다.
• 한계: 유도 작업은 프롬프트 하에 이미 그럴듯한 계산 경로 내에서만 효과적이며, 모델 분포에서 사실상 이용 불가능한 행동 (예: 모델이 공식을 기본으로 사용할 때 61 개의 정수를 수동으로 합산하는 것) 을 유도할 수는 없습니다.
• 비교: RET 유도는 33 개의 다양한 프롬프트에 걸쳐 행동 변화의 **91%**를 달성하여, 강하게 튜닝된 SAE 베이스라인 유도 (61% 커버리지) 를 능가했습니다.

중요성과 주장

이 논문은 LLM 계산이 RET 를 통해 유용한 유효 기술을 허용한다고 주장합니다. 저자들은 다음과 같이 논합니다:

• 예측 자기지도 학습을 통해 학습된 매크로 변수는 일관된 '정신 상태'를 드러내기 위해 미시적 노이즈를 추상화할 수 있습니다.
• 이러한 상태는 단순히 기술적인 것이 아니라 실행 가능하여 모델 행동을 유도하기 위한 인과적 핸들을 제공합니다.
• 이 접근법은 희소 회로에 초점을 맞춘 기계적 해석 가능성에 대조적으로, 궤적 수준의 거시적 동역학에 초점을 맞춤으로써 보완적인 관점을 제공합니다.

저자들은 겸손하게도 RET 는 유효 이론의 한 구현체이며 결과가 테스트된 설정 (수학적 추론, 아첨성 감지) 에 특정됨을 지적합니다. 그들은 '정신 상태'가 실제 인지 상태가 아닌 거시적 계산 단계에 대한 운영적 용어이며, 기호 레이블은 LLM 보조 클러스터링을 통해 도출된 유용한 요약이지 결정적인 기준 진실이 아님을 강조합니다.