기술 요약: 내재적 해석 가능성을 가진 언어 모델의 스케일링

문제 정의

현재의 대규모 언어 모델(LLM)은 일반적으로 불투명한 시스템으로 훈련되며, 해석 가능성은 성능에 대한 사후적인 "세금(tax)"으로 취급됩니다. 표준 워크플로우는 고성능 모델을 훈련한 다음, 프로브(probes), 특징 기여도(feature attributions), 또는 희소 오토인코더(sparse autoencoders)를 사용하여 그 동작을 역공학적으로 분석하려고 시도합니다. 저자들은 이러한 접근 방식이 근본적인 구조적 한계에 직면해 있다고 주장합니다. 즉, 모델이 설명을 자신의 계산 과정에 유효한 인터페이스로 만들도록 훈련된 것이 아니라는 점입니다. 결과적으로 사후 분석 방법들은 충실성(faithfulness)(설명이 실제 추론을 반영함)과 유효성(validity)(개입이 의미를 가짐)이라는 요구 사항을 충족하지 못하는 경우가 많습니다. 또한, 모델을 인간이 이해할 수 있는 구조로 제약하는 것이 반드시 성능 저하를 초래한다는 믿음이 팽배해 있습니다.

방법론

1. 내재적 해석 가능성 레시피

저자들은 해석 가능성을 사후적인 고려 사항이 아니라, 언어 모델링 목적 함수와 함께 최적화되는 제약 조건으로 제안하는 훈련 파이프라인을 제시합니다. 이 레시피는 다음 다섯 가지 형식적 조건을 충족하도록 표준 훈련 단계를 수정하여 내재적 해석 가능성을 달 수 있도록 합니다:

• 네이티브성(Nativeness): 귀속된 변수들이 출력을 생성하는 계산 경로의 일부여야 합니다.
• 합의(Agreement): 귀속 점수가 개입(예: 마스킹 또는 개념 스티어링)이 적용되기 전의 효과를 예측해야 합니다.
• 유효성(Validity): 개입이 분포 내에 있어야 합니다(모델이 훈련 중에 해당 섭동 상태를 경험했어야 함).
• 해석 가능성(Interpretation): 의미론적 설명(카드)이 모델의 내부 변수를 정확하게 나타내야 합니다.
• 커버리지(Coverage): 해석 가능한 구성 요소들이 예측의 상당 부분을 설명해야 하며, 설명되지 않는 잔차(residual)를 최소화해야 합니다.

2. 데이터: Atlas 파이프라인

주요 장애물은 현대적인 사전 훈련 코퍼스 규모에 걸친 인간이 해석 가능한 개념 라이브러리의 부재였습니다. 이를 해결하기 위해 저자들은 3단계 자동화 파이프라인인 Atlas를 구축했습니다:

• 1단계 (태깅): 660만 개의 문서를 샘플링하고 청크(chunk)로 나눈 뒤, LLM을 사용하여 높은 재현율을 가진 자유 형식의 태그를 생성합니다.
• 2단계 (정형화): 태그들을 일관된 라이브러리로 클러스터링하여, 레이블이 붙고 중복이 제거된 33,732개의 인간 이해 가능한 개념을 생성합니다.
• 3단계 (어노테이터): 1.5조 토큰의 코퍼스 전반에 걸쳐 임의의 텍스트 청크에 이러한 개념을 할당하는 모델을 훈련합니다.
  결과물인 라이브러리는 다양한 도메인(과학, 코드, 법률 등)을 포괄하며, 단순히 LLM이 유창한 것이 아니라 인간에게 의미 있는 개념임을 검증받았습니다.

3. 아키텍처: Steerling-8B

저자들은 가우시안 디퓨전(Causal Diffusion) 언어 모델과 **가산적 개념 병목(Additive Concept Bottleneck)**을 특징으로 하는 Steerling-8B를 통해 이 레시피를 구현합니다.

• 가우시안 디퓨전(Causal Diffusion): 표준 자기회귀(autoregressive) 모델과 달리, Steerling은 블록 인과적 어텐션(block-causal attention)을 갖춘 마스크 디퓨전 목적 함수를 사용합니다. 이를 통해 블록 내에서는 병렬 디노이징을 수행하면서도, 효율적인 추론을 위해 블록 간에는 자기회귀 스타일의 KV 캐싱을 유지할 수 있습니다. 결정적으로, 마스킹 목적 함수는 [MASK]라는 "정보 없음" 베이스라인을 통해 모델을 훈련시켜 유효한 입력 귀속을 가능하게 합니다.
• 개념 모듈(Concept Module): 트랜스포머 백본과 언어 모델링 헤드 사이에 삽전된 이 모듈은 은닉 상태 $h$를 세 가지 가산적 구성 요소로 분해합니다:
  $$\bar{h} = \hat{k} + \hat{u} + \epsilon$$
  여기서 $\hat{k}$는 알려진 개념(Atlas 라이브러리로부터 추출됨)의 가중합이고, $\hat{u}$는 알려지지 않은 개념(훈련 중에 학습됨)의 가중합이며, $\epsilon$은 잔차 항입니다.
• 손실 함수(Loss Functions): 훈련 목적 함수는 다음을 결합합니다:
  • 언어 모델링 손실: 분해된 상태 $\bar{h}$를 기반으로 토큰을 예측합니다.
  • 개념 손실: 알려진 개념 활성화와 실제 정답(ground-truth) 청크 수준 주석을 일치시킵니다.
  • 재구성 손실: 알려진 개념에 의해 설명되지 않는 정보를 알려지지 않은 헤드가 포착하도록 보장합니다.
  • 독립성 손실: 중복을 방-지하기 위해 알려진 표현과 알려지지 않은 표현 사이의 직교성을 장려합니다.

4. 훈련 역학(Training Dynamics)

저자들은 알려진 개념 헤드와 알려지지 않은 개념 헤드 모두에 대해 **교사 강제 스케줄(teacher forcing schedules)**을 채택합니다. 훈련 초기에는 학습을 안정시키기 위해 정답 개념 표현을 주입하고, 점진적으로 모델 자신의 예측으로 변환(annealing)합니다. 이는 모델이 잔차 채널에 의존하거나 개념 헤드가 신뢰할 수 있게 되기 전에 가짜 상관관계(spurious correlations)를 학습하는 것을 방지합니다.

주요 결과

1. 스케일링 법칙(Scaling Laws)

저자들은 자기회귀 및 가우시안 디퓨전 백본 모두에서 10M에서 8B 파라미터에 이르는 세 차수의 컴퓨팅 규모에 걸쳐 IsoFLOP 스케일링 스윕을 실시했습니다.

• 능력(Capability): 개념 모듈을 추가하면 컴퓨팅 최적화 스케일링에서 증가하는 페널티가 아니라, 작고 고정된 per-backbone 오프셋이 발생합니다. 불가피한 손실($L_\infty$)은 해석 가능한 변형 모델에서 실제로 감소합니다.
• 해석 가능성(Interpretability): 네 가지 해석 가능성 지표(개념 손실, 독립성 손실, 기여도, 정렬도) 모두 규모가 커짐에 따라 개선됩니다. 해석 가능성이 크기가 커질수록 저하된다는 가정과는 반대로, 모델은 규모가 커질수록 더 잘 분리(disentangled)되고 인간의 개념과 더 잘 정렬됩니다.
• 예측: 소규모 피팅은 8B Steerling 모델의 검증 손실을 정확하게 예측했으며(0.11 nats 이내), 해석 가능성 지표의 상한선을 결정했습니다.

2. Steerling-8B 성능

Steerling-8B는 1.2조 개의 토큰으로 사전 훈련되었으며, 1,500억 개의 토큰으로 중간 훈련(mid-training)되었습니다.

• 경쟁력: 해석 가능성 제약을 가졌음에도 불구하고, Steerling-8B는 2~16배 더 많은 컴퓨팅 자원으로 훈련된 오픈 소스 동급 모델 성능의 약 10% 이내에 도달했습니다.
• 역량(Capabilities): 이 모델은 **폐쇄 루프 개입(closed-loop intervention)**을 지원합니다:
  • 귀속(Attribution): 출력을 입력 토큰, 특정 개념, 그리고 유사한 훈련 데이터로 추적할 수 있습니다.
  • 스티어링(Steering): 사용자는 재훈련 없이 추론 시점에 특정 개념을 증폭하거나 억제하여, 순방향 패스(forward pass)에 사용되는 개념 임베딩을 직접 조작할 수 있습니다.

의의 및 주장

이 논문은 해석 가능성이 능력에 대한 세금이라는 전제에 도전합니다. 주요 주장은 다음과 같습니다:

1. 해석 가능성은 훈련 과정에 설계될 수 있다: 훈련 과정 중에 충실성과 유효성의 조건을 만족시킴으로써, 모델은 자신의 계산 과정과 구조적으로 결합된 설명을 제공할 수 있습니다.
2. 해석 가능성은 능력과 함께 스케일링된다: 규모가 커짐에 따라 이해하기 어려워지는 것이 아니라, 내재적으로 해석 가능한 모델은 규모가 커질수록 인간의 개념과 더 잘 정렬되고 더 잘 분리됩니다.
3. 경쟁력 확보가 가능하다: 해석 가능한 모델은 훨씬 더 많은 컴퓨팅 자원으로 훈련된 불투명한 동급 모델들과 경쟁할 수 있으며, 이는 이해(understanding)가 사후적인 비용이 아닌 아키텍처의 특징이 되는 새로운 스케일링 패러다임을 시사합니다.

저자들은 동일한 성능을 가진 여러 모델이 서로 다른 내부 메커니즘을 갖는 "라다신 효과(Rashom effect)"를, 모든 모델에 걸쳐 설명적 인터페이스(개념 라이브러리, 베이스라인, 분해)를 고정함으로써 완화할 수 있다고 결론짓습니다.