기술 요약: 언어 모델의 잠재적 추론 전략 규명

문제 정의

추론 작업에 대해 사전 학습된 언어 모델(LM)은 종종 여러 가지 뚜렷하고 고차원적인 전략(예: 귀류법 대 귀납법, 또는 서로 다른 정렬 알고리즘)을 사용하여 문제를 해결한다. 그러나 이러한 전략들은 암묵적이며 모델의 응답 분포 $p_\theta(y|x)$ 내에 뒤엉켜 있다. 생성 과정 중에 어떤 전략이 사용되고 있는지 식별하거나 제어할 수 있는 명시적인 변수는 존재하지 않는다.

본 논문은 이 응답 분포를 구조화된 전략 조건부 표현으로 분해하는 문제를 정식화한다. 목표는 다음과 같은 라우터-생성기 인수분해(router-generator factorization) $(r_\phi(z|x), g_\phi(y|x, z))$를 학습하는 것이다:

1. 주변부 충실도(Marginal Fidelity): 통합 분포 $\int r_\phi(z|x)g_\phi(y|x, z) dz$가 원래의 베이스 모델 분포 $p_\theta(y|x)$를 근사해야 한다.
2. 전략 정렬(Strategy Alignment): 잠재 변수 $z$는 유의미하고 전략과 정렬되어야 한다. 즉, $z$를 변화시키면 사용되는 고차원 전략이 바뀌어야 하며, 동일한 잠재 값은 서로 다른 입력에 대해서도 일관된 전략적 의미를 지녀야 한다.

핵심 과제: 처음부터 학습하는 표준적인 잠재 변수 모델링과 달리, 베이스 모델 $p_\theta$는 이미 잠재 변수 없이도 타겟 분포를 포착하고 있다. 따라서 $z$를 무시하는 인수분해(즉, 모든 $z$에 대해 $g_\phi(y|x, z) = p_\theta(y|x)$인 경우)는 초기화 상태에서 이미 존재하며, 오직 주변부 적합도만을 측정하는 목적 함수에 대해 전역적으로 최적이다. 결과적으로 표준 변분 추론(예: 조건부 ELBO)은 이 설정에서 **사후 확률 붕괴(posterior collapse)**를 겪으며, $z$가 전략 수준의 변동을 인코딩하도록 유도하는 데 실패한다.

방법론

아키텍처

저자들은 사전 학습된 트랜스포머를 라우터-생성기 프레임워크로 적응시킨다:

• 라우터 ($r_\phi$): 입력을 읽고 연속적인 잠재 전략 $z$(대각 가우시안으로 모델링됨)에 대한 분포를 출력한다.
• 생성기 ($g_\phi$): 입력 $x$와 샘플링된 잠재 값의 투영된 임베딩 $E(z)$에 조건화되는 자기회귀 모델이다.
• 사후 확률 모델 ($q_\xi$): 훈련 중에만 사용되며, 전체 입력-응답 쌍 $(x, y)$로부터 $z$를 추론하는 데 사용된다.
• 파라미터화: 라우터와 생성기는 베이스 모델 $\theta$로부터 초기화된 파라미터를 공유하며, LoRA 방식의 저계수 적응(low-rank adaptation)을 통해 업데이트된다.

모델 지향 재구성 목적 함수 (Model-Directed Reconstruction Objective)

표준 ELBO의 불충분한 명시성을 극복하기 위해, 저자들은 베이스 모델 $p_\theta$를 참조로 사용하여 잠재 변수 $z$가 변동을 설명해야 할 위치를 직접 지시하는 모델 지향 재구성 목적 함수를 제안한다.

목적 함수 $J_\theta$는 재구성 항 $R_\theta$와 KL 페널티로 구성된다:
$$J_\theta(x, y; \phi, \xi) = R_\theta(x, y; \phi, \xi) + \beta \text{KL}(q_\xi(\cdot|x, y) \parallel r_\phi(\cdot|x))$$

재구성 항의 핵심 요소:

1. 베이스 모델 정규화: 재구성 손실은 베이스 모델의 기대 응답 손실($c_\theta$)에 의해 정규화되어, 손실을 "베이스 모델 참조 단위"로 표현한다.
2. 서프라이절 지향 가중치(Surprisal-Directed Weighting): 균등한 토큰 가중치 대신, 베이스 모델의 토큰 레벨 서프라이절(surprisal, $b_{\theta,t}$)에 의해 가중치가 부여된다.
   • $b_{\theta,t}(x, y) = -\log p_\theta(y_t | x, y_{<t})$
   • 서프라이절이 높은 토큰(베이스 모델이 불확실해지는 분기점)은 더 높은 재구성 압력을 받는다.
   • 이는 $z$가 베이스 모델이 여러 가지 지속 가능성을 남겨두는 위치, 즉 일반적으로 전략 선택 지점에 해당하는 위치의 변동을 인코딩하도록 장려한다.

재구성 항은 베이스 모델 손실의 가중치가 적용된 정규화된 비율로 정의된다:
$$R_\theta = \frac{1}{c_\theta} \mathbb{E}_{z \sim q_\xi} \left[ \sum_{t} a_{\theta,t}(x, y) [-\log g_\phi(y_t | x, z, y_{<t})] \right]$$
여기서 가중치 $a_{\theta,t}$는 균등한 압력과 서프라이절 지향 압력 사이를 보간한다.

실험 설정 및 벤치마크

저자들은 전략 정렬을 측정 가능하게 만들기 위해 다중 전략 알고리즘 작업의 통제된 벤치마크를 도입한다.

• 작업: 리스트 합산, 정렬 알고리즘, 그리드 경로 탐색, 선형 방정식 풀이, 진법 변환, 다자릿수 덧셈.
• 설계: 각 작업은 동일한 문제 인스턴스에 대해 여러 개의 유효한 솔루션 궤적(전략)을 허용한다. 정답 전략 레이블은 생성되지만 훈련 중에는 숨겨지며, 오직 평가를 위해서만 사용된다.
• 평가 지표:
  1. 분포적 충실도(Distributional Fidelity): 생성된 궤적이 작업에 대한 유효한 솔루션으로 남아 있는 비율.
  2. 전략 정렬(유추적 일관성, Analogical Consistency): 소스 입력 $X$에서 잠재 변수 $z$를 샘플링하고 이를 관련 타겟 입력 $X'$에 적용했을 때, $X$에서 생성된 $Y$와 동일한 전략을 사용하는 솔루션 궤적 $Y'$가 나올 확률.

주요 결과

1. 암묵적 정보의 존재: 베이스 모델의 은닉 상태에 대한 선형 프로브(linear probe)는 전략 레이블을 디코딩할 수 있으며, 이는 인수분해 전에도 타겟 구조가 암묵적으로 존재함을 확인시켜 준다.
2. 표준 ELBO의 실패: 표준 변분 목적 함수는 분포적 충실도는 유지하지만, **잠재 붕괴(latent collapse)**를 초과하여 $z$가 비활성 상태로 남고 전략과 정렬되지 않는 현상이 발생한다.
3. 모델 지향 재구성의 성공: 제안된 목적 함수는 다음을 수행하는 잠재 코드를 성공적으로 회복한다:
   • 높은 분포적 충실도 유지 (베이스 모델의 유효한 출력을 보존).
   • 높은 유추적 일관성 달성 (잠재 변수 $z$가 서로 다른 입력에 대해 재사용 가능한 전략적 의미를 운반함을 입증).
   • 훈련 과정에 걸쳐 잠재 공간 내에서 별도의 태스크 및 전략 특화 영역으로 분리됨.
4. 절제 연구(Ablation Studies):
   • 글로벌 스케일(정규화) 또는 토큰 가중치(서프라이절 방향)를 제거하면 전략 정렬 성능이 저하된다.
   • 역-서프라이절(inverse-surprisal) 가중치(낮은 서프라이절 토큰을 강조)를 사용하면 정렬이 약화되며, 이는 전략적 변동을 회복하기 위해서는 불확실하거나 분기되는 토큰에 압력을 가해야 함을 확인시켜 준다.

이론적 분석

본 논문은 회복 문제에 대한 이론적 분석을 시작한다. 저자들은 목적 함수를 상호 정보량 $I(Y; Z|X)$와 근사 복잡도 페널티를 포함하는 프로파일드 스코어(profiled score)를 최대화하는 것으로 프레임화한다. 저자들은 "회복 불일치(recovery discrepancy)"가 양수인 경우, 복잡도 페널티가 부과된 변분 목적 함수가 타겟 전략 구조 $S^*$와 정렬된 잠재 인수분해를 선택한다는 충분 조건을 제공한다.

의의 및 주장

본 논문은 처음부터 학습하는 것이 아니라 사전 학습된 모델을 적응시킬 때 발생하는 특수한 형태의 사후 확률 붕괴 문제를 다룬다고 주장한다. 모델 지향 재구성 목적 함수를 도입함으로써, 저자들은 다음을 수행할 수 있음을 입증한다:

• 암묵적인 추론 전략을 명시적이고 제어 가능한 잠재 변수로 **분리(Disentangle)**한다.
• 베이스 모델의 응답 분포를 보존하면서 잠재 변수를 유의미하게 만든다.
• 개입 가능성(Enable Intervention): 회복된 잠재 구조를 통해 베이스 모델을 재학습시키지 않고도 특정 고차원 전략(예: 특정 증명 방법 강제)으로 생성을 유도할 수 있다.

저자들은 본 방법론이 정답 전략이 존재하는 합성 알고리즘 작업에서 검증되었음을 명시한다. 또한, 이를 개방형 추론 작업으로 확장하고 이론적 오라클 선택 기준과 실제 훈련 역학 사이의 연결을 완전히 규명하는 것은 향후 연구 과제로 남아 있다고 밝힌다. 언급된 잠재적 응용 분야로는 모델 해석 가능성, 제어 가능성, 그리고 사후 학습(post-training) 단계에서의 강화 학습 탐색 제어 등이 있다.