기술 요약: 로그이트 조합을 통한 자동회귀 모델의 구성적 일반화

문제 제기

전문적인 생성 모델을 조합하여 모듈화되고, 재사용 가능하며, 제어 가능한 시스템을 만드는 것은 대규모 언어 모델 (LLM) 연구에서 여전히 핵심적인 과제입니다. 기존 자동회귀 모델 접근법들은 주로 매개변수 공간(예: 가중치 보간, 작업 산술, 희소성 기반 병합) 또는 아키텍처 공간(예: 동적 라우팅을 사용하는 전문가 혼합) 에서 작동합니다. 이러한 방법들은 파인튜닝된 체크포인트를 결합하지만, 종종 결과 출력 분포에 대한 명시적이고 정적인 보장을 제공하지 못하거나 구성 요소들이 간섭 없이 상호작용하는 방식에 대한 원칙 있는 규칙을 제시하지 못합니다.

반면, 확산 모델은 점수 함수를 선형적으로 결합함으로써 구성적 생성에서 성공을 거두었으며, 이는 최근 Bradley 등 [2025] 에 의해 사영 조합 (projective composition) 개념을 통해 공식화되었습니다. 그러나 이 프레임워크는 생성이 본질적으로 순차적이며 진화하는 접두사에 조건부인 자동회귀 모델로 확장되지 않았습니다. 이로 인해 특정 기술의 적용 가능성은 생성된 시퀀스의 현재 상태에 의존하게 됩니다.

방법론

저자들은 매개변수 공간이 아닌 확률 공간에서 직접 작동하는 자동회귀 시스템 (예: 트랜스포머) 을 위한 선택적 조합 (selective composition) 전략을 제안합니다. 배경 모델 $p_b$와 일련의 전문 모델 $\{p_1, \dots, p_k\}$가 주어졌을 때, 조합된 모델 $\hat{p}$는 조건부 다음 토큰 분포에 적용되는 명시적인 산술 규칙으로 정의됩니다:

$$\hat{p}(y_t | x, y_{<t}) = \frac{1}{Z_t} p_b(y_t | x, y_{<t}) \prod_{i=1}^k \frac{p_i(y_t | x, y_{<t})}{p_b(y_t | x, y_{<t})}$$

여기서 $Z_t$는 정규화 상수입니다. 이 공식은 전문가들의 로그 확률을 더하고 배경 모델의 로그 확률을 빼는 효과를 가집니다.

이론적 프레임워크

이 논문은 이 조합이 증명 가능하게 정확하며 구성 요소 모델의 고유한 행동을 보존하는 조건들을 확립합니다:

1. 분해된 조건부 (토큰 공간): 저자들은 생성 공간을 토큰 인덱스 (마스크) 의 불연속 집합으로 분할하는 속성을 정의합니다. 각 전문 모델 $p_i$가 지정된 마스크 $M_i$에서 독립적으로 작용하고 나머지 부분에서는 배경 모델 $p_b$와 일치할 때, 조합은 **사영적 (projective)**입니다. 이는 조합된 모델의 임의의 마스크 $M_i$에 대한 주변 분포가 전문 모델 $p_i$의 주변 분포와 동일함을 의미합니다.
2. 기술 분해 가능성 (순차적 설정): 자동회귀 작업 (삼각함수 증명 등) 이 생성된 토큰의 이력에 의존한다는 점을 인식하여, 저자들은 기술 분해 가능성을 도입합니다. 모델의 행동을 배경 단계, 특정 기술 단계 (정지 시간 $\tau_1, \tau_2$로 정의됨), 그리고 배경으로의 복귀로 분해할 수 있다면 해당 모델은 기술 분해 가능합니다.
3. 공동 분해 가능성: 모델 집합이 올바르게 조합되려면, 그들의 활성 구간 (배경에서 벗어나는 구간) 이 쌍별 불연속이어야 합니다. 이 조건 하에서 조합된 모델은 각 기술을 지정된 구간 동안 정확히 적용하고, 그 외에는 배경 모델로 복귀합니다.
4. 특징 공간 확장: 이 프레임워크는 가역적 매핑 $D$를 통해 추상적 특징 공간으로 확장됩니다. 푸시포워드 분포가 특징 공간에서 분해된 조건부 속성을 만족하면, 조합은 유효하게 유지되며 토큰 도메인이 불연속이 아닌 대신 '개념적' 도메인이 불연속인 모델들을 결합할 수 있습니다.
5. 길이 일반화: 논문은 분해 가정과 구성 요소 보장이 목표 길이에서 균일하게 성립한다면, 조합된 모델은 구성 요소들의 길이 일반화 행동을 계승한다고 주장합니다.

모델 병합과의 연관성

저자들은 확률 공간 조합과 작업 산술 (Task Arithmetic) (Ilharco 등 [2023]) 사이에 이론적 연결고리를 제시합니다. 그들은 선형 설정에서 매개변수 공간에 작업 벡터를 더하는 것이 출력 분포의 곱셈적 조합과 수학적으로 동등함을 증명합니다. 이는 모델 병합 기법의 경험적 성공이 작업 업데이트가 출력 공간의 불연속 영역에 영향을 미치는 근본적인 가법적 조합 원리에 의해 설명될 수 있음을 시사합니다.

주요 기여

• 원칙 있는 프레임워크: 확산 모델의 사영 조합 개념을 순차적 생성으로 확장하는 자동회귀 모델 조합을 위한 확률 공간 프레임워크 도입.
• 정확성 보장: 조합이 증명 가능하게 정확하며 구성 요소들이 간섭 없이 지정된 부분 공간에 대한 통제를 유지하는 특정 조건 (분해된 조건부 및 공동 분해 가능성) 식별.
• 길이 일반화: 분해 가정이 목표 길이에서 균일하게 성립할 때 조합이 길이 일반화 행동을 보존함을 입증.
• 이론적 교량: 제안된 프레임워크를 기존 모델 병합 방법 (특히 작업 산술) 과 연결하여 특정 병합 휴리스틱이 성공하는 이유에 대한 이론적 설명 제공.
• 경험적 검증: 합성 작업과 대규모 언어 모델 벤치마크 모두에서 접근법의 검증.

결과

저자들은 두 가지 주요 실험 설정을 통해 접근법을 검증합니다:

1. 제어된 토이 작업: 특정 문자를 대체하도록 훈련된 모델들 (예: 'A' $\to$ 'B', 'C' $\to$ 'D') 을 사용한 문자 대체 작업에서, 조합된 모델은 두 변환을 동시에 수행하는 데 100% 성공했습니다. 이는 조합 연산자가 불연속 기술을 올바르게 통합함을 확인시켜 주었습니다.
2. LLM 벤치마크: Gemma 2 2B 기본 모델 ($p_{base}$) 과 두 개의 파인튜닝된 전문가 ($p_{math}$ 및 $p_{coding}$) 를 사용하여 조합된 모델 $\hat{p}$를 생성하고 네 가지 벤치마크에서 평가했습니다:
   • 코딩: HumanEval+ 및 MBPP+ 에서 조합된 모델은 코딩 전문가 단독 모델보다 더 높은 성능을 보였습니다 (각각 30.5 대 24.4 및 39.4 대 38.1).
   • 수학: GSM8K 및 MATH 에서 조합된 모델은 수학 전문가로부터 상당한 성능을 유지했습니다 (각각 41.2 대 50.2 및 24.2 대 25.5), 이는 코딩 기술이 수학적 추론에 치명적인 간섭을 일으키지 않았음을 보여줍니다.
   • 한계: 저자들은 두 개 이상의 전문가를 조합할 경우 시퀀스 종료 토큰 예측 및 종료 행동의 불안정성으로 인해 생성 품질이 급격히 저하된다고 지적합니다.

중요성 및 주장

이 논문은 자동회귀 시스템에서 모델 조합과 병합이 언제 그리고 왜 성공하는지에 대한 원칙 있는 이해를 제공한다고 주장합니다. 매개변수 공간에서 확률 공간으로 초점을 이동시킴으로써, 저자들은 모델 간의 상호작용이 안정적이고 간섭이 없는 조건들을 식별합니다.

이 작업의 중요성은 동적 라우팅 방법이나 휴리스틱 매개변수 평균화와 대조적으로, 이론적 보장을 갖춘 정적이고 명시적인 조합 규칙을 제공한다는 점에 있습니다. 이 연구는 자동회귀 모델 조합이 구조화된 확률적 연산으로 이해될 수 있으며, 더 모듈화되고 제어 가능한 LLM 구축을 가능하게 할 수 있음을 시사합니다. 그러나 저자들은 겸손하게도, 그들의 분해 가정은 실제로 모든 사전 훈련된 모델에 대해 완전히 성립하지 않을 수 있으며 경험적 평가의 범위가 현재 제한적임을 인정합니다.