기술 요약: 동적 모델 보간을 통한 시스템 1 & 2의 시너지

문제 정의

대규모 언어 모델(LLM)은 "시스템 1"(직관적, 빠름, 간결함)과 "시스템 2"(심사숙고, 느림, 추론 중심)라는 기능적 이분법을 보입니다. 시스템 2 모델(예: o1, DeepSeek-R1)은 확장된 사고 사슬(Chain-of-Thought, CoT)을 통해 복잡한 작업에서 우수한 정확도를 달ska하지만, 높은 계산 비용과 장황한 출력이라는 단점이 있습니다. 반면, 시스템 1 모델은 효율적이지만 깊은 추론 능력이 부족합니다.

현재의 연구들은 이러한 모드들을 통합하거나 주로 **출력 제어(output control)**를 통해 시스템 2의 효율성을 최적화하려고 시도합니다. 이러한 방식은 토큰 예산을 제한하거나, 조기 종료(early-exit) 메커니즘을 적용하거나, CoT를 압축하는 등 모델이 생성하는 내용을 제한합니다. 저자들은 이러한 패러다임이 잘못 설정되었다고 주장합니다. 출력 길이는 인지적 구성의 결과일 뿐, 비효율성의 근본 원인이 아니기 때문입니다. 또한, 두 모드 사이를 매끄럽게 전환하며 적응할 수 있는 단일 통합 모델을 학습시키는 것은, 시스템 2의 장황한 스타일이 시스템 1의 간결함과 충돌하여 공동 최적화 과정에서 상호 간섭을 일으키는 "제로섬(zero-sum) 특성" 때문에 여전히 어려운 과제로 남아 있습니다.

방법론: DAMI (DynAmic Model Interpolation, 동적 모델 보간)

본 논문은 출력 제어(생성 제한)에서 **역량 제어(capability control)**로의 패러다임 전환을 제안하며, 추가적인 베이스 모델 학습 없이 기존의 시스템 1(Instruct) 및 시스템 2(Thinking) 체크포인트를 활용하여 모델이 어떻게 생각하는지를 조절합니다.

1. 이론적 토대

저자들은 Instruct($\Theta^{(I)}$) 모델과 Thinking($\Theta^{(T)}$) 모델 사이의 선형 파라미터 보간이 예측 가능한 동작을 생성한다는 것을 입증하였으며, 이는 세 가지 경험적 및 이론적 발견에 근거합니다:

• 성능 단조성(Performance Monotonicity): 보간 계수 $\lambda$(여기서 $\lambda=0$은 Instruct, $\lambda=1$은 Thinking)를 증가시키면 정확도와 효율성 사이의 매끄럽고 볼록한 파레토 프런티어(Pareto frontier)가 형성됩니다. 중간 단계의 모델들은 종종 양 끝단의 모델보다 뛰어난 성능을 보이며, Thinking 모델보다 적은 토큰을 사용하면서도 Instruct 모델보다 높은 정확도를 달성합니다.
• 표현 연속성(Representation Continuity): 주성분 분석(PCA) 결과, 보간된 모델들은 표현 공간 내에서 연속적인 궤적을 형성하며, 첫 번째 주성분은 $\lambda$와 강한 상관관계($r=0.974$)를 가집니다.
• 구조적 연결성(Structural Connectivity): Instruct 모델과 Thinking 모델은 모든 트랜스포머 레이어에 걸쳐 높은 코사인 유사도(>0.99)를 보이며, 이는 **선형 모드 연결성(Linear Mode Connectivity, LMC)**을 만족함을 나타냅니다. 이는 두 모델이 동일한 최적화 베이슨(optimization basin) 내에 존재함을 의미하며, 보간 경로가 손실(loss)이 높은 영역을 피할 수 있음을 보장합니다.

2. DAMI 프레임워크

핵-혁신은 각 입력에 대해 모델의 인지적 깊이를 구성하기 위해 쿼리별 추론 강도(Reasoning Intensity) $\lambda(q) \in [0, 1]$를 동적으로 추정하는 DAMI입니다:
$$\Theta^{(M)}(q) = \lambda(q)\Theta^{(T)} + (1 - \lambda(q))\Theta^{(I)}$$

$\lambda(q)$를 추정하기 위해 두 가지 상호 보완적인 방법이 제안됩니다:

• DAMI-Pref (학습 기반): 도메인 내 학습 데이터가 있는 시나리오를 위해 설계되었습니다. 이는 $\lambda$ 추정을 회귀(regression)가 아닌 선호도 학습(preference learning) 문제로 프레임화합니다. 경량화된 보상 모델을 학습시켜 계층적 기준에 따라 보간 계수 쌍을 점수화합니다. 이때 정확도를 우선순위로 두고, 동점일 경우 효율성(토큰 수)을 결정 요인으로 사용합니다. 이 방식은 레이블 노이즈에 강하며 회귀 기반 방식보다 적은 데이터를 필요로 합니다.
• DAMI-Conf (학습 불필요): 제로샷 배포를 위해 설계되었습니다. 베이스 모델의 내재적 **신뢰도 신호(confidence signals)**를 사용하여 $\lambda(q)$를 추정합니다. 이 방식은 두 가지 신호를 융합합니다:
  1. 전체적 모호성(Holistic Ambiguity): 전체 시스템의 불확실성을 측정합니다 (두 모델 모두 신뢰도가 낮으면 난이도가 높음을 의미).
  2. 인지적 불일치(Cognitive Discrepancy): Instruct 모델과 Thinking 모델 간의 신뢰도 차이를 측정합니다 (불일치가 크면 쿼리가 별도의 전략을 요구함을 의미).
     이 신호들을 융합하여 보정된 시그모이드 함수를 통과시킴으로써 $\lambda(q)$를 결정합니다.

주요 기여

1. 패러다임 전환: 본 논문은 출력 제어(생성 제한)에서 역량 제어(파라미터 보간을 통한 인지적 구성 조절)로의 이동을 옹호합니다.
2. DAMI 프레임워크: 기존 체크포인트를 활용하여 통합 모델을 처음부터 학습시키지 않고도 쿼리에 적응하는 추론 강도를 가능하게 하는 새로운 프레임워크를 제시합니다.
3. 이중 추정 전략: 데이터 가용성(학습 기반) 대 제로샷 요구사항(신뢰도 기반)이라는 서로 다른 배포 제약 조건을 해결하기 위해 DAMI-Pref와 DAMI-Conf를 도입했습니다.
4. 이론적 검증: 선형 보간이 LMC를 만족하여 유효하고, 단조적이며, 연속적인 성능 및 표현의 전이를 보장한다는 점을 공식적 증명과 경험적 증거를 통해 입증했습니다.

실험 결과

저자들은 Qwen3-4B 및 DeepSeek-R1/Qwen2.5-7B 모델 제품군을 사용하여 다섯 가지 수학적 추론 벤치마크(GSM8K, MATH-500, AMC, AIME 2024/25)에서 DAMI를 평가했습니다.

• 성능 대비 효율성: DAMI는 정적 병합(static merging), 조기 종료(DEER), 라우팅(routing) 베이스라인 모델들과 비교하여 일관되게 우수한 파레토 프런티어를 구축했습니다.
  • Qwen3-4B에서, DAMI-Pref는 91.6%의 정확도(Thinking 모델 대비 절대적 +3.4% 향상)를 달성하는 동시에 토큰 소비량을 29% 줄였습니다.
  • DAMI-Conf는 90.7%의 정확도(Thinking 대비 +2.5%)를 유지하면서 토큰 소비량을 40% 절감했습니다.
• 적응형 동작: "사고 비율(Thinking Ratio)"(깊은 추론을 트리거하는 쿼리의 비율)은 난이도에 따라 적응합니다. 단순한 작업(GSM8K)의 경우 DAMI는 약 25-41%의 쿼리에 대해서만 깊은 사고를 활성화하는 반면, 복잡한 작업(AIME)에서는 이 비율이 79-95%까지 상승합니다.
• 멀티모달 일반화: Qwen3-VL-8B를 사용하여 멀티모달 작업(비디오 및 이미지-텍스트 추론)에 대한 프레임워크를 테스트했습니다. DAMI-Conf는 베이스라인보다 우수한 성능을 보였으며, 비디오 이해에서 2.5%, 이미지-텍스트 추론에서 1.6%의 절대적 향상을 달성했습니다.
• 사례 연구: 한 기하학 문제에서, Thinking 모델은 중복된 검증 과정을 포함하여 2,846개의 토큰을 생성했습니다. 반면 DAMI는 문제를 직접 공식화하고 계산함으로써 351개의 토큰만으로 정답을 도출해 냈으며, 이는 역량 제어가 단순히 출력을 자르는 것이 아니라 본질적으로 효율적인 추론을 생성함을 보여줍니다.

의의 및 주장

본 논문은 빠르고 느린 사고 사이의 이분법이 학습 시점에 해결되어야 할 이진적 선택이 아님을 주장합니다. 파라미터 공간에서의 단순한 선형 연산을 통해 접근 가능한 매끄러운 스펙트럼 상에 추론의 깊이가 존재함을 입증함으로써, DAMI는 유연한 인지 구조를 제공합니다.

저자들은 자신들의 접근 방식이 통합된 System 1/2 모델을 학습시키는 어려움을 피하고, 출력 제약 방식(추론 사슬을 잘라낼 위험이 있는)과 관련된 성능 저하를 방지한다고 강조합니다. 대신, DAMI는 쿼리에 맞춰 모델의 인지적 깊이를 동적으로 구성함으로써, System 1의 효율성과 System 2의 추론 깊이를 효과적으로 결합하여 "최적의 지점(sweet spot)"을 찾아냅니다. 이 연구는 추론 자원 할당이 최적의 $\lambda(q)$를 추정함으로써 모델의 행동을 직접 결정하는, 잘 정의된 예측 문제로 다뤄질 수 있음을 시사합니다.