기술 요약: 대규모 언어 모델을 위한 동적 중첩 깊이 (Dynamic Nested Depth, DND)

1. 문제 정의

대규모 언어 모델(LLM)을 개선하기 위한 기존의 패러다임은 파라미터, 데이터, 그리고 연산량을 확장하는 것에 의존합니다. 그러나 이러한 접근 방식은 훈련과 추론 모두에서 기하급수적인 계산 오버헤드를 발생시킵니다. 최근의 통찰에 따르면 예측의 난이도는 토큰마다 크게 다릅니다. 많은 토큰은 예측하기 매우 쉬운 반면, 어떤 토큰들은 심도 있는 계산 처리를 필요로 합니다. 토큰 프루닝(token pruning)과 같은 기존 방식은 정보가 없는 토큰을 버림으로써 오버헤드를 줄이지만, 이는 "유지 또는 폐기"라는 이진적 기반 위에서 작동합니다. 또한, 잠재 전략(Latent Strategies)과 같은 테스트 타임 스케일링 전략은 은닉 상태(hidden states)에서의 재귀적 연산이 추론 능력을 향상시킨다는 것을 보여주었으나, 단순한 입력에 대한 불필요한 비용을 발생시키지 않으면서 가장 중요한 토큰에만 동적으로 추가적인 깊이를 할당할 수 있는 메커니즘은 부족합니다. 따라서 기존 아키텍처와 호환 가능한 포스트 트레이닝(post-training) 방식으로서, 쉬운 토큰에 대해서는 표준적인 처리를 유지하면서 어려운 토큰에만 추가적인 계산을 적응적으로 할당할 수 있는 효율적인 접근법이 필요합니다.

2. 방법론: 동적 중첩 깊이 (DND)

DND는 기존 트랜스포머 레이어에 동적 중첩 깊이 메커니즘을 통합하는 포스트 트레이닝 방법입니다. 이는 결정적인 토큰을 식별하고, 동일한 레이어 내에서 추가적인 처리 과정("리뷰")을 거치게 하는 한편, 쉬운 토큰들은 정상적으로 통과하도록 허용합니다.

2.1 아키텍처 설계

DND 전략은 사전 학습된 추론 패턴을 보존하기 위해 초기 및 최종 레이어를 제외한 중간 레이어($L_s$부터 $L_e$까지)에 적용됩니다. 아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

• 토큰 선택 라우팅 (Token-Choice Routing): 전체 시퀀스에 대해 Top-k를 수행하여 정보 누출 위험이 있는 "전문가 선택형(expert-choice)" 라우팅과 달리, DND는 토큰 선택(token-choice) 전략을 채택합니다. 선형 라우터 $R$은 바닐라 순전파(vanilla forward pass)로부터 각 토큰의 은닉 상태 $x_i^v$를 처리하여 선호도 점수를 생성합니다. 이 점수는 시그모이드 함수를 통해 정규화되어 확률 $p_i \in (0, 1)$을 생성합니다. 토킨은 $p_i > \tau$인 경우에만 재처리를 위해 선택됩니다.
• 중첩 깊이 처리 (Nested Depth Processing): 선택된 토큰들은 마스킹되어 압축된 시퀀스로 묶입니다. 이 시퀀스는 동일한 트랜스포머 레이어 $L_i$를 통해 두 번째 순전파를 거치며, 이는 실질적으로 "중첩된" 깊이를 생성합니다. 이 과정의 출력인 $X_d$는 결정적인 토큰들을 위한 정제된 은닉 상태를 나타냅니다.
• 정규화된 융합 (Normalized Fusion): 토큰의 최종 출력은 바닐라 출력($X_v$)과 중첩 출력($X_d$)의 융합입니다. 선택된 토큰의 경우, 융합은 게이팅 메커니즘에 의해 제어됩니다: $x_i = (\beta \cdot p_i) \cdot x_i^d + (1 - \beta \cdot p_i) \cdot x_i^v$. 여기서 $\beta$는 학습 가능한 균형 파라미터입니다. 선택되지 않은 토큰은 바닐라 출력을 그대로 유지합니다.

2.2 훈련 전략

라우터가 토큰을 효과적으로 구별하도록 학습하고 선택 과정이 안정적으로 유지되도록 하기 위해, 저자들은 두 가지 새로운 훈련 전략을 제안합니다:

• 라우터 제어 손실 (Router Controlling Loss): 라우터 점수가 클러스터링(선택의 불안정성 유발)되거나 포화(그래디언트 소실 유발)되는 것을 방지하기 위해 이중 목적 손실이 도입됩니다:
  • 점수 분산 손실 ($L_{sd}$): 정보 엔트로피를 기반으로 하며, 점수가 넓은 범위에 퍼지도록 유도하여 토큰 간의 명확한 구분을 보장합니다.
  • 분포 보존 손실 ($L_{dp}$): 평균 제곱 오차(MSE) 페널티를 사용하여 점수를 시그모이드의 동적 범위 중심(0.5)으로 끌어당김으로써, 점수가 포화 영역(0 또는 1)으로 붕괴되는 것을 방지하고 그래디언트 흐름을 유지합니다.
• 임계값 제어 체계 (Threshold Control Scheme): top-k 제약 없이 안정적인 선택 비율을 유지하기 위해 동적 임계값 제어가 사용됩니다:
  • 버퍼 비례 제어 (Buffer Proportional Control): 실제 선택 비율과 목표 비율 $k_{target}$ 사이의 오차를 기반으로 임계값 $\tau$가 훈련 버퍼 내에서 실시간으로 업데이트됩니다.
  • EMA 동기화 (EMA Synchronization): 라우터의 최적화와 임계값 사이의 불일치를 방지하기 위해, 이상적인 임계값(샘플 버퍼로부터 도출됨)의 지수 이동 평균(EMA)을 사용하여 동작 임계값을 부드럽게 조정함으로써 장기적인 안정성을 확보합니다.

3. 주요 기여

1. 동적 중첩 깊이 (DND): 결정적인 토큰을 적응적으로 식별하고 중첩 재처리를 통해 계산을 선택적으로 심화함으로써, 단순한 이진 토큰 프루닝을 넘어선 새로운 패러다임을 제시합니다.
2. 맞춤형 훈련 전략: 선택의 정밀도를 위한 라우터 제어 손실과 선택의 안정성을 위한 적응형 임계값 제어 체계를 특징으로 하는 종합적인 훈련 프레임워크를 제공하여, 견고한 토큰 수준의 적응형 계산을 가능하게 합니다.
3. 포스트 트레이닝 통합: 최소한의 파라미터 및 계산 오버헤드로 밀집(dense) 및 혼합 전문가(MoE) 아키텍처에 직접 통합할 수 있는 플러그 앤 플레이(plug-and-play) 방식입니다.

4. 실험 결과

저자들은 일반 지식, 수학, 추론, 코딩 및 에이전트 작업에 걸친 다양한 벤치마크에서 DND를 평가했습니다.

• 밀집 모델 (Dense Models): 소규모 밀집 모델(Qwen3-1.7B, Llama3.2-1B, Gemma3-1B)에서 DND는 표준 지도 미세 조정(SFT) 대비 각각 평균 1.88%, 2.61%, **2.50%**의 성능 향상을 달밀했습니다. 특히 복잡한 추론 작업(예: BBH, GPQA)에서 눈에 띄는 이득이 관찰되었습니다.
• MoE 모델: 대규모 희소 MoE 모델인 Qwen3-30B-A3B에서 DND는 17개 벤치마크에서 평균 **0.87%**의 향상을 기록했습니다. 가장 큰 폭의 향상은 코딩 및 에이전트 작업(예: BFCL v3에서 +2.05)에서 나타났습니다.
• 효율성: 이 방법은 매우 적은 파라미터 증가(< 0.1M)를 수반합니다. 계산 측면에서, 토큰의 20%를 리뷰하는 데 약 6%의 추가 FLOPs가 추가됩니다. 추론 처리량 측정 결과, 다양한 시퀀스 길이에서 바닐라 모델 속도의 **91.6%~93.1%**를 유지함을 확인했습니다.
• 절제 연구 (Ablation Studies): 라우터 제어 손실과 임계값 제어 체계가 모두 필수적임을 실험을 통해 확인했습니다. 이를 제거하면 성능 향상이 크게 감소합니다. 최적의 토큰 선택 비율은 약 20~30%인 것으로 나타났습니다.

5. 의의 및 주장

본 논문은 DND가 대규모 스케일링이나 처음부터 다시 훈련하는 막대한 비용 없이도 LLM의 상당한 역량을 끌어올릴 수 있는 매우 파라미터 효율적인 접근법이라고 주장합니다. 높은 불확실성(바닐라 패스의 높은 로짓 엔트로피로 입증됨)을 보이는 토큰에 계산 자원을 동적으로 할당함으로써, DND는 모델이 어려운 개념을 내부적으로 "리뷰"할 수 있게 합니다. 이 접근 방식은 추론과 복잡한 계획이 핵심적인 토큰의 희소한 부분집합에 의존한다는 가설을 검증하며, 이러한 토큰에 추가적인 깊이를 제공하는 것이 모델 성능을 크게 향상시킨다는 것을 보여줍니다. 이 방법은 기존의 최첨단 모델에 적용하여 최소한의 오버헤드로 추론 및 생성 능력을 높일 수 있는 실용적인 포스트 트레이닝 솔루션으로 제시됩니다.