기술 요약: Activation Replay를 통한 대규모 멀티모달 모델의 추론 능력 향상

1. 문제 정의

검증 가능한 보상을 활용한 강화학습(RLVR)은 대규모 멀티모달 모델(LMM)의 추론 능력을 향상시키기 위한 지배적인 사후 학습(post-training) 패러다임으로 부상했습니다. 이러한 방식은 효과적이지만, RLVR이 모델의 행동을 변화시키는 근저의 메커니즘은 여전히 명확히 이해되지 않고 있습니다. 특히, RLVR이 LMM의 내부 입력 활성화(input activations)를 어떻게 수정하는지, 그리고 이러한 수정이 특정 맥락에서 추론을 의도치 않게 방해하는지 여부가 불분명합니다.

저자들은 RLVR이 예상치 못한 입력 활성화 변화를 유도하며, 특히 저엔트로피(low-entropy) 활성화를 영향을 미쳐 추론 성능을 저하시킬 수 있다는 가설을 세웠습니다. 또한, 기존의 RLVR 접근 방식은 모델의 샘플링 효율은 높이지만, Pass@K와 같은 지표에서 나타나듯 베이스 모델 이상의 새로운 추론 능력을 이끌어내지 못하는 "좁은 추론 범위(narrower reasoning coverage)" 문제를 겪는 경우가 많습니다.

2. 방법론: Activation Replay

이러한 문제를 해결하기 위해, 저자들은 비용이 많이 드는 정책 최적화나 아키텍처 변경 없이 테스트 시점에 멀티모달 추론을 촉진할 수 있는 새로운 학습 불필요(training-free) 방식인 Activation Replay를 제안합니다.

2.1. 핵심 메커니즘

이 방법은 테스트 시점에 시각적 토큰(visual tokens)을 조작하여, RLVR 사후 학습된 LMM의 저엔트로피 활성화를 조절하고, 이를 쌍을 이루는 베이스 LMM의 분포를 모방하도록 강제하는 방식으로 작동합니다.

1. 학습 가능한 토큰(Learnable Tokens): 이 방식은 RLVR 모델의 시각적 입력 토큰에 추가될 일련의 제로 초기화된 학습 가능 토큰 $\{x_1, x_2, ..., x_n\}$을 도입합니다.
2. 엔트로피 기반 선택: 이 방법은 저엔트로피 활성화와 고엔트로피 활성화를 구분합니다. 베이스 LMM의 최대 엔트로피를 기준으로 하는 동적 임계값 $\tau$를 사용하여 저엔트로피 활성화를 식별합니다 ($e^b_{l,i} < \max(h^b_l) * \tau$ 인 경우 $M_{l,i} = 1$).
3. KL 발산 최소화: 학습 가능한 토큰은 베이스 LMM의 저엔트로피 활성화와 RLVR LMM 사이의 쿨백-라이블러(KL) 발산을 최소화하도록 최적화됩니다. 업데이트 규칙은 다음과 같습니다:
   $$x_i \leftarrow x_i - \alpha \nabla_{x_i} (D_{KL}(P_{base} \| P_{rlvr}) \cdot M_i)$$
   여기서 $\alpha$는 가이드 강도를 조절합니다.
4. 테스트 시 적용: 최적화된 토근은 디코딩(그리디 또는 샘플링) 전의 입력에 추가되어, RLVR 모델의 순전파(forward pass) 과정 내에서 베이스 모델의 저엔트로피 활성화 패턴을 효과적으로 "재생(replay)"합니다.

2.2. 이론적 근거

이 설계는 두 가지 경험적 관찰에 근거합니다:

• Logit Lens 분석: RLVR은 상위 예측 및 토큰 수준의 분포를 변화시키며, 저엔트로피 활성화가 고엔트로피 활성화보다 훨씬 더 큰 변화를 겪습니다.
• 섭동(Perturbation) 및 개입(Intervention) 연구:
  • 섭동: 저엔트로피 활성화에 대한 더 작은 KL 발산 변화는 올바른 추론 경로에 대한 낮은 퍼플렉시티(perplexity)와 상관관계가 있습니다.
  • 개입: 베이스 모델의 저엔트로피 활성화를 RLVR 모델에 직접 주입하면 성능이 향리되는 반면, 고엔트로피 활성화를 주입하면 성능이 저하됩니다. 이는 저엔트로피 활성화가 추론을 안정화하는 역할을 하며, RLVR이 이를 방해할 수 있음을 시사합니다.

3. 주요 기여

• RLVR 효과에 대한 체계적 조사: 저자들은 RLVR이 LMM의 입력 활성화를 어떻게 변화시키는지에 대한 상세한 분석을 제공하며, 저엔트로피 활성화가 고엔트로피 활성화에 비해 불균형하게 크게 변화한다는 점을 밝혀냈습니다.
• Activation Replay: 베이스 LMM으로부터의 활성화를 재생함으로써 RLVR의 저엔트로피 활성화를 조절하기 위해 테스트 시점에 시각적 토큰을 조작하는 단순하고 학습이 필요 없는 방법을 제안합니다.
• 광범위한 경험적 검증: 이 방법은 수학적 추론, o3 스타일의 에이전트적 시각 탐색, 비디오 추론을 포함한 다양한 추론 시나리오에서 검증되었습니다.
• 좁은 추론 범위 완화: 이 접근 방식은 Pass@K 점수를 높여, RLVR 모델이 단순히 샘플링 효율성만 높이는 것이 아니라 추론의 경계를 확장함을 보여줍니다.

4. 실험 결과

저자들은 다양한 벤치마크에 걸쳐 여러 RLVR 사후 학습된 LMM(예: MMR1-Math, MM-Eureka, VL-Rethinker, DeepEyes, Video-R1)에 대해 Activation Replay를 평가했습니다.

• 수학적 추론: MathVerse, MathVision, WeMath, LogicVista를 포함한 데이터셋 전반에서 일관된 성능 향상이 관찰되었습니다. 예를 들어, VL-Rethinker-7B는 MathVerse에서 +2.2, MathVision에서 +2.9의 향상을 보였습니다.
• 에이전트적 추론: 고해상도 시각 탐색(HRBench)에서, 이 방법은 DeepEyes-7B의 H4 벤치마크 점수를 53.7에서 56.3으로 개선했습니다.
• 비디오 추론: Video-R1-7B의 경우, 이 접근 방식은 VideoMMMU (+4.0), MLVU (+1.7), VideoHolmes (+4.4)에서 이득을 얻었습니다.
• Pass@K: 이 방법은 Pass@K 점수를 유의미하게 향상시켰으며(예: Pass@16에서 큰 차이), 이는 단순히 샘플링 효율성을 높이는 것이 아니라 모델의 추론 경계를 확장함을 나타냅니다.
• 절제 연구(Ablation Studies):
  • 임계값 ($\tau$): 더 낮은 임계값(더 적고 엄격하게 저엔트로피 활성화를 선택)이 일반적으로 더 나은 결과를 냈으며, 이는 고엔트로피 활성화를 재생하는 것이 해로울 수 있음을 확인시켜 줍니다.
  • 강도 ($\alpha$): 더 큰 가이드 강도가 일반적으로 성능을 향상시켰으며, 이는 핵심 가설을 입증합니다.

5. 의의 및 주장

본 논문은 Activation Replay가 재학습에 드는 계산 비용 없이 사후 학습된 LMM의 추론 능력을 향상시킬 수 있는 실용적이고 효율적인 솔루션을 제공한다고 주장합니다. 저자들은 RLVR이 추론에 필수적인 저엔트로피 활성화를 부주의하게 방해한다는 점을 식별함으로써, 베이스 모델의 안정적인 표현을 "재생"하는 것이 이러한 편차를 교정할 수 있음을 입증했습니다.

저자들은 자신들의 접근 방식이 다음을 강조합니다:

1. 추론 향상과 학습의 분리: 이는 사후(post-hoc) 테스트 시점의 개입으로 작동합니다.
2. 모달리티 간 일반화: 정적 이미지, 다회차 에이전트 작업, 시간적 비디오 추론 모두에 효과적입니다.
3. 강건성 개선: 초기 컨텍스트 처리를 안정화함으로써 일부 RLVR 모델에서 관찰되는 "과도한 생각(overthinking)" 또는 추론 실패를 완화합니다.

이 연구는 RLVR 모델의 "내부 작동 방식"이 활성화 조작을 통해 조절될 수 있음을 시사하며, 전통적인 정책 최적화를 넘어 멀티모달 추론을 최적화하는 새로운 방향을 제시합니다.