기술 요약: CARE (Competence-Aware Reward Shaping)

1. 문제 정의

멀티모달 비디오 추론, 특히 비디오 질의응답(VideoQA) 분야에서 모델은 이질적인 입력을 처리하고, 시간적 변화를 추적하며, 중간 추론을 구성해야 합니다. 최근의 포스트 트레이닝(post-training) 방법들은 명시적인 사고 사슬(Chain-of-Thought, CoT) 추론을 장려하기 위해 강화 학습(RL)을 활용하고 있으나, 기존 방식들은 정적인 추론 길이 제어 전략(예: 고정된 보상, 페널티 또는 임계값)에 의존합니다.

본 논문은 이러한 정적 설계에서 발생하는 결정적인 **역량-제약 불일치(competence–constraint mismatch)**를 지적합니다:

• 초기 학습 단계: 모델의 역량이 낮을 때, 정적인 간결성 페널티는 유용한 탐색 궤적을 조기에 중단시켜 모델이 필요한 추론 경로를 발견하는 것을 방해할 수 있습니다.
• 후기 학습 단계: 모델이 더 숙련됨에 따라, 긴 추론에 대한 정적인 인센티브는 중복된 서술, 자기 검증을 위한 패딩, 그리고 해결 품질을 개선하지 못한 채 토큰만 소비하는 비효율적인 디코딩을 유도합니다.
• 정적 정규화: 고정된 길이 정규화는 사례의 난이도를 고려하지 못하여, 어려운 샘플에 필요한 긴 추론을 페널티를 주거나 쉬운 샘플에서의 장황함을 처벌하지 못하는 문제를 일으킵니다.

핵심 문제는 바람직한 "추론 예산(reasoning budget)"이 비정상적(non-stationary)이라는 점입니다. 즉, 탐색 중에는 확장되고 통합 단계에서는 축소되어야 하지만, 현재의 RL 프레임워크는 이를 고정된 하이퍼파라미터로 취급합니다.

2. 방법론: CARE 프레임워크

저자들은 GRPO (Group Relative Policy Optimization) 파이프라인에 통합되는 훈련 시점의 보상 프레임워크인 **CARE (Competence-Aware Reward Shaping)**를 제안합니다. CARE는 추론 시점의 컨트롤러 없이도 모델의 진화하는 역량에 따라 추론 길이에 대한 보상 선호도를 동적으로 조정합니다.

핵심 구성 요소

1. 역량 모니터 (EMA):

   • 즉각적인 배치 정확도(노이즈가 심함)를 사용하는 대신, CARE는 그룹 통과율의 지수 이동 평균(Exponential Moving Average, EMA)을 사용하여 모델 역량($P_{b,t}$)의 매끄러운 추정치를 유지합니다.
   • 이는 장기적인 능력 추세를 추적하기 위한 안정적인 전역 상태 변수를 제공합니다.

2. 단계별 라우팅 (Stage-Aware Routing):

   • 학습은 역량 임계값에 따라 네 가지 단계인 **Novice(초보), Explorer(탐험가), Proficient(숙련가), Master(거장)**로 나뉩니다.
   • Novice/Explorer: 보상이 탐색 공간을 최대화하기 위해 긴 추론을 강력하게 선호합니다.
   • Proficient/Master: 보상이 중복을 페널티하고, 간결하고 정보 밀도가 높은 추론을 선호하도록 전환됩니다.
   • 이 라우팅은 모델이 충분한 추론 패턴을 습득하기 전에 압축되는 것을 방지합니다.

3. 난이도 인지 노력 점수 (Difficulty-Aware Effort Scoring):

   • 장황함과 본질적인 작업 복잡성을 혼동하지 않도록 원시 토큰 길이가 배치 컨텍스트와 상대적으로 정규화됩니다.
   • 정규화된 노력 점수($z$)는 배치 통계(정답 응답의 평균 길이, 75 백분위수)와 조기 중단을 방지하기 위한 안정화 바닥값($T_{floor}$)을 사용하여 계산됩니다.
   • 시그모이드 함수가 현재 단계의 선호 계수($k_s$)에 따라 보상을 조절합니다.

4. 사후 증폭기 (Posterior Amplifier):

   • 일상적인 결과와 예상치 못한 강력한 성능을 구분하기 위해, CARE는 증폭 계수($A$)를 도입합니다.
   • 그룹 통과율이 역사적 역량 추정치를 크게 상회하는 경우($\Delta_{diff}$), 보상이 증폭됩니다. 이는 역사적으로 어려웠던 샘플에 대한 성공적인 탐색을 강화하는 데 특히 유용합니다.

5. 최종 보상 조립:

   • 총 보상은 작업 정확도($R_{acc}$), 포맷 보상, 그리고 CARE 노력 보상($R_{CARE}$)을 결합합니다.
   • 노력 항은 정답 여부에 의해 게이팅됩니다: $R_{CARE} = R_{raw} \cdot R_{acc}$.
   • 최종 목적 함수는 $R_{total} = R_{acc} + R_{format} + R_{CARE} + \lambda_{temp}R_{temporal}$ 입니다.

3. 주요 기여

1. 불일치 식별: 본 논문은 정적인 추론 길이 보상이 모델 역량의 비정상적 특성과 충돌하는 고정된 예산 선호도를 부과한다는 점을 공식적으로 식별했습니다.
2. CARE 프레임워크: 역량 기반 단계 라우팅, 난이도 정규화 및 사후 증폭을 통해 탐색 지향적 장문 추론에서 효율 지향적 간결한 추론으로 전환되는 새로운 보상 셰이핑 메커리즘을 제시합니다.
3. 발현적 적응성 (Emergent Adaptivity): 이 방법은 모델이 명시적인 추론 시점 컨트롤러 없이도 어려운 인스턴스에는 더 많은 추론을 할당하고 쉬운 인스턴스에는 적은 추론을 할당하도록 하는 적응형 추론 정책을 유도합니다.

4. 실험 결과

실험은 Qwen2.5-VL-7B 백본을 사용하여 Video-R1 데이터셋(260k 쌍)에서 수행되었으며, 다양한 벤치마크를 통해 평가되었습니다.

성능 향상

• 비디오 추론: CARE는 추론 집약적 데이터셋에서 Video-R1 베이스라인보다 유의미하게 높은 성능을 보였습니다:
  • VSI-Bench: 30.3에서 33.9로 향상.
  • VideoMMMU: 47.2에서 50.2로 향상.
  • MMVU: 63.5에서 64.2로 향상.
• 일반 비디오 이해: MVBench, TempCompass, VideoMME에서도 일관된 성능 향상이 관찰되었으며, 이는 효율성 이득이 일반적인 인지 능력을 희생시키지 않음을 보여줍니다.
• 확장성 (Scaling): 입력 프레임을 16에서 64로 늘려도 성능 향상이 일관되게 나타나, 풍부한 시간적 컨텍스트에 대한 강건성을 입증했습니다.

효율성 및 학습 역학

• 토큰 효율성: CARE는 정확도를 유지하거나 개선하면서도 토큰 소비를 크게 줄였습니다 (일부 벤치마크에서 최대 ~41%).
• Inverted-U 궤적: 학습 역학은 특징적인 "확장-압축" 사이클을 보여주었습니다. 역량이 성장함에 따라 추론 길이가 처음에는 증가(탐색)했다가 이후 감소(통합)하였는데, 이는 고정된 최적의 길이를 유지하려는 정적 베이스라인과 대조적입니다.
• 어블레이션 연구 (Ablation Studies):
  • 역량 인지 라우팅을 제거(Fixed-step)하면 상당한 성능 저하가 발생하여, 정적 단계 전환이 불충분함을 확인했습니다.
  • 사후 증폭기 또는 EMA 평활화를 제거하면 불안정성이나 어려운 샘플에서의 성능 저하가 발생했습니다.
  • 안정화 바닥값($T_{floor}$)은 훈련이 사소하고 짧은 응답으로 붕괴되는 것을 방지하는 데 결정적이었습니다.

5. 의의 및 주장

본 논문은 CARE가 추론 탐색과 실행 효율성 사이의 원칙적인 균형을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 적응형 예산 할당: 추론 길이가 정적인 정규화 항이 아니라, 정책과 함께 진화하는 제어 가능한 예산으로 취급되어야 함을 입증했습니다.
• 훈련 시점 내부화: 적응형 행동이 훈련 중에 정책 내에 "내재화"될 수 있음을 보여줌으로써, 복잡한 추론 시점 컨트롤러나 사후 절단(truncation)의 필요성을 제거했습니다.
• 강건성: CARE 프레임워크는 과잉 사고(over-thinking)와 과소 사고(under-thinking) 사이의 진동을 방지하여 RL 훈련을 안정화하며, 수렴 시 더 짧으면서도 정보가 풍부한 추론 궤적을 생성합니다.

저자들은 현재의 하이퍼파라미터 설정이 강력한 균형을 제공하지만, 절대적인 최적값은 모델 규모나 데이터 혼합에 따라 달라질 수 있다고 겸허히 언급했습니다. 핵심 기여는 역량 인지 자동 보상 셰이핑이 멀티모달 추론 시스템을 위한 해석 가능하고 효과적인 훈련 메커니즘임을 검증한 데 있습니다.