Resumo Técnico: CARE (Competence-Aware Reward Shaping)

1. Definição do Problema

No raciocínio de vídeo multimodal, particularmente em Video Question Answering (VideoQA), os modelos devem processar entradas heterogêneas, rastrear mudanças temporais e compor inferências intermediárias. Embora métodos recentes de pós-treinamento utilizem Aprendizado por Reforço (RL) para incentivar o Chain-of-Thought (CoT) explícito, as abordagens existentes dependem de estratégias de controle de comprimento de raciocínio estáticas (ex: recompensas, penalidades ou limiares fixos).

O artigo identifica um descompasso entre competência e restrição nesses designs estáticos:

• Início do Treinamento: Quando a competência do modelo é baixa, penalidades de brevidade estáticas podem truncar prematuramente trajetórias de exploração úteis, impedindo o modelo de descobrir camhos de inferência necessários.
• Final do Treinamento: À medida que o modelo se torna mais competente, incentivos estáticos para raciocínios longos encorajam narrações redundantes, preenchimento de autoverificação e decodificação ineficiente, consumindo tokens sem melhorar a qualidade da solução.
• Normalização Estática: A normalização de comprimento fixa falha em considerar a dificuldade da instância, frequentemente penalizando o raciocínio longo necessário em amostras difíceis ou falhando em penalizar a verbosidade em amostras fáceis.

O problema central é que o "orçamento de raciocínio" desejável não é estacionário; ele deve expandir durante a exploração e contrair durante a consolidação, mas os frameworks de RL atuais tratam isso como um hiperparâmetro fixo.

2. Metodologia: Framework CARE

Os autores propõem o CARE (Competence-Aware Reward Shaping), um framework de modelagem de recompensa em tempo de treinamento integrado ao pipeline GRPO (Group Relative Policy Optimization). O CARE ajusta dinamicamente a preferência de recompensa para o comprimento do raciocínio com base na competência evolutiva do modelo, sem exigir controladores em tempo de inferência.

Componentes Principais

1. Monitor de Competência (EMA):

   • Em vez de usar a acurácia instantânea do lote (que é ruidosa), o CARE mantém uma estimativa suavizada da competência do modelo ($P_{b,t}$) usando uma Média Móvel Exponencial (EMA) das taxas de aprovação do grupo.
   • Isso fornece uma variável de estado global estável para rastrear tendências de capacidade a longo prazo.

2. Roteamento Sensível ao Estágio (Stage-Aware Routing):

   • O treinamento é dividido em quatro estágios progressivos baseados em limiares de competência: Novice (Novato), Explorer (Explorador), Proficient (Proficiente) e Master (Mestre).
   • Novice/Explorer: A recompensa favorece fortemente raciocínios mais longos para maximizar o espaço de exploração.
   • Proficient/Master: A recompensa muda para penalizar a redundância, favorecendo o raciocínio conciso e denso em informação.
   • Este roteamento garante que o modelo não seja comprimido antes de ter adquirido padrões de raciocínio suficientes.

3. Pontuação de Esforço Sensível à Dificuldade:

   • O comprimento bruto de tokens é normalizado em relação ao contexto do lote para evitar confundir verbosidade com complexidade intrínseca da tarefa.
   • O score de esforço normalizado ($z$) é calculado usando estatísticas do lote (comprimento médio de respostas corretas, 75º percentil) e um piso estabilizador ($T_{floor}$) para evitar truncamento prematuro.
   • Uma função sigmoide modula a recompensa com base no coeficiente de preferência do estágio atual ($k_s$).

4. Amplificador de Posterior:

   • Para distinguir resultados rotineiros de desempenhos inesperadamente fortes, o CARE introduz um fator de amplificação ($A$).
   • Se a taxa de aprovação de um grupo exceder significativamente a estimativa histórica de competência ($\Delta_{diff}$), a recompensa é amplificada. Isso é particularmente útil para reforçar a exploração bem-sucedida em amostras historicamente difíceis.

5. Montagem da Recompensa Final:

   • A recompensa total combina acurácia da tarefa ($R_{acc}$), recompensas de formatação e a recompensa de esforço CARE ($R_{CARE}$).
   • O termo de esforço é controlado pelo acerto: $R_{CARE} = R_{raw} \cdot R_{acc}$.
   • O objetivo final é $R_{total} = R_{acc} + R_{format} + R_{CARE} + \lambda_{temp}R_{temporal}$.

3. Principais Contribuições

1. Identificação do Descompasso: O artigo identifica formalmente que recompensas de comprimento de raciocínio estáticas impõem uma preferência de orçamento fixo que conflita com a natureza não estacionária da competência do modelo em RL.
2. Framework CARE: Um mecanismo de modelagem de recompensa inovador que transita de um raciocínio de longo formato orientado à exploração para um raciocínio conciso orientado à eficiência através de roteamento de estágio baseado em competência, normalização de dificuldade e amplificação de posterior.
3. Adaptabilidade Emergente: O método induz uma política de raciocínio adaptativa onde o modelo se auto-organiza para alocar mais raciocínio para instâncias difíceis e menos para instâncias fáceis, alcançando isso sem controladores explícitos em tempo de inferência.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando o backbone Qwen2.5-VL-7B no conjunto de dados Video-R1 (260k pares) e avaliados em múltiplos benchmarks.

Ganhos de Desempenho

• Raciocínio de Vídeo: O CARE superou significativamente o baseline Video-R1 em datasets intensivos em raciocínio:
  • VSI-Bench: Melhorou de 30.3 para 33.9.
  • VideoMMMU: Melhorou de 47.2 para 50.2.
  • MMVU: Melhorou de 63.5 para 64.2.
• Compreensão Geral de Vídeo: Melhorias consistentes foram observadas no MVBench, TempCompass e VideoMME, demonstrando que os ganhos de eficiência não ocorrem às custas da percepção geral.
• Escalabilidade: Os ganhos de desempenho foram consistentes ao aumentar o número de frames de entrada de 16 para 64, indicando robustez a contextos temporais mais ricos.

Eficiência e Dinâmica de Treinamento

• Eficiência de Tokens: O CARE alcançou uma redução significativa no consumo de tokens (até ~41% em alguns benchmarks) enquanto mantinha ou melhorava a acurácia.
• Trajetória em U-Invertido: A dinâmica de treinamento revelou um ciclo característico de "expansão-compressão". O comprimento do raciocínio inicialmente aumentou (exploração) e depois diminuiu (consolidação) conforme a competência crescia, contrastando com o baseline estático que mantinha um comprimento fixo e muitas vezes subótimo.
• Estudos de Ablação:
  • Remover o roteamento sensível à competência (Fixed-step) causou quedas significativas de desempenho, confirmando que transições de estágio estáticas são insuficientes.
  • Remover o Amplificador de Posterior ou o suavizamento EMA levou à instabilidade ou redução de desempenho em instâncias difíceis.
  • O Piso Estabilizador ($T_{floor}$) foi crítico para evitar o colapso do treinamento em respostas curtas e triviais.

5. Significância e Alegações

O artigo alega que o CARE fornece um equilíbrio principiado entre a exploração de raciocínio e a eficiência de execução. Sua principal significância reside em:

• Alocação de Orçamento Adaptativa: Demonstrar que o comprimento do raciocínio deve ser tratado como um orçamento controlável que evolui com a política, em vez de um termo de regularização estático.
• Internalização em Tempo de Treinamento: Mostrar que o comportamento adaptativo pode ser "internalizado" na política durante o treinamento, eliminando a necessidade de controladores complexos em tempo de inferência ou truncamento post-hoc.
• Robustez: O framework estabiliza o treinamento de RL, evitando a oscilação entre o excesso de pensamento (over-thinking) e a falta de pensamento (under-thinking), e produz traços de raciocínio mais curtos, porém mais informativos, na convergência.

Os autores observam modestamente que, embora as configurações atuais de hiperparâmetros forneçam um equilíbrio forte, o ótimo absoluto pode variar com a escala do modelo ou misturas de dados. A contribuição central é a validação da modelagem de recompensa automática sensível à competência como um mecanismo de treinamento interpretável e eficaz para sistemas de raciocínio multimodal.