Résumé Technique : CARE (Competence-Aware Reward Shaping)

1. Énoncé du Problème

Dans le raisonnement vidéo multimodal, particulièrement dans le cadre du VideoQA (Video Question Answering), les modèles doivent traiter des entrées hétérogènes, suivre les changements temporels et composer des inférences intermédiaires. Bien que les méthodes récentes de post-entraînement utilisent l'apprentissage par renforcement (RL) pour encourager un raisonnement explicite de type Chaîne de Pensée (CoT), les approches existantes reposent sur des stratégies de contrôle de la longueur de raisonnement statiques (par exemple, des récompenses, des pénalités ou des seuils fixes).

Le papier identifie un décalage compétence-contrainte critique dans ces conceptions statiques :

• Début de l'entraînement : Lorsque la compétence du modèle est faible, les pénalités de brièveté statiques peuvent tronquer prématurément les trajectoires d'exploration utiles, empêchant le modèle de découvrir les chemins d'inférence nécessaires.
• Fin de l'entraînement : À mesure que le modèle devient plus compétent, les incitations statiques pour un raisonnement long encouragent la narration redondante, le remplissage par auto-vérification et un décodage inefficace, consommant des jetons (tokens) sans améliorer la qualité de la solution.
• Normalisation Statique : La normalisation de la longueur fixe ne parvient pas à rendre compte de la difficulté des instances, pénalisant souvent le raisonnement long nécessaire sur des échantillons difficiles ou échouant à pénaliser la verbosité sur des cas faciles.

Le problème central est que le « budget de raisonnement » souhaitable est non stationnaire ; il devrait s'étendre durant l'exploration et se contracter durant la consolidation, alors que les cadres de RL actuels le traitent comme un hyperparamètre fixe.

2. Méthodologie : Cadre CARE

Les auteurs proposent CARE (Competence-Aware Reward Shaping), un cadre de récompense de temps d'entraînement intégré au pipeline GRPO (Group Relative Policy Optimization). CARE ajuste dynamiquement la préférence de récompense pour la longueur du raisonnement en fonction de l'évolution de la compétence du modèle, sans nécessiter de contrôleurs au moment de l'inférence.

Composants Clés

1. Moniteur de Compétence (EMA) :

   • Au lieu d'utiliser la précision instantanée par lot (qui est bruitée), CARE maintient une estimation lissée de la compétence du modèle ($P_{b,t}$) en utilisant une Moyenne Mobile Exponentielle (EMA) des taux de réussite des groupes.
   • Cela fournit une variable d'état globale stable pour suivre les tendances de capacité à long terme.

2. Routage Sensible aux Étapes (Stage-Aware Routing) :

   • L'entraînement est divisé en quatre étapes progressives basées sur des seuils de compétence : Novice, Explorateur, Proficient (Compétent) et Master (Expert).
   • Novice/Explorateur : La récompense favorise fortement un raisonnement plus long pour maximiser l'espace d'exploration.
   • Proficient/Master : La récompense bascule vers la pénalité de la redondance, favorisant un raisonnement concis et dense en informations.
   • Ce routage garantit que le modèle n'est pas compressé avant d'avoir acquis suffisamment de schémas de raisonnement.

3. Score d'Effort Sensible à la Difficulté :

   • La longueur brute des jetons est normalisée par rapport au contexte du lot pour éviter de confondre la verbosité avec la complexité intrinsèque de la tâche.
   • Le score d'effort normalisé ($z$) est calculé à l'aide de statistiques de lot (longueur moyenne des réponses correctes, 75e percentile) et d'un plancher de stabilisation ($T_{floor}$) pour éviter une troncature prématurée.
   • Une fonction sigmoïde module la récompense en fonction du coefficient de préférence de l'étape actuelle ($k_s$).

4. Amplificateur de Postérieur :

   • Pour distinguer les résultats de routine des performances inattendues, CARE introduit un facteur d'amplification ($A$).
   • Si le taux de réussite d'un groupe dépasse significativement l'estimation historique de la compétence ($\Delta_{diff}$), la récompense est amplifiée. Ceci est particulièrement utile pour renforcer l'exploration réussie sur des échantillons historiquement difficiles.

5. Assemblage Final de la Récompense :

   • La récompense totale combine la précision de la tâche ($R_{acc}$), les récompenses de formatage et la récompense d'effort CARE ($R_{CARE}$).
   • Le terme d'effort est filtré par la correction : $R_{CARE} = R_{raw} \cdot R_{acc}$.
   • La récompense finale est $R_{total} = R_{acc} + R_{format} + R_{CARE} + \lambda_{temp}R_{temporal}$.

3. Contributions Clés

1. Identification du Décalage : Le papier identifie formellement que les récompenses de longueur de raisonnement statiques imposent une préférence de budget fixe qui entre en conflit avec la nature non stationnaire de la compétence du modèle en RL.
2. Cadre CARE : Un nouveau mécanisme de façonnage de récompense qui passe d'un raisonnement long orienté vers l'exploration à un raisonnement concis orienté vers l'efficacité via un routage par étapes basé sur la compétence, une normalisation de la difficulté et une amplification de postérieur.
3. Adaptativité Émergente : La méthode induit une politique de raisonnement adaptative où le modèle s'auto-organise pour allouer plus de raisonnement aux instances difficiles et moins aux instances faciles, réalisant cela sans contrôleurs explicites au moment de l'inférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur le backbone Qwen2.5-VL-7B en utilisant le jeu de données Video-R1 (260k paires) et évaluées sur plusieurs benchmarks.

Gains de Performance

• Raisonnement Vidéo : CARE a surpassé de manière significative la ligne de base Video-R1 sur les jeux de données intensifs en raisonnement :
  • VSI-Bench : Amélioration de 30,3 à 33,9.
  • VideoMMMU : Amélioration de 47,2 à 50,2.
  • MMVU : Amélioration de 63,5 à 64,2.
• Compréhension Vidéo Générale : Des améliorations constantes ont été observées sur MVBench, TempCompass et VideoMME, démontrant que les gains d'efficacité ne se font pas au détriment de la perception générale.
• Mise à l'échelle (Scaling) : Les gains de performance sont restés cohérents lors de l'augmentation du nombre de frames d'entrée de 16 à 64, indiquant une robustesse aux contextes temporels plus riches.

Efficacité et Dynamique d'Entraînement

• Efficacité des Jetons : CARE a réalisé une réduction significative de la consommation de jetons (jusqu'à environ 41 % sur certains benchmarks) tout en maintenant ou en améliorant la précision.
• Trajectoire en U Inversé : La dynamique d'entraînement a révélé un cycle caractéristique d'« expansion-compression ». La longueur du raisonnement a d'abord augmenté (exploration) puis a diminué (consolidation) à mesure que la compétence augmentait, contrastant avec la ligne de base statique qui maintenait une longueur fixe et souvent sous-optimale.
• Études d'Ablation :
  • Supprimer le routage sensible à la compétence (Fixed-step) a provoqué des chutes de performance significatives, confirmant que les transitions d'étapes statiques sont insuffisantes.
  • Supprimer l'Amplificateur de Postérieur ou le lissage EMA a entraîné une instabilité ou une réduction des performances sur les instances difficiles.
  • Le Plancher de Stabilisation ($T_{floor}$) était critique pour éviter l'effondrement de l'entraînement vers des réponses courtes et triviales.

5. Signification et Revendications

Le papier affirme que CARE fournit un équilibre fondé sur des principes entre l'exploration du raisonnement et l'efficacité de l'exécution. Sa principale signification réside dans :

• Allocation de Budget Adaptative : Démontrer que la longueur du raisonnement doit être traitée comme un budget contrôlable qui évolue avec la politique, plutôt que comme un terme de régularisation statique.
• Internalisation au Temps d'Entraînement : Montrer qu'un comportement adaptatif peut être « internalisé » dans la politique pendant l'entraînement, éliminant le besoin de contrôleurs complexes au moment de l'inférence ou de troncature post-hoc.
• Robustesse : Le cadre stabilise l'entraînement par RL, empêant l'oscillation entre la sur-réflexion (over-thinking) et la sous-réflexion (under-thinking), et produit des traces de raisonnement plus courtes mais plus informatives à la convergence.

Les auteurs notent modestement que bien que les paramètres actuels fournissent un équilibre solide, l'optimum absolu peut varier selon l'échelle du modèle ou les mélanges de données. La contribution centrale est la validation du façonnage de récompense automatique sensible à la compétence comme un mécanisme d'entraînement interprétable et efficace pour les systèmes de raisonnement multimodal.