Résumé Technique : Calibration Sensible au Classement pour un Apprentissage par Renforcement Multimodal Fiable

1. Énoncé du Problème

Bien que l'apprentissage par renforcement (RL) post-entraînement ait considérablement amélioré la précision du raisonnement des modèles vision-langage (VLM) et des grands modèles de langage multimodaux (MLLM), ces modèles souffrent souvent d'une mauvaise calibration. Plus précisément, les récompenses de justesse terminale, couramment utilisées dans le RL basé sur les résultats, ne pénalisent pas les erreurs confiantes plus que les incertaines, ni n'imposent de relation entre la confiance et la qualité des preuves visuelles de soutien.

Ce décalage structurel devient critique sous des entrées visuelles corrompues ou ambiguës. Dans de tels scénarios, les modèles génèrent fréquemment des raisonnements fluides mais incorrects tout en maintenant une haute confiance, conduisant à un « raisonnement erroné autoritaire » ou à des hallucinations. Les méthodes de calibration existantes, telles que l'échelle de température post-hoc ou l'élicitation de confiance verbalisée, opèrent sur des modèles figés et ne peuvent modifier le comportement appris de la politique concernant la confiance. De plus, les objectifs textuels standards ne tiennent pas compte de la dégradation des preuves visuelles, un défi unique au raisonnement multimodal où la confiance devrait s'atténuer à mesure que la qualité des preuves diminue.

2. Méthodologie : Le Cadre RAC

Les auteurs proposent la Calibration Sensible au Classement (RAC), un cadre d'entraînement qui intègre la calibration comme objectif natif au sein du RL multimodal. RAC exploite la structure existante du RL basé sur des groupes (spécifiquement l'Optimisation de Politique Relative de Groupe, ou GRPO) pour générer des signaux de supervision sans nécessiter d'annotations de confiance externes.

Le cadre introduit deux signaux de supervision relatifs dérivés de l'échantillonnage RL :

A. Perte de Classement Sensible au Groupe (Au sein d'un Prompt)

Cette perte traite de l'ordonnancement de la confiance parmi plusieurs solutions candidates (déroulements) pour un même prompt.

• Mécanisme : Pour un prompt donné $x$, la politique échantillonne un groupe de $n$ déroulements. La méthode identifie des paires où un déroulement est correct (score de vérificateur plus élevé) et un autre est incorrect.
• Objectif : Elle impose une contrainte basée sur une marge où le déroulement correct doit recevoir un score de confiance plus élevé que le déroulement incorrect ($c_{better} > c_{worse} + m_{rank}$).
• Effet : Cela force la politique à distinguer les chemins de raisonnement corrects des incorrects. En exigeant que le modèle attribue une confiance nettement plus élevée aux réponses correctes, cela renforce la qualité du raisonnement sous-jacent, améliorant ainsi la précision de la tâche au-delà de ce que les récompenses de justesse seules peuvent accomplir.

B. Paire Perte Propre–Corrompue (À travers les Preuves)

Cette perte traite de la relation entre la confiance et la qualité des preuves visuelles.

• Mécanisme : Pour chaque prompt propre $x^{(0)}$, une version synthétiquement corrompue $x^{(s)}$ est générée (en utilisant les opérateurs ImageNet-C avec une sévérité variable $s$). La politique échantillonne des déroulements pour les deux versions.
• Objectif : Elle impose une contrainte directionnelle où la confiance sur la vue corrompue doit être inférieure à celle sur la vue propre, l'écart requis augmentant avec la sévérité de la corruption ($c_{clean} > c_{corrupted} + m_{corr} + \alpha s$).
• Effet : Cela apprend au modèle à atténuer la confiance lorsque les preuves visuelles se dégradent, réduisant l'Erreur de Calibration Espérée (ECE) et le score de Brier sous des entrées dégradées.

C. Optimisation Unifiée

Ces deux pertes sont converties en récompenses de mise en forme au niveau de la séquence et intégrées dans l'objectif GRPO standard. La récompense finale pour un déroulement $i$ est :
$$\tilde{r}_i = r_{task, i} + \lambda_{rank} r_{rank, i} + \lambda_{corr} r_{corr, i} + \lambda_{fmt} r_{fmt, i}$$
où $r_{task}$ est la récompense de justesse standard, et les autres termes sont dérivés des pertes de classement et de corruption. Cette approche ne nécessite aucun changement de l'optimiseur sous-jacent ou de l'architecture du modèle.

3. Contributions Clés

1. Vue de Supervision Relative : L'article identifie que le RL standard basé sur les résultats manque de contraintes directionnelles sur la confiance. Il démontre que ces contraintes peuvent être supervisées en utilisant des comparaisons déjà inhérentes à l'échantillonnage RL (groupes de déroulements au sein d'un prompt et paires propres–corrompues appariées), éliminant ainsi le besoin d'étiquettes de confiance externes.
2. Le Cadre RAC : Une formalisation de ces axes de supervision en pertes de classement et paires basées sur des marges. Ceux-ci sont redistribués en récompenses au niveau de la séquence, créant un objectif de calibration unifié compatible avec n'importe quel pipeline de post-entraînement RL basé sur des groupes.
3. Évaluation Empirique sous Corruption : Évaluation approfondie sur six benchmarks de raisonnement multimodal utilisant les backbones Qwen2.5-VL et InternVL-3.5. L'étude couvre les entrées propres et cinq niveaux de corruption visuelle progressive (ImageNet-C).

4. Résultats Expérimentaux

Les auteurs ont évalué RAC sur trois familles de modèles (Qwen2.5-VL-3B/7B et InternVL-3.5-8B) à travers six benchmarks (M3CoT, ScienceQA, MathVerse, MMMU, We-Math, MathVision).

• Améliorations de Calibration : La perte de corruption par paire (+Pair) a considérablement réduit les scores ECE et Brier (par exemple, une réduction de 13,4 % de l'ECE pour InternVL-3.5-8B) tout en laissant la précision de la tâche largement inchangée. Cela confirme son rôle dans l'enseignement de l'atténuation de la confiance sans optimiser directement la justesse de la réponse.
• Améliorations de Précision : La perte sensible au classement (+Rank) a constamment amélioré la précision de la tâche (par exemple, un gain absolu de 11,9 % pour InternVL-3.5-8B) en encourageant la politique à attribuer une confiance plus élevée aux chemins de raisonnement corrects.
• Performance Combinée : La combinaison des deux pertes (+Pair+Rank) a obtenu les meilleures performances sur les deux dimensions dans la plupart des configurations. Pour InternVL-3.5-8B, la combinaison a réduit l'ECE de 13,4 % et le score de Brier de 18,1 % par rapport au RL Vanilla, tout en augmentant simultanément la précision de 24,2 %.
• Sévérité de Corruption à l'Entraînement : L'étude a révélé une relation non monotone entre la force de corruption à l'entraînement et la généralisation. Une corruption légère (sévérité $T_{0.2}$) a fourni le meilleur transfert de calibration, tandis qu'une corruption excessive ($T_{0.6}$ et au-delà) a déstabilisé le signal de supervision et dégradé les performances.

5. Signification et Revendications

L'article revendique que RAC comble un vide structurel dans le RL multimodal où la confiance n'est pas explicitement liée à la qualité du raisonnement ou à la qualité des preuves. En traitant la calibration comme un objectif natif plutôt que comme une correction post-hoc, RAC :

• Améliore la Fiabilité : Il réduit le risque de raisonnement erroné autoritaire en assurant que la confiance diminue lorsque les preuves visuelles sont dégradées.
• Renforce la Précision : Il démontre que l'imposition d'un ordre de confiance relatif agit comme un signal de discrimination plus fort que les récompenses de justesse seules, conduisant à un meilleur raisonnement.
• Efficacité : Il réalise ces gains sans annotations externes ni changements architecturaux, en utilisant uniquement la géométrie d'échantillonnage inhérente au RL basé sur des groupes.

Les auteurs concluent que bien que RAC soit actuellement évalué sur des benchmarks à choix multiples où la justesse binaire est disponible, le cadre offre une direction prometteuse pour améliorer la fiabilité des systèmes de raisonnement multimodal, en particulier dans les scénarios impliquant des entrées visuelles bruyantes ou ambiguës. Des travaux futurs sont suggérés pour explorer des curriculums de corruption adaptatifs et l'application à des paramètres de génération ouverte.