Résumé Technique : VCap - Récompenses Hypergéométriques pour la Légende Visuelle de Faible à Fort

1. Énoncé du Problème

La légende visuelle vise à traduire la perception visuelle en langage naturel qui capture fidèlement les faits saillants (objets, attributs, relations, événements) tout en minimisant les omissions et les hallucinations. La qualité d'une légende est régie par deux dimensions complémentaires : Exactitude (chaque fait énoncé est ancré dans le signal visuel) et Exhaustivité (tout le contenu visuel important est suffisamment couvert).

Les approches existantes pour améliorer la qualité des légendes font face à des limitations significatives :

• Mise à l'échelle et curation de données : La simple mise à l'échelle des modèles ou la curation de données de référence de haute qualité propage inévitablement les omissions et les hallucinations existantes dans le modèle, créant un plafond de performance.
• Limites de l'Apprentissage par Renforcement (RL) : Les conceptions actuelles de récompenses RL pour la légende (par exemple, basées sur VQA, VLM-comme-juge, ou récompenses de type imitation comme CIDEr/DPO) échouent à fournir des signaux fins et fiables pour la vérification factuelle. Elles contraignent généralement le signal de référence à un rôle unique (par exemple, une cible à imiter ou un pool de questions limité), rendant difficile la supervision conjointe de l'exactitude et de l'exhaustivité au niveau du fait. L'obstacle central est que l'ensemble complet des faits visuels n'est pas disponible en pratique ; aucune référence ne l'énumère, et aucun substitut de récompense ne le récupère entièrement.

2. Méthodologie : Le Cadre Témoin-Juge

Les auteurs proposent VCap, un mécanisme de récompense novateur qui découple les rôles de la référence textuelle et du signal visuel, les traitant comme des composants distincts dans un cadre « Témoin-Juge ».

2.1 Concept Central

• Le Témoin (Légende de Référence) : La légende de référence n'est pas traitée comme une cible de référence idéale à imiter. Au lieu de cela, elle est considérée comme un témoin stochastique qui expose un sous-ensemble de faits visuels. Elle agit comme une ancre de rappel (exigeant que la politique couvre les faits mentionnés) et un détecteur d'erreurs (signalant les hallucinations potentielles).
• Le Juge (Signal Visuel) : L'image ou la vidéo agit comme le juge. Elle vérifie les correspondances et les non-correspondances aux « emplacements » spécifiques activés par le témoin. Crucialement, le signal visuel n'agit pas comme un oracle énumérant tous les faits ; il ne résout que les conflits ou confirme les faits à l'intersection du témoin et de la politique.

2.2 Calcul de la Récompense

Un modèle de récompense figé (MLLM) traite le triplet $(x, y_{ref}, y)$, où $x$ est l'entrée visuelle, $y_{ref}$ est la référence, et $y$ est la légende générée par la politique. Le modèle effectue une évaluation en un seul passage pour :

1. Identifier les omissions candidates : Faits présents dans $y_{ref}$ mais manquants dans $y$.
2. Identifier les hallucinations candidates : Faits dans $y$ qui contredisent $y_{ref}$.
3. Vérifier par rapport à $x$ :
   • Une omission n'est pénalisée que si $x$ confirme que le fait manquant existe.
   • Une hallucination n'est pénalisée que si $x$ confirme que l'affirmation de la politique est fausse (si $x$ contredit $y_{ref}$, le signal visuel remplace la référence, empêchant les erreurs de référence de pénaliser la politique).

Le modèle produit trois scores entiers ($0-10$) :

• $s_{corr}$ : Exactitude (pénalisant les conflits avec $x$).
• $s_{comp}$ : Exhaustivité (pénalisant les omissions confirmées des faits de $y_{ref}$).
• $s_{txt}$ : Qualité du Texte (fluidité, cohérence, absence de méta-texte).

Ces scores sont agrégés en une récompense scalaire utilisant des poids fixes. Pour la vidéo, une récompense de vue locale est calculée sur des segments temporels aléatoires et combinée avec une récompense de vue globale pour capturer à la fois les faits temporels fins et les événements inter-segments.

2.3 Fondement Théorique : Analyse Hypergéométrique

L'article formalise la légende visuelle comme un problème d'extraction au niveau des faits sur un ensemble de faits latents $F$ de taille $N$.

• Soit $R$ le sous-ensemble de faits de référence ($|R|=m$).
• Soit l'ensemble de faits de la politique $\Phi(y) = C \cup E$, où $C$ sont les faits corrects ($|C|=c$) et $E$ les faits hallucinés.

Sous l'hypothèse que $R$ est un sous-ensemble aléatoire uniforme de $F$, la probabilité de réussir les tests d'exhaustivité et d'exactitude suit une distribution hypergéométrique :

• Probabilité d'Exhaustivité ($P_{comp}$) : La probabilité que tous les $m$ faits de référence tombent dans les $c$ faits corrects. Cela augmente strictement lorsque $c \to N$.
• Probabilité d'Exactitude ($P_{corr}$) : La probabilité que les $n-c$ faits hallucinés évitent les $m$ emplacements de référence. Cela diminue strictement à mesure que les hallucinations augmentent.

Insight Clé (Faible à Fort sur deux axes) : L'état optimal de la politique est $c \to N$ (faits corrects maximaux) et $n-c \to 0$ (zéro hallucination). Crucialement, la position de cet optimum est indépendante de la taille de la référence $m$. La taille de la référence $m$ ne contrôle que la pente du gradient de supervision. Cela permet à un modèle d'apprendre à partir de références « faibles » ou imparfaites et de converger vers le vrai plafond d'information visuelle, permettant une boucle d'auto-amélioration où la politique régénère des références plus fortes pour affiner le gradient.

3. Contributions Clés

1. Cadre au Niveau des Faits : Les auteurs formalisent la légende selon deux axes indépendants (Exactitude et Exhaustivité) et démontrent pourquoi les récompenses existantes peinent à superviser les deux simultanément.
2. Récompense Témoin-Juge (VCap) : Une conception de récompense novatrice qui traite la référence comme un témoin stochastique et le signal visuel comme un juge. Cette séparation génère des signaux de récompense hypergéométriques permettant une généralisation de faible à fort, permettant aux modèles de dépasser la qualité de leurs références d'entraînement.
3. Validation Empirique : Un modèle de 8 milliards de paramètres entraîné avec VCap atteint des performances de pointe sur plusieurs benchmarks de légende d'images et de vidéos, surpassant des modèles open- et closed-source significativement plus grands (par exemple, Qwen3.5-397B, GPT-5.4, Gemini 3.1 Pro).

4. Résultats Expérimentaux

Les auteurs ont évalué VCap sur des benchmarks de légende d'images et de vidéos, ainsi que sur des tâches de QA en aval.

• Légende d'Images : Sur CapMAS et DecapBench, le modèle VCap (e2) (8 milliards de paramètres) a obtenu les scores les plus élevés sur toutes les métriques (par exemple, 83,53 Moyenne sur CapMAS, 73,67 Moyenne sur DecapBench), surpassant GPT-5.4 et le modèle Qwen3.5 de 397 milliards de paramètres.
• Légende de Vidéos : VCap a obtenu les meilleures performances sur le benchmark VDC (36,01 Moyenne) et des résultats compétitifs sur VCapsBench, surpassant le modèle de base et les modèles plus grands.
• Évaluation Humaine : Sur un ensemble retenu de 500 images, VCap s'est classé premier en exactitude factuelle par image. Le signal de récompense VCap a montré un accord de 61,1 % avec les préférences humaines par paires, nettement au-dessus de la base aléatoire de 50 %.
• Auto-amélioration : La transition de VCap (e1) à VCap (e2), où les références ont été régénérées par la politique elle-même, a entraîné des améliorations monotones sur tous les benchmarks, validant la boucle théorique d'auto-amélioration.
• Généralisation : Les modèles entraînés uniquement sur la légende (sans données QA) ont montré des gains significatifs sur les benchmarks de QA d'images et de vidéos (par exemple, Prism, MMVU), suggérant que VCap améliore la perception visuelle sous-jacente plutôt que simplement la forme de surface de la légende.
• Études d'Ablation :
  • Distillation Best-of-N : Le RL piloté par VCap a surpassé l'auto-distillation à partir d'échantillons Best-of-N, prouvant que les gains proviennent du signal de récompense et non seulement de la sélection d'échantillons.
  • Ablation Modalité/Dimension : Le retrait soit de la référence (témoin), soit de l'image (juge) a causé des baisses de performance significatives, confirmant la nécessité de la conception à double rôle. Le retrait spécifique des dimensions Exactitude ou Exhaustivité a dégradé leurs métriques respectives.

5. Signification et Revendications

L'article revendique que VCap modifie fondamentalement le paradigme de la légende basée sur le RL en découplant l'optimum de récompense de la qualité de la référence.

• Briser le Plafond d'Imitation : Contrairement aux récompenses de type imitation où la politique est limitée par la qualité de la référence, VCap permet à un modèle de dépasser ses références d'entraînement en les traitant comme des sondes plutôt que comme des cibles.
• Alignement Factuel : La méthode fournit un mécanisme de vérification factuelle fine qui s'aligne étroitement sur le jugement humain, abordant le problème de l'« hallucination » dans les MLLM.
• Amélioration Perceptive : Les résultats suggèrent que l'optimisation de l'exactitude et de l'exhaustivité au niveau des faits via VCap améliore les capacités générales de perception visuelle du modèle, bénéficiant aux tâches en aval comme le QA sans ajustement fin spécifique.

Limites Reconnues par les Auteurs :

• Les politiques d'images et de vidéos ont été entraînées séparément en raison de contraintes computationnelles.
• L'évaluation humaine était limitée à un ensemble de 500 images avec des annotateurs internes.
• L'étude se concentre sur GRPO ; d'autres algorithmes de RL en ligne n'ont pas été vérifiés empiriquement.
• Les spécialistes dédiés à la légende pour les bases de référence sont rares, obligeant à s'appuyer sur des MLLM généralistes.