💬 NLP

Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning

Le papier propose « Adjudicated Captioning », un cadre d'inférence multi-agents sans entraînement qui améliore le légendage d'images en zéro-shot strict en intégrant des encodeurs de recherche gelés et des vérificateurs par attention croisée avec des reclassificateurs par distillation de consensus auto-supervisés pour atteindre des performances de pointe sur COCO et Flickr30k sans réentraîner le légendeur sous-jacent.

Auteurs originaux : Duy Tran Thanh, Thien-Phuc Doan, Long Nguyen-Vu, Ngo Tan Vu Khanh

Publié 2026-08-03

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Duy Tran Thanh, Thien-Phuc Doan, Long Nguyen-Vu, Ngo Tan Vu Khanh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à décrire une image qu'il n'a jamais vue auparavant. Vous ne pouvez pas lui montrer l'image et la description correcte ensemble pendant ses années d'école ; cela reviendrait à « violer le protocole strict de l'apprentissage zero-shot » dans le monde de l'apprentissage strict zero-shot. Au lieu de cela, vous donnez au robot une immense bibliothèque de descriptions textuelles et une paire de lunettes spéciales capables de deviner approximativement ce à quoi ressemble une image à partir de mots. Le travail du robot est de regarder une nouvelle photo, de trouver les descriptions les plus similaires dans sa bibliothèque, et d'utiliser celles-ci pour rédiger une nouvelle légende.

Pendant longtemps, ce processus s'est heurté à un mur frustrant. Le robot trouvait quelques descriptions similaires, choisissait les meilleures, puis laissait son « cerveau linguistique » interne terminer la phrase. Le problème était qu'une fois que le robot avait commencé à écrire, il cessait de vérifier si ce qu'il disait correspondait réellement à l'image. Il devenait trop concentré sur le fait de paraître fluide et grammaticalement correct, oubliant souvent les détails visuels. C'était comme un guide touristique qui aurait mémorisé un script sur une montagne célèbre mais qui, une fois la visite commencée, ne ferait que parler de la beauté des montagnes en général, oubliant de mentionner que la montagne spécifique devant lui était en réalité un volcan.

Cet article s'attaque précisément à ce problème. Les chercheurs, travaillant dans le domaine de l'intelligence artificielle et de la vision par ordinateur, proposent une nouvelle façon de maintenir l'honnêteté du robot. Ils appellent leur méthode « Adjudicated Captioning » (Légendage Adjudiqué). Au lieu de laisser le robot raconter toute l'histoire et de croiser les doigts, ils installent une équipe de « juges » stricts qui vérifient le travail à plusieurs étapes. Ils ne réentraînent pas le cerveau du robot (ce qui nécessiterait de voir les images et les réponses ensemble) ; ils ajoutent plutôt une couche intelligente et autocorrectrice qui s'exécute après que le robot a produit son premier brouillon.

Voici comment leur nouveau système fonctionne, en utilisant une histoire simple :

L'ancienne méthode : La vérification unique
Dans l'ancien système, le robot regardait une photo de snowboarder et demandait à sa bibliothèque : « Quels mots sont proches de ceci ? ». Il trouvait neuf descriptions similaires. Il choisissait les cinq meilleures, puis son cerveau linguistique commençait à écrire. Il écrivait : « Un snowboarder et un snowboarder posent. » Le système s'arrêtait là. Il ne demandait jamais : « Attendez, est-ce que l'image montre réellement deux personnes ? ». Il faisait simplement confiance à son cerveau linguistique pour être juste. Cela menait à un score de 108,0 sur un test standard appelé CIDEr (une façon de mesurer la qualité d'une légende).

La nouvelle méthode : Le tribunal à plusieurs étapes
Les auteurs ont réalisé que le robot avait besoin de plus d'un contrôle. Ils ont construit un pipeline avec trois nouveaux « juges » qui travaillent ensemble sans jamais voir les réponses « correctes » (la vérité de terrain).

Le Bibliothécaire plus fort (Étape 1) : D'abord, ils ont remplacé les lunettes du robot par une paire beaucoup plus nette. Au lieu d'une lentille standard, ils ont utilisé un modèle massif et puissant (OpenCLIP ViT-bigG/14) pour trouver les descriptions initiales. Cela seul a rendu le robot plus intelligent, faisant grimper le score à 111,6.
Le Contre-interrogateur (Étape 2) : Ensuite, ils ont ajouté un second juge. Ce juge ne se contente pas de regarder les mots ; il utilise un outil spécial d'« attention croisée » (un vérificateur BLIP-ITM) pour étudier réellement la relation entre la photo et le texte. Il prend les neuf descriptions initiales trouvées par le bibliothécaire et les reclasse, choisissant les cinq meilleures. Ce juge est différent du bibliothécaire ; il détecte ce que le bibliothécaire manque. Si le bibliothécaire pense qu'une photo concerne « un homme », ce juge pourrait réaliser qu'il s'agit en fait de « deux hommes ». Cette étape est cruciale car les deux juges sont souvent en désaccord, et ce désaccord aide le système à trouver la vérité.
L'Arbitre Final (Étape 4) : Enfin, le robot génère une liste de 20 phrases possibles (un « beam »). Habituellement, il choisirait simplement celle qui semble la plus fluide. Mais maintenant, deux nouvelles petites têtes d'IA auto-enseignées (nommées TriFuse et MemAttend) interviennent. Ces têtes regardent les 20 phrases et posent trois questions pour chacune d'elles :
- Est-ce que le cerveau linguistique l'apprécie ?
- Est-ce que le Bibliothécaire plus fort pense qu'elle correspond à la photo ?
- Est-ce que le Contre-interrogateur pense qu'elle correspond à la photo ?

Ces deux nouvelles têtes sont entraînées de manière ingénieuse. Elles n'ont pas besoin d'un professeur avec les bonnes réponses. Au lieu de cela, elles regardent les trois juges ci-dessus. Si les trois juges sont d'accord pour dire qu'une phrase spécifique est la meilleure, les nouvelles têtes apprennent à choisir cette phrase. C'est comme un étudiant qui apprend en regardant un panel d'experts s'accorder sur la bonne réponse, plutôt qu'en se voyant dire directement la réponse.

Le Résultat
En ajoutant ces vérifications, le système n'a pas seulement mieux sonné ; il est devenu plus précis. Sur le test COCO Karpathy, le nouveau système a atteint un score CIDEr de 117,6, un bond massif par rapport au meilleur score précédent de 108,0. Plus impressionnant encore, il a battu une méthode qui utilisait des images « fausses » générées par d'autres IA pour s'entraîner (qui a obtenu 109,9), et ce, sans que le robot n'ait jamais vu une seule paire image-légende pendant son entraînement.

L'article a également testé le système sur différents types de photos, comme celles de Flickr30k et NoCaps. Le système a amélioré ces scores également, gagnant respectivement +8,1 et +5,7 points, prouvant que cette approche de « multi-juges » fonctionne même sur des images pour lesquelles le robot n'a pas été spécifiquement entraîné.

Ce qu'ils ont écarté
Les chercheurs ont pris soin de démontrer que ce n'était pas de la magie. Ils ont prouvé que rendre simplement le cerveau linguistique plus fort n'était pas la solution ; l'amélioration provenait de l'endroit et de la manière dont ils vérifiaient la correspondance image-texte. Ils ont également montré que l'ajout d'un second juge ne suffisait pas ; les juges devaient être de types de modèles différents (l'un étant un « encodeur double » et l'autre un « moteur d'attention croisée ») afin de pouvoir détecter différents types d'erreurs. Ils ont même testé une idée « négative » : essayer d'utiliser les pires descriptions pour apprendre au robot ce qu'il ne doit pas dire. Cela a en fait aggravé les choses, prouvant que se concentrer sur les meilleures correspondances était la bonne voie.

À quel point sont-ils sûrs ?
L'article est très confiant dans ces chiffres. Ils ont effectué les tests plusieurs fois et ont constaté que les résultats étaient stables, avec seulement de minuscules fluctuations aléatoires (environ 0,1 point) dues aux particularités du matériel informatique. Ils ont également montré que l'amélioration ne venait pas du fait qu'ils utilisaient une version spécifique d'un juge entraîné sur le même ensemble de données de test ; même en remplaçant par un juge entraîné sur un autre ensemble de photos, le système s'est quand même amélioré de manière significative.

En résumé, cet article suggère que la raison pour laquelle le légendage par IA a stagné n'était pas que les robots étaient trop stupides, mais qu'ils faisaient trop confiance à leurs propres mots. En ajoutant une équipe de juges indépendants et auto-supervisés pour vérifier le travail à chaque étape, le système a appris à décrire le monde plus précisément, le tout sans enfreindre les règles de l'apprentissage strict zero-shot.

Résumé Technique : Législation de la Légendation (Adjudicated Captioning)

Énoncé du Problème
Le papier traite de la stagnation de la Légendation d'Image en Zero-Shot Strict (ZIC - Strict Zero-Shot Image Captioning), un régime où le Légendeur (le générateur de texte) est entraîné exclusivement sur des corpus textuels sans supervision appariée image-légende. Les méthodes de récupération existantes dans ce régime, telles qu'IFCap, souffrent d'un goulot d'étranglement structurel : elles évaluent l'alignement image-texte exactement une seule fois lors de l'étape initiale de récupération à l'aide d'un encodeur dual (généralement CLIP ViT-B/32). Une fois le pool de récupération établi, le faisceau (beam) autorégressif du Légendeur est sélectionné uniquement sur la base de la probabilité du modèle de langage. Cela laisse le décodeur sans retour de fondement visuel supplémentaire, ce qui produit des sorties fluentes mais potentiellement non ancrées. Le progrès dans ce régime strict stagne depuis 2024, aucune méthode n'ayant amélioré le score CIDEr de 108,0 d'IFCap sur le benchmark COCO Karpathy sans recourir à l'augmentation d'images synthétiques ou au réentraînement du Légendeur.

Méthodologie : Légendation Législée (Adjudicated Captioning)
Les auteurs proposent la Légendation Législée, un cadre multi-agents au moment de l'inférence qui restaure le retour de fondement visuel à plusieurs points de contrôle sans modifier le Légendeur sous-jacent (IFCap). Le pipeline introduit trois composants novateurs au-dessus de l'architecture IFCap inchangée :

Encodeur de Récupération Plus Puissant (Étape 1) : L'étape de récupération initiale est mise à niveau de OpenAI CLIP ViT-B/32 vers un OpenCLIP ViT-bigG/14 plus puissant selon la loi d'échelle (scaling law). Celui-ci récupère les 9 légendes candidates les plus pertinentes du corpus d'entraînement COCO sur la base de la similarité cosinus.
Vérificateur par Attention Croisée (Étape 2) : Un Vérificateur par Attention Croisée BLIP-ITM gelé est inséré entre la récupération et le décodage. Il réclasse les 9 candidats pour réduire le pool à 5 candidats « législés par le Vérificateur ». Ce composant fournit des informations orthogonales à l'encodeur dual de récupération, comme en témoigne une faible corrélation de rang ( $\rho \approx 0,4$ ) entre les scores de cosinus CLIP et les scores de correspondance du Vérificateur.
Réclasseurs de Faisceau Appris (Étape 4) : À la sortie, deux modules complémentaires appris en auto-supervision sélectionnent la légende finale parmi le faisceau de 20 candidats du Légendeur :
- TriFuse : Un MLP minimal de 113 paramètres qui fusionne trois signaux par candidat : la log-probabilité du Modèle de Langage (GPT-2), le cosinus de l'Encodeur de Récupération et le score de correspondance du Vérificateur.
- MemAttend : Un encodeur transformer augmenté par la mémoire de 17,4 K paramètres qui permet aux candidats du faisceau de pratiquer une attention croisée avec le pool de récupération législé par le Vérificateur (tokens de mémoire).

Paradigme d'Entraînement
Crucialement, les composants appris (TriFuse et MemAttend) sont entraînés strictement en auto-supervision sous le régime de texte seul du légendeur. Ils n'utilisent aucune étiquette appariée image-légende ou légende de référence. Au lieu de cela, ils sont entraînés via une distillation par consensus de Borda à travers les trois évaluateurs gelés (LM, Récupération, Vérificateur). Le pseudo-étiquetage de chaque candidat est dérivé du rang inversé moyen des trois évaluateurs, et les modèles sont entraînés pour minimiser l'entropie croisée de liste contre cette cible de consensus.

Contributions Clés

Hypothèse Architecturale : Le papier identifie l'évaluation d'alignement à point de contrôle unique comme la cause du plateau de la ZIC et propose un remède : placer des évaluateurs image-texte puissants et gelés à plusieurs points de contrôle (récupération, vérification et sortie).
Réclasseurs Auto-supervisés : L'introduction de TriFuse et MemAttend comme les premiers Réclasseurs de Faisceau proposés spécifiquement pour le régime ZIC de texte seul.
Gains de Performance : Le cadre atteint un CIDEr de 117,6 et un SPICE de 21,9 sur COCO Karpathy, surpassant l'état de l'art précédent de la ZIC stricte (IFCap, 108,0) de +9,6 CIDEr et la méthode la plus forte avec augmentation synthétique (NES, 109,9) de +7,7 CIDEr, le tout sans réentraîner le Légendeur.
Transfert Cross-Domaine : La recette d'inférence seule se transfère efficacement à Flickr30k (+8,1 CIDEr) et NoCaps (+5,7 CIDEr) sans réentraînement du Légendeur.

Résultats et Ablation

Décomposition du Gain : Le gain total de +9,6 CIDEr est décomposé comme suit :
- +7,8 CIDEr est attribué aux interventions architecturales non apprises (encodeur de récupération plus puissant, réclassement par le Vérificateur et rescalage du seuil de filtre d'entité). Une ligne de base de fusion fixe sans entraînement atteint 115,8 CIDEr.
- +1,8 CIDEr est attribué à l'ensemble appris TriFuse+MemAttend.
Réduction des Hallucinations : Le cadre réduit les hallucinations de type proxy-référence au niveau de la phrase (CHAIRs) d'environ 41 % (de 13,28 % à 7,84 %), indiquant des descriptions mieux ancrées.
Substrat du Vérificateur : Le remplacement du Vérificateur affiné sur COCO par une variante affinée sur Flickr30k produit toujours une hausse de +6,0 CIDEr par rapport à IFCap, confirmant que l'intervention architecturale est le principal moteur de la performance, et non seulement l'ajustement spécifique à COCO.

Signification et Revendications
Le papier affirme que le plateau de la ZIC stricte est un artéfact architectural plutôt qu'une limite fondamentale de la modélisation du langage. En passant d'une stratégie d'évaluation d'alignement à un point de contrôle unique à un pipeline « législé » à plusieurs points de contrôle, les auteurs démontent que la génération augmentée par récupération peut être considérablement améliorée sans supervision appariée ni réentraînement du Légendeur. Le travail établit qu'en plaçant un vérificateur par attention croisée entre la récupération et le décodage, suivi d'un réclasseur par distillation de consensus, on peut effectivement récupérer les signaux d'alignement perdus dans les pipelines traditionnels. Les auteurs positionnent leur méthode comme un nouveau standard opérationnel pour la ZIC stricte, surpassant même certaines bases de référence supervisées par paires (comme ClipCap) en termes de CIDEr et de SPICE, tout en maintenant la contrainte stricte d'entraînement sur texte seul.

Articles similaires