💻 computer science

Chain-of-Caption: Training-free improvement of multimodal large language model on referring expression comprehension

Cet article propose Chain-of-Caption, un cadre sans entraînement qui améliore considérablement les performances de compréhension des expressions de référence des grands modèles de langage multimodaux en combinant stratégiquement plusieurs contextes textuels et visuels via l'utilisation d'outils, atteignant des gains de précision de 5 % à 30 % sur divers benchmarks sans ajustement fin.

Auteurs originaux : Yik Lung Pang, Changjae Oh

Publié 2026-02-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yik Lung Pang, Changjae Oh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à une partie de « Où est Charlie ? » avec un ami robot très intelligent mais un peu distrait. Vous montrez au robot une image très chargée et vous dites : « Trouve l'homme en chemise bleue avec des lunettes de soleil. »

Le robot regarde l'image et pointe un endroit. Parfois, il a raison. Mais souvent, il peut pointer un homme en chemise blanche, ou il peut pointer le bon homme mais dessiner un cadre autour de lui qui est beaucoup trop grand, incluant la moitié du ciel et un arbre voisin.

Ce document traite de la façon d'apprendre à ce robot à devenir un meilleur détective sans le faire étudier pendant des années ou tout réapprendre depuis le début. Les auteurs appellent leur nouvelle méthode « Chain-of-Caption » (Chaîne de Légendes).

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le Problème : Le Robot est Distrait

Les « Modèles de Langage Multimodaux Grands (MLLM) » actuels sont comme des bibliothécaires super intelligents capables de lire et de voir. Ils sont excellents pour trouver des choses, mais quand l'image est encombrée ou que la cible est cachée dans l'arrière-plan, ils s'embrouillent. Ils peuvent deviner la zone générale correcte mais échouer à délimiter précisément les contours exacts de l'objet.

2. La Solution : Donner un « Aide-mémoire » au Robot

Les auteurs ont réalisé que si on donne au robot un petit coup de pouce supplémentaire avant qu'il ne tente de trouver la cible, il s'en sort bien mieux. Ils appellent cet aide supplémentaire le « Contexte ».

Ils ont testé deux types d'aide-mémoire :

La Liste Textuelle (Description Ancrée) : Au lieu de simplement dire « Trouve l'homme », le robot dresse d'abord une liste de tout ce qu'il voit dans l'image, comme une liste de courses, mais avec des coordonnées.
- Exemple : « 1. Homme en chemise verte [emplacement], 2. Éléphant [emplacement], 3. Camion orange [emplacement]. »
- En ayant cette liste, le robot peut croiser votre demande (« Homme en chemise bleue ») avec sa propre liste pour voir quel élément correspond le mieux.
L'Objectif de Zoom (Recadrage) : Si le robot devine un emplacement, les auteurs lui permettent de « zoomer » sur cet endroit. C'est comme prendre une photo de seulement cette zone et la montrer à nouveau au robot. Cela aide le robot à se concentrer uniquement sur la partie pertinente de l'image, en ignorant l'arrière-plan distrayant.

3. La Boucle « Chain-of-Caption » : La Liste de Contrôle du Détective

La vraie magie opère lorsqu'ils combinent ces outils en une boucle, comme un détective vérifiant son travail :

Étape 1 : Le robot dresse une liste de tout ce qui se trouve dans l'image (la Description Ancrée).
Étape 2 : En utilisant cette liste, il essaie de trouver la cible et dessine un cadre autour d'elle.
Étape 3 (La Vérification) : Le robot se pose une question simple par Oui ou par Non : « Est-ce que l'objet à l'intérieur de ce cadre est bien l'homme en chemise bleue ? »
- Si Oui : Super ! Il garde la réponse.
- Si Non : Le robot ne baisse pas les bras. Il prend une photo du mauvais cadre qu'il vient de dessiner, écrit une légende décrivant ce qu'il a réellement vu (ex : « C'est un homme en chemise blanche »), et ajoute cette note à sa liste originale.
Étape 4 : Le robot essaie à nouveau avec cette liste plus détaillée. C'est comme dire : « D'accord, je sais que l'homme en chemise blanche n'est pas la cible, donc je vais chercher à nouveau la chemise bleue. »

4. Les Résultats : Aucun Nouvel Entraînement Nécessaire

Le plus beau dans cette publication est qu'ils n'ont pas eu besoin de réentraîner le robot ou de lui faire lire des milliers de nouveaux livres. Ils ont simplement changé la façon de poser les questions.

L'Analogie : Pensez à un élève à qui l'on donnerait un meilleur guide d'étude juste avant un examen, plutôt que de le renvoyer à l'école primaire pour réapprendre l'alphabet.
Le Résultat : Lorsqu'ils ont testé cela sur des puzzles d'images standards (jeux de données comme RefCOCO), le robot est devenu nettement meilleur pour trouver les contours exacts de l'objet.
- En termes simples, si le robot utilisait auparavant une réponse « à peu près correcte » (70 % de précision), cette méthode l'a poussé vers le « parfaitement correct » (plus de 90 % de précision dans certains cas).
- Cette méthode était particulièrement efficace pour trouver des objets difficiles à voir ou lorsqu'il y avait de nombreux objets similaires dans l'image.

Résumé

Le document présente une astuce « sans entraînement » appelée Chain-of-Caption. Elle transforme une IA intelligente en un détective capable de s'auto-corriger en :

Dressant d'abord une liste de tout ce qu'elle voit.
Lui permettant de zoomer sur ses suppositions.
Lui faisant vérifier son propre travail et noter ce qui n'allait pas si elle s'est trompée, puis en essayant à nouveau.

Cette simple chaîne de pensée permet à l'IA de trouver des objets dans les images avec beaucoup plus de précision, sans nécessément de réentraînement coûteux ou chronophage.

Résumé technique : Chain-of-Caption : Amélioration sans entraînement des modèles de langage de grande taille multimodaux pour la compréhension d'expressions de référence

Énoncé du problème
La compréhension d'expressions de référence (REC - Referring Expression Comprehension) est un défi de longue date dans l'apprentissage vision-langage, exigeant qu'un modèle localise un objet spécifique dans une image à partir d'une description textuelle. Bien que les modèles de langage de grande taille multimodaux (MLLM) aient atteint une précision élevée (>80 % à 0,5 d'Intersection over Union (IoU)) sur des benchmarks comme RefCOCO, ils peinent face aux seuils d'IoU élevés (>0,7). Les modèles existants échouent souvent lorsque l'objet cible est en arrière-plan, partiellement occulté, ou lorsque plusieurs instances de la même classe existent. De plus, les approches actuelles mélangent souvent divers outils de fourniture de contexte sans isoler la contribution spécifique de chaque composant, laissant floue l'origine des gains de performance.

Méthodologie
Les auteurs proposent Chain-of-Caption, un cadre sans entraînement conçu pour améliorer les performances de REC des MLLM généralistes en exploitant leurs capacités multi-tâches (génération de descriptions ancrées, Questions-Réponses visuelles (VQA) et légende d'image) pour affiner les prédictions de manière itérative. La méthodologie opère à travers les étapes suivantes :

Augmentation de contexte : Le cadre introduit des contextes textuels et visuels.
- Contexte textuel (Description ancrée) : Le MLLM est incité à détecter un nombre spécifié d'objets dans l'image, produisant une liste numérotée contenant les descriptions d'objets et leurs coordonnées de boîte englobante (bounding box) correspondantes. Cette « description ancrée » sert de pont entre la requête textuelle et la scène visuelle.
- Contexte visuel : Le cadre utilise le recadrage de l'image autour d'une région prédite initiale pour focaliser l'attention du modèle, et visualise les boîtes englobantes pour fournir un guidage spatial.
Affinement itératif (Chain-of-Caption) :
- Initialisation : Le modèle génère une description ancrée initiale ( $g$ ) et une prédiction de boîte englobante initiale ( $b$ ) pour le texte cible ( $t$ ).
- Boucle de vérification : Le modèle emploie sa capacité VQA pour vérifier si la région recadrée définie par $b$ correspond à la description cible, en retournant une réponse binaire « oui » ou « non ».
- Correction : Si la réponse est « non », le modèle génère une légende ( $c$ ) pour la région recadrée défaillante. Cette légende, ainsi que la boîte englobante précédente, sont ajoutées à la description ancrée pour mettre à jour le contexte.
- Re-prédiction : Le modèle utilise ce contexte enrichi pour générer une nouvelle prédiction de boîte englobante ( $b_{CoC}$ ). Ce processus se répète jusqu'à ce que la vérification retourne « oui » ou qu'un nombre maximal d'essais soit atteint.

Contributions clés

Analyse des outils de contexte : L'article évalue systématiquement les effets individuels des contextes textuels (descriptions d'objets vs descriptions ancrées) et des contextes visuels (recadrage vs dessin de boîtes englobantes) sur la performance de la REC.
Cadre sans entraînement : Chain-of-Caption améliore la performance de la REC des MLLM sans aucun ajustement fin (fine-tuning), en s'appuyant uniquement sur l'ingénierie de prompt et les capacités multi-tâches intrinsèques du modèle.
Ancrage itératif : Le cadre combine de manière unique des descriptions ancrées avec une boucle d'autocorrection utilisant la VQA et la légendage pour gérer les tâches de localisation ambiguës ou difficiles.

Résultats expérimentaux
Les expériences ont été menées sur les jeux de données RefCOCO, RefCOCO+, RefCOCOg et le plus exigeant Ref-L4 en utilisant les modèles NVILA-8B, NVILA-15B et Qwen2.5-7B.

Impact du contexte : L'étude a révélé que si les descriptions d'objets simples avaient un impact minimal, les descriptions ancrées amélioraient significativement la précision aux seuils d'IoU élevés (0,7 et 0,9), bien qu'elles réduisent légèrement la performance à 0,5 IoU. Le recadrage améliorait la précision à seuil élevé mais dégradait la performance à seuil bas.
Gains de performance : Chain-of-Caption a démontré des améliorations substantielles par rapport aux modèles de base. Sur le modèle NVILA-8B, il a obtenu un gain de performance de 5 % à 30 % à travers divers seuils d'IoU. Plus précisément, sur Ref-L4, la méthode a amélioré l'Acc0.7 de 30,28 % à 56,63 % (+26,35 %) et l'Acc0.9 de 2,82 % à 25,16 % (+22,34 %).
Mise à l'échelle du modèle (Scaling) : Le cadre s'est avéré efficace à travers différentes tailles de modèles. Notamment, alors que NVILA-15B sous-performait NVILA-8B dans sa forme de base, Chain-of-Caption a permis à NVILA-15B de surpasser le modèle plus petit, suggérant des capacités d'apprentissage en contexte supérieures.
Limites : La méthode repose sur la capacité du modèle à suivre systématiquement les instructions de formatage (par exemple, la sortie JSON pour les boîtes englobantes). Les auteurs ont noté que Qwen2.5-7B éprouvait des difficultés avec le formatage de sortie cohérent dans sa forme de base, nécessant des stratégies de prompting spécifiques pour garantir la fiabilité.

Signification
L'article affirme que Chain-of-Caption améliore considérablement la précision de la détection des boîtes englobantes, particulièrement aux seuils d'IoU plus élevés (>0,7), résultant en des boîtes mieux alignées. En isolant les effets des différents types de contexte, les auteurs démontrent que l'ancrage des concepts textuels avec des coordonnées de boîtes englobantes est le mécanisme le plus efficace pour améliorer la REC. Ce travail souligne que les MLLM existants possèdent la capacité latente d'affiner leurs propres prédictions par le biais de la génération de contexte itérative et de la vérification, offrant une voie vers une localisation de haute précision sans le coût computationnel d'un réentraînement.

1. Le Problème : Le Robot est Distrait

2. La Solution : Donner un « Aide-mémoire » au Robot

3. La Boucle « Chain-of-Caption » : La Liste de Contrôle du Détective

4. Les Résultats : Aucun Nouvel Entraînement Nécessaire

Résumé

Articles similaires