💻 computer science

CASHEW: Stabilizing Multimodal Reasoning via Iterative Trajectory Aggregation

Le document présente CASHEW, un cadre d'inférence, et CASHEW-RL, une variante apprise entraînée avec l'optimisation de politique de séquence de groupe (Group Sequence Policy Optimization), afin de stabiliser le raisonnement multimodal en agrégeant de manière itérative des trajectoires candidates et en filtrant les hallucinations par vérification visuelle, atteignant des gains de performance significatifs à travers 13 benchmarks de compréhension d'images et de vidéos.

Auteurs originaux : Chaoyu Li, Deeparghya Dutta Barua, Fei Tao, Pooyan Fazli

Publié 2026-06-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chaoyu Li, Deeparghya Dutta Barua, Fei Tao, Pooyan Fazli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un casse-tête complexe, comme déterminer exactement ce que fait une tasse d'eau dans une vidéo de peinture. Si vous posez la question à une IA standard (un modèle de langage-vision) une seule fois, elle pourrait deviner : « Peut-être que l'artiste y range son pinceau ? ». Elle est confiante, mais elle se trompe. Si vous lui demandez à nouveau, elle pourrait deviner : « Peut-être est-ce pour reposer le pinceau ? ». Elle continue de deviner, et ses réponses changent sans cesse. C'est ce que l'article appelle le raisonnement instable.

Les auteurs de cet article, de l'Université d'État de l'Arizona et de NewsBreak, ont créé une solution appelée CASHEW (et une version plus intelligente appelée CASHEW-RL) pour corriger cela. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le « Penseur Solitaire »

Les modèles d'IA actuels sont comme une personne seule essayant de résoudre un puzzle dans une pièce sombre. Ils peuvent trébucher sur leurs propres pieds (faire une erreur) et continuer à marcher dans la mauvaise direction parce qu'ils ne voient pas l'image entière clairement. Ils « hallucinent » souvent, ce qui signifie qu'ils inventent des faits qui n'existent pas, comme dire qu'une tasse sert au stockage alors qu'elle sert en réalité à nettoyer.

2. La Solution : Le « Groupe d'Étude » (CASHEW)

Au lieu de laisser l'IA réfléchir seule, CASHEW transforme l'IA en un groupe d'étude.

Le Processus : Lorsqu'elle reçoit une question, l'IA ne donne pas simplement une réponse. Elle génère toute une foule de différents « chemins de pensée » (trajectoires). Imaginez 8 étudiants différents dans une pièce, chacun essayant de résoudre le puzzle de son côté.
La Vérification de la Réalité (Vérification Visuelle) : C'est la recette secrète. Avant que le groupe ne se mette d'accord sur une réponse, un « arbitre » (un outil de vérification visuelle) vérifie leur travail par rapport à l'image ou la vidéo réelle. Si un étudiant dit : « La tasse est pour le stockage », l'arbitre regarde la vidéo et dit : « Non, je ne vois pas d'étagère de rangement. Je vois l'artiste tremper son pinceau pour le nettoyer ».
La Synthèse : L'IA prend ensuite les meilleures parties des idées des 8 étudiants, filtre les mensonges (hallucinations) en utilisant les notes de l'arbitre, et combine le tout en une réponse super précise et basée sur des preuves.

C'est comme prendre une séance de brainstorming désordonnée et la transformer en un rapport poli et vérifié.

3. L'Amélioration : L'« Expert Intériorisé » (CASHEW-RL)

La première version (CASHEW) est excellente, mais elle nécessite que l'ordinateur exécute le processus du « groupe d'étude » à chaque fois qu'il répond, ce qui peut être lent.

Les auteurs ont également créé CASHEW-RL. Considérez cela comme le fait de prendre ce groupe d'étude et d'apprendre à l'IA à devenir elle-même le chef de groupe.

Ils ont entraîné l'IA en utilisant un système de récompense spécial (comme un score de jeu vidéo) qui donnait des points pour :
1. Obtenir la bonne réponse.
2. Citer la preuve visuelle correcte (comme pointer la tasse).
3. Ne pas perdre de temps sur les questions faciles (être efficace).
Après cet entraînement, l'IA a appris à effectuer la « pensée de groupe » et la « vérification des faits » par elle-même, à l'intérieur de son propre cerveau, de manière beaucoup plus rapide et efficace.

Qu'ont-ils trouvé ?

L'article a testé cela sur 13 benchmarks différents impliquant des images et des vidéos. Les résultats sont comme trouver une baguette magique pour le raisonnement de l'IA :

Grands bonds en précision : Sur un quiz scientifique appelé ScienceQA, le score de l'IA a bondi de 26,2 points de pourcentage. Sur un test de raisonnement vidéo appelé EgoSchema, il a bondi de 9,1 points de pourcentage.
Moins d'hallucinations : L'IA a cessé d'inventer des faits. Elle a commencé à s'en tenir à ce qu'elle pouvait réellement voir dans l'image.
Meilleur que la concurrence : Comparée à d'autres méthodes qui tentent de corriger le raisonnement de l'IA (comme poser simplement la même question 8 fois à l'IA et choisir la réponse la plus commune), CASHEW a gagné à chaque fois.

En un mot

L'article affirme qu'en forçant l'IA à penser en groupe, à vérifier son travail par rapport aux preuves visuelles et à apprendre de ses erreurs, nous pouvons la rendre beaucoup plus fiable. Cela empêche l'IA de deviner avec assurance et la met sur la voie d'un raisonnement prudent et fondé sur des preuves.

Résumé Technique : CASHEW – Stabiliser le raisonnement multimodal via l'agrégation itérative de trajectoires

1. Énoncé du Problème

Les modèles de langage-vision (VLM) ont atteint un succès significatif dans les tâches de compréhension et de raisonnement multimodal. Cependant, leurs processus de raisonnement multi-étapes restent fragiles et instables. Les problèmes clés incluent :

Instabilité : L'échantillonnage répété sur une même entrée produit souvent des trajectoires de raisonnement divergentes et des prédictions finales incohérentes.
Hallucinations : Les modèles sont sujets aux hallucinations visuelles, où les étapes de raisonnement ne sont pas ancrées dans des preuves visuelles réelles.
Limites de la mise à l'échelle actuelle au moment du test (Test-Time Scaling) : Les approches existantes suivent souvent un paradigme « échantillonner et sélectionner » (sample-and-select), générant plusieurs chaînes indépendantes et écartant les informations partielles des trajectoires rejetées. De plus, simplement augmenter la longueur du raisonnement ou le nombre d'échantillons sans ancrage explicite peut amplifier les erreurs perceptuelles précoces plutôt que de les corriger, menant les modèles à « réfléchir plus longtemps » mais pas à « réfléchir mieux ».

2. Méthodologie

Le papier propose deux approches complémentaires pour répondre à ces limitations : CASHEW (un cadre d'inférence) et CASHEW-RL (une variante apprise).

CASHEW : Cadre d'agrégation itérative

CASHEW traite le raisonnement comme un processus évolutif où une population de trajectoires candidates est synthétisée et affinée de manière itérative. Il opère en quatre étapes :

Initialisation de la population : Le VLM de base génère une population initiale de $N$ trajectoires de raisonnement candidates.
Échantillonnage de sous-ensembles : À chaque itération, un sous-ensemble aléatoire de trajectoires paires est échantillonné comme candidats de référence pour introduire de la diversité et empêcher l'effondrement vers un mode de raisonnement unique.
Vérification Visuelle : Avant l'agrégation, un module léger de mise en correspondance visuelle-texte (implémenté via Grounding DINO) vérifie les affirmations relatives aux objets et aux attributs par rapport à l'entrée visuelle. Seules les preuves ancrées sont conservées pour guider les étapes suivantes.
Agrégation Ancrée : Le modèle synthétise les trajectoires échantillonnées et leurs preuves visuelles vérifiées pour générer une trajectoire de raisonnement mise à jour et de plus haute qualité. Ce processus se répète pendant $T$ itérations, aboutissant à une trajectoire consolidée finale.

CASHEW-RL : Agrégation Apprise via GSPO

CASHEW-RL internalise le comportement d'agrégation dans un modèle unique grâce à un processus de post-entraînement en deux étapes :

Ajustement Supervisé (SFT) : Le modèle est entraîné sur un format d'agrégation structuré contenant trois composants : une trace de raisonnement (<thought>), un ensemble de clés visuelles vérifiées (<visual_keys>) et la réponse finale (<answer>). Cela établit une politique de référence ( $\pi_{ref}$ ) et apprend au modèle à articuler les preuves et à formater les sorties.
Apprentissage par Renforcement (RL) via l'Optimisation de Politique de Séquence de Groupe (GSPO) : Le modèle est optimisé à l'aide d'une fonction de récompense composite qui équilibre trois objectifs :
- Exactitude de la Réponse ( $R_{acc}$ ) : Correspondance exacte avec la vérité terrain.
- Qualité de la Sélection des Preuves ( $R_{key}$ ) : Une formulation équilibrée précision-rappel encourageant la sélection de clés visuelles pertinentes tout en évitant une prolifération indiscriminée.
- Pénalité de Longueur Sensible à la Difficulté ( $R_{len}$ ) : Une pénalité adaptative qui décourage une verbosité excessive sur les tâches faciles (où des taux de résolution élevés sont observés) tout en permettant de la flexibilité pour les tâches difficiles.

L'entraînement utilise un mélange basé sur un curriculum de trajectoires générées par un enseignant hors ligne et de trajectoires on-policy, augmentant progressivement la proportion de données auto-générées pour améliorer la robustesse et réduire le décalage de distribution.

3. Contributions Clés

CASHEW : Un cadre d'inférence « plug-and-play » qui stabilise le raisonnement multimodal en agrégeant itérativement des trajectoires candidates avec une vérification visuelle explicite, filtrant efficacement les hallucinations et ancrant le raisonnement dans des preuves.
CASHEW-RL : Une variante apprise qui internalise l'agrégation de trajectoires via GSPO et une récompense composite, permettant au modèle d'effectuer une agrégation robuste, ancrée visuellement, avec un contrôle adaptatif de l'effort de raisonnement.
Validation Empirique : Expérimentations étendues démontrant des améliorations de performance constantes à travers divers backbones et modalités.

4. Résultats Expérimentaux

Les méthodes ont été évaluées sur 13 benchmarks couvrant la compréhension d'images, la compréhension de vidéos et le raisonnement vidéo.

Gains de Performance :
- Benchmarks d'Images : CASHEW-RL a obtenu des améliorations significatives, notamment +26,2 points de pourcentage sur ScienceQA (Qwen3-VL-4B) et +9,1 points de pourcentage sur EgoSchema (InternVL3.5-8B).
- Benchmarks Vidéo : Des gains constants ont été observés sur Video-MME, LongVideoBench et MVBench. Par exemple, CASHEW-RL a amélioré les scores d'EgoSchema de +9,1 points pour InternVL3.5-8B.
Comparaison avec l'État de l'Art (SOTA) : CASHEW a surpassé les lignes de base existantes de mise à l'échelle au moment du test (Self-Consistency, Self-Selector, et Self-Synthesizer) sur tous les indicateurs. Notamment, sur le benchmark MME, il a dépassé la base la plus forte (Self-Synthesizer) de +48,2 et +82,6 points respectivement sur les scores de perception et de cognition.
Études d'Ablation : Le retrait du module de mise en correspondance visuelle (Grounding DINO) produit toujours des améliorations par rapport au VLM de base, indiquant que l'agrégation itérative est le principal moteur de performance, l'ancrage visuel renforçant davantage la fiabilité.
Efficacité : CASHEW-RL a atteint des performances comparables à des configurations CASHEW plus profondes avec moins d'itérations d'agrégation, suggérant une meilleure efficacité d'agrégation.

5. Signification et Revendications

Le papier affirme que CASHEW et CASHEW-RL offrent une solution robuste à l'instabilité du raisonnement multimodal. En passant d'un paradigme « échantillonner et sélectionner » à un paradigme d'« agrégation itérative », les méthodes garantissent que le consensus de raisonnement est ancré dans les preuves visuelles. Les auteurs soulignent que leur approche permet aux modèles de « réfléchir ensemble » plutôt que de simplement « réfléchir plus longtemps », atténuant efficacement les hallucinations et améliorant la cohérence. L'intégration de la vérification visuelle et de l'effort de raisonnement adaptatif via GSPO permet au modèle de produire des réponses qui sont non seulement correctes, mais aussi ancrées dans un minimum de preuves visuelles suffisantes.

6. Limites

Les auteurs reconnaissent que le présent travail utilise un budget d'agrégation fixe pour permettre des comparaisons contrôlées, ce qui peut ne pas être optimal pour les applications à ressources limitées où les exemples faciles pourraient ne pas nécessiter une agrégation extensive. Bien que CASHEW-RL traite partiellement cela en internalisant le comportement d'agrégation, une étude systématique de l'allocation adaptative du budget est identifiée comme un travail futur.