🤖 AI

Enhancing Multimodal In-Context Learning via Inductive-Deductive Reasoning

Ce papier propose un cadre novateur qui améliore l'apprentissage en contexte multimodal en comblant les lacunes inductives et en réduisant la redondance des tokens visuels grâce à un processus de raisonnement inductif-déductif structuré, à une compression des tokens, à un rééquilibrage dynamique de l'attention et à un pipeline d'apprentissage par renforcement, aboutissant à des améliorations significatives des performances sur divers benchmarks visuels-linguistiques.

Auteurs originaux : Haoyu Wang, Haonan Wang, Yuyan Chen, Jun Chen, Gang Liu, Qian Wang, Jiahong Yan, Yanghua Xiao

Publié 2026-05-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haoyu Wang, Haonan Wang, Yuyan Chen, Jun Chen, Gang Liu, Qian Wang, Jiahong Yan, Yanghua Xiao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot très intelligent mais légèrement confus comment résoudre un puzzle. Vous lui montrez trois exemples de résolution de puzzles similaires, puis vous lui demandez d'en résoudre un nouveau. C'est ce qu'on appelle l'Apprentissage en Contexte (ICL).

L'article soutient que si cela fonctionne très bien pour des tâches simples (comme « De quelle couleur est cette balle ? »), cela échoue souvent lorsque le robot doit effectuer un raisonnement complexe (comme « Quel est le motif caché dans ces formes ? »). Le robot a tendance à deviner la bonne réponse par chance ou en ignorant vos exemples, plutôt qu'à réellement apprendre la règle.

Les auteurs appellent cela le « Creux Inductif ». C'est comme un étudiant qui obtient la bonne réponse à un test de mathématiques mais ne peut pas expliquer comment il l'a trouvée, ou pire, utilise une logique erronée pour y parvenir.

Voici comment l'article résout ce problème, en utilisant une analogie simple :

Le Problème : Une Classe Bruyante

Les auteurs ont identifié deux raisons principales pour lesquelles le robot échoue à apprendre la règle :

Trop de bruit (Redondance des tokens visuels) : Imaginez que vous essayiez de lire un manuel scolaire, mais que chaque page soit couverte à 90 % d'espace blanc et à 10 % de texte important. Le robot est submergé par tout cet « espace blanc » (pixels d'image redondants) et manque le texte important (les indices réels).
Le biais de la « Première Impression » : Lorsque vous montrez au robot une pile d'images d'exemple, il fixe obsessionnellement la première et ignore le reste. C'est comme un étudiant qui ne lit que la première phrase d'une histoire et suppose qu'il connaît la fin, en ignorant le milieu et la conclusion.

La Solution : MMInduction

Les auteurs ont construit un nouveau système appelé MMInduction pour résoudre ces problèmes. Pensez-y comme à un guide d'étude en trois étapes pour le robot :

1. L'« Équipe de Nettoyage » (Élagage des tokens visuels)

Avant que le robot n'essaie d'apprendre, ce module agit comme un éditeur strict. Il examine toutes les images et dit : « D'accord, cette partie de l'image n'est qu'un arrière-plan flou ; jetez-la. Gardez uniquement les parties nettes et importantes. » Cela réduit le bruit afin que le robot puisse réellement voir les indices.

2. Le « Professeur Équitable » (Attention Dynamique)

Ce module force le robot à regarder chaque exemple de manière égale. Au lieu de fixer uniquement la première image, il apprend à répartir son attention comme un professeur équitable qui demande l'avis de chaque élève de la classe, et pas seulement de celui qui est assis au premier rang.

3. Le « Détective Étape par Étape » (Raisonnement Inductif-Déductif)

C'est la partie la plus importante. Au lieu de laisser le robot sauter directement à une réponse, le système l'oblige à suivre un processus de pensée strict :

Étape A (Analyser) : Examinez chaque exemple individuellement. « Que se passe-t-il ici ? »
Étape B (Induire) : Trouvez la règle commune. « Ah, je vois ! Dans tous ces exemples, la réponse est toujours la couleur du chapeau. »
Étape C (Déduire) : Appliquez cette règle à la nouvelle question. « D'accord, la nouvelle question a un chapeau rouge, donc la réponse doit être rouge. »

Le système utilise également une méthode d'entraînement spéciale (comme un jeu vidéo avec un tableau de scores) qui donne au robot des points supplémentaires non seulement pour obtenir la bonne réponse, mais aussi pour identifier correctement quels exemples étaient utiles et lesquels étaient des distractions.

Les Résultats

Les auteurs ont testé cela sur huit types de défis différents, allant de questions simples sur des images à des énigmes logiques complexes et des problèmes scientifiques.

Avant : Les robots obtenaient souvent la bonne réponse par chance sur des tâches simples, mais échouaient lamentablement sur des tâches de raisonnement complexe, obtenant parfois des résultats pires à mesure qu'on leur montrait plus d'exemples.
Après : Avec MMInduction, les robots sont devenus beaucoup meilleurs pour réellement apprendre les règles. Ils ne devinaient plus ; ils pouvaient expliquer leur raisonnement et appliquer les règles qu'ils avaient apprises à de nouvelles situations.

L'Essentiel

L'article montre que pour rendre l'IA véritablement intelligente en matière de raisonnement, nous ne pouvons pas simplement lui jeter plus d'images. Nous devons lui apprendre à filtrer le bruit, prêter attention à tout et penser étape par étape pour trouver les règles sous-jacentes. Cela transforme l'IA d'un devineur chanceux en un véritable résolveur de problèmes.

Résumé Technique : Amélioration de l'Apprentissage en Contexte Multimodal par Raisonnement Inductif-Déductif

Énoncé du Problème

Bien que l'Apprentissage en Contexte (ICL) ait prouvé son efficacité pour les Grands Modèles de Langage (LLM) dans les domaines textuels uniquement, son extension aux Modèles Vision-Langage (VLM) reste fragile, en particulier pour les tâches intensives en raisonnement. Les auteurs identifient un « écart de justesse inductive » fondamental : les VLM produisent souvent des réponses correctes grâce à un raisonnement défectueux ou des « devinettes heureuses » plutôt qu'en extrayant et appliquant véritablement des règles cohérentes à partir des cas de démonstration.

L'analyse empirique sur des benchmarks tels que MMIQ révèle que, si les modèles peuvent atteindre une précision de tâche modérée, leur capacité à induire correctement les modèles sous-jacents est nettement inférieure. Par exemple, dans un cadre 1-shot, seulement 2,70 % des sorties de Qwen3VL-8B étaient basées sur un raisonnement inductif correct, tandis que 25,23 % ont atteint la bonne réponse via une logique erronée.

Les auteurs attribuent cet échec à trois goulots d'étranglement hiérarchiques :

Écart de justesse inductive : Les modèles échouent à extraire des règles généralisables des cas, s'appuyant à la place sur des priors pré-entraînés.
Redondance des tokens visuels : Dans les configurations multi-images, les tokens visuels dominent la séquence d'entrée (jusqu'à 68,5 % dans certains benchmarks), noyant les preuves textuelles nécessaires à l'induction logique.
Déséquilibre de l'attention visuelle : Les VLM présentent un biais fort envers la première image du contexte, négligeant les cas de démonstration subséquents et l'image de requête, ce qui empêche une comparaison efficace entre les cas.

Méthodologie : MMInduction

Pour remédier à ces problèmes, l'article propose MMInduction, un cadre qui restructure l'ICL multimodal en un processus inductif-déductif principiel. Le cadre intègre trois composants principaux :

1. Chaîne de Pensée Inductive-Déductive (CoT)

Les auteurs introduisent un modèle de raisonnement structuré guidant le modèle à travers trois étapes séquentielles :

Analyse des cas : Le modèle examine chaque démonstration individuellement pour identifier les éléments clés et la logique de résolution.
Induction : Le modèle synthétise les observations pour extraire une règle généralisable, filtrant explicitement les cas « bruyants » (distracteurs) sans rapport avec la requête.
Déduction : La règle extraite est appliquée systématiquement à la requête pour dériver la réponse finale.

2. Stratégie d'Entraînement (SFT + RLVR)

Pour instaurer cette capacité de raisonnement, les auteurs emploient un paradigme d'entraînement en deux étapes :

Affinage Supervisé (SFT) : Des chaînes de raisonnement de haute qualité sont distillées à partir d'un modèle enseignant puissant (Gemini 3.1-pro). L'enseignant génère séquentiellement les étapes d'analyse de cas, d'induction et de déduction. Ces chaînes sont vérifiées par vote majoritaire parmi des modèles experts pour garantir leur validité logique.
Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) : Le modèle est ensuite optimisé à l'aide d'une fonction de récompense composite ( $R = \alpha R_{task} + \beta R_{helpful} + \gamma R_{cite}$ $R = α R_{t a s k} + β R_{h e l p f u l} + γ R_{c i t e}$ ) :
- $R_{task}$ : Récompense les réponses finales correctes et le formatage approprié.
- $R_{helpful}$ : Récompense l'identification correcte des cas bruyants par rapport aux cas utiles.
- $R_{cite}$ : Récompense le modèle pour citer explicitement les cas utiles utilisés dans son raisonnement.
- Les auteurs utilisent DAPO (Optimisation Directe des Préférences) pour gérer les longues séquences de génération produites par le CoT structuré, évitant ainsi les problèmes de débordement de contexte courants dans le GRPO standard.

3. Modules de Représentation Visuelle

Pour soutenir le processus de raisonnement, deux modules légers sont introduits pour nettoyer le fondement visuel :

Élagage des Tokens Visuels Guidé par la Similarité : Au lieu de s'appuyer sur les scores d'attention (qui sont biaisés), ce module partitionne les images en régions spatiales et calcule la similarité des tokens au sein de chaque région. Il conserve les tokens à forte diversité sémantique (informations distinctives) tout en élaguant les patches de fond redondants, réduisant le nombre de tokens visuels d'environ 80 %.
Attention Visuelle Dynamique : Un mécanisme apprenable qui rééquilibre les poids d'attention sur toutes les images du contexte lors du décodage. Il contrebalance le « biais de la première image » en appliquant des facteurs d'échelle par token aux sources visuelles, assurant une attention équitable sur tous les cas de démonstration et la requête.

Contributions Clés

Diagnostic de l'Échec de l'ICL Multimodal : L'article valide empiriquement que la déficience centrale de l'ICL multimodal est l'absence de véritable raisonnement inductif, accompagnée de barrières au niveau de la représentation (redondance des tokens et déséquilibre de l'attention).
Cadre MMInduction : Un paradigme novateur qui intègre un CoT inductif-déductif structuré avec un traitement visuel ciblé (élagage des tokens et rééquilibrage de l'attention).
Évaluation Complète : Le cadre est évalué sur huit jeux de données couvrant la perception visuelle, le raisonnement logique, les problèmes STEM et la détection de sarcasme, démontrant des améliorations constantes par rapport aux bases ICL standard.

Résultats

Des expériences ont été menées sur trois VLM open-source (Qwen2-VL-7B, Qwen2.5-VL-7B et Qwen3VL-8B) à travers huit benchmarks.

Gains de Performance : MMInduction a obtenu des améliorations robustes et constantes par rapport aux VLM bruts et aux bases (SoFA, LoRA, DARA). Notamment, sur les benchmarks de raisonnement logique comme MMIQ, où les modèles bruts souffrent souvent d'une dégradation des performances avec plus de shots (par exemple, Qwen3VL-8B passant de 32,30 % à 27,22 % de précision du 0-shot au 3-shot), MMInduction a inversé cette tendance, améliorant la précision à 38,46 % dans le cadre 3-shot.
Précision Inductive : Après l'entraînement, la précision inductive (la capacité à identifier correctement la règle sous-jacente) a augmenté de manière significative. Pour Qwen3VL-8B, la précision inductive est passée de 4,39 % (0-shot) à 20,78 % (3-shot), confirmant que le modèle apprend à extraire des règles plutôt qu'à mémoriser des réponses.
Études d'Ablation : Le retrait d'un seul composant (Élagage des Tokens, Attention Dynamique ou CoT Inductif) a entraîné des baisses de performance significatives, vérifiant que les trois éléments sont nécessaires pour surmonter les goulots d'étranglement identifiés.

Importance et Revendications

Les auteurs affirment que MMInduction démontre le potentiel de doter les VLM de véritables capacités inductives dans des contextes multimodaux. En guidant explicitement les modèles à analyser les cas, dériver des règles et les appliquer, le cadre élève l'ICL multimodal d'un simple appariement de motifs superficiel à un véritable raisonnement logique.

L'article reconnaît modestement certaines limites :

Longueur du Contexte : Le CoT structuré augmente la longueur de génération, entraînant une baisse de performance lorsque le nombre de shots dépasse trois (4-shot et 5-shot), car les modèles sur-analysent et dépassent les limites de contexte.
Connaissance de Domaine : Bien que la structure de raisonnement s'améliore, le cadre n'élimine pas totalement les échecs dans les tâches STEM rigoureuses nécessitant des calculs numériques précis ou une connaissance approfondie spécifique au domaine, qui restent bornées par les capacités du modèle de base.
Dépendance à la Récupération : Le cadre repose sur une récupération basée sur la similarité ; les performances peuvent se dégrader si la base de données de récupération manque de diversité sémantique ou contient du contenu biaisé.

Dans l'ensemble, ce travail postule que permettre aux VLM d'effectuer un raisonnement inductif-déductif structuré, soutenu par des représentations visuelles équilibrées, est une condition préalable pour débloquer le plein potentiel de l'apprentissage en contexte multimodal.