🤖 AI

DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

Ce papier présente DiG, un cadre d'apprentissage par tâche proxy qui améliore la perception visuelle fine et le raisonnement spatial des modèles de langage multimodaux en les entraînant à identifier et localiser automatiquement les différences entre des paires d'images, grâce à une génération de données automatisée et un apprentissage par curriculum.

Auteurs originaux : Zhou Tao, Shida Wang, Yongxiang Hua, Haoyu Cao, Linli Xu

Publié 2026-03-18

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhou Tao, Shida Wang, Yongxiang Hua, Haoyu Cao, Linli Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Les "Géants" qui ne voient pas les détails

Imaginez que les Modèles de Langage Multimodaux (MLLM) sont comme des géants très intelligents capables de décrire une scène entière. Si vous leur montrez une photo d'une forêt, ils peuvent vous dire : "C'est une forêt avec des arbres et un ciel bleu". C'est impressionnant !

Mais il y a un gros problème : ces géants sont souvent maladroits avec les détails.

Si un oiseau change de couleur d'un bleu au rouge, ils ne le voient pas.
Si une tasse disparaît d'une table, ils ne s'en rendent pas compte.
Ils voient la "forêt", mais ils manquent les "arbres" individuels.

C'est comme si vous regardiez un tableau de loin : vous voyez le paysage, mais si on vous demande de trouver la petite tache de peinture manquante sur un seul arbre, vous échouez.

💡 La Solution : Le Jeu des "7 Différences" (DiG)

Les chercheurs de l'Université de Science et Technologie de Chine ont inventé une méthode appelée DiG (Differential Grounding, ou "Ancrage Différentiel").

Imaginez que vous jouez au jeu classique "Trouvez les 7 différences" entre deux images presque identiques.

L'idée géniale : Au lieu de simplement apprendre au modèle à décrire une image, on lui donne deux images (une "avant" et une "après") et on lui dit : "Trouve-moi tout ce qui a changé et montre-moi exactement où c'est avec un cadre."

C'est comme entraîner un détective privé. Au lieu de lui dire "qui est le coupable ?", on lui donne deux photos de la scène du crime et on lui demande : "Qu'est-ce qui a bougé ?". Cela force le modèle à devenir hyper-vigilant et à scruter chaque pixel.

🎨 Comment créer des milliers de jeux sans dessiner ? (Le Pipeline 3D)

Le défi était de créer assez de ces jeux pour entraîner le modèle. Dessiner à la main prendrait des années.

L'analogie : Imaginez un robot chef cuisinier dans un monde virtuel (un logiciel 3D comme Blender).
Ce robot construit une scène (des cubes, des sphères, des couleurs). Il prend une photo.
Ensuite, il modifie automatiquement un petit détail (il change la couleur d'un cube en vert, ou il enlève une sphère). Il prend une deuxième photo.
Comme c'est un robot, il sait exactement ce qu'il a changé et où. Il génère donc des milliers de paires d'images avec des réponses parfaites, sans jamais avoir besoin d'un humain pour corriger les exercices.

🎓 La Méthode d'Entraînement : L'Escalier (Curriculum Learning)

Au début, le modèle est très mauvais. S'il doit trouver 5 différences d'un coup, il est perdu et ne reçoit aucune récompense (comme un élève qui échoue à un examen trop difficile).

Les chercheurs ont utilisé une technique appelée Apprentissage par Curriculum (comme un programme scolaire) :

Niveau 1 (Bébé) : On ne montre au modèle qu'une seule différence. C'est facile, il réussit et gagne en confiance.
Niveau 2 (Enfant) : On augmente la difficulté avec deux différences.
Niveau 3 (Expert) : On lui donne des scènes complexes avec plusieurs changements, sans même lui dire combien il y en a.

C'est comme apprendre à nager : d'abord dans la petite piscine, puis dans la grande, et enfin en haute mer. Cela permet au modèle d'apprendre progressivement sans se décourager.

🚀 Les Résultats : Un Super-Héros de la Vision

Une fois entraîné avec cette méthode "Trouve les différences", le modèle devient un super-héros de la perception visuelle :

Il ne se trompe plus sur les petites tailles ou les couleurs.
Il devient excellent pour répondre à des questions précises comme : "Quelle est la couleur du chapeau de l'homme ?" ou "Y a-t-il une bouteille sur la table ?".
Il transfère ces compétences à d'autres tâches : il devient meilleur pour comprendre des diagrammes, lire du texte dans une image, ou même raisonner sur des scènes complexes.

En résumé

DiG, c'est comme donner à un élève très intelligent mais distrait un entraînement intensif de "chasseur d'erreurs". En le forçant à comparer deux images et à pointer les moindres changements, on lui apprend à ouvrir grand les yeux. Résultat : il ne voit plus seulement le tableau, il voit chaque détail, chaque couleur et chaque objet, devenant ainsi beaucoup plus précis et fiable.

1. Problématique

Les Modèles de Langage Multimodaux (MLLM) actuels excellent dans la compréhension globale des scènes et l'association de sémantique visuelle à un raisonnement textuel. Cependant, ils souffrent de limitations majeures en matière de perception visuelle fine et de raisonnement spatial précis.

Le manque de sensibilité aux détails : Les modèles actuels ont tendance à ignorer des changements subtils tels que de petites variations d'objets, des modifications de couleur ou des éléments manquants.
Limites des approches existantes :
- L'entraînement supervisé sur des tâches d'ancrage (grounding) classiques (comme RefCOCO) nécessite des annotations manuelles coûteuses et limite l'échelle et la diversité des données.
- Les tâches de proxy existantes (comme les puzzles visuels ou la détection d'hallucinations) ne ciblent pas explicitement la perception fine, laissant les modèles insensibles aux détails subtils.
- L'apprentissage par renforcement (RL) direct sur ces tâches échoue souvent à cause de la sparsité des signaux de récompense : au début de l'entraînement, le modèle ne détecte aucune différence, ce qui fait s'effondrer la récompense vers zéro et empêche une optimisation stable.

2. Méthodologie : Le cadre DiG

Les auteurs proposent DiG (Differential Grounding), un nouveau cadre de tâche proxy conçu pour forcer les modèles à développer une perception fine en identifiant et en localisant toutes les différences entre des paires d'images similaires.

A. Génération de Données Automatisée (Pipeline 3D)

Pour pallier le manque de données annotées manuellement, l'équipe a développé un pipeline de génération de données entièrement automatisé basé sur le moteur de rendu Blender 3D :

Scènes procédurales : Des scènes 3D sont générées avec des objets ayant des attributs contrôlés (forme, couleur, taille, matériau, position).
Différences contrôlées : Une image de référence ( $I_a$ ) est générée, puis une image modifiée ( $I_b$ ) est créée en appliquant aléatoirement $K$ modifications (ajout, suppression, changement d'attribut) sur un sous-ensemble d'objets.
Annotations parfaites : Puisque les modifications sont définies mathématiquement dans l'espace 3D, les boîtes englobantes (bounding boxes) de vérité terrain ( $B_{gt}$ ) sont extraites automatiquement avec une précision absolue, éliminant le besoin d'annotation humaine.

B. Apprentissage par Renforcement (RL) et GRPO

L'entraînement utilise l'optimisation de politique relative de groupe (GRPO) avec une fonction de récompense composée de trois éléments :

Récompense de Format ( $r_{format}$ ) : S'assure que la sortie du modèle est une liste de boîtes englobantes parseable (syntaxe correcte).
Récompense de Précision ( $r_{acc}$ ) : Combine deux métriques :
- Un score F1 pour évaluer la complétude de la détection (combien de différences ont été trouvées).
- Un score IoU (Intersection over Union) pour évaluer la précision spatiale des boîtes localisées.
- Le calcul utilise l'algorithme hongrois pour faire correspondre les prédictions aux vérités terrain de manière optimale.
Récompense Globale : Une combinaison pondérée de la précision et du format, permettant au modèle de se concentrer d'abord sur la structure, puis sur la précision visuelle.

C. Apprentissage par Curriculum (Curriculum Learning)

Pour résoudre le problème de la sparsité des récompenses au début de l'entraînement, une stratégie de curriculum est mise en œuvre :

Phase 1 (Différence unique) : Le modèle apprend à localiser une seule différence. La récompense est dense et facile à interpréter.
Phase 2 (Double différence) : La complexité augmente avec deux différences.
Phase 3 (Différences mixtes) : Le modèle est entraîné sur des scènes avec jusqu'à 4 différences, sans connaître le nombre exact de modifications à l'avance, forçant une inférence robuste.

3. Contributions Clés

Cadre DiG : Introduction d'une tâche de « grounding différentiel » qui transforme la comparaison d'images en un problème de localisation, forçant le modèle à dépasser l'alignement sémantique grossier pour atteindre une sensibilité fine.
Pipeline de Données Évolutive : Création d'un générateur de données 3D automatisé produisant des paires d'images de haute qualité avec des annotations parfaites et des niveaux de difficulté contrôlables.
Stratégie d'Optimisation Stable : Développement d'une approche combinant GRPO, récompenses structurées (F1 + IoU) et apprentissage par curriculum pour surmonter les défis d'optimisation liés aux signaux de récompense rares.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles Qwen3-VL (versions 4B et 8B) et évaluées sur une large gamme de benchmarks.

Perception Visuelle : DiG améliore systématiquement les performances sur des benchmarks de perception fine (HalBench, HRBench-8K, POPE, VSR). Par exemple, le modèle 8B gagne +3.4 points sur HalBench et +2.1 points sur V*.
Tâches d'Ancrage (Grounding) : Sur les benchmarks RefCOCO, RefCOCO+ et RefCOCOg, les modèles entraînés avec DiG surpassent les modèles de base, démontrant une meilleure capacité à localiser des régions spécifiques basées sur des descriptions textuelles complexes.
Raisonnement Multimodal Général : Les gains se transfèrent aux tâches de raisonnement général (MMBench, MMVet, ScienceQA), indiquant que la perception fine améliore la compréhension globale.
Analyse Ablative :
- Le curriculum learning est essentiel : l'entraînement direct sur des tâches complexes échoue, tandis que l'approche progressive stabilise l'apprentissage.
- La combinaison des récompenses F1 (détection) et IoU (localisation) est cruciale pour des performances optimales.

5. Signification et Impact

Ce travail démontre que l'amélioration de la perception visuelle fine ne nécessite pas nécessairement une augmentation massive de la taille du modèle, mais plutôt une stratégie d'entraînement ciblée.

Paradigme Évolvable : DiG offre une méthode scalable pour entraîner des modèles à être plus sensibles aux détails visuels, comblant le fossé entre la compréhension sémantique de haut niveau et la perception de bas niveau.
Réduction des Hallucinations : En forçant le modèle à valider spatialement les détails, DiG réduit les hallucinations visuelles courantes dans les MLLM.
Futur de l'IA Multimodale : Cette approche ouvre la voie à des systèmes d'IA plus robustes capables de raisonner sur des changements subtils, essentiels pour des applications comme l'inspection industrielle, la surveillance médicale ou la réalité augmentée précise.

En résumé, DiG établit un nouveau standard pour l'entraînement des modèles multimodaux en utilisant des tâches de différence contrôlées et générées procéduralement pour affiner la perception visuelle à un niveau de granularité sans précédent.