Résumé Technique : DRScaffold

Énoncé du Problème

Les modèles vision-langage (VLM) légers ont atteint des performances compétitives sur les benchmarks standards, mais présentent des défaillances systématiques dans le raisonnement en scènes denses. Dans de tels scénarios, de multiples objets, attributs et relations sont étroitement couplés, nécessitant un raisonnement multi-étapes sur des dépendances visuelles. Les modèles légers actuels souffrent souvent d'une mauvaise interprétation des relations, d'un mauvais couplage des attributs et de dépendances hallucinées dans ces environnements encombrés.

Le problème central réside dans le décalage entre le processus de raisonnement multi-étapes requis pour les scènes denses et les signaux d'entraînement existants. Les méthodes actuelles reposent sur une supervision basée sur le résultat (entraînement uniquement sur les réponses finales) ou une supervision plate de la Chaîne de Pensée (CoT) (distillation du raisonnement sous forme de séquence de tokens non structurée). Aucune de ces approches n'impose une alignement entre les étapes de raisonnement et les preuves visuelles sous-jacentes. Par conséquent, les modèles légers minimisent la perte d'entraînement en imitant des patterns linguistiques fluides sans vérifier quelle entité visuelle chaque étape réfère, conduisant à un raisonnement qui semble plausible mais qui est factuellement non ancré.

Méthodologie

Le papier propose DRScaffold, un cadre de fine-tuning supervisé conçu pour améliorer le raisonnement en scènes denses sans modifier l'architecture du modèle. La méthodologie se compose de deux composants principaux : un nouveau benchmark pour une supervision structurée et un cadre d'entraînement par étapes.

1. DRBench : Un Benchmark de Raisonnement en Scènes Denses

Pour pallier le manque de données de supervision structurée, les auteurs introduisent DRBench, comprenant 14 573 questions réparties sur 2 943 images.

• Sources de Données : Les images sont tirées de Hypersim (scènes intérieures synthétiques photoréalistes) et de Cityscapes (scènes de conduite urbaine dynamique extérieures) pour assurer une diversité dans les agencements spatiaux et les défis de raisonnement.
• Taxonomie : Les questions sont organisées en cinq catégories couvrant trois couches de raisonnement progressives :
  1. Ancrage Structurel : Perception (expressions de référence multi-sauts) et Raisonnement Spatial.
  2. Application Contextuelle : Raisonnement sur l'Affordance (usage des objets) et Détection d'Anomalies.
  3. Rigueur Logique : Rejet des Prémisses Fausse, où les modèles doivent identifier et rejeter les requêtes contenant des référents visuellement absents intégrés dans des requêtes d'attributs ou de relations.
• Annotations Structurées : Contrairement aux benchmarks standards, DRBench fournit des annotations intermédiaires pour chaque échantillon, incluant les entités clés, un graphe de scène (triplets objet-relation) et une chaîne de raisonnement par étapes (Perception, Relation, Logique, Conclusion).
• Contrôle Qualité : Un pipeline multi-étapes impliquant une vérification aveugle au texte (pour filtrer les réponses purement linguistiques), un filtrage par correspondance de scène et des vérifications de cohérence utilisant de grands modèles (Qwen-VL-Max, DeepSeek) ainsi qu'une vérification humaine garantit que les annotations sont ancrées factuellement.

2. Cadre d'Entraînement DRScaffold

DRScaffold décompose la cible de supervision en un pipeline contraint par un schéma avec quatre étapes ordonnées causalement :

1. Ancrage des Entités : Détection et localisation des objets pertinents.
2. Modélisation des Relations : Résolution des dépendances spatiales ou logiques (Graphe de Scène).
3. Raisonnement Étape par Étape : Exécution d'un raisonnement multi-étapes basé sur les relations structurées.
4. Génération de Réponse : Production de la réponse finale.

Objectif d'Entraînement :
Le cadre emploie un masquage de gradient par étapes pour imposer une approche d'apprentissage par curriculum. L'entraînement se déroule en quatre phases :

• Phase 1 : La supervision est appliquée uniquement au champ d'Ancrage des Entités ($F_1$) ; les champs suivants sont masqués.
• Phase 2 : La supervision s'étend pour inclure la Modélisation des Relations ($F_1, F_2$).
• Phase 3 : La supervision inclut le Raisonnement Étape par Étape ($F_1, F_2, F_3$).
• Phase 4 : Une supervision complète ($F_1$ à $F_4$) est appliquée.
• Anti-Oubli : Dans la Phase 4, les échantillons DRBench sont mélangés 1:1 avec 15 000 échantillons de LLaVA-Instruct-150K pour prévenir l'oubli catastrophique des capacités générales.

La distribution de sortie conjointe se factorise de telle sorte que la distribution des tokens de réponse est explicitement conditionnée par les entités ancrées précédemment et les relations vérifiées :
$$p_\theta(y | x) = \prod_{k=1}^{4} p_\theta(F_k | F_1, \dots, F_{k-1}, x)$$

Résultats Clés

Les expériences ont été menées sur trois VLM légers (échelle 2B–6B) : InternVL2.5-2B, Qwen2.5-VL-3B et Phi4-multimodal.

• Performance sur DRBench : DRScaffold génère des gains substantiels sur tous les modèles.
  • Qwen2.5-VL-3B entraîné avec DRScaffold atteint 62,6 % de précision sur DRBench, surpassant le Qwen2.5-VL-32B figé (44,7 %).
  • InternVL2.5-2B passe de 32,5 % à 66,6 %.
  • Phi4-multimodal passe de 45,8 % à 50,7 %, obtenant le score moyen le plus élevé parmi tous les modèles testés.
• Préservation des Benchmarks Généraux : Contrairement aux méthodes de base (Réponse seule, CoT, LLaVA-CoT) qui dégradent les performances sur les benchmarks à usage général (MMMU, MMStar, RealWorldQA), DRScaffold préserve ou améliore légèrement les performances sur ces tâches tout en boostant significativement le raisonnement en scènes denses.
• Robustesse aux Hallucinations : Les modèles entraînés avec DRScaffold montrent une performance améliorée sur HallusionBench et la catégorie Rejet des Prémisses Fausse de DRBench, démontrant que l'ancrage causal réduit efficacement les dépendances hallucinées.
• Études d'Ablation : Le retrait d'une étape d'entraînement ou leur réorganisation (par exemple, entraîner le raisonnement avant l'ancrage) dégrade systématiquement les performances, confirmant que l'ordre causal (Ancrage $\to$ Relations $\to$ Raisonnement $\to$ Réponse) est un biais inductif nécessaire.

Signification et Revendications

Le papier revendique que la supervision structurée peut remplacer une part significative de l'échelle du modèle dans le raisonnement en scènes denses. En modélisant explicitement les dépendances causales entre les preuves visuelles et les étapes de raisonnement, DRScaffold permet aux modèles légers de surpasser des homologues beaucoup plus grands et figés dans des environnements complexes.

Les auteurs soulignent que leur approche comble un écart fondamental dans l'entraînement actuel des VLM : le manque d'ancrage explicite entre les étapes de raisonnement et les entités visuelles. En imposant un processus d'apprentissage échafaudé et par étapes, DRScaffold empêche les modèles de générer des chaînes de raisonnement fluides mais non ancrées, offrant une solution pratique pour déployer des VLM fiables dans des applications réelles contraintes par les ressources, telles que la robotique domestique et la conduite autonome.

Le travail conclut que si les modèles à grande échelle possèdent de fortes capacités de raisonnement, les modèles légers peuvent atteindre des performances comparables ou supérieures dans des domaines spécifiques de scènes denses grâce à une supervision structurée plutôt qu'à une simple augmentation du nombre de paramètres.