Résumé technique : Distillation relationnelle multi-vues pour le raisonnement spatial avec les modèles vision-langage

1. Énoncé du problème

Les modèles vision-langage (VLM) ont démontré de fortes capacités de compréhension d'images et de vidéos, mais souffrent de représentations visuo-spatiales géométriquement fragiles. Cette fragilité entraîne des échecs dans les tâches de raisonnement spatial essentielles pour l'IA incarnée, la robotique et la conduite autonome, telles que l'inférence de distances relatives ou la localisation d'objets.

Les approches existantes pour ancrer les VLM dans la géométrie font face à deux limitations principales :

1. Le réglage fin supervisé (SFT) : L'entraînement sur des jeux de données de questions-réponses spatiales perpétue souvent des « représentations visuelles fallacieuses » sans corriger fondamentalement la compréhension géométrique sous-jacente.
2. La fusion de caractéristiques : Les méthodes qui fusionnent les caractéristiques de modèles de vision ancrés dans la géométrie (ex. : VGGT, CUT3R) dans les VLM améliorent le raisonnement spatial, mais augmentent considérablement la taille du modèle et la latence d'inférence, posant des défis pour les applications en temps réel.

Une troisième approche, la distillation de connaissances, tente de transférer la connaissance géométrique d'un modèle enseignant vers un modèle étudiant VLM sans augmenter le coût d'inférence. Cependant, les auteurs identifient un mode d'échec critique dans la distillation de caractéristiques standard : faire correspondre directement les vecteurs de caractéristiques multi-vues de l'étudiant aux caractéristiques de l'enseignant ancrées dans la géométrie perturbe l'alignement préentraîné entre les représentations visuelles et textuelles. Ce compromis dégrade la capacité du modèle à effectuer des tâches d'ancrage linguistique, comme le suivi de l'ordre d'apparition des objets ou l'estimation de la taille d'un objet basée sur des requêtes textuelles.

2. Méthodologie : Distillation relationnelle multi-vues (MVRD)

Pour résoudre le compromis entre l'ancrage géométrique et l'alignement vision-langage, les auteurs proposent la Distillation Relationnelle Multi-vues (MVRD).

Concept central

Au lieu de distiller les vecteurs de caractéristiques eux-mêmes (ce qui force les caractéristiques de l'étudiant à converger vers un espace géométrique spécifique), la MVRD distille les similitudes cosinus (relations) entre les caractéristiques à travers plusieurs vues.

• Hypothèse : Les relations multi-vues encodent suffisamment de correspondances géométriques pour améliorer la compréhension spatiale. Crucialement, comme la correspondance des similitudes par paires ne détermine pas de manière unique les vecteurs de caractéristiques absolus, le modèle étudiant conserve la liberté de choisir des représentations de caractéristiques qui satisfont l'objectif géométrique tout en restant proches de son espace vision-langage préentraîné.
• Formulation mathématique :
  • Soient $v_{1:T}$ les jetons de vision de l'étudiant et $\bar{g}_{1:T}$ les caractéristiques ancrées dans la géométrie de l'enseignant.
  • Une représentation relationnelle $R$ est construite à l'aide d'une fonction de similitude $r$ (spécifiquement la similitude cosinus) : $R(h)[i, j] = r(h[i], h[j])$.
  • La perte de distillation $L_{RD}$ minimise la différence entre les matrices relationnelles de l'étudiant et de l'enseignant :
    $$L_{RD} := \ell_{RD}(R(f(v_{1:T})), R(\text{sg}(\bar{g}_{1:T})))$$
  • Ici, $f$ est une projection MLP point par point, et $\text{sg}$ désigne l'opérateur de stop-gradient. L'objectif d'entraînement total combine la perte SFT standard avec la perte de distillation relationnelle ($L_{SFT} + \gamma L_{RD}$).

Améliorations architecturales

Pour minimiser davantage la dérive par rapport à l'espace préentraîné, les auteurs introduisent une architecture à double voie (Dual Pathway) :

• Adaptateur Géométrique : Un module d'adaptation de bas rang (LoRA) supervisé par la perte composite ($L_{SFT} + \gamma L_{RD}$) apprend les signaux relationnels multi-vues.
• Adaptateur Sémantique : Un module LoRA parallèle supervisé uniquement par $L_{SFT}$ préserve le comportement aligné sur le langage.
• Intégration : Les sorties de ces adaptateurs sont sommées après la couche de distillation et transmises à travers les blocs VLM restants. Ce découplage garantit que l'apprentissage géométrique ne perturbe pas le sous-espace pertinent pour le langage.

Choix de conception

• Fonction de similitude : La similitude cosinus est choisie pour son invariance d'échelle et d'orientation, permettant au modèle de faire correspondre les angles relatifs sans forcer l'alignement des magnitudes de caractéristiques.
• Fonction de perte : Une corrélation de Pearson négative par ligne est utilisée au lieu de l'erreur quadratique moyenne (MSE) pour améliorer la robustesse aux variations d'échelle des scores de similitude.
• Masquage causal : Pour adhérer aux mécanismes d'attention causale des VLM, un masquage causal et une mise à zéro diagonale sont appliqués avant le calcul de la perte.

- Contributions clés

1. Diagnostic de l'échec de la distillation de caractéristiques : Le papier identifie et démontre que la distillation de caractéristiques standard dégrade l'alignement vision-langage, provoquant des baisses de performance dans les tâches d'ancrage linguistique (ex. : comptage d'objets, estimation de taille) malgré l'amélioration des tâches géométriques.
2. Proposition de la MVRD : Un nouveau cadre de distillation qui transfère la connaissance géométrique via des similitudes relationnelles multi-vues plutôt que par des caractéristiques brutes, préservant ainsi l'espace vision-langage préentraîné.
3. Architecture à double voie : Un mécanisme léger de séparation de paramètres qui isole davantage l'apprentissage géométrique de l'alignement sémantique, équilibrant la performance entre les types de tâches.
4. Efficacité : La MVRD atteint des performances comparables aux méthodes de fusion de caractéristiques avec nettement moins de paramètres supplémentaires (<25 % de surcharge) et une latence plus faible (<16 % de surcharge par rapport aux bases de comparaison de fusion de caractéristiques).

4. Résultats expérimentaux

La méthode a été évaluée sur VSI-Bench (Visual-Spatial Intelligence Benchmark) et divers jeux de données de compréhension de scènes 3D.

• Performance sur VSI-Bench :
  • La MVRD a surpassé le réglage fin supervisé (SFT) et la distillation de caractéristiques standard (3DRS) sur 6 des 8 tâches.
  • Elle a montré des gains constants dans les tâches d'ancrage linguistique (ex. : Taille de l'objet, Ordre d'apparition), là où la distillation de caractéristiques échouait auparavant.
  • La variante MVRD + Dual Pathway a atteint une précision moyenne de 60,4 %, réduisant l'écart avec la méthode de pointe de fusion de caractéristiques (VLM-3R) à seulement 0,5 point, tout en utilisant le même backbone et le même jeu de données.
• Analyse de la représentation :
  • Une analyse qualitative et quantitative a confirmé que la MVRD maintient un alignement texte-vision élevé (mesuré par la précision de la détection d'objets basée sur le texte) tout en modélisant efficacement les relations géométriques.
  • Il a été démontré que la distillation de caractéristiques désaligne les jetons textuels de leurs patchs visuels correspondants, tandis que la MVRD préserve cette correspondance.
• Généralisation :
  • La MVRD a été transférée avec succès aux tâches de compréhension de scènes 3D (ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, SQA3D), surpassant les généralistes de compréhension de scènes 3D antérieurs et la base de comparaison de distillation de caractéristiques 3DRS.
  • La méthode s'est avérée robuste à travers différents backbones VLM (LLaVA-Video, InternVL3, Qwen2.5-VL).

5. Signification et affirmations

Le papier affirme que la MVRD offre une alternative de calcul efficace à la fusion de caractéristiques pour ancrer les VLM dans la géométrie 3D. En déplaçant la cible de la distillation des caractéristiques vers les relations, la méthode résout le conflit auparavant non diagnostiqué entre l'ancrage géométrique et l'alignement linguistique.

Les auteurs soulignent que la MVRD permet aux VLM d'acquérir une compréhension géométrique « sans sacrifier l'alignement vision-langage ». La variante Dual Pathway démontre également que le découplage des objectifs géométriques et sémantiques produit un modèle plus équilibré qui approche les performances des architectures lourdes de fusion de caractéristiques avec une fraction de leur coût d'inférence. Ce travail suggère que les représentations relationnelles sont un mécanisme plus adéquat et minimal pour transférer la connaissance géométrique aux VLM préentraînés.