Résumé technique : Pourquoi la vision échoue en tant que pont universel : Rectifier l'asynchronie des modalités dans les MLLM multilingues

Énoncé du problème

Les modèles de langage multimodaux (MLLM) présentent une dégradation significative des performances dans les tâches de raisonnement visuel non anglophones, malgré la possession de solides capacités multilingues dans leurs noyaux textuels seuls. Alors que la littérature actuelle attribue souvent cette disparité à la rareté des données, cet article soutient que la cause profonde réside dans les mécanismes de représentation internes des MLLM. Plus précisément, les auteurs étudient pourquoi les signaux visuels ne parviennent pas à agir comme un pont universel et indépendant de la langue pour l'alignement translingue. Ils émettent l'hypothologie qu'un décalage temporel existe entre l'évolution des représentations linguistiques et visuelles au sein de l'architecture Transformer, empêchant l'ancrage visuel de guider efficacement la traduction dans les contextes non anglais.

Méthodologie : Analyse mécaniste et intervention

1. Diagnostic mécaniste : Le phénomène de l'« Ancre Fantôme »

À travers une analyse rigoureuse couche par couche de modèles tels que LLaVA-1.5, les auteurs identifient un phénomène nommé Asynchronie de Modalité, qui se manifeste par l'effet de l'Ancre Fantôme (Ghost Anchor).

• Convergence linguistique : Les représentations linguistiques convergent rapidement vers une « Variété Sémantique Anglaise » ($S_{en}$) dans les premières couches du réseau (couches 1 à 5). Les jetons (tokens) non anglais sont implicitement traduits en représentations centrées sur l'anglais avant que la sémantique visuelle ne soit pleinement traitée.
• Sémantisation visuelle retardée : En revanche, les jetons visuels restent dans un état « sémantiquement immature » (encodant des caractéristiques sensorielles de bas niveau) durant ces premières couches. Ils n'atteignent un ancrage sémantique significatif (décodage en étiquettes d'objets) que bien plus profondément dans le réseau (après la couche 20).
• La conséquence : Parce que le flux linguistique s'aligne sur la variété anglaise avant que la sémantique visuelle ne soit disponible, le modèle effectue une traduction « aveugle ». La modalité visuelle est physiquement présente mais exerce une influence causale négligeable durant la fenêtre critique d'alignement précoce. Ceci a été validé via des expériences d'Effet Causal Visuel, où le remplacement des entrées visuelles par un bruit gaussien apparié a entraîné des changements quasi nuls sur les métriques de traduction des premières couches ($\Delta RET$ et $\Delta Sim_{en}$).

2. Solution proposée : ANCHOR

Pour rectifier cette asynchronie, les auteurs proposent ANCHOR, un cadre d'entraînement centré sur l'Ancrage Visuel Proactif (PVA - Proactive Visual Anchoring).

• Mécanisme central : Le PVA supervise explicitement l'évolution des représentations visuelles dans les couches précoces pour accélérer leur émergence sémantique.
• Implémentation :
  • Un Modèle de Fondation Visuelle (VFM) externe, spécifiquement SigLIP-SO400M/14, sert de superviseur sémantique.
  • Un réseau d'alignement léger ($MLP_{align}$) projette les états cachés intermédiaires du MLLM provenant des couches précoces ($L_{early}$) dans l'espace de caractéristiques du VFM.
  • L'objectif d'entraînement minimise la similitude cosinus moyenne négative entre les jetons visuels précoces du MLLM et les caractéristiques sémantiques fines du VFM.
• Stratégie d'entraînement : Le cadre applique un ajustement fin à l'ensemble des paramètres (FFT - Full-Parameter Fine-Tuning) au projecteur multimodal et aux 10 premières couches ($L_{early}$ fixé à 10) du transformer, tout en gelant les couches plus profondes et l'encodeur de vision. Cela garantit que les caractéristiques visuelles deviennent « sémantiquement prêtes » avant que le flux linguistique ne termine son alignement cross-modal.

Contributions clés

1. Formalisation du phénomène de l'Ancre Fantôme : L'article identifie et formalise systématiquement le désalignement temporel où les signaux visuels sont sémantiquement inaccessibles durant la phase d'alignement précoce des MLLM multilingues.
2. Preuve mécaniste : À travers l'analyse par couche et les interventions causales (substitution de bruit), les auteurs démontrent que l'information visuelle a une influence causale négligeable sur la trajectoire de traduction linguistique dans les couches précoces, expliquant l'échec de la vision à combler les écarts non anglais.
3. Le cadre ANCHOR : Une nouvelle méthode d'entraînement utilisant des VFM externes pour imposer une préparation sémantique visuelle précoce, synchronisant efficacement la convergence des deux flux.

Résultats empiriques

Des expériences ont été menées sur xMMMU (raisonnement de domaine expert), MaXM (transfert translingue) et CVQA (VQA aux nuances culturelles) sur des modèles de 7B et 13B de paramètres (LLaVA-1.5, LLaVA-NeXT, InternVL3).

• Gains de performance : ANCHOR surpasse systématiquement les lignes de base standards (Std. LoRA) et l'ajustement fin des couches précoces sans ancrage (Early-Layer FFT).
  • Sur xMMMU, ANCHord a amélioré la précision moyenne d'environ 2,2 % (7B) et 2,3 % (13B) par rapport au Std. LoRA.
  • Sur MaXM, des gains ont été observés pour les langues fine-tunées et zero-shot, le modèle 13B passant d'une précision moyenne de 32,6 % à 36,5 %.
  • Sur CVQA, ANCHOR a atténué la dégradation de performance souvent observée lors de l'adaptation des couches précoces, améliorant la précision de l'arabe de 28,1 % (Early-Layer FFT) à 40,1 % (ANCHOR) sur le modèle 13B.
• Généralisation Zero-Shot : La méthode a démontré une robustesse de généralisation aux langues non vues, réduisant la « taxe d'alignement » habituellement encourue lors de l'ajustement fin supervisé.
• Rétention de l'anglais : Contrairement à certaines méthodes d'alignement qui dégradent la compétence native en anglais, ANCHOR a préservé ou légèrement amélioré les performances en anglais sur des benchmarks comme xMMMU.
• Validation mécaniste : L'analyse post-entraînement a confirmé qu'ANCHOR a réussi à augmenter l'Effet Causal Visuel ($\Delta RET$ et $\Delta Sim_{en}$) dans les couches précoces, prouvant que les signaux visuels influencent désormais activement le processus de traduction. Des études de cas ont montré qu'ANCHOR peut outrepasser les priors linguistiques incorrects (ex: prédire « laptop » basé sur le texte) par des concepts ancrés visuellement (ex: « mesa »/table).

Signification et revendications

L'article affirme que l'échec de la vision à servir de pont universel dans les MLLM multilingues n'est pas simplement un problème de données, mais une asynchronie de modalité structurelle. En déplaçant l'attention de la curation de données externes vers la synchronisation des représentations internes, les auteurs démontrent que l'Ancrage Visuel Proactif peut rectifier le phénomène de l'« Ancre Fantôme ».

La portée de ce travail réside dans la fourniture d'une explication mécaniste des échecs de raisonnement visuel translingue et dans l'offre d'une intervention ciblée et efficace sur le plan computationnel, qui aligne les flux visuels et linguistiques précisément au niveau de la couche où l'interaction cross-modale est la plus critique. Les auteurs positionnent ce travail comme une étape vers une compréhension multimodale véritablement indépendante de la langue, où l'évidence visuelle guide activement la traduction linguistique plutôt que d'être contournée par les dynamiques internes centrées sur l'anglais.