Résumé technique : Le flux et le reflux de la focalisation multimodale

1. Énoncé du problème

Les modèles vision-langage (VLM) ont démontré de fortes capacités de raisonnement, pourtant ils souffrent fréquemment d'une dégradation des preuves visuelles lors de l'inférence multi-étapes. Une fois que l'information visuelle est absorbée dans la pile linguistique, son influence tend à s'atténuer avec la profondeur, à s'enchevêtrer avec l'organisation du langage ou à dériver au fil de la génération. Cela conduit à une « négligence visuelle », où les modèles s'appuient sur les priors linguistiques plutôt que sur des preuves visuelles ancrées, entraînant des hallucinations et des échecs de raisonnement.

Bien que des travaux antérieurs aient tenté d'atténuer ces problèmes via le décodage contrastif, la réallocation de l'attention ou le pilotage d'activation, une compréhension unifiée de la manière dont les preuves visuelles sont organisées et utilisées à travers la profondeur du réseau reste floue. Plus précisément, on ignore si ces modes de défaillance proviennent d'un processus évolutif unique ou de signaux distincts, et comment l'intervention doit suivre l'évolution du rôle de la preuve visuelle au fur et à mesure que le raisonnement progresse.

2. Méthodologie

2.1 Analyse mécaniste : La fenêtre de relais visuel (VRW)

Les auteurs étudient d'abord la dynamique interne des VLM à travers un prisme mécaniste. En suivant deux sondes d'attention spécifiques à travers les couches du Transformer, ils découvrent une redistribution stable en trois étapes de la focalisation multimodale :

1. Stade initial (Organisation conditionnée par la question) : Le modèle aligne l'entrée visuelle avec la requête. L'attention est dominée par la sonde dirigée vers la question ($M_{A \to Q}$), tandis que l'attention intra-visuelle ($M_{I \to I}$) est faible.
2. Stade intermédiaire (Relais dominant le visuel) : Une phase critique où l'équilibre bascule. L'attention intra-visuelle augmente significativement alors que le modèle consolide les preuves visuelles et assemble des structures pertinentes pour la réponse. La sonde dirigée vers la question recule.
3. Stade tardif (Formation de la réponse) : Le calcul revient vers le côté linguistique pour générer la réponse finale, transmettant le support visuel assemblé.

Les auteurs opérationnalisent la phase intermédiaire comme la Fenêtre de Relais Visuel (VRW - Visual Relay Window). Ils définissent un score de dominance de relais $R(l) = M_{I \to I}^{(l)} - M_{A \to Q}^{(l)}$ (après normalisation conjointe) pour identifier l'intervalle $[s, e]$ où la consolidation visuelle domine.

Principaux résultats de l'analyse :

• Géométrie dépendante de la tâche : La VRW n'est pas fixe ; sa largeur et sa profondeur de terminaison s'adaptent aux exigences de la tâche. Les tâches « riches en détails » (ex: comptage) présentent des fenêtres de relais plus larges et plus tardives, tandis que les tâches « riches en raisonnement » présentent des fenêtres plus courtes avec des transferts plus précoces.
• Inadéquation du relais : Les réponses hallucinées (non supportées) sont liées causalement à une inadéquation de la géométrie du relais. Ces trajectoires sortent souvent de la phase de relais trop tôt (fenêtres étroites) ou ne parviennent pas à maintenir un ancrage visuel fort après le transfert, dérivant vers les priors linguistiques.
• Validation causale : La perturbation des états spécifiquement au sein de la VRW estimée d'une trajectoire non supportée permet de récupérer significativement des réponses ancrées (taux de récupération de 41,4 %), tandis que les perturbations hors de cette fenêtre ont un effet minimal.

2.2 Le cadre TRACE

Sur la base de ces découvertes, les auteurs proposent TRACE (Task-adaptive Relay Anchoring and Controlled Evidence Scheduling), un cadre de contrôle au moment de l'inférence comprenant trois modules légers et entraînés :

1. Prédicteur de relais appris : Un MLP léger qui prédit un « score de relais » pour chaque couche de prefill à partir de statistiques d'attention compactes (masse d'auto-attention visuelle, son changement, attention question-vers-visuel et profondeur de couche). Il identifie les couches susceptibles de participer au relais.
2. Planification de relais sensible à la tâche :
   • Prefill : En utilisant la sortie du prédicteur, le planificateur module dynamiquement les biais d'attention visuel-vers-visuel. Il peut étendre la phase de relais pour les tâches sensibles à l'ancrage ou la contracter pour les tâches de raisonnement intensif.
   • Sélection dynamique : Il maintient un sous-ensemble pertinent de la tâche des jetons visuels (basé sur le Top-P de la pertinence question-vers-visuel) pour concentrer l'intervention sur les preuves recrutées.
3. Ancrage post-transfert : Une fois la phase de relais terminée (identifiée par une règle d'arrêt par seuil), le cadre applique un biais additif à décroissance de profondeur aux logits réponse-vers-visuel. Cela garantit que le support visuel assemblé reste accessible pendant la phase de décodage, empêissant le modèle de s'éloigner de la preuve.

Le cadre est entraîné via l'optimisation conjointe du prédicteur, du planificateur et de la perte d'ancrage sur des triplets supervisés, tout en maintenant les paramètres du VLM de base gelés.

3. Contributions clés

1. Identification structurelle : L'article identifie une redistribution stable de la focalisation multimodale en trois étapes et formalise la phase intermédiaire comme la Fenêtre de Relais Visuel (VRW), fournissant une mesure structurelle de l'assemblage de l'évidence interne.
2. Explication mécaniste : Il établit un lien causal entre le timing optimal du relais et la génération ancrée, démontrant que les hallucinations proviennent souvent d'une inadéquation entre les demandes de preuves de la tâche et la géométrie du relais du modèle.
3. Intervention unifiée (TRACE) : Les auteurs introduisent un cadre qui remodèle l'allocation du relais pendant le prefill et préserve le support pendant le décodage. Cette approche traite à la fois l'atténuation des hallucinations et le raisonnement complexe sous un seul principe de contrôle, plutôt que de concevoir des correctifs séparés pour chacun.

4. Résultats expérimentaux

TRACE a été évalué sur quatre architectures VLM open-weight (Qwen3-VL-4B/8B, InternVL3.5-4B/8B) à travers sept benchmarks couvrant la sensibilité à l'ancrage, l'évidence fine et les tâches de raisonnement intensif.

• Configurations sensibles à l'ancrage : TRACE a apporté des gains significatifs sur HallusionBench, VlmsAreBlind et CountBench, améliorant les performances d'une moyenne de 4,33 points et jusqu'à 6,6 points sur des paires modèle-benchmark spécifiques (ex: InternVL3.5-8B sur HallusionBench).
• Tâches de raisonnement intensif : Il a également amélioré les performances sur MathVista (gain moyen de 3,05 points), démontant que l'ajustement de la géométrie du relais bénéficie aux tâches de raisonnement en permettant un transfert plus précoce vers le raisonnement côté langage une fois l'évidence organisée.
• Comparaison : TRACE a surpassé l'inférence vanilla, la cohérence de soi (self-consistency), le Chain-of-Thought et diverses lignes de base de contrôle au moment de l'inférence (VCD, PAI, MARINE, PTI, DMAS).
• Ablation : La suppression de l'un des trois composants principaux (Prédicteur, Planificateur, Ancrage) a entraîné une baisse des performances, confirmant que le mécanisme spécifique de remodelage de la géométrie du relais est crucial, et non simplement l'ajout de paramètres entraînables.

5. Signification et affirmations

L'article affirme qu'un contrôle explicite de la focalisation multimodale à travers la profondeur offre un mécanisme unifié et efficace pour renforcer le raisonnement ancré dans l'évidence. En observant les diverses demandes de tâches en aval à travers le prisme d'un rythme computationnel sous-jacent unique (le relais), TRACE évite le besoin d'heuristiques spécifiques à chaque tâche.

Les auteurs soulignent que leur travail fournit une explication mécaniste des hallucinations typiques (terminaison précoce du relais) et des différences de capacité entre les modèles standards et les modèles de « réflexion » (meilleur appariement du relais). Bien que l'analyse actuelle repose sur des sondes dérivées de l'attention et des configurations à image unique, ce travail propose un paradigme général pour un raisonnement multimodal plus fiable en alignant le processus d'assemblage de l'évidence interne du modèle avec les demandes spécifiques de la tâche.