🤖 machine learning

Information-Regularized Attention for Visual-Centric Reasoning

Cet article introduit l'Attention Régularisée par l'Information (IRA), un mécanisme d'attention stochastique qui régule explicitement le flux d'informations visuelles dans les modèles de vision-langage afin d'atténuer les hallucinations et l'instabilité en transformant l'incertitude de la représentation en un bruit local indépendant, améliorant ainsi l'ancrage visuel et la stabilité de l'entraînement.

Auteurs originaux : Guohao Sun, Xiaofang Wang, Yash Patel, Mengchen Liu, Zhiqiang Tao, Praveen Krishnan

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guohao Sun, Xiaofang Wang, Yash Patel, Mengchen Liu, Zhiqiang Tao, Praveen Krishnan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un élève très intelligent (un modèle de vision-langage) à regarder une image et à répondre à des questions à son sujet. Habituellement, nous enseignons à cet élève en lui montant des milliers d'images et en lui demandant de deviner le mot suivant dans une phrase.

Le problème, tel que les auteurs de cet article l'ont découvert, est que l'élève se laisse parfois « distraire » ou « embrouiller ». Il peut regarder une photo de chien et affirmer avec assurance : « C'est un chat », ou bien il peut se focaliser sur le bruit de l'arrière-plan au lieu de l'objet principal. Cela arrive parce que les notes internes de l'élève (les données visuelles) sont encombrées de trop d'informations inutiles, comme de la friture sur un canal radio.

Voici une décomposition simple de ce que le papier propose pour corriger cela :

Le Problème : La « Radio Parasitée »

Considérez l'information visuelle que le modèle reçoit comme un signal radio. Dans l'entraînement standard, le modèle essaie de tout apprendre à la fois. Mais parce qu'il essaie de prédire le mot suivant, il capte accidentellement de la « friture » (détails non pertinents) et de « mauvais signaux » (hallucinations). C'est comme essayer d'écouter une chanson claire pendant que quelqu'un vous crie des chiffres aléatoires à l'oreille. Le modèle est submergé, et son attention reste bloquée sur les mauvaises choses (un phénomène que le papier appelle « puits d'attention » ou attention sinks, où le modèle fixe simplement un jeton sans importance au lieu de l'ensemble de l'image).

La Solution : L'« Attention Régularisée par l'Information » (IRA)

Les auteurs introduisent un nouvel outil appelé Attention Régularisée par l'Information (IRA). Vous pouvez considérer cela comme un casque à réduction de bruit intelligent pour le cerveau du modèle.

Au lieu de simplement laisser le modèle lire les données visuelles telles quelles, l'IRA ajoute intentionnellement un peu de « chaos contrôlé » (bruit aléatoire) aux notes internes du modèle avant qu'il ne prenne une décision.

Voici comment cela fonctionne en utilisant une analogie créative :

L'étape « Stochastique » (Ajout du bruit) : Imaginez que vous essayiez de décrire une peinture à un ami. Si vous la regardez simplement, vous pourriez rester bloqué sur une minuscule poussière. Mais si on vous demandait de la décrire en portant des lunettes légèrement floues (le « bruit »), vous seriez forcé d'ignorer la petite poussière pour vous concentrer sur les formes larges et importantes.
- Dans l'article, cet effet de « lunettes floues » est l'attention stochastique. Cela force le modèle à être incertain face aux détails minuscules et à se concentrer uniquement sur les signaux forts et clairs qui sont réellement importants pour la réponse.
Le « Filtre Intelligent » (Conditionné par l'incertitude) : Le modèle n'ajoute pas du bruit partout de manière indiscriminée. Il est intelligent.
- Si le modèle est déjà très confiant concernant une partie de l'image (faible incertitude), le système dit : « D'accord, gardez cela net ; ne jouez pas avec. »
- Si le modèle est confus ou si les données semblent désordonnées (incertitude élevée), le système dit : « Cette partie est instable ; ajoutons du bruit ici pour vous forcer à revérifier et à trouver la véritable vérité. »
- C'est comme un professeur qui n'aide l'élève que lorsqu'il est bloqué, plutôt que de réécrire tout son essai pour lui.
Le Résultat : Un chemin plus droit : Le papier mesure la « courbure » du chemin de pensée du modèle.
- Sans l'IRA : Le chemin de pensée du modèle est comme des montagnes russes — sinueux, instable et sujet aux accidents (hallucinations).
- Avec l'IRA : Le chemin devient une autoroute lisse et droite. Le modèle passe de l'observation de l'image à la formulation de la réponse sans prendre de détours inutiles et déroutants.

Qu'ont-ils découvert ?

Lorsqu'ils ont testé cette nouvelle méthode :

Moins d'hallucinations : Le modèle a cessé d'inventer des faits sur les images.
Meilleure concentration : Il a cessé de rester bloqué sur des détails d'arrière-plan sans importance (réduction du « puits d'attention »).
Raisonnement plus fin : Il est devenu meilleur dans les tâches complexes, comme répondre à des questions qui nécessitent de combiner ce qu'il a vu avec ce qu'il sait, car ses « notes » internes sont plus propres et plus fiables.

L'essentiel

L'article affirme qu'en ajoutant intentionnellement un peu d'« incertitude » (bruit) au traitement visuel du modèle de manière intelligente et contrôlée, nous pouvons en réalité le rendre plus certain et plus fiable. C'est un peu comme secouer un bocal de mélange de noix pour faire remonter les plus grosses. Le bruit aide les signaux visuels importants à se détacher de l'inutile.

Cette approche ne fait pas seulement mieux répondre le modèle ; elle change fondamentalement la façon dont le modèle « pense » les images, rendant sa carte interne du monde plus fluide et plus stable.

Résumé Technique : Attention Régularisée par l'Information pour le Raisonnement Visuel-Centré

Énoncé du Problème
Les modèles de langage-vision (VLM) se sont imposés comme un paradigme de l'apprentissage multimodal, mais souffrent de problèmes de fiabilité significatifs, notamment l'hallucination d'objets, un ancrage visuel faible et un oubli catastrophique suite à l'ajustement fin (instruction tuning) des paramètres complets. Les auteurs soutiennent que ces échecs découlent d'un manque de contrôle explicite sur l'apprentissage des représentations visuelles lors de l'objectif standard de prédiction du prochain jeton (next-token prediction). Sous les paradigmes d'entraînement actuels, les plongements visuels (visual embeddings) sont optimisés de manière passive via la seule supervision linguistique. Cela permet à des signaux visuels non pertinents ou bruités de se propager à travers les couches d'attention, menant à des « puits d'attention » (attention sinks — où l'attention s'effondre sur des jetons sémantiquement non informatifs) et à des interactions intermodales fallacieuses. Les approches existantes centrées sur les données, qui reposent sur l'expansion des signaux de supervision (par exemple, l'optimisation de préférence), ne parviennent pas à régulariser directement les représentations de caractéristiques elles-mêmes.

Méthodologie : Attention Régularisée par l'Information (IRA)
Pour remédier à ces problèmes, l'article propose l'Attention Régularisée par l'Information (IRA), un mécanisme d'attention stochastique conçu pour réguler explicitement la quantité d'information visuelle injectée dans les états cachés des couches intermédiaires du transformer.

Formulation Information-Théorique : La méthode cadre le problème comme une tâche d'inférence variationnelle. Au lieu de traiter les états cachés $h$ comme des mappages déterministes de l'entrée $x$ , l'IRA introduit une variable latente stochastique $z$ en injectant un bruit aléatoire dans les états de valeur (value states) du module d'attention avant qu'ils n'entrent dans le calcul de l'attention. Cela transforme la propagation déterministe des plongements visuels en un processus stochastique.
Architecture : Une tête paramétrique légère est attachée à chaque couche du transformer pour produire une distribution postérieure $q_\phi(z | v)$ , où $v$ représente les états de valeur. Cette distribution postérieure est approximée par une astuce de reparamétrage ( $z = v + \Delta_\phi(v) + \sigma_q \epsilon$ ), permettant au modèle d'apprendre des perturbations adaptatives et des estimations d'incertitude sans surcharge d'encodage supplémentaire.
Objectif de Régularisation : L'objectif d'entraînement inclut un terme de divergence de Kullback-Leibler (KL) entre la distribution postérieure apprise et une distribution a priori dépendante des données $p_\lambda(z | \lfloor v \rfloor)$ . L'a priori est centré sur l'état de valeur original détaché (utilisant une opération de stop-gradient) pour éviter l'effondrement trivial postérieur-a priori.
Pondération Conditionnée par l'Incertitude : Reconnaissant que tous les jetons visuels ne nécessitent pas une régularisation égale, les auteurs introduisent un mécanisme de pondération par jeton. La magnitude de la régularisation est ajustée de manière adaptative selon deux facteurs :
1. Importance : La masse d'attention moyenne assignée à un jeton par les contextes linguistiques.
2. Incertitude : L'entropie de la distribution d'attention intermodale.
  Les jetons peu importants (faible attention) et incertains (haute entropie) reçoivent une régularisation plus forte, tandis que les détails visuels critiques sont préservés.
Application Spécifique aux Couches : Les expériences indiquent que l'application de l'IRA aux couches médianes à tardives (spécifiquement 60 % à 80 % de la profondeur du transformer) produit les meilleurs résultats, car ces couches équilibrent le raisonnement abstrait avec le maintien des signaux d'ancrage visuel.

Contributions Clés

Mécanisme Novateur : La proposition de l'IRA, qui régule les représentations visuelles au niveau de la représentation avant qu'elles n'entrent dans l'attention intermodale, contrôlant explicitement le flux d'information visuelle lors de l'ajustement fin des paramètres complets.
Perspectives Géométriques : La démonstration que l'IRA améliore la géométrie des représentations. Les auteurs introduisent une métrique de courbure pour analyser les trajectoires neuronales, trouvant que l'IRA produit des trajectoires plus lisses et plus linéaires à travers les couches, ce qui corrèle avec des dynamiques d'entraînement stables et un meilleur ancrage.
Atténuation des Puits d'Attention : L'identification d'une corrélation entre les puits d'attention et la courbure de la représentation. L'IRA est montrée comme capable de supprimer les puits d'attention et de réduire le ratio de jetons recevant une attention excessive et non informative.

Résultats
Les auteurs ont évalué l'IRA sur des VLM en open-source (InternVL2, InternVL2.5 et LLaVA-OneVision) à travers divers benchmarks :

Performance Générale : L'IRA a systématiquement surpassé le SFT (Supervised Fine-Tuning) standard sur les benchmarks intensifs en raisonnement (ex: MMMU, STEM, General QA) et les tâches intensives en connaissances (OK-VQA).
Robustesse : La méthode a amélioré les performances sur les benchmarks de détection d'hallucinations (POPE, HallusionBench) et a réduit les biais dans les tâches de vision de bas niveau (VLM-are-biased, VLM-are-blind).
Généralisation : L'IRA a démontré une meilleure généralisation aux tâches hors distribution (OOD), incluant la compréhension multi-images (MuirBench, BLINK) et la compréhension vidéo (MVBench).
Analyse de Représentation : L'analyse quantitative a montré que les modèles IRA présentaient des changements de courbure plus faibles (trajectoires plus droites) et un ratio de puits d'attention significativement réduit par rapport aux bases de référence SFT.
Ablation : Le retrait de la pondération guidée par l'incertitude ou de l'a priori dépendant des données a entraîné une dégradation des performances, confirmant la nécessité d'une régularisation adaptative et d'un ancrage aux représentations pré-entraînées.

Signification et Revendications
L'article affirme que l'attention stochastique n'est pas simplement un régularisateur, mais un contributeur fondamental à l'apprentissage des représentations au sein des architectures génératives. En régulant explicitement l'information injectée dans les états cachés, l'IRA s'attaque à la cause profonde des hallucinations visuelles et de l'instabilité : la propagation incontrôlée de signaux visuels bruités. Les auteurs postulent que l'amélioration de la fiabilité des VLM nécessite d'aller au-delà du post-traitement centré sur les données pour régulariser directement les représentations de caractéristiques au sein de l'architecture générative. De plus, ce travail suggère que l'attention ne doit pas être vue uniquement comme un mécanisme de pondération, mais comme une métrique pour évaluer la qualité de la représentation interne, offrant une nouvelle direction pour construire des systèmes multimodaux plus fiables et interprétables. Les auteurs notent que bien que les expériences actuelles soient limitées à des modèles de 8 milliards de paramètres en raison de contraintes de ressources, ils s'attendent à ce que les conclusions s'étendent aux modèles plus larges.

Le Problème : La « Radio Parasitée »

La Solution : L'« Attention Régularisée par l'Information » (IRA)

Qu'ont-ils découvert ?

L'essentiel

Articles similaires