💻 computer science

Latent Noise Mask for Reducing Visual Redundancy in Multimodal Large Language Models

Le papier propose Lens, un cadre léger et conditionné par la question qui réduit la redondance visuelle dans les modèles de langage multimodaux en injectant de manière adaptative du bruit latent dans les jetons d'image non pertinents, améliorant ainsi considérablement les performances de raisonnement fin et de localisation sans modifier l'architecture de base du modèle.

Auteurs originaux : Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

Publié 2026-06-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle, mais que quelqu'un a déversé un énorme tas de pièces supplémentaires et sans rapport sur celles dont vous avez réellement besoin. C'est essentiellement le problème auquel les Modèles de Langage de Grande Taille Multimodaux (MLLM) sont confrontés lorsqu'ils regardent une image.

Ces modèles sont incroyablement intelligents pour lire et parler, mais lorsqu'ils regardent une image, ils voient tout comme une longue liste de petits morceaux (tokens). Si vous demandez : « Combien d'avions y a-t-il dans ce ciel ? », le modèle voit les avions, mais il voit aussi les nuages, les oiseaux, les arbres en arrière-plan et la texture de l'herbe. Tous ces morceaux « distracteurs » se mélangent, ce qui rend difficile pour le modèle de se concentrer sur les indices spécifiques dont il a besoin pour répondre à votre question.

La plupart des solutions actuelles tentent d'aider le modèle à réfléchir plus intensément ou plus longtemps en ajoutant plus d'étapes à son processus de raisonnement. C'est comme dire à un détective confus : « Écrivez simplement un rapport plus long sur tout ce que vous voyez. » Mais l'article soutient que cela ne fonctionne pas bien car le détective est toujours noyé sous des détails non pertinents.

Entrez LENS (Latent Noise Mask / Masque de Bruit Latent).

Considérez LENS non pas comme un outil qui ajoute plus d'informations, mais comme un casque à réduction de bruit intelligent pour les yeux du modèle.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. Le « Lens Evidence Token » (Le repéreur intelligent)

Imaginez que le modèle possède un petit assistant temporaire (appelé Lens Evidence Token ou LET) qui examine l'image et la question ensemble.

La mission : Cet assistant scanne rapidement l'image et attribue un score à chaque morceau de l'image.
Le résultat : Si un morceau de l'image est un avion (et que vous avez posé une question sur les avions), l'assistant lui donne un score élevé (un feu vert). Si un morceau est un nuage ou un arbre, il lui donne un score bas (un feu rouge).
Point crucial : Cet assistant ne modifie pas l'image ; il classe simplement les morceaux en fonction de ce que vous avez demandé.

2. Le « Latent Noise Mask » (Le bouton de volume)

Une fois que l'assistant a classé les morceaux, LENS ne jette pas les morceaux à « score bas ». Jeter les choses est risqué ; si l'assistant fait une erreur, le modèle pourrait perdre un indice crucial. Au lieu de cela, LENS utilise un bouton de volume.

Les morceaux à score élevé (L'évidence) : Ils sont laissés tels quels. Ils sont forts et clairs.
Les morceaux à score bas (Les distracteurs) : LENS ajoute un type spécial de « statique » ou de « bruit » à ces morceaux. Il ne les supprime pas, mais il les rend flous et peu fiables. C'est comme baisser le volume du bavardage en arrière-plan pour que le modèle puisse n'entendre que la voix importante.

Pourquoi est-ce mieux ?

L'article affirme qu'au lieu d'essayer d'apprendre au modèle à « réfléchir plus longtemps » (ce qui ajoute plus de désordre), il est préférable de nettoyer ce qu'il voit déjà.

Pas de chirurgie : Le cerveau du modèle (son architecture de base/backbone) reste exactement le même. Nous ne coupons pas de parties de l'image et ne modifions pas la façon dont le modèle est construit.
Suppression douce : Au lieu de supprimer agressivement des parties de l'image (ce qui peut briser le modèle s'il se trompe), LENS « réduit doucement le volume » des distractions.
Efficacité : Cela n'ajoute qu'un travail supplémentaire infime, comme un coup d'œil rapide de l'assistant, mais le résultat est une image beaucoup plus claire pour résoudre le problème.

Les Résultats

Lorsque les chercheurs ont testé cette approche de « réduction de bruit » sur diverses tâches :

Réponse aux questions visuelles (VQA) : Les modèles sont devenus nettement meilleurs pour répondre à des questions spécifiques (comme compter des objets ou lire du texte dans une image) car ils ne se laissent plus confondre par l'arrière-plan.
Localisation (Grounding) : Les modèles sont devenus bien meilleurs pour pointer précisément où se trouve un objet dans une image, car le « bruit » provenant d'objets similaires à proximité a été réduit au silence.

En bref : L'article suggère que pour rendre l'IA plus intelligente dans sa vision, nous ne devrions pas seulement lui donner plus de temps pour réfléchir ; nous devrions l'aider à ignorer le bruit pour qu'elle puisse se concentrer sur le signal. LENS est l'outil qui baisse le volume des parties non pertinentes d'une image, permettant au modèle d'entendre clairement la réponse.

Résumé Technique : Masque de Bruit Latent pour la Réduction de la Redondance Visuelle dans les Modèles de Langage Multimodaux à Grande Échelle

1. Énoncé du Problème

Les Modèles de Langage Multimodaux (MLLM) éprouvent fréquemment des difficultés lors de tâches de raisonnement visuel fin. Bien que ces modèles héritent de fortes capacités de raisonnement linguistique, leur raisonnement visuel est souvent entravé par la redondance visuelle. Dans les architectures MLLM standards, les images sont encodées en séquences denses de jetons (tokens) visuels. Cependant, pour des questions spécifiques, seule une petite partie de ces jetons constitue une preuve pertinente. Les jetons restants — représentant des régions d'arrière-plan, des objets sans rapport ou des distracteurs visuellement similaires — diluent les indices critiques.

Les approches existantes tentent de remédier à cela en étendant les traces de raisonnement (ex: Chaîne de Pensée / Chain-of-Thought) ou en ajoutant plus de contexte visuel ou latent (ex: recadrages d'images, jetons latents intermédiaires). Les auteurs soutiennent que ces méthodes additives ne parviennent pas à résoudre le problème de fond : les jetons visuels non pertinents restent présents dans le contexte, entrant en compétition avec les preuves clés et rendant le processus de décodage plus difficile. Le papier postule que lorsque la preuve est déjà présente, le défi principal est la sélectivité visuelle (filtrer les distracteurs) plutôt que la disponibilité visuelle (trouver de nouvelles preuves).

2. Méthodologie : Masque de Bruit Latent (LENS)

Les auteurs proposent LENS (LatEnt Noise maSk), un cadre conçu pour purifier les preuves visuelles avant la phase de décodage sans modifier l'architecture du modèle de base ni la structure de la séquence de jetons. La méthode opère en deux étapes couplées :

A. Sondage de l'Évidence (Evidence Probing)

LENS introduit un Jetons d'Évidence de Lent (LET - Lens Evidence Token) léger et temporaire, noté ``, qui est ajouté au signal conjoint des jetons visuels ( $V$ ) et des jetons textuels ( $T$ ).

Mécanisme : L'état caché de ce jeton temporaire est décodé par une simple tête MLP (Perceptron Multicouche) ( $f_\theta$ ) pour produire un vecteur de scores de pertinence $\mathbf{a} \in [0, 1]^N$ , où $N$ est le nombre de jetons visuels.
Conditionnement : Ces scores sont conditionnés par la question, ce qui signifie qu'une même région d'image peut recevoir un score élevé pour une question et un score faible pour une autre.
Supervision : Le LET est entraîné à l'aide d'annotations au niveau de l'objet (boîtes englobantes / bounding boxes) plutôt que par des rationalisations coûteuses de type chaîne de pensée. Un jeton est étiqueté comme positif si son patch d'image correspondant chevauche une boîte englobante pertinente pour la question. L'objectif d'entraînement minimise la perte de l'entropie croisée binaire (BCE) entre les scores prédits et ces étiquettes binaires.

B. Suppression Latente (Latent Suppression)

Une fois les scores de pertinence générés, le jeton `` est supprimé, et les scores guident un mécanisme de suppression douce dans l'espace latent.

Génération de Bruit : Un générateur de bruit léger ( $G_\phi$ ) prédit une moyenne ( $\mu_i$ ) et une échelle ( $\sigma_i$ ) pour une distribution de bruit gaussien spécifique au jeton pour chaque jeton visuel $v_i$ .
Perturbation Adaptative : Le bruit réel $r_i$ est échantillonné via la reparamétrisation : $r_i = \mu_i + \sigma_i \odot \epsilon_i$ , où $\epsilon_i \sim \mathcal{N}(0, I)$ .
Porte de Contrôle (Gating) : Une porte de suppression $g_i$ $g_{i}$ est calculée sur la base du score LET $a_i$ $a_{i}$ et d'un seuil $\tau$ $τ$ : $g_i = \frac{1}{\tau} \text{ReLU}(\tau - a_i)$ $g_{i} = \frac{1}{τ} ReLU (τ - a_{i})$ .
- Si $a_i \geq \tau$ (haute pertinence), $g_i = 0$ , et le jeton reste inchangé.
- Si $a_i < \tau$ (faible pertinence), $g_i > 0$ , et un bruit adaptatif est injecté.
Séquence Purifiée : La séquence visuelle finale est $\tilde{V} = \{v_i + g_i r_i\}$ . Cela préserve la disposition originale des jetons (crucial pour la compatibilité avec les architectures existantes) mais déstabilise la représentation des jetons distracteurs, les "masquant" ainsi efficacement dans l'espace latent.

C. Optimisation

Le cadre est entraîné en deux phases :

Ajustement Fin Supervisé (SFT) : Le modèle est entraîné pour répondre à des questions en utilisant la séquence purifiée $\tilde{V}$ . La perte totale combine la perte de génération de réponse et la perte de supervision LET ( $\mathcal{L}_{SFT} = \mathcal{L}_{ans} + \beta \mathcal{L}_{LET}$ ).
Ajustement Fin par Renforcement (RFT) : Pour affiner la politique de sélection de l'évidence, les auteurs modélisent les scores LET comme une politique de Bernoulli. Ils optimisent pour une récompense au niveau de l'ensemble (score F1) basée sur le chevauchement entre les jetons sélectionnés et les boîtes pertinentes de vérité terrain, régularisée par la divergence KL par rapport au checkpoint SFT.

3. Contributions Clés

Recadrage du Problème : Le papier identifie que les jetons visuels denses contiennent des distracteurs non pertinents pour la question qui entravent le raisonnement fin. Il soutient que la suppression de ces distracteurs est plus efficace que la simple addition de plus de contexte de raisonnement.
Cadre Léger : LENS introduit un mécanisme de purification conditionné par la question qui ne nécessite qu'un seul jeton de contrôle apprenable temporaire et un générateur de bruit léger. Il ne nécessite pas de modification de l'architecture du backbone, de recadrage d'images ou de génération de sorties visuelles intermédiaires.
Intervention Latente Douce : Contrairement à l'élagage de jetons (token pruning) ou à la sélection de régions stricte, LENS utilise un bruit latent adaptatif pour supprimer doucement les jetons à faible pertinence. Cela maintient l'intégrité structurelle de la séquence de jetons tout en réduisant l'influence des distracteurs.

4. Résultats Expérimentaux

Les auteurs ont évalué LENS sur 10 benchmarks couvrant les tâches de VQA (Visual Question Answering) et de Grounding (ancrage), en utilisant des modèles de base des familles Qwen3-VL, InternVL3.5-VL et Qwen3.5.

Gains de Performance :
- VQA : LENS a amélioré le MLLM de base de 2,4 à 6,4 points sur la plupart des jeux de données VQA (ex: CUB, GQA, OpenImages). La variante LENS-GRPO a obtenu une amélioration moyenne de 6,65 points par rapport au meilleur baseline non-LENS.
- Grounding : Les améliorations sont encore plus marquées, avec des gains de 4,1 à 6,4 points sur les tâches de grounding (ex: COCO, Objects365). Sur VisDrone, LENS-GRPO a amélioré les performances de 18,81 points par rapport au SFT.
- Généralisation : La méthode s'est révélée transférable à travers différentes échelles de modèles (2B à 9B) et architectures, améliorant systématiquement les performances sans changements architecturaux spécifiques à la tâche.
Études d'Ablation :
- Supprimer la suppression latente (en utilisant uniquement le sondage d'évidence) n'a produit que des gains limités, confirmant que identifier l'évidence est insuffisant sans une suppression active des distracteurs.
- Remplacer le bruit doux appris par un masquage aléatoire, un remplissage par zéro (zero-padding) ou un masquage basé sur l'attention a entraîné des chutes de performance significatives, validant la nécessité d'une suppression douce, apprise et adaptative.
- L'ajustement par renforcement (GRPO) a davantage amélioré les résultats, suggérant que l'optimisation de la politique de sélection de l'évidence au niveau de l'ensemble est bénéfique.

5. Signification et Revendications

Le papier affirme qu'une évidence visuelle plus propre et pertinente à la question est un chemin plus direct pour améliorer le raisonnement multimodal que l'extension de la trace de raisonnement. En démontant que la suppression des jetons non pertinents produit de meilleurs résultats que l'ajout de plus de contexte, les auteurs suggèrent un changement de paradigme pour le raisonnement des MLLM : passer de l'addition visuelle à la purification visuelle.

La signification réside dans l'efficacité et la généralité de l'approche. LENS atteint des améliorations de l'état de l'art en matière de raisonnement fin et de localisation spatiale avec un surcoût minimal, prouvant que le goulot d'étranglement des MLLM actuels est souvent le "bruit" dans l'entrée visuelle plutôt que le manque de capacité de raisonnement. Les visualisations confirment que LENS focalise avec succès l'attention sur les régions clés (attributs, objets, relations) tout en supprimant les arrière-plans et les distracteurs, menant à un raisonnement vision-langage fin plus fiable.