💻 computer science

Latent Noise Mask for Reducing Visual Redundancy in Multimodal Large Language Models

Il documento propone Lens, un framework leggero e condizionato dalla domanda che riduce la ridondanza visiva nei Modelli Linguistici Multimodali iniettando adattivamente rumore latente nei token d'immagine irrilevanti, migliorando così significativamente le prestazioni di ragionamento fine e di grounding senza modificare l'architettura principale del modello.

Autori originali: Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

Pubblicato 2026-06-30

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle, ma qualcuno ha rovesciato un enorme mucchio di pezzi extra e non correlati proprio sopra quelli di cui avresti realmente bisogno. Questo è essenzialmente il problema che i Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM) affrontano quando guardano un'immagine.

Questi modelli sono incredibilmente intelligenti nel leggere e parlare, ma quando guardano un'immagine, vedono tutto come una lunga lista di piccoli pezzi (token). Se chiedi: "Quanti aerei ci sono in questo cielo?", il modello vede gli aerei, ma vede anche le nuvole, gli uccelli, gli alberi sullo sfondo e la trama dell'erba. Tutti questi pezzi "distrattori" si mescolano insieme, rendendo difficile per il modello concentrarsi sugli indizi specifici necessari per rispondere alla tua domanda.

La maggior parte delle soluzioni attuali cerca di aiutare il modello a pensare di più o più a lungo aggiungendo più passaggi al suo processo di ragionamento. È come dire a un detective confuso: "Scrivi solo un rapporto più lungo su tutto ciò che vedi". Ma l'articolo sostiene che questo non funzioni bene perché il detective sta ancora annegando in dettagli irrilevanti.

Entra in scena LENS (Latent Noise Mask).

Pensa a LENS non come a uno strumento che aggiunge informazioni, ma come a un intelligente paio di cuffie a cancellazione del rumore per gli occhi del modello.

Ecco come funziona, usando un'analogia semplice:

1. Il "Lens Evidence Token" (Lo Spotter Intelligente)

Immagina che il modello abbia un piccolo assistente temporaneo (chiamato Lens Evidence Token o LET) che osserva l'immagine e la domanda insieme.

Il Compito: Questo assistente scansiona rapidamente l'immagine e assegna un punteggio a ogni singolo pezzo dell'immagine.
Il Risultato: Se un pezzo dell'immagine è un aereo (e tu hai chiesto degli aerei), l'assistente gli assegna un punteggio alto (una luce verde). Se un pezzo è una nuvola o un albero, gli assegna un punteggio basso (una luce rossa).
Punto Cruciale: Questo assistente non cambia l'immagine; assegna semplicemente un grado ai pezzi in base a ciò che hai chiesto.

2. Il "Latent Noise Mask" (La Manopola del Volume)

Una volta che l'assistente ha classificato i pezzi, LENS non scarta i pezzi con il "punteggio basso". Buttare via le cose è rischioso; se l'assistente commette un errore, il modello potrebbe perdere un indizio cruciale. Invece, LENS usa una manopola del volume.

Pezzi con Punteggio Alto (L'Evidenza): Questi vengono lasciati invariati. Sono forti e chiari.
Poli con Punteggio Basso (I Distrattori): LENS aggiunge un tipo speciale di "statico" o "rumore" a questi pezzi. Non li cancella, ma li rende sfocati e inaffidabili. È come abbassare il volume del chiacchiericcio di sottofondo in modo che il modello possa sentire solo la voce importante.

Perché è meglio?

L'articolo sostiene che invece di cercare di insegnare al modello a "pensare più a lungo" (il che aggiunge altro disordine), sia meglio pulire ciò che vede già.

Nessuna Chirurgia: Il cervello del modello (la sua struttura portante o backbone) rimane esattamente lo stesso. Non stiamo tagliando fuori parti dell'immagine o cambiando il modo in cui il modello è costruito.
Soppressione Morbida: Invece di eliminare aggressivamente parti dell'immagine (il che può danneggiare il modello se sbaglia la previsione), LENS "attenua" gentilmente le distrazioni.
Efficienza: Aggiunge solo un minimo lavoro extra, come un rapido sguardo da parte dell'assistente, ma il risultato è un'immagine molto più chiara per risolvere il problema.

I Risultati

Quando i ricercatori hanno testato questo approccio di "cancellazione del rumore" su vari compiti:

Visual Question Answering (VQA): I modelli sono diventati significativamente più bravi a rispondere a domande specifiche (come contare oggetti o leggere testi in un'immagine) perché hanno smesso di confondersi con lo sfondo.
Grounding: I modelli sono diventati molto più bravi a indicare esattamente dove si trova un oggetto in un'immagine, perché il "rumore" di oggetti simili nelle vicinanze è stato messo a tacere.

In breve: l'articolo suggerisce che per rendere l'IA più intelligente nel vedere, non dovremmo solo darle più tempo per pensare; dovremmo aiutarla a ignorare il rumore in modo che possa concentrarsi sul segnale. LENS è lo strumento che abbassa il volume delle parti irrilevanti di un'immagine, permettendo al modello di sentire chiaramente la risposta.

Sintesi Tecnica: Latent Noise Mask per la Riduzione della Ridondanza Visiva nei Modelli Linguistici Multimodali di Grandi Dimensioni

1. Definizione del Problema

I Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) incontrano spesso difficoltà nei compiti di ragionamento visivo fine-grained. Sebbene questi modelli ereditino forti capacità di ragionamento linguistico, il loro ragionamento visivo è spesso ostacolato dalla ridondanza visiva. Nelle architetture MLLM standard, le immagini vengono codificate in sequenze dense di token visivi. Tuttavia, per domande specifiche, solo un piccolo sottoinsieme di questi token costituisce l'evidenza rilevante. Gli altri token — che rappresentano regioni di sfondo, oggetti non correlati o distrattori visivamente simili — diluiscono gli indizi critici.

Gli approcci esistenti tentano di affrontare questo problema estendendo le tracce di ragionamento (ad esempio, Chain-of-Thought) o aggiungendo ulteriore contesto visivo/latente (ad esempio, ritagli di immagini, token latenti intermedi). Gli autori sostengono che questi metodi additivi non riescono a risolvere il problema centrale: i token visivi irrilevanti rimangono nel contesto, competendo con l'evidenza chiave e rendendo più difficile il processo di decodifica. Il documento postula che quando l'evidenza è già presente, la sfida principale è la selettività visiva (filtrare i distrattori) piuttosto che la disponibilità visiva (trovare nuova evidenza).

2. Metodologia: Latent Noise Mask (LENS)

Gli autori propongono LENS (LatEnt Noise maSk), un framework progettato per purificare l'evidenza visiva prima della fase di decodifica senza alterare l'architettura del modello o la struttura della sequenza di token. Il metodo opera in due fasi accoppiate:

A. Evidence Probing (Sondaggio dell'Evidenza)

LENS introduce un Lens Evidence Token (LET) leggero e temporaneo, denotato come ``, che viene aggiunto all'input congiunto dei token visivi ( $V$ ) e dei token testuali ( $T$ ).

Meccanismo: Lo stato nascosto di questo token temporaneo viene decodificato da una semplice testa MLP (Multi-Layer Perceptron) ( $f_\theta$ ) per produrre un vettore di punteggio di rilevanza $\mathbf{a} \in [0, 1]^N$ , dove $N$ è il numero di token visivi.
Condizionamento: Questi punteggi sono condizionati alla domanda, il che significa che la stessa regione dell'immagine può ricevere un punteggio alto per una domanda e un punteggio basso per un'altra.
Supervisione: Il LET è addestrato utilizzando annotazioni a livello di oggetto (bounding box) anziché costose razionali di tipo chain-of-thought. Un token è etichettato come positivo se la sua patch di immagine corrispondente si sovrappone a un bounding box rilevante per la domanda. L'obiettivo di addestramento minimizza la perdita di Cross-Entropy Binaria (BCE) tra i punteggi previsti e queste etichette binarie.

B. Latent Suppression (Soppressione Latente)

Una volta generati i punteggi di rilevanza, il token `` viene rimosso e i punteggi guidano un meccanismo di soppressione morbida nello spazio latente.

Generazione del Rumore: Un generatore di rumore leggero ( $G_\phi$ ) predice una media ( $\mu_i$ ) e una scala ( $\sigma_i$ ) per una distribuzione di rumore gaussiano specifica per ogni token $v_i$ dei token visivi.
Perturbazione Adattiva: Il rumore effettivo $r_i$ viene campionato tramite riparametrizzazione: $r_i = \mu_i + \sigma_i \odot \epsilon_i$ , dove $\epsilon_i \sim \mathcal{N}(0, I)$ .
Gating (Soglia): Un gate di soppressione $g_i$ $g_{i}$ viene calcolato sulla base del punteggio LET $a_i$ $a_{i}$ e di una soglia $\tau$ $τ$ : $g_i = \frac{1}{\tau} \text{ReLU}(\tau - a_i)$ $g_{i} = \frac{1}{τ} ReLU (τ - a_{i})$ .
- Se $a_i \geq \tau$ (alta rilevanza), $g_i = 0$ , e il token rimane invariato.
- Se $a_i < \tau$ (bassa rilevanza), $g_i > 0$ , e viene iniettato un rumore adattivo.
Sequenza Purificata: La sequenza visiva finale è $\tilde{V} = \{v_i + g_i r_i\}$ . Questo preserva il layout originale dei token (fondamentale per la compatibilità con le architetture esistenti) ma destabilizza la rappresentazione dei token distrattori, "mascherandoli" efficacemente nello spazio latente.

C. Ottimizzazione

Il framework viene addestrato in due fasi:

Supervised Fine-Tuning (SFT): Il modello viene addestrato per rispondere alle domande utilizzando la sequenza purificata $\tilde{V}$ . La perdita totale combina la perdita di generazione della risposta e la perdita di supervisione LET ( $\mathcal{L}_{SFT} = \mathcal{L}_{ans} + \beta \mathcal{L}_{LET}$ ).
Reinforcement Fine-Tuning (RFT): Per raffinare la politica di selezione dell'evidenza, gli autori modellano i punteggi LET come una politica di Bernoulli. Ottimizzano per un premio a livello di set (F1 score) basato sulla sovrapposizione tra i token selezionati e i box di verità fondamentale (ground-truth), regolarizzato dalla divergenza KL dal checkpoint SFT.

3. Contributi Chiave

Riformulazione del Problema: Il documento identifica che i token visivi densi contengono distrattori irrilevanti per la domanda che ostacolano il ragionamento fine-grained. Sostiene che sopprimere questi distrattori è più efficace rispetto al semplice aggiungere ulteriore contesto di ragionamento.
Framework Leggero: LENS introduce un meccanismo di purificazione condizionato alla domanda che richiede solo un token di controllo temporaneo apprendibile e un generatore di rumore leggero. Non richiede la modifica dell'architettura del backbone, il ritaglio delle immagini o la generazione di output visivi intermedi.
Intervento Latente Morbido: A differenza del pruning dei token o della selezione hard delle regioni, LENS utilizza un rumore latente adattivo per sopprimere morbidamente i token a bassa rilevanza. Ciò mantiene l'integritità strutturale della sequenza di token riducendo al contempo l'influenza dei distrattori.

4. Risultati Sperimentali

Gli autori hanno valutato LENS su 10 benchmark che coprono compiti di Visual Question Answering (VQA) e Grounding, utilizzando modelli base delle famiglie Qwen3-VL, InternVL3.5-VL e Qwen3.5.

Guadagni di Prestazione:
- VQA: LENS ha migliorato il modello base di 2.4–6.4 punti nella maggior parte dei dataset VQA (ad es., CUB, GQA, OpenImages). La variante LENS-GRPO ha ottenuto un miglioramento medio di 6.65 punti rispetto al più forte baseline non-LENS.
- Grounding: I miglioramenti sono stati ancora più pronunciati, con guadagni di 4.1–6.4 punti nei compiti di grounding (ad es., COCO, Objects365). Su VisDrone, LENS-GRPO ha migliorato le prestazioni di 18.81 punti rispetto a SFT.
- Generalizzazione: Il metodo si è dimostrato trasferibile attraverso diverse scale di modello (da 2B a 9B) e architetture, migliorando costantemente le prestazioni senza cambiamenti architettonici specifici per il compito.
Studi di Ablazione:
- Rimuovendo la soppressione latente (utilizzando solo l'Evidence Probing), si sono ottenuti guadagni limitati, confermando che identificare l'evidenza non è sufficiente senza sopprimere attivamente i distrattori.
- Sostituendo il rumore morbido appreso con masking casuale, zero-padding o masking basato sull'attenzione, si sono verificati cali significativi delle prestazioni, validando la necessità di una soppressione morbida, adattiva e appresa.
- Il fine-tuning per rinforzo (GRPO) ha ulteriormente potenziato i risultati, suggerendo che ottimizzare la politica di selezione dell'evidenza a livello di set è benefico.

5. Significato e Rivendicazioni

Il documento sostiene che un'evidenza visiva più pulita e pertinente alla domanda è una via più diretta per migliorare il ragionamento multimodale rispetto all'estensione della traccia di ragionamento. Dimostrando che la soppressione dei token irrilevanti produce risultati superiori rispetto all'aggiunta di ulteriore contesto, gli autori suggeriscono un cambio di paradigma per il ragionamento degli MLLM: dalla aggiunta visiva alla purificazione visiva.

La significatività risiede nell'efficienza e nella generalità dell'approccio. LENS ottiene miglioramenti allo stato dell'arte nel ragionamento fine-grained e nella localizzazione spaziale con un overhead minimo, provando che il collo di bottiglia negli attuali MLLM è spesso il "rumore" nell'input visivo piuttosto che la mancanza di capacità di ragionamento. Le visualizzazioni confermano che LENS riesce a focalizzare l'attenzione sulle regioni chiave (attributi, oggetti, relazioni) sopprimendo al contempo sfondi e distrattori, portando a un ragionamento visione-linguaggio fine-grained più affidabile.