Riepilogo Tecnico: Interpretazione e Potenziamento dei Circuiti Emotivi nei Modelli Linguistici-Visionari di Grande Dimensione tramite Flusso di Informazioni Cross-Modale

1. Enunciato del Problema

I Modelli Linguistici-Visionari di Grande Dimensione (LVLM) stanno evolvendo verso agenti empatici, ma rimangono soggetti a allucinazioni emotive. A differenza delle allucinazioni oggettive, che generano errori fattuali, le allucinazioni emotive consistono nella produzione di narrazioni linguisticamente coerenti che contraddicono il contenuto affettivo degli stimoli visivi (ad esempio, descrivere un volto che piange come espressione di gioia). Tale disallineamento rischia di violare norme sociali e confini etici.

Le soluzioni attuali si basano su tecniche di ottimizzazione data-driven a scatola nera (ad esempio, instruction tuning, reinforcement learning) che adattano il comportamento tramite fine-tuning comportamentista senza garantire un allineamento interno. Inoltre, la ricerca esistente sull'interpretabilità meccanica negli LVLM si concentra prevalentemente sulla percezione degli oggetti, lasciando inesplorata l'architettura interna dei circuiti emotivi. Colmare questa lacuna è ostacolato da due sfide principali:

1. Assenza di Benchmark Visivi Controfattuali: A differenza del testo, isolare gli attributi emotivi nelle immagini senza alterare il contenuto narrativo o la semantica visiva è difficile.
2. Inefficacia delle Metriche Discrete: L'espressione emotiva è diffusa e olistica, manifestandosi attraverso il tono della generazione a lungo termine piuttosto che tramite singoli token, rendendo le metriche standard di Next-Token-Prediction insufficienti.

2. Metodologia

Gli autori propongono un Framework di Attribuzione Causale basato su Vettori di Steering adattato al ragionamento emotivo descrittivo, seguito da una strategia di intervento senza addestramento.

A. Estrazione della Direzione Emotiva

Per superare la mancanza di controfattuali visivi, gli autori costruiscono un dataset specializzato utilizzando contrasti emotivi e neutri strettamente accoppiati.

• Processo: Per un'immagine emotiva $I_{emo}$, utilizzano un'intelligenza artificiale generativa (Google Nano Banana) per creare una controparte neutra $I_{neu}$ che preserva identità, composizione e stile, ma rimuove gli indicatori emotivi (ad esempio, neutralizzando le espressioni facciali, rimuovendo le lacrime).
• Vettori di Steering: Calcolano la differenza nelle attivazioni degli stati nascosti tra gli input emotivi e neutri per estrarre vettori di steering globali ($S_l$) per emozioni specifiche (ad esempio, tristezza, rabbia).

B. Scoperta del Circuito Emotivo

Utilizzando una strategia di scoperta gerarchica, gli autori tracciano il flusso cross-modale dell'emozione:

1. Identificazione dei Livelli: Iniettano le direzioni emotive estratte nei livelli durante l'inferenza per identificare i livelli critici in cui l'impatto comportamentale (variazione del tasso di successo) è massimizzato.
2. Localizzazione delle Teste: Impiegano Metriche di Ripristino Latente basate sul patching delle attivazioni per localizzare le specifiche teste di attenzione allineate alla direzione emotiva.
3. Tracciamento dei Neuroni: Tracciano ricorsivamente il flusso di informazioni dalle teste critiche fino ai neuroni MLP a monte utilizzando l'Attribution Patching per identificare l'origine granulare delle caratteristiche emotive.

C. Il Meccanismo "Adapt-Aggregate-Execute"

Attraverso questa analisi, il documento rivela un distinto meccanismo a tre stadi:

1. Adattamento (Livelli Superficiali): Le caratteristiche visive subiscono un allineamento modale per colmare il divario semantico tra pixel e testo.
2. Aggregazione (Livelli Medi): Il modello attiva Neuroni Trigger Contestuali e aggrega i segnali nel token Query tramite teste di attenzione specifiche per il sentiment. Queste teste sono selettivamente attive per categorie emotive distinte (ad esempio, teste specifiche per sentimenti negativi).
3. Esecuzione (Livelli Profondi): Il token Query attiva Neuroni di Stato Esplicito e guida la generazione narrativa tramite percorsi generali per l'emozione che funzionano universalmente attraverso diverse emozioni.

D. Intervento VEENA

Sulla base di queste intuizioni, gli autori introducono VEENA (Visual Emotion Enhancement and Emotional Neuron Augmentation), un intervento chirurgico, senza addestramento, eseguito al momento dell'inferenza:

• Visual Emotion Enhancement (VEE): Regola l'instradamento delle informazioni scalando i pesi di attenzione. Rafforza l'attenzione $V \to Q$ (da Visivo a Query) nei livelli a monte per facilitare l'aggregazione e l'attenzione $V \to L$ (da Visivo all'Ultimo Token) nei livelli a valle per garantire che l'esecuzione rimanga ancorata ai dettagli visivi.
• Emotional Neuron Augmentation (ENA): Amplifica i livelli di attivazione dei neuroni MLP salienti per l'emozione identificati per consolidare l'espressione semantica.

3. Risultati Chiave

Sono stati condotti esperimenti estesi su MER-UniBench, un benchmark completo che copre il Riconoscimento di Emozioni di Base, l'Analisi del Sentiment e il Riconoscimento di Emozioni a Grana Fine.

• Miglioramento delle Prestazioni: VEENA migliora significativamente le prestazioni su tutti i 9 dataset di MER-UniBench, aumentando il tasso medio di successo dal 58,1% al 64,8% (+6,7%). Sul compito a vocabolario aperto impegnativo (OV-MERD+), ottiene un guadagno del +9,2%.
• Sinergia: La combinazione di VEE e ENA supera l'uso di ciascun componente singolarmente, confermando la sinergia nel regolare sia l'instradamento delle informazioni che l'attivazione semantica.
• Fedeltà Causale: Studi di ablazione mostrano che interventi casuali non riescono a riprodurre questi guadagni, mentre il targeting dei circuiti specifici identificati (Top-10 teste e Top-30 neuroni) produce risultati all'avanguardia con latenza minima.
• Generalizzazione: Il metodo è stato validato su diverse architetture di modelli (Qwen3-VL-4B/8B, LLaVA-OneVision-1.5-4B), dimostrando che il meccanismo "Adapt-Aggregate-Execute" è intrinseco agli LVLM.
• Sicurezza: Le valutazioni su benchmark generali (POPE, CHAIR, MME) indicano che VEENA non induce oblio catastrofico o allucinazioni universali, preservando le capacità generali visione-linguaggio mentre si indirizzano specificamente le sottoreti emotive.

4. Significato e Affermazioni

Il documento afferma di essere il primo a:

1. Localizzare i Circuiti Emotivi: Fornire un framework di attribuzione preciso basato su vettori che trascende i limiti delle metriche discrete per localizzare i circuiti emotivi negli LVLM.
2. Demistificare i Meccanismi: Rivelare il disaccoppiamento funzionale tra aggregazione specifica per il sentiment (livelli medi) ed esecuzione universale (livelli profondi), sfidando l'idea che l'elaborazione emotiva sia un blocco monolitico.
3. Abilitare Interventi Chirurgici: Dimostrare che interventi senza addestramento, eseguiti al momento dell'inferenza basati sulla comprensione meccanica, possono mitigare efficacemente le allucinazioni emotive senza retraining, offrendo un'alternativa più interpretabile e affidabile al fine-tuning a scatola nera.

Gli autori sottolineano che il loro lavoro si concentra strettamente sull'elucidazione dei percorsi interni per migliorare l'affidabilità e la sicurezza, assicurando che le risposte del modello riflettano accuratamente la realtà visiva piuttosto che generare contenuti emotivi ingannevoli.