Riepilogo Tecnico: Decodifica Contrastiva Tono-Pressione (TPCD)

1. Definizione del Problema

I modelli visione-linguaggio (VLM) esibiscono un particolare modo di fallimento noto come allucinazione indotta dalla pressione. Quando gli utenti utilizzano prompt suggestivi, coercitivi o ad alta pressione, i modelli spesso sostituiscono l'incertezza con impegni concreti e non supportati. Ciò si manifesta nel leggere testi illeggibili, riportare orari indeterminati o affermare la presenza di oggetti assenti.

Sebbene il prompting "sicuro" (wrapper neutrali) possa mitigare parte del problema, spesso fallisce quando il modello converte comunque prove deboli in una risposta concreta. Al contrario, la decodifica contrastiva completa (sottraendo un ramo negativo da un ramo sicuro) può causare un eccesso di rifiuto, sopprimendo risposte positive valide. La sfida centrale identificata in questo lavoro è il routing senza etichette (label-free routing): determinare quando applicare la sottrazione della pressione senza danneggiare le risposte positive fondate, utilizzando solo gli output del modello anziché etichette di verità esterna (ground truth).

2. Metodologia

Decodifica Contrastiva Tono-Pressione (TPCD)

La TPCD è una variante della decodifica contrastiva progettata specificamente per l'allucinazione indotta dalla pressione. Per un'immagine $I$ e una domanda $q$, il VLM viene eseguito sotto due wrapper di istruzioni:

1. Sicuro Neutro ($s_0$): Chiede risposte basate solo sulle evidenze visibili.
2. Alta Pressione ($s_+$): Esige una risposta sicura e scoraggia l'incertezza.

In ogni step di decodifica $t$, i logit vengono combinati come:
$$\tilde{\ell}_t = (1 + \alpha)\ell^0_t - \alpha\ell^+_t$$
dove $\ell^0_t$ e $\ell^+_t$ sono rispettivamente i logit sicuri e quelli di pressione. Il parametro $\alpha$ è impostato a 2.0. Questo meccanismo penalizza i token che sono promossi dalla pressione più di quanto lo siano dal wrapper sicuro, preservando al contempo i token supportati da entrambi i rami.

Meccanismi di Gating Senza Etichette

Poiché la TPCD completa è eccessivamente conservativa (collassando l'accuratezza positiva), il documento propone diversi gate per decidere tra la risposta di pressione ($y_+$) e la risposta TPCD ($y_{TPCD}$). Questi gate si affidano esclusivamente alle forme superficiali degli output e al disaccordo tra i rami, evitando la necessità di etichette di verità esterna:

• Gate di Impegno della Forma Superficiale (Surface-Rule Commitment Gate): Si attiva se il ramo di pressione produce un impegno concreto (ad esempio, un orario specifico, un nome o un "sì" affermativo). Limitazione: Questo è tautologico per certe categorie, poiché utilizza gli stessi predicati dello scouter del benchmark.
• Gate di Disaccordo tra Rami (Branch-Disagreement Gate): Si attiva solo se il ramo di pressione si impegna, ma il ramo neutro sicuro ($y_0$) non lo fa.
• Gate Prior-di-Task/Disaccordo (Task-Prior/Disagreement Gate): Un ibrido che forza la TPCD su categorie specifiche (tempo e intenzione umana) dove la neutralizzazione sicura è nota per fallire, altrimenti ricade nel disaccordo tra rami.
• Router di Disaccordo della Risposta (Answer-Disagreement Router): Una regola priva di priorità di categoria che si attiva se $y_+$ si impegna, $y_0$ si astiene o differisce, e $y_{TPCD}$ stesso non si impegna più.

Protocollo Sperimentale

Lo studio utilizza il benchmark tone-matters (800 esempi attraverso 8 categorie visivamente indeterminanti).

• Split di Design: LLaVA-1.5-7B viene utilizzato per definire le regole dei gate.
• Validazione su Modelli Esclusi (Held-Out): GLM-4.6V e Llama-3.2-Vision sono utilizzati come famiglie di modelli esclusi per testare le regole fisse senza ri-sintonizzazione.
• Metriche: Tasso di Successo dell'Attacco (ASR) per i negativi e Accuratezza Positiva (recupero del target) per un set corrispondente di 780 controlli positivi.

3. Risultati Chiave

Prestazioni su LLaVA-1.5-7B (Modello di Design)

• Baseline di Pressione: 66.75% ASR.
• Neutralizzazione Sicura: Riduce l'ASR al 9.88% ma mantiene alcune allucinazioni.
• Full TPCD: Riduce drasticamente l'ASR allo 0.50% ma fa collassare l'accuratezza positiva al 15.56% a causa dell'eccesso di rifiuto.
• Task-Prior/Disagreement Gate: Ottiene il miglior compromesso sul set di design, riducendo l'ASR all'1.63% pur mantenendo il 54.44% di accuratezza positiva (in linea con la baseline sicura).

Trasferibilità Cross-Model (GLM e Llama)

Quando le regole fisse derivate da LLaVA vengono applicate a GLM-4.6V e Llama-3.2-Vision:

• Neutralizzazione Sicura: ASR aggregato del 10.98%.
• Task-Prior/Disagreement: Riduce l'ASR aggregato al 4.90% con il 73.78% di accuratezza positiva.
• Answer-Disagreement Router: Una regola priva di priorità di categoria che riduce l'ASR al 6.93% ottenendo il 79.94% di accuratezza positiva.
• Disaccordo tra Rami (Branch Disagreement): Riduce l'ASR al 9.67% con il 79.94% di accuratezza positiva.

Diagnostica del Meccanismo (POPE)

Una diagnostica sul primo token sul benchmark POPE mostra che la pressione aumenta il margine del "sì" sia per i falsi positivi che per i veri positivi. Tuttavia, i rami con istruzioni disturbate generiche (come ICD) non isolano lo stesso segnale di impegno del ramo di pressione, confermando la specificità della TPCD rispetto al bias indotto dal tono.

4. Contributi

1. Formulazione del Bias di Impegno: Il documento inquadra l'allucinazione indotta dalla pressione come un bias di impegno e introduce la TPCD come una variante di decodifica contrastiva mirata, distinta dai metodi generici di disturbo delle istruzioni.
2. Gate Operativi Senza Etichette: Valuta e caratterizza diverse strategie di routing che utilizzano solo gli output del modello (regole superficiali, disaccordo) per mitigare l'allucinazione senza etichette esterne.
3. Evidenza Cross-Model: Fornisce prove su larga scala (n=800 negativi, n=780 positivi) attraverso tre famiglie di modelli, dimostrando che la sottrazione della pressione è un segnale di mitigazione vitale che è trasferibile, sebbene il routing ottimale dipenda dal modello.
4. Caratterizzazione dei Limiti: Il lavoro identifica esplicitamente il "Collo di Bottiglia del Routing Senza Etichette" (Label-Free Gating Bottleneck), mostrando che gli attuali gate non sono rilevatori di grounding validati indipendentemente e spesso si affidano a forme superficiali o prior di categoria.

5. Significato e Rivendicazioni

Il documento conclude con una rivendicazione modesta e ristretta:

• La pressione è un probe utile: La distribuzione della risposta alla pressione espone efficacemente il bias di impegno e funge da ramo negativo vitale per la decodifica contrastiva.
• La mitigazione è possibile ma imperfetta: Semplici regole di routing possono ridurre significativamente l'ASR rispetto alla neutralizzazione sicura, preservando l'accuratezza positiva sui modelli esclusi.
• Non esiste ancora una soluzione generale: Gli attuali gate non sono rilevatori di grounding-aware validati indipendentemente. Sono basati su euristiche post-hoc di forma superficiale e spesso dipendono da prior di categoria specifici del benchmark.
• Direzione Futura: Il collo di bottiglia principale rimane lo sviluppo di un router consapevole del grounding (grounding-aware router) che possa determinare indipendentemente quando l'evidenza visiva è abbastanza debole da giustificare la sottrazione dell'impegno indotto dalla pressione, piuttosto che affidarsi a euristiche di livello superficiale.

Gli autori sottolineano che questo è un documento di caratterizzazione che dimostra la promessa e la non universalità della sottrazione della pressione, piuttosto che un router generale finito e distribuibile.