Surfacing Variations to Calibrate Perceived Reliability of MLLM-generated Image Descriptions

Sintesi Tecnica: Rilevare le Variazioni per Calibrare l'Affidabilità Percepita delle Descrizioni di Immagini Generate da MLLM

Problema
I Modelli Linguistici Multimodali (MLLM) offrono opportunità trasformative per le persone cieche e con ipovisione (BLV) per accedere alle informazioni visive. Tuttavia, questi modelli generano frequentemente risposte fluide ma fattualmente errate, inclusi allucinazioni (fabricazione di contenuti), interpretazioni errate e omissioni. Rilevare questi errori è particolarmente difficile per gli utenti BLV, che non possono verificare visivamente l'immagine rispetto al testo. Attualmente, gli utenti ricorrono a soluzioni alternative come il controllo incrociato tra più strumenti o la consultazione di persone vedenti, ma questi metodi sono spesso dispendiosi in termini di tempo e poco pratici. Inoltre, i metodi esistenti per comunicare la fiducia del modello (ad esempio, probabilità numeriche) sono spesso non disponibili nei MLLM "black-box" o non riescono ad affrontare la miscela di informazioni affidabili e inaffidabili all'interno di descrizioni a lungo formato.

Metodologia
Gli autori propongono un sistema che rileva sistematicamente le variazioni attraverso molteplici risposte di MLLM per aiutare gli utenti BLV a rilevare informazioni inaffidabili. La ricerca segue un approccio in tre fasi:

1. Formulazione dello Spazio di Design: Basandosi sulla letteratura precedente e sulle pratiche degli utenti, gli autori hanno definito uno spazio di design per lare elicitazione e la presentazione delle variazioni. Le dimensioni chiave includono:

   • Elicitazione: Generare variazioni tramite molteplici prove, parafrasi dei prompt o l'uso di modelli diversi.
   • Supporto al Confronto: Le opzioni includono un elenco grezzo di descrizioni, una "descrizione consapevole delle variazioni" (aggregando i dettagli in un testo coerente) e un "riassunto delle variazioni" (evidenziando accordi, disaccordi e menzioni uniche).
   • Granularità: Confrontare a livello di parola, fatto atomico, frase o risposta.
   • Indicatori: Fornire livelli di supporto tramite conteggi, percentuali, linguaggio naturale o attribuzione della fonte.

2. Sviluppo del Prototipo: È stato costruito un prototipo del sistema utilizzando React e Python Flask, compatibile con i principali screen reader (NVDA, JAWS, VoiceOver).

   • Pipeline: Il sistema interroga tre MLLM all'avanguardia (GPT-4o, Gemini 1.5 Pro, Claude 3.7 Sonnet) tre volte ciascuno per immagine (9 descrizioni totali).
   • Elaborazione: Utilizzando il prompting Chain-of-Thought, un modello secondario (Gemini-2.5 Pro) decompone le descrizioni in fatti atomici, li raggruppa per soggetto e risolve i conflitti.
   • Output: Il sistema genera tre stili di presentazione: un elenco grezzo, una descrizione consapevole delle variazioni (markdown gerarchico) e un riassunto delle variazioni (che segnala esplicitamente accordi, disaccordi e menzioni uniche).

3. Studio Utente: È stato condotto uno studio entro i soggetti con 15 partecipanti BLV che utilizzano regolarmente screen reader e strumenti MLLM.

   • Task: I partecipanti hanno valutato 9 coppie immagine-prompt (coprendo limitazioni del modello, problemi di qualità dell'immagine e soggettività) sotto tre condizioni: una singola descrizione, un elenco di 9 descrizioni e l'approccio aggregato degli autori (descrizione consapevole delle variazioni + riassunto).
   • Metriche: I partecipanti hanno identificato affermazioni inaffidabili (errate, speculative o opinabili) e hanno valutato l'affidabilità percepita su una scala a 7 punti.

Contributi Chiave

• Spazio di Design: Un framework strutturato per l'elicitazione e la presentazione delle variazioni nelle risposte dei MLLM black-box, adattato per gli utenti di screen reader.
• Sistema Prototipo: Una pipeline automatizzata che genera e presenta le variazioni in tre stili distinti, specificamente ottimizzata per l'accessibilità.
• Risultati Empirici: Evidenza che dimostra come la presentazione delle variazioni alteri significativamente il comportamento dell'utente e la calibrazione della fiducia.

Risultati

• Rilevamento degli Errori: La presentazione delle variazioni ha aumentato significativamente il numero di affermazioni inaffidabili identificate. L'approccio aggregato degli autori ha prodotto un incremento di 4,9 volte nelle affermazioni inaffidabili identificate rispetto a una singola descrizione (Media = 2,62 vs. 0,53). Anche la condizione dell'elenco grezzo ha mostrato un miglioramento (incremento di 4,2 volte).
• Affidabilità Percepita: La presentazione delle variazioni ha diminuito significativamente la percezione dell'affidabilità delle risposte dei MLLM. Il rating medio di affidabilità è sceso da 5,78 (singola descrizione) a 3,93 (approccio degli autori), indicando una calibrazione riuscita della fiducia.
• Preferenza dell'Utente: 14 partecipanti su 15 hanno preferito vedere le variazioni rispetto a una singola descrizione. Il riassunto delle variazioni è stato il formato più preferito (classificato primo da 11 partecipanti), seguito dalla descrizione consapevole delle variazioni. L'elenco grezzo di molteplici descrizioni è stato generalmente sgradito a causa dell'alto carico cognitivo e della difficoltà di tracciare le incongruenze linearmente tramite screen reader.
• Indicatori di Supporto: Le preferenze per gli indicatori di supporto (fonte, percentuale, linguaggio) variavano, sebbene molti abbiano trovato utile e trasparente l'attribuzione della fonte basata sul testo (ad esempio, "3 di 3 GPT").

Significatività e Rivendicazioni
L'articolo sostiene che la presentazione delle variazioni sia un intervento efficace per calibrare l'affidabilità percepita delle descrizioni di immagini generate da MLLM per gli utenti BLV. Consentendo agli utenti di confrontare l'output di molteplici modelli, il sistema aiuta a identificare le incongruenze che fungono da indicatori di potenziali errori, allontanandoli da un affidamento eccessivo su singoli output dall'aspetto sicuro di sé.

Gli autori sottolineano che il loro approccio supporta una calibrazione appropriata della fiducia: non rende necessariamente il sistema "più accurato" in senso assoluto rispetto alla verità di base, ma rende visibili all'utente l'incertezza e i limiti del modello. Ciò consente agli utenti BLV di distinguere tra un consenso ad alta fiducia e affermazioni a bassa fiducia o contrastanti. Il lavoro suggerisce che i riassunti aggregati delle variazioni siano superiori agli elenchi grezzi per gli utenti di screen reader, offrendo un modo conciso per far emergere i disaccordi critici senza il carico cognitivo di elaborare molteplici testi a lungo formato. Infine, l'articolo evidenzia l'utilità di questo approccio sia in scenari ad alto rischio (ad esempio, identificazione di farmaci, navigazione) che in compiti soggettivi (ad esempio, scelta dell'outfit, critica ai social media).