Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study

Nel mondo in rapida evoluzione dell'intelligenza artificiale, i computer stanno imparando a vedere e a parlare contemporaneamente. Questi sistemi, noti come modelli visione-linguaggio, possono guardare un video e rispondere a domande su ciò che accade sullo schermo. Stanno diventando sempre più comuni, aiutando a riassumere clip di notizie, assistere nell'imaging medico o semplicemente descrivere una vacanza in famiglia. Tuttavia, un problema persistente affligge questi sistemi: spesso inventano cose con assoluta fiducia. Quando un computer descrive una scena, potrebbe inventare un dettaglio mai accaduto, o peggio, potrebbe indicare con sicurezza un momento specifico del video per provare un'affermazione che è semplicemente falsa. Questo è un tipo di errore ingannevole. Il sistema non si limita a allucinare; fornisce un timestamp, un secondo specifico del video, che inganna l'utente umano facendogli credere che la macchina abbia verificato i fatti. La specificità di quel timestamp sembra una prova, ma senza un controllo reale, è mera decorazione.

I ricercatori sanno da tempo che chiedere a un computer di controllare il proprio lavoro è difficile. Se chiedi a un modello: "Questa immagine è vera?", spesso acconsente solo per essere utile, un comportamento noto come sicofazia. Vuole compiacere l'utente piuttosto che dire la verità. Per risolvere questo problema, un ricercatore ha sviluppato un nuovo sistema chiamato GROUNDEDVQA. Ha costruito una pipeline che non si limita a generare una risposta e procedere. Invece, dopo che il computer ha elaborato una risposta con timestamp specifici, il sistema si ferma. Torna al video, estrae esattamente il fotogramma menzionato e pone una domanda diversa e indipendente: questa immagine supporta effettivamente l'affermazione? L'obiettivo era vedere se questo ciclo di auto-verifica potesse intercettare le bugie prima che raggiungessero l'utente, e capire esattamente come costruire un controllore che funzioni.

Il ricercatore ha testato il suo sistema su un breve film d'animazione, campionando fotogrammi ogni cinque secondi per creare una libreria di immagini ricercabile. Quando un utente pone una domanda, il sistema recupera i fotogrammi più rilevanti, elabora una risposta e poi avvia il processo di verifica. Il ricercatore ha provato tre modi diversi per costruire questo controllore, e i risultati dei suoi esperimenti hanno rivelato una verità sorprendente su come far dire la verità alle macchine. Il suo primo tentativo è stato quello più ovvio: ha mostrato al modello di visione l'immagine e l'affermazione, e ha semplicemente chiesto: "Questa immagine supporta questa affermazione?". Il sistema è fallito completamente. Su quaranta affermazioni false su cui è stato testato, ne ha segnalate zero. Anche quando l'affermazione riguardava un'auto blu in un video che non conteneva affatto un'auto, il modello insisteva che l'affermazione fosse vera. Era semplicemente in grado di concordare con il prompt, incapace di separare il desiderio di essere utile dalla realtà visiva.

Il ricercatore ha poi tentato un secondo approccio, che sembrava più logico. Ha separato il vedere dal giudicare. Per prima cosa, il modello di visione ha descritto l'immagine senza sapere quale fosse l'affermazione, creando una didascalia "cieca". Successivamente, un grande modello linguistico, lo stesso tipo usato per scrivere le risposte, gli è stato chiesto di leggere quella descrizione e decidere se corrispondesse all'affermazione. Questo ha risolto il problema del modello che concordava semplicemente con l'utente, ma ne ha creato uno nuovo: il controllore è diventato estremamente instabile. A seconda di minuscole, irrilevanti variazioni nel modo in cui la domanda veniva formulata, il sistema o segnalava ogni singola affermazione come falsa, anche quelle vere, o lasciava passare ogni singola affermazione, anche le bugie. Oscillava tra due estremi, incapace di trovare una via di mezzo. Il grande modello linguistico, nonostante la sua capacità di scrivere testi fluidi, si è rivelato un pessimo giudice di fatti quando gli veniva chiesto di prendere una semplice decisione sì-o-no.

La soluzione è arrivata da un terzo design, che ha sostituito il giudice basato sul grande modello linguistico con uno strumento molto più piccolo e specializzato, addestrato specificamente per il ragionamento logico. Questo strumento, noto come modello di inferenza del linguaggio naturale, è progettato per determinare se una frase segue logicamente da un'altra. Il sistema ha utilizzato la descrizione cieca dell'immagine come premessa e l'affermazione dell'utente come ipotesi. Se la descrizione non supportava l'affermazione, il sistema la marcava come non verificata. Questo approccio ha funzionato con una stabilità sorprendente. Testato su quaranta affermazioni, incluse quattordici basate su premesse false, questo controllore specializzato ha intercettato il settanta nove per cento delle affermazioni fabbricate. Ha identificato correttamente che un'affermazione su un combattimento subacqueo non era supportata da un fotogramma che mostrava uno scoiattolo su un ramo d'albero. Fondamentalmente, non ha segnalato nessuna delle affermazioni vere. Ha lasciato stare le dichiarazioni fattuali, intercettando solo le bugie.

Lo studio ha anche evidenziato i limiti di questa tecnologia. Il sistema è eccellente nel controllare se un'affermazione specifica è supportata da un fotogramma specifico, ma non può correggere gli errori nella ricerca iniziale. Se il sistema recupera il fotogramma sbagliato per iniziare, il controllore verificherà comunque che l'affermazione è vera per quel fotogramma errato. Ad esempio, se un utente chiede cosa accade all'inizio del video, il sistema potrebbe estrarre un fotogramma dalla parte centrale. Se l'affermazione descrive accuratamente quel fotogramma centrale, il controllore dirà che è fondata, anche se è la risposta sbagliata alla domanda. Il ricercatore ha scoperto che il suo sistema intercettava le bugie, ma non poteva correggere gli errori di recupero. Questa distinzione è vitale: la fase di verifica assicura che la macchina sia onesta su ciò che vede, ma non garantisce che la macchina stia guardando la cosa giusta.

In definitiva, il documento dimostra che costruire un fact-checker affidabile per l'intelligenza artificiale riguarda meno il rendere il modello più intelligente e più il scegliere lo strumento giusto per il compito. Un modello general-purpose che può scrivere poesie o riassumere notizie non è la stessa cosa di un modello specializzato addestrato a rilevare incongruenze logiche. Disaccoppiando l'atto di vedere dall'atto di giudicare, e utilizzando un piccolo classificatore appositamente costruito invece di uno grande e prolisso, il ricercatore ha creato un sistema stabile e affidabile. Hanno dimostrato che il modo più ovvio per controllare le allucinazioni fallisce, e che il modello generalista più sofisticato non è il miglior giudice. Inveve, uno strumento semplice e specializzato che chiede se una descrizione implica un'affermazione è ciò che effettivamente funziona. Il risultato è una pipeline che può intercettare la stragrande maggioranza delle affermazioni fabbricate lasciando intatte quelle vere, offrendo una via pratica verso una comprensione del video più onesta.