A Grounded and Decomposed Framework for Relation-Level Hallucination Evaluation in Abstractive Summarization

Immagina di leggere una storia scritta da un robot molto talentuoso, ma anche un po' dispettoso. Questo robot è un esperto di "sintesi astrattiva", che è solo un modo elegante per dire che legge un lungo articolo e ne scrive una versione breve e d'impatto con parole proprie. È bravo a sembrare naturale e fluido; le sue frasi scorrono come un fiume. Ma ecco il trucco: a volte, nella sua ricerca di sembrare "cool", il robot si inventa le cose. Potrebbe mantenere i nomi delle persone giusti, ma scambiare chi ha fatto cosa a chi. È come un telegiornalista che dice: "Il Presidente ha firmato il trattato", quando il documento in realtà dice: "Il trattato è stato firmato dal Segretario". Le parole sono lì, ma la verità è distorta. Questo si chiama "allucinazione", e nel mondo dell'intelligenza artificiale è un grande problema perché abbiamo bisogno che i nostri riassunti non siano solo belli, ma veri.

Per molto tempo, gli scienziati che cercavano di catturare questi robot bugiardi hanno usato strumenti che erano come controllare una lista della spesa. Contavano quante parole il robot usava che erano presenti anche nell'articolo originale. Se il robot usava la parola "mela" e l'originale aveva "mela", questo era un punto a suo favore. Ma questo è come giudicare uno chef in base a quanti ingredienti ha usato, senza assaggiare il piatto. Potresti avere una ciotola piena di ingredienti crudi e non cotti che corrisponde perfettamente alla lista, ma è comunque un pasto terribile. I vecchi strumenti erano bravi a controllare se il robot ricordava i nomi, ma erano terribili nel controllare se il robot ricordava le relazioni tra quei nomi. Non potevano distinguere tra un robot che diceva la verità e uno che raccontava una bugia molto convincente.

È qui che entra in gioco un team di ricercatori dell'IIIT Bhubaneswar e alcuni partner industriali con un nuovo paio di occhiali più affilati. Si sono resi conto che per catturare un bugiardo non basta contare le parole; bisogna capire la struttura della storia. Hanno costruito un nuovo framework per valutare i riassunti che agisce come un detective alla ricerca di "allucinazioni a livello di relazione". Inveve di chiedere solo: "Hai usato le parole giuste?", chiedono: "Hai collegato i punti giusti?".

I ricercatori hanno creato un nuovo sistema di punteggio chiamato Relation Hallucination Index (RHI). Pensate al testo originale come a una complessa ragnatela di fili che collegano diversi personaggi ed eventi. Un buon riassunto dovrebbe mantenere intatti quei fili. Un riassunto allucinante potrebbe tagliare un filo e legarlo alla persona sbagliata. I vecchi strumenti non se ne accorgerebbero perché i personaggi (le parole) sarebbero ancora lì. Il nuovo RHI, invece, è progettato per tracciare ogni singolo filo. Utilizza un processo sofisticato per scomporre il testo in piccoli blocchi chiamati "triple" — fondamentalmente un Soggetto (chi), un Verbo (ha fatto cosa) e un Oggetto (a chi).

Per garantire che queste triple siano accurate, il team non ha usato un semplice scanner. Ha costruito un motore di estrazione "consapevole della dipendenza" (dependency-aware). Immaginate questo motore come un editor molto attento che non si limita a leggere le parole, ma ne comprende la grammatica nel profondo. Sa come gestire frasi complicate dove il soggetto è nascosto (come nella forma passiva, "La palla è stata lanciata" diventa "Qualcuno ha lanciato la palla"). Sa come ignorare le parole che riportano solo un discorso (come "Lui ha detto che...") e concentrarsi sui fatti reali. Sa persino di pulire le parole convertendole alla loro forma base (cambiando "correndo" in "correre") in modo da non confondersi con le diverse coniugazioni. Ciò assicura che, quando confrontano il riassunto del robot con l'originale, stiano confrontando mele con mele, e non mele con torte di mele.

Il team ha testato questo nuovo sistema su un enorme parco giochi di dati. Hanno utilizzato tre diversi tipi di dataset di notizie: XSUM (che ha riassunti molto brevi e altamente creativi), XLSUM (che contiene notizie da molti paesi e lingue) e il dataset CNN/DailyMail (che presenta storie più lunghe e dettagliate). Hanno chiesto a quattro famosi modelli di IA — BART-large-CNN, PEGASUS, T5-large e GPT-3.5 — di scrivere riassunti di 800 diverse notizie. Hanno incluso anche un riassunto "di riferimento umano" per vedere quanto i robot potessero avvicinarsi a un punteggio umano perfetto.

I risultati sono stati illuminanti. Quando hanno usato i vecchi strumenti basati sul conteggio delle parole, PEGASUS sembrava spesso il vincitore perché usava molte delle stesse parole dell'originale. Ma quando i ricercatori hanno applicato il loro nuovo punteggio RHI, il quadro è cambiato. BART ha ottenuto in realtà il punteggio più alto nella preservazione delle vere relazioni tra gli eventi, anche se non usava sempre le stesse parole esatte. GPT-3.5, pur essendo bravo in alcune cose, ha mostrato molta "variabilità di inserimento della relazione", il che significa che a volte inventava nuove connessioni che non esistevano. Lo studio ha scoperto che il nuovo punteggio RHI era molto più bravo a individuare queste bugie sottili rispetto ai vecchi metodi.

Una delle cose più interessanti che hanno scoperto è che il nuovo punteggio è "normalizzato". Ciò significa che funziona bene sia che si stia guardando un riassunto breve e fulmineo, sia che si tratti di uno lungo e dettagliato. Hanno suddiviso gli errori in diverse categorie: cose che il modello ha fatto correttamente, cose che ha inventato, cose che ha saltato e cose che ha sbagliato. Guardando questi pezzi, potevano vedere esattamente come un modello stava fallendo. Ad esempio, hanno scoperto che mentre alcuni modelli erano bravi a mantenere i fatti principali, erano terribili nel gestire le affermazioni negative (come "L'azienda non è fallita").

I ricercatori hanno eseguito test statistici per assicurarsi che le loro scoperte non fossero frutto del caso. Hanno scoperto che le differenze nei punteggi tra i modelli erano significative, il che significa che il nuovo punteggio RHI è un modo affidabile per distinguere un riassunto buono e veritiero da uno cattivo e allucinato. Hanno anche dimostrato che il loro nuovo metodo è migliore del vecchio "Entity Hallucination Index" (che controllava solo se i nomi erano corretti) perché controlla le azioni e le connessioni tra quei nomi.

In definitiva, questo articolo suggerisce che se vogliamo che l'IA sia affidabile, dobbiamo smettere di contare solo le parole e iniziare a controllare la logica della storia. Il nuovo Relation Hallucination Index offre un modo per fare esattamente questo. Non ci dice solo se un riassunto suona bene; ci dice se la storia che racconta è effettivamente vera. Gli autori sperano che in futuro questo tipo di punteggio possa essere usato per addestrare i modelli di IA a essere più onesti, aiutandoli a imparare che essere fluidi non basta: bisogna essere fedeli ai fatti, anche.