Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents
Questo articolo presenta un nuovo framework di valutazione che utilizza un parser AST per valutare i rapporti di ricerca generati da LLM in termini di validità dei collegamenti, pertinenza e accuratezza fattuale, rivelando una critica disconnessione per cui anche i modelli all'avanguardia mantengono un'elevata accessibilità e pertinenza delle citazioni ma faticano nella coerenza fattuale, un problema che si aggrava all'aumentare della profondità di recupero.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di assumere un team di assistenti alla ricerca super-intelligenti (modelli AI) per scrivere un rapporto su un argomento complesso. Loro ti dicono: "Andate a cercare la verità su Internet, scrivete un rapporto e assicuratevi di elencare esattamente dove avete trovato ogni singolo fatto".
Il documento che avete condiviso è come un ispettore del controllo qualità che ha deciso di verificare i compiti che questi assistenti AI hanno consegnato. Invece di limitarsi a leggere il rapporto e annuire, l'ispettore ha costruito un robot speciale per verificare ogni singola nota a piè di pagina scritta dall'AI.
Ecco cosa hanno scoperto, spiegato in modo semplice:
L'ispezione in tre fasi
I ricercatori hanno costruito un sistema per verificare le citazioni dell'AI in tre modi specifici, come un controllo di sicurezza in tre parti:
- Il controllo "La porta è aperta?" (Il link funziona): Il link funziona davvero? Se ci clicchi, ti porta a una pagina web o è un errore 404 rotto?
- Il controllo "È della stessa cosa?" (Contenuto pertinente): Se il link funziona, la pagina web parla davvero dell'argomento che l'AI ha affermato? (Ad esempio: l'AI dice "Questo link prova che i gatti sono cani", ma il link è in realtà una ricetta per la lasagna).
- Il controllo "È vero?" (Verifica dei fatti): Questa è la parte più difficile. La pagina web contiene davvero i fatti specifici, i numeri o le date che l'AI ha detto di contenere?
La grande sorpresa: il problema del "Fascino Esterno"
La scoperta più scioccante è che gli assistenti AI sono bravi nei primi due controlli ma terribili nel terzo.
- L'analogia: Immagina uno studente che scrive un saggio e include una bibliografia.
- Nel 94% dei casi, i libri nella bibliografia esistono davvero sugli scaffali della biblioteca (Il link funziona).
- Nell'80% dei casi, quei libri parlano davvero dell'argomento su cui lo studente sta scrivendo (Contenuto pertinente).
- Ma, quando apri davvero il libro e leggi la pagina specifica che lo studente ha citato, solo nel 40% circa al 77% dei casi il libro dice davvero quello che lo studente ha affermato.
La conclusione: L'AI è molto brava a trovare un link funzionante a un sito web pertinente, ma spesso mente su cosa quel sito web dice. È come una guida turistica che ti porta sempre al museo giusto, ma poi ti racconta la storia sbagliata sulle mostre all'interno.
Il paradosso "Di più è meno"
I ricercatori hanno anche testato cosa succede se dicono all'AI di cercare più a fondo e di guardare più siti web. Potresti pensare: "Se chiedo all'AI di leggere 150 siti web invece di solo 2, sarà più accurata, vero?"
Sbagliato.
- L'analogia: Immagina di provare a risolvere un puzzle. Se hai 2 pezzi del puzzle, puoi vedere facilmente l'immagine. Se qualcuno versa 150 pezzi del puzzle davanti a te, ti senti sopraffatto. Potresti iniziare a forzare l'unione di pezzi che non si adattano solo per finire il quadro.
- Il risultato: Mentre l'AI era costretta a guardare sempre più fonti (da 2 fino a 150), la sua capacità di dire la verità è effettivamente diminuita di circa il 42%. I link funzionavano ancora e gli argomenti erano ancora pertinenti, ma i fatti specifici diventavano un caos. L'AI ha subito un "sovraccarico di informazioni" e ha iniziato ad allucinare dettagli.
Chi ha fatto bene? Chi ha fatto male?
- I modelli "Frontiera" (Le grandi AI tecnologiche): Questi modelli (come quelli di OpenAI, Anthropic e Google) erano molto bravi a generare rapporti che sembravano perfetti. Quasi sempre trovavano link funzionanti e argomenti pertinenti. Tuttavia, anche i più intelligenti avevano ragione sui fatti solo dal 39% al 77% delle volte.
- I modelli Open-Source: Questi modelli hanno faticato ancora di più. Molti di loro non sono nemmeno riusciti a completare il compito di scrivere un rapporto con citazioni. Quando ci provavano, erano molto peggio nel trovare link funzionanti e nel avere ragione sui fatti.
La conclusione fondamentale
Il documento conclude che non possiamo fidarci della ricerca AI solo perché ha un elenco di link in fondo. Una lunga lista di link funzionanti crea una "falsa sensazione di fiducia". Solo perché la porta è aperta e la stanza è quella giusta, non significa che la storia che l'AI ti racconta su ciò che c'è dentro la stanza sia vera.
I ricercatori hanno costruito questo "robot ispettore" per aiutarci a vedere quel divario tra una citazione che sembra buona e una citazione che è effettivamente vera.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.