Critical Confabulation: Can LLMs Hallucinate for Social Good?

Il paper propone la "confabulazione critica", un approccio che utilizza le allucinazioni controllate dei LLM per colmare le lacune storiche causate da disuguaglianze sociali e ricostruire narrazioni inclusive per le figure dimenticate, dimostrando come sia possibile generare speculazioni utili senza compromettere la fedeltà storica.

L'essenziale

Immagina di avere un vecchio album di famiglia, ma alcune pagine sono state strappate via o sono sbiadite. Quelle pagine mancanti raccontano le storie di persone importanti che la storia ha dimenticato o nascosto: i "figli invisibili" della storia.

Questo articolo di ricerca è come un nuovo tipo di detective digitale che cerca di riempire quei buchi, non inventando bugie a caso, ma usando l'immaginazione in modo intelligente e controllato.

Ecco la spiegazione semplice, passo dopo passo:

1. Il Problema: I "Buchi Neri" della Storia

Spesso, nei libri di storia, ci sono persone (specialmente quelle emarginate, come gli schiavi o le minoranze) di cui non sappiamo quasi nulla. I documenti ufficiali sono stati distrutti, ignorati o non sono mai stati scritti. È come se avessimo un puzzle con metà dei pezzi mancanti.
Gli storici tradizionali dicono: "Non possiamo inventare nulla, dobbiamo attenerci solo ai fatti certi". Ma questo significa che quelle storie rimangono perse per sempre.

2. La Soluzione: La "Confabulazione Critica"

Gli autori prendono in prestito un concetto dalla letteratura chiamato "fabulazione critica" (pensato dalla studiosa Saidiya Hartman). Invece di dire "non lo sappiamo", dicono: "Sappiamo che c'era un buco qui. Usiamo la logica, il contesto e l'empatia per immaginare cosa potrebbe essere successo, rimanendo però fedeli alla realtà storica".

È come se fossi un restauratore d'arte: se manca un pezzo di un affresco, non ci metti un adesivo colorato a caso. Studi il colore, la luce e lo stile dell'artista per dipingere un pezzo che si adatti perfettamente, anche se non sai al 100% come era l'originale.

3. Il Ruolo dell'Intelligenza Artificiale (LLM)

Qui entra in gioco l'Intelligenza Artificiale (come ChatGPT). Di solito, quando l'AI sbaglia e inventa cose, la chiamiamo "allucinazione" e la consideriamo un difetto.
L'idea geniale di questo studio è: e se usassimo proprio quell'abilità di "inventare storie" per un bene sociale?

Hanno insegnato all'AI a fare un gioco chiamato "Cloze Test" (un po' come un cruciverba o un "completa la frase"):

• Danno all'AI una linea temporale di una persona (es. "Nel 1973 è successo X, nel 1979 è successo Y").
• Cancellano un evento nel mezzo (es. "Nel 1975 è successo [MASK]").
• Chiedono all'AI: "Cosa è successo nel 1975? Immagina un evento plausibile basato su ciò che sappiamo degli anni prima e dopo".

4. Come hanno testato questa idea?

Hanno usato un archivio segreto di scritti neri americani (molto rari e poco conosciuti) che l'AI non aveva mai letto prima.

• Il controllo: Hanno assicurato che l'AI non avesse "barato" leggendo questi testi durante i suoi allenamenti (come un esame dove l'insegnante controlla che lo studente non abbia copiato).
• Il risultato: L'AI è riuscita a inventare storie che sembravano vere e coerenti con la realtà storica in molti casi. Non ha inventato maghi o draghi, ma eventi umani realistici (es. "Ha partecipato a una riunione", "Ha scritto una lettera").

5. Cosa hanno scoperto?

• Non è magia, è un'abilità: L'AI è brava a capire il "flusso" di una storia. Se sa cosa è successo prima e dopo, può indovinare il pezzo mancante con sorprendente accuratezza.
• Le istruzioni contano: Se chiedi all'AI di "inventare una bugia", lo fa male. Se le dici: "Agisci come uno storico che cerca di ricostruire una storia perduta basandosi sulle prove", lo fa molto meglio.
• I limiti: L'AI è brava a ricostruire fatti biografici (es. "ha lavorato qui"), ma fatica a immaginare i pensieri o le emozioni profonde di una persona (es. "si sentiva triste perché...").

6. Perché è importante?

Immagina che l'AI sia un assistente di ricerca super-potente.
Invece di sostituire lo storico umano, lo aiuta a:

1. Trovare i buchi nelle storie dimenticate.
2. Proporre bozze di come potrebbero essere state quelle storie.
3. Dare voce a chi non l'ha mai avuta.

L'obiettivo non è dire: "Questa è la verità assoluta". L'obiettivo è dire: "Ecco una possibilità plausibile che ci aiuta a capire meglio il passato e a non dimenticare queste persone".

In sintesi

Questo studio dice: "Smettete di avere paura quando l'AI inventa cose. Se guidate bene il processo, quella 'inventiva' può diventare uno strumento potente per recuperare le storie che il mondo ha cercato di cancellare."

È come usare un pennello digitale per ridipingere i ritratti sbiaditi della storia, non per cambiare la faccia delle persone, ma per farle tornare visibili.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Critical Confabulation: Can LLMs Hallucinate for Social Good?" di Sui et al., tradotta e adattata in italiano.

1. Problema e Contesto

Le Large Language Models (LLM) sono notoriamente soggette a "allucinazioni", ovvero la generazione di contenuti plausibili ma non fattuali. Tradizionalmente, questo è considerato un difetto critico. Tuttavia, il paper propone un cambio di paradigma: invece di cercare di eliminare completamente le allucinazioni, è possibile sfruttarle in modo controllato per scopi sociali e umanistici.

Il problema specifico affrontato è il "silenzio archivistico": le lacune nei registri storici causate da disuguaglianze sociali e politiche, che hanno portato all'oblio di figure marginalizzate (i "hidden figures"). L'approccio storiografico empirico tradizionale fallisce nel recuperare queste storie perché si basa su prove documentali che spesso non esistono. La teoria delle "fabulazioni critiche" (critical fabulation), introdotta da Saidiya Hartman, suggerisce l'uso di narrazioni speculative ma vincolate alle evidenze per ricostruire queste vite, senza però confondere la speculazione con la verità fattuale.

L'obiettivo della ricerca è operazionalizzare la fabulazione critica utilizzando gli LLM, trasformando le loro allucinazioni in uno strumento di "riparazione storica" per generare narrazioni coerenti e vincolate alle evidenze per colmare le lacune storiche.

2. Metodologia

Definizione del Task: Critical Confabulation

Gli autori definiscono la Critical Confabulation come un task di cloze narrativo aperto. Invece di chiedere al modello di inventare una storia da zero, si fornisce una timeline parziale di una figura storica "nascosta" con un evento mascherato ([MASK]). Il modello deve ricostruire l'evento mancante basandosi sul contesto circostante e sulle conoscenze pregresse, mantenendo la coerenza narrativa e il vincolo alle evidenze storiche.

Dataset: Black Writing and Thought Collection (BWTC)

Per valutare le capacità dei modelli senza rischio di "contaminazione dei dati" (memorizzazione), gli autori hanno utilizzato il corpus BWTC, un archivio digitale di testi inediti o raramente distribuiti sulla storia intellettuale nera.

• Selezione delle "Figure Nascoste": Sono stati identificati 156 nomi di persone rare o assenti nei dati di addestramento pubblici dei modelli (tramite audit stringa e ricerca Aho-Corasick).
• Costruzione delle Ground Truth: Per ogni figura, è stata estratta una timeline cronologica di eventi basata esclusivamente sui documenti BWTC, utilizzando un LLM (GPT-O3) con istruzioni rigorose di vincolo alle fonti. Ogni evento è stato etichettato con un tipo (Agentivo, Relazionale, Osservativo, Cognitivo, Ruolo).
• Audit dei Dati: È stata condotta un'analisi rigorosa per garantire che i modelli testati (in particolare la famiglia OLMO-2) non avessero visto i documenti BWTC durante l'addestramento, rimuovendo il 21% dei documenti che presentavano match stringa.

Setup Sperimentale

• Modelli Testati: La famiglia OLMO-2 (modelli completamente aperti e auditati: 1B, 7B, 13B, 32B) è stata confrontata con modelli open-weight non auditati (Qwen, Gemma, Llama, Phi, Mistral) e modelli proprietari (GPT-4o, GPT-5-Chat).
• Prompting: Sono stati testati diversi prompt, inclusi quelli progettati per indurre allucinazioni controllate (es. Null-Shot, Eccentric Automatic Prompts, HaluEval) e prompt base. È stato anche testato l'uso di un hint strutturale (EVENT_TYPE) per guidare il modello.
• Valutazione: La qualità della generazione è stata misurata tramite la similarità semantica (cosine similarity) tra l'evento generato e la ground truth, utilizzando un modello di embedding narrativo specializzato (story-emb). Una soglia di similarità è stata calibrata manualmente per massimizzare il F1-score.

3. Risultati Chiave

1. Fattibilità e Sfide: La critical confabulation è un task fattibile ma estremamente difficile. La maggior parte dei modelli rimane sotto il 50% di accuratezza, con le prestazioni migliori che raggiungono circa il 60% (GPT-5-Chat con prompt specifici).
2. Impatto del Prompting: Le prestazioni sono altamente sensibili al prompt.
   • L'aggiunta di un hint sul tipo di evento (EVENT_TYPE) ha migliorato costantemente le prestazioni di quasi tutti i modelli (+2-10 punti).
   • I prompt che incoraggiano esplicitamente la creatività o la "fabulazione" (es. Eccentric Automatic Prompts) hanno generato i risultati migliori per alcuni modelli, ma hanno anche causato instabilità e problemi di parsing in altri.
3. Performance dei Modelli:
   • GPT-5-Chat è il leader assoluto, superando il 50% di accuratezza nella maggior parte dei prompt.
   • Tra i modelli open-weight, Qwen3-4B e OLMo-2-7B hanno mostrato prestazioni sorprendentemente elevate, superando modelli più grandi in alcuni contesti.
   • Non è stata trovata alcuna evidenza significativa che i modelli non auditati abbiano un vantaggio dovuto alla memorizzazione dei dati rispetto ai modelli auditati (OLMO-2), suggerendo che le prestazioni derivano dalla capacità di ragionamento narrativo e non dalla semplice memorizzazione.
4. Analisi per Tipo di Evento:
   • I modelli eccellono nella ricostruzione di eventi di tipo "Ruolo" (posizioni, titoli) e "Relazionale".
   • Faticano notevolmente con eventi di tipo "Cognitivo" (stati mentali, opinioni, cambiamenti di atteggiamento), probabilmente perché questi sono meno ancorati a contesti osservabili esterni.
5. Effetti Strutturali:
   • Lunghezza dell'evento: Descrizioni più lunghe degli eventi sono correlate a una maggiore accuratezza.
   • Lunghezza della timeline: Timeline più lunghe riducono l'accuratezza, indicando che i modelli faticano a mantenere la coerenza su lunghi contesti narrativi.
   • Posizione: Gli eventi all'inizio della timeline sono ricostruiti meglio di quelli a metà o alla fine.

4. Contributi Principali

1. Quadro Teorico-Computazionale: Introduce il concetto di Critical Confabulation, unendo la teoria umanistica della fabulazione critica con le capacità generative degli LLM, proponendo un nuovo uso etico delle "allucinazioni".
2. Dataset e Benchmark: Crea un dataset rigoroso (basato su BWTC) per valutare la capacità degli LLM di ricostruire storie di figure storiche marginalizzate, con un protocollo di audit dei dati per garantire l'integrità della valutazione.
3. Validazione Empirica: Dimostra che gli LLM possiedono una comprensione narrativa di base sufficiente per generare narrazioni storiche plausibili e vincolate alle evidenze, fungendo da co-creatori per gli studiosi umanistici.
4. Implicazioni per l'IA: Sposta la prospettiva sulle allucinazioni da "difetto da correggere" a "risorsa ottimizzabile" in contesti specifici dove la speculazione controllata è necessaria per la produzione di conoscenza.

5. Significato e Implicazioni

Questo lavoro ha un duplice impatto:

• Per le Scienze Umanistiche (Digital Humanities): Offre uno strumento scalabile per affrontare il silenzio archivistico. Gli LLM possono aiutare gli studiosi a identificare lacune e generare ipotesi di ricostruzione narrative che possono poi essere verificate e affinate, ampliando la portata della ricerca sulle storie marginalizzate.
• Per l'Elaborazione del Linguaggio Naturale (NLP): Sfida la visione binaria della fattualità. Suggerisce che in domini come la storia, la letteratura e la cultura, la capacità di un modello di "immaginare" ciò che manca, pur rimanendo vincolato al contesto, è una competenza fondamentale. Il paper apre la strada a nuovi metodi di valutazione e training che ottimizzano specificamente per la "fabulazione vincolata" (evidence-bound confabulation) piuttosto che per la pura accuratezza fattuale.

In sintesi, il paper dimostra che, se guidati da vincoli etici e strutturali appropriati, gli LLM possono essere strumenti potenti per la giustizia epistemica, aiutando a "riempire i vuoti" della storia in modo responsabile e socialmente utile.