Generative AI & Fictionality: How Novels Power Large Language Models

Titolo: Generative AI & Fictionality: How Novels Power Large Language Models

Autori: Edwin Roland (University of Illinois Urbana-Champaign) e Richard Jean So (Duke University)

1. Il Problema

L'ascesa dei modelli linguistici di grandi dimensioni (LLM) come ChatGPT ha sollevato interrogativi fondamentali sulla natura della creatività e dell'intelligenza artificiale. Sebbene esista un ampio dibattito sui bias sociali (razzismo, sessismo) incorporati nei modelli, c'è una lacuna teorica e tecnica riguardo al ruolo specifico dei dati di addestramento, in particolare della fiction (narrativa di finzione).

• Ipotesi non verificata: Gli ingegneri che costruiscono questi modelli ritengono spesso che il linguaggio della fiction sia sufficientemente ricco da coprire tutti i fenomeni sociali e comunicativi, rendendolo un dataset ideale. Tuttavia, non è stato ancora stabilito teoricamente come la fiction influenzi effettivamente l'output dei modelli rispetto ad altri testi (come Wikipedia, notizie o Reddit).
• La domanda di ricerca: In che modo la presenza massiccia di romanzi nei dataset di addestramento (ad esempio, un terzo del dataset di LLaMA è fiction) plasma le capacità comunicative, la generazione di personaggi e la struttura logica degli LLM?

2. Metodologia

Gli autori adottano un approccio interdisciplinare che combina la Digital Humanities (teoria letteraria) con l'analisi computazionale dei modelli linguistici.

• Modello Sperimentale: Utilizzano BERT (Bidirectional Encoder Representations from Transformers), un modello open-source influente, come "laboratorio" per isolare gli effetti della fiction.
• Design dell'Esperimento: Vengono addestrati e confrontati due modelli BERT:
  1. Wiki Model: Addestrato esclusivamente su articoli di Wikipedia (testi non-fiction).
  2. Full Model: Addestrato su una combinazione di Wikipedia e BookCorpus (una raccolta di circa 7.000 romanzi commerciali).
     Nota: Entrambi i modelli sono addestrati su 2 miliardi di parole, con una proporzione di dati che riflette la composizione originale di BERT (1,5 miliardi da Wikipedia, 500 milioni da BookCorpus).
• Esperimenti Computazionali:
  1. Task di Predizione (Masked Language Modeling): Vengono testati i modelli su un set di dati di Wikipedia "mascherato" (parole nascoste da prevedere). Si analizza quali parole il Full Model prevede meglio rispetto al Wiki Model, identificando i concetti appresi specificamente dalla fiction.
  2. Generazione di Testo: Si utilizzano le reti stocastiche (GSN) per generare nuove frasi dai due modelli, analizzando lo stile, la voce e la struttura narrativa risultante.
  3. Analisi dell'Information Gain: Si misura quanto la fiction migliora la capacità predittiva del modello su specifici passaggi di romanzi, identificando i tipi di contenuti (es. interazioni tra personaggi) che il modello apprende meglio grazie alla fiction.

3. Risultati Chiave

L'analisi rivela che la fiction non aggiunge semplicemente "vocabolario", ma modifica strutturalmente la comprensione del linguaggio e della realtà sociale da parte del modello.

• Shift dai Nomi Propri ai Pronomi: Contrariamente alle teorie letterarie (es. Gallagher) che enfatizzano i nomi propri come centro della fiction, il modello addestrato su fiction eccelle nella predizione dei pronimi personali (you, he, she, them) e delle forme verbali legate al dialogo e alla cognizione (know, want, could). La fiction insegna al modello a gestire l'identità e la durata dei personaggi all'interno del testo, non solo come entità esterne.
• Cambiamento nella Voce Narrativa:
  • Il Wiki Model genera testi con una voce da "scienziato gentiluomo" o enciclopedia: oggettiva, focalizzata su policy, date e fatti esterni.
  • Il Full Model genera testi con voci multiple, dialoghi, riflessioni interiori e interazioni sociali. Le frasi generate assomigliano a frammenti di generi popolari (romanzo rosa, thriller), dove i personaggi valutano il mondo e aggiornano le loro credenze in tempo reale.
• Apprendimento delle "Intenzioni" e delle Relazioni: L'analisi dell'information gain mostra che i passaggi di fiction che il modello apprende meglio sono quelli caratterizzati da:
  • Interazioni multiple: I personaggi non appaiono in isolamento ma in relazione dinamica l'uno con l'altro.
  • Alte poste in gioco (High Stakes): Momenti di svolta narrativa, conflitti o risoluzioni emotive.
  • Cognizione Embodied: Il modello impara a collegare espressioni fisiche (es. "stringere la mascella") a stati mentali e intenzioni (es. rabbia, protezione), un concetto definito "cognizione incarnata".
• Il Concetto di "Qualcuno" (Somebody): Mentre la teoria letteraria classica vedeva i personaggi come "nessuno" (nobodies) che esistono solo per il piacere del lettore, l'LLM addestrato su fiction tratta i personaggi come "qualcuno" (somebodies): entità con intenzioni coscienti, relazioni sociali e capacità di giudizio, che il modello imita per generare comunicazione efficace.

4. Contributi Principali

1. Teorico: Gli autori applicano la teoria della "fictionalità comunicativa" (Phelan, Walsh) agli LLM, dimostrando che la fiction non è solo un dataset di parole, ma un addestramento su come simulare intenzioni, relazioni sociali e mondi possibili.
2. Tecnico: Dimostrano che la fiction è un componente critico per la capacità degli LLM di generare dialoghi credibili e gestire la coerenza dei personaggi, andando oltre la semplice statistica delle parole.
3. Metodologico: Introducono un metodo di "audit algoritmico" per analizzare i dati di addestramento. Invece di trattare i dataset come scatole nere, mostrano come sia possibile isolare l'impatto di specifici generi testuali (fiction vs. non-fiction) sulle capacità del modello.

5. Significato e Implicazioni

Il paper conclude che la cultura contemporanea è sempre più plasmata non solo dagli autori umani, ma dai dati di addestramento computazionali.

• Nuovo Agente Culturale: I dataset di addestramento devono essere considerati un "agente" fondamentale nella produzione culturale, al pari di scrittori, editori e lettori. Essi determinano quali forme di rappresentazione sociale (es. come uomini e donne interagiscono in crisi) vengono normalizzate e riprodotte dall'AI.
• Impatto sulla Creatività: Poiché gli LLM sono progettati per comunicare, e la fiction è il loro "manuale" principale per la comunicazione interpersonale e la simulazione di coscienze, l'output dell'AI sarà inevitabilmente modellato sulle convenzioni narrative dei romanzi (dialogo, conflitto, risoluzione emotiva).
• Necessità di Audit: Per comprendere e criticare la cultura del XXI secolo, gli studiosi devono analizzare i dati di addestramento. Le distorsioni sociali e le forme di rappresentazione nell'AI non sono solo errori del modello, ma riflessi delle scelte curatoriali dei dataset (es. la predominanza di certi generi letterari).

In sintesi, il paper sostiene che la fiction fornisce agli LLM la capacità di "fabbricare persone plausibili", trasformando l'AI da un semplice predittore di parole in un simulatore di interazioni sociali complesse, con profonde implicazioni per il futuro della produzione culturale.