Sintesi Tecnica: Caratterizzazione del Contenuto Narrativo nei Dati di Pretraining di LLM su Scala Web

Definizione del Problema

Sebbene le narrazioni siano una modalità fondamentale di comunicazione umana e un caso d'uso primario per i Large Language Models (LLM), la composizione narrativa dei corpora di pretraining su scala web rimane in gran parte inesplorata. La ricerca esistente ha esaminato i dati di pretraining lungo dimensioni quali qualità, tossicità e distribuzione tematica, ma non ha analizzato sistematicamente la struttura narrativa. Questa lacuna è critica perché le attuali pratiche di cura dei dati trattano le fonti (ad esempio, libri, Reddit, news) come narrativamente omogenee. Di conseguenza, i mix di addestramento possono ridurre sproporzionatamente l'esposizione narrativa di un modello o distorcere le sue strutture di eventi e prospettive senza che il team di cura ne sia consapevole. Gli autori postulano che le qualità narrative siano probabilmente distribuite in modo diseguale tra le fonti e i temi in modi che le pratiche attuali non misurano né tengono conto.

Metodologia

Gli autori presentano un framework esaustivo per misurare la struttura narrativa su larga scala utilizzando DOLMA, un corpus di pretraining open da 3 trilioni di token. Il loro approccio prevede quattro fasi principali:

1. Framework Teorico e Dimensioni di Annotazione

Basandosi sulla teoria della narrazione (Herman, 2011; Piper et al., 2021), gli autori definiscono la narrazione non come una classificazione binaria, ma come una struttura continua e multidimensionale. La operazionalizzano in 11 dimensioni interpretabili raggruppate in tre elementi centrali:

• Agenzia (5 dimensioni): Focalizzazione (prospettiva), Emozione Interna, Cognizione Interna, Cambiamento di Stato e Conflitto. Queste sono valutate su una scala Likert da 1 a 5.
• Ambientazione (4 dimensioni): Concretezza, Radicamento Temporale, Radicamento Spaziale e Dettaglio Sensoriale. Anche queste sono valutate su una scala Likert da 1 a 5.
• Relazioni tra Eventi (3 dimensioni): Ordine temporale, Relazioni causali e Densità di eventi (eventi per token). Queste sono derivate dal rilevamento dei trigger di eventi e dall'estrazione delle relazioni.

2. Campionamento e Costruzione dei Dati

Per affrontare l'eterogeneità del testo web, gli autori hanno sviluppato una pipeline di campionamento in quattro fasi da DOLMA:

1. Estrazione: Estrazione di circa 17 milioni di passaggi di tre frasi da circa 5 milioni di documenti.
2. Scoring: Utilizzo di un classificatore binario basato su DeBERTa per filtrare il contenuto narrativo coerente.
3. Classificazione Tematica: Applicazione del classificatore WEBORGANIZER alle fonti di Common Crawl per bilanciare i domini tematici.
4. Campionamento Stratificato: Creazione di due dataset:
   • Gold Dataset: 400 passaggi annotati manualmente da esperti umani per la validazione.
   • NARRADOLMA: Un dataset su larga scala di circa 3 milioni di passaggi (che copre circa 785mila documenti) etichettati tramite una pipeline di distillazione.

3. Sviluppo del Modello: NARRABERT

Per scalare l'annotazione oltre la capacità umana, gli autori hanno utilizzato un workflow "validation-first":

• Etichettatura tramite LLM: Hanno confrontato tre LLM (Claude Sonnet 4.6, Qwen3, Gemma4) con le annotazioni umane. Gemma4 è stata selezionata per l'etichettatura su larga scala grazie alla sua convenienza economica e alla disponibilità open-source.
• Distillazione della Conoscenza: I 5.000 passaggi etichettati da Gemma4 sono stati utilizzati per addestrare NARRABERT, una coppia di classificatori basati su RoBERTa. Un encoder gestisce le 9 dimensioni della scala Likert (Agenzia e Ambientazione) come compiti di regressione, mentre un encoder dedicato gestisce le Relazioni tra Eventi come compiti di classificazione binaria.
• Validazione: NARRABERT è stato validato rispetto a un set di test umano tenuto fuori (held-out) con annotazioni umane, ottenendo punteggi di accordo comparabili agli LLM teacher per Agenzia e Ambientazione, sebbene con prestazioni leggermente inferiori per le Relazioni tra Eventi a causa dello sbilanciamento delle classi.

4. Analisi

Gli autori hanno applicato NARRABERT all'intero corpus NARRADOLMA per generare vettori di caratteristiche narrative a 12 dimensioni per ogni documento. Hanno analizzato questi vettori utilizzando l'Analisi delle Componenti Principali (PCA) per identificare i modi dominanti di variazione ed esaminato la distribuzione di queste caratteristiche attraverso diverse fonti e temi.

Contributi Chiave

1. Framework di Annotazione: Un framework fondato sulla teoria che operazionalizza 11 dimensioni narrative fini attraverso Agenzia, Ambientazione ed Eventi.
2. NARRABERT: Un classificatore efficiente capace di predire tutte le 11 dimensioni narrative, validato rispetto ad annotazioni sia umane che di LLM.
3. NARRADOLMA: Un nuovo dataset composto da circa 3 milioni di passaggi etichettati, campionati dal corpus DOLMA utilizzando una pipeline stratificata rigorosa.
4. Analisi su Larga Scala: La prima mappatura empirica della struttura narrativa nei dati di pretraining, rivelando che la narratività costituisce una struttura continua e multidimensionale piuttosto che una singola quantità scalare.

Risultati

L'analisi di NARRADOLMA ha prodotto tre scoperte empiriche fondamentali:

1. Misurabilità: La struttura narrativa è misurabile su larga scala attraverso dati estremamente eterogenei.
2. Multidimensionalità: Le qualità narrative covariano in tre componenti principali (assi) interpretabili:
   • Interiorità (PC1): Guidata da focalizzazione, emozione e cognizione.
   • Eventività Radicata (PC2): Guidata da cambiamento di stato, conflitto, densità di eventi e radicamento temporale/spaziale.
   • Texture del Mondo Narrativo (PC3): Guidata da concretezza, dettaglio sensoriale e radicamento spaziale.
3. Distribuzione Diseguale: Queste qualità narrative non sono distribuite uniformemente tra le fonti o i temi.
   • Variazione della Fonte: Fonti come Reddit e Gutenberg sono alte in Interiorità ma basse in altre dimensioni, mentre Wikipedia e Crime/Law sono alte in Eventività Radicata ma quasi prive di Interiorità.
   • Variazione Tematica: Temi come Food & Dining e Travel ottengono punteggi alti su Texture del Mondo Narrativo, mentre Software e Finance ottengono punteggi bassi.
   • Diversità Interna: Le categorie ricche di narrazione (ad esempio, Reddit, Letteratura) mostrano un'alta varianza interna, indicando che le etichette a livello di fonte sono troppo grossolane per catturare la diversità narrativa. Aumentare il peso di una fonte "narrativa" non aumenta uniformemente tutte le qualità narrative.

Significato e Rivendicazioni

Il paper sostiene che la struttura narrativa debba essere trattata come una proprietà misurabile e multidimensionale dei dati di pretraining, a complemento degli assi esistenti come qualità e distribuzione tematica. Gli autori sostengono che le attuali pratiche di cura dei dati siano troppo grossolane; le decisioni prese a livello di fonte (ad esempio, quali corpora includere) non tengono conto della diversità narrativa presente all'interno di tali fonti.

Fornendo un framework, un dataset e modelli per caratterizzare la distribuzione narrativa, questo lavoro pone le basi per:

• Comprendere come la composizione dei dati influenzi i compiti di ragionamento narrativo.
• Investigare il "deficit di creatività" nella narrazione degli LLM collegandolo a specifici mix di addestramento.
• Future esperienze controllate (ad esempio, usando RegMix) per stabilire legami causali tra la composizione narrativa del pretraining e le capacità downstream del modello.

Gli autori rimangono modesti riguardo alle rivendicazioni causali, notando che caratterizzano e mappano la struttura narrativa ma non stabiliscono ancora legami causali diretti con il comportamento del modello, identificando questo come un ambito per lavori futuri. Riconoscono inoltre i limiti, inclusa la natura stratificata del campione (sovrarappresentando il contenuto narrativo rispetto al DOLMA grezzo) e l'intrinseca difficoltà di annotare alcune dimensioni come l'ordine temporale.