Sintesi Tecnica: CASPER nella Macchina

Definizione del Problema

Man mano che i Large Language Models (LLM) vengono sempre più utilizzati per la scrittura creativa e la generazione di storie di finzione, sorge una questione critica riguardante le differenze qualitative tra le narrazioni generate dalle macchine e quelle scritte dagli esseri umani. Mentre la ricerca recente ha esaminato le storie generate dagli LLM attraverso la lente dello sviluppo della trama e della struttura narrativa, esiste una lacuna significativa nella comprensità di come questi modelli ritraggano i personaggi. Le analisi automatizzate esistenti si basano spesso su attributi basilari come dati demografici o tratti della personalità, fallendo nel catturare le sfumature artistiche più profonde della ritrazione dei personaggi che definiscono il tono, i temi e la risonanza culturale di una storia. Gli autori sostengono che i metodi attuali manchino della granularità necessaria per determinare se gli LLM generino personaggi con la stessa varietà, profondità e intenzione artistica dei penulis umani.

Metodologia

Per affrontare questo problema, gli autori introducono CASPER (Character's Portrayal Classifier), un framework fondato sulla teoria narratologica progettato per analizzare automaticamente la ritrazione dei personaggi nei racconti brevi.

1. Framework Teorico

Invece di affidarsi alla vaga e soggettiva dicotomia tra personaggio "piatto" e "tondo", CASPER utilizza una tassonomia proposta da Hochman (1985). Questo framework valuta i personaggi attraverso otto coppie di categorie, dove ogni categoria primaria è contrastata con il suo opposto:

• Stilizzazione vs. Naturalismo: Idealizzazione/artificio deliberato vs. accuratezza realistica.
• Coerenza vs. Incoerenza: Azioni/parole coerenti vs. contraddizioni/frammentazione.
• Interezza vs. Frammentarietà: Essere integrato con una personalità completa vs. aspetti parziali con lacune.
• Letteralità vs. Simbolismo: Individuo all'interno del mondo della storia vs. rappresentazione di idee/temi astratti.
• Complessità vs. Semplicità: Molteplici tratti conflittuali vs. definiti da uno o pochi tratti dominanti.
• Trasparenza vs. Opacità: Vita interiore chiara (pensieri/motivi) vs. vita interiore nascosta/ambigua.
• Dinamismo vs. Staticità: Sviluppo/trasformazione evidente vs. immutabilità fondamentale.
• Chiusura vs. Apertura: Arco narrativo con risoluzione chiara vs. destino/significato irrisolto.

2. Costruzione del Dataset

Gli autori hanno costruito un corpus comparabile di alta qualità:

• Storie Scritte da Umani: 200 racconti raccolti da r/shortstories, filtrati per garantire che non fossero generati da LLM (utilizzando detector AI) e mappati in quattro generi: Domestico, Romance, Fantascienza/Fantasy, e Suspense/Thriller.
• Storie Generate da LLM: 4.400 storie generate da 8 diversi LLM (appartenenti a 4 famiglie diverse: GPT, Llama, Phi, Mistral) di varie dimensioni (da 3B a 70B di parametri).
• Comparabilità: Per garantire un confronto equo, gli autori hanno utilizzato Llama-70B per generare prompt di scrittura a partire dalle storie umane, i quali sono stati poi usati per sollecitare le storie dai target LLM, garantendo l'allineamento tematico e di genere.

3. Pipeline di Classificazione

• Annotazione: Un set di test di 100 storie (50 umane, 50 LLM) è stato annotato manualmente da esperti letterari per stabilire la verità di base (ground truth). L'accordo tra i valutatori (Cohen's $\kappa$) è stato moderato (0.56).
• Classificazione Automatica: Gli autori hanno impiegato un approccio "LLM-as-a-judge" utilizzando Llama-70B e GPT4o-mini. Hanno testato sistematicamente varie strategie di prompting (Zero-shot, In-Context Learning con diversi layout, scale Likert) per determinare la configurazione ottimale per ogni categoria.
• Best Practices: Lo studio ha rilevato che la classificazione binaria utilizzando chiamate di inferenza separate per ogni categoria produceva i risultati migliori. Sono stati selezionati specifici template di prompt (ad esempio, ICL-ripetuto per la Stilizzazione, Zero-shot per il Dinamismo) in base alle prestazioni rispetto alle annotazioni umane.

Risultati Chiave

L'analisi di 4.400 storie generate da LLM rispetto a quelle scritte da umani ha rivelato schemi distinti:

• Chiusura e Sicurezza: Gli LLM sono significativamente più propensi a generare personaggi con archi narrativi Chiusi (conclusioni definite) rispetto agli umani, che frequentemente lasciano i personaggi con archi Aperti. Ciò suggerisce che gli LLM "giocano sul sicuro" legando le questioni in sospeso, mentre gli scrittori umani sono più disposti a usare l'ambiguità.
• Stilizzazione e Dinamismo: I personaggi generati da LLM sono statisticamente più propensi a essere Stilizzati (stereotipati/archetipici) e Dinamici (soggetti a un evidente sviluppo) rispetto ai personaggi umani. Gli LLM tendono a creare personaggi che si adattano ad archetipi ed esperiscono cambiamenti emotivi per trasmettere lezioni morali.
• Trasparenza e Coerenza: Sia gli umani che gli LLM preferiscono in modo schiacciante personaggi Coerenti, Interi e Trasparenti. Ciò indica una mancanza di diversità nel mistero o nella confusione, sebbene gli autori notino che questo possa essere influenzato dal focus sui protagonisti.
• Dimensione del Modello: Contrariamente all'aspettativa che modelli più grandi producano personaggi più sfumati, la dimensione del modello non influenza significativamente la ritrazione del personaggio. Modelli piccoli e grandi hanno prodotto distribuzioni quasi identiche nelle categorie, con solo piccole differenze nella stilizzazione.
• Diversità della Famiglia di Modelli: La famiglia Phi ha generato le distribuzioni di personaggi più diversificate, mentre la famiglia Llama ha generato le meno diversificate. I modelli Mistral hanno mostrato una preferenza per personaggi più stilizzati e meno coerenti.
• Influenza del Genere: Il genere impatta significativamente i tipi di personaggio. Ad esempio, le storie Domestiche presentano personaggi realistici ma spesso simbolici, mentre le storie di Fantascienza/Fantasy mostrano i tassi più elevati di stilizzazione e simbolismo.
• Variabilità dell'Inferenza: Quando viene utilizzato lo stesso prompt più volte, Letteralità e Chiusura mostrano la variabilità più alta tra le generazioni, suggerendo che gli LLM faticano a rispettare costantemente gli indizi contestuali su quanto un personaggio debba essere letterale o risolto.

Contributi e Significato

Il paper apporta tre contributi primari:

1. Adattamento del Framework: Ha adattato con successo metodi di analisi automatizzata (la tassonomia di Hochman) basati sulla teoria narratologica in un framework (CASPER) per analizzare le storie generate da LLM, fornendo uno strumento per tracciare l'evoluzione della ritrazione dei personaggi nei futuri modelli.
2. Corpus Curato: Rilascia un dataset accuratamente curato di 4.400 storie generate da LLM e 200 storie scritte da umani, garantendo la comparabilità tra generi e temi per ricerche future.
3. Analisi Empirica: Fornisce un confronto dettagliato e granulare tra personaggi umani e di LLM, andando oltre i tratti di base per analizzare come i personaggi siano ritratti all'interno del framework artistico di una storia.

Significato:
Gli autori affermano che il loro lavoro sfida l'assunto che modelli più grandi producano intrinsecamente personaggi più simili agli umani o più diversificati. Al contrario, dimostrano che gli attuali LLM esibiscono bias specifici verso una narrazione "sicura" (chiusura), personaggi archetipici (stilizzazione) e crescita morale (dinamismo). Identificando questi schemi, il paper offre una comprensione più profonda dei limiti e delle tendenze stilistiche degli attuali AI generativi nei domini creativi, suggerendo che, sebbene gli LLM possano imitare le strutture narrative, attualmente mancano della libertà artistica di abbracciare l'ambiguità e l'intero spettro della complessità del personaggio umano.