Evaluating the Creativity of LLMs in Persian Literary Text Generation

Titolo: Valutazione della Creatività dei Modelli Linguistici di Grande Dimensione (LLM) nella Generazione di Testi Letterari in Persiano

1. Il Problema

Nonostante i recenti progressi dei Large Language Models (LLM) nella generazione di testi creativi (poesia, racconti), la ricerca si è concentrata prevalentemente sulla lingua inglese. Esiste un vuoto significativo nella valutazione delle capacità creative dei modelli in lingue a risorse limitate o medie, come il persiano, e in contesti culturalmente specifici.
Le sfide principali identificate sono:

• Mancanza di standard: Assenza di metodi standardizzati per valutare la creatività in contesti non inglesi.
• Limiti culturali: Difficoltà nel generare output che siano non solo grammaticalmente corretti, ma anche culturalmente pertinenti, ricchi di sfumature e adatti alle tradizioni letterarie persiane.
• Valutazione soggettiva: La creatività è intrinsecamente soggettiva; gli approcci esistenti (come il Alternative Uses Task) non catturano la profondità culturale e lo stile richiesto dalla letteratura.

2. Metodologia

Gli autori hanno proposto un framework di valutazione adattato al contesto persiano, basato sui Torrance Tests of Creative Thinking (TTCT), ma modificato per valutare testi letterari brevi.

• Dataset CPers (Creativity in Persian):

  • È stato creato il primo dataset specifico per questo scopo, contenente 4.371 testi letterari persiani generati da utenti nativi.
  • I testi coprono 20 temi diversi (es. amore, speranza, Nowruz, lutto) e hanno una lunghezza media di circa 26 parole.
  • Il dataset include un sottoinsieme annotato manualmente di 200 testi (100 umani, 100 generati da LLM) con punteggi di creatività e etichette per le figure retoriche.

• Dimensioni di Valutazione (Adattate dal TTCT):
  La creatività è misurata su quattro dimensioni, ciascuna valutata tramite 3 domande specifiche (scala 1-5):

  1. Originalità: Assenza di cliché, distanza dalle frasi famose, uso di dispositivi letterari.
  2. Fluency (Fluenza): Correttezza grammaticale, naturalezza per un lettore nativo, appropriatezza contestuale (letteraria o conversazionale). Nota: La definizione è stata adattata rispetto al TTCT originale, che contava il numero di idee, poiché nei testi persiani brevi le idee sono spesso implicite.
  3. Flexibility (Flessibilità): Capacità di esprimere il tema da nuove prospettive o con stili diversi (ironico, filosofico, ecc.).
  4. Elaboration (Elaborazione): Dettaglio, ricchezza lessicale, creazione di immagini mentali e trasmissione di emozioni.

• Sperimentazione e "LLM-as-a-Judge":

  • Sono stati valutati 6 modelli SOTA: GPT-3.5, GPT-4.1, DeepSeek-V3, DeepSeek-R1, Qwen2.5 e Gemma.
  • Per ridurre i costi, è stato utilizzato un modello LLM come giudice. Dopo un confronto di affidabilità, Claude 3.7 Sonnet è stato selezionato come giudice finale grazie alla sua forte correlazione (ICC) con le valutazioni umane, superando GPT-4o.
  • L'analisi include anche lo studio dell'uso di quattro dispositivi letterari chiave: similitudine, metafora, iperbole e antitesi.

3. Risultati Chiave

• Performance dei Modelli:

  • DeepSeek-R1 ha ottenuto il punteggio complessivo di creatività più alto, eccellendo in Flessibilità e Elaborazione. Gli autori attribuiscono questo successo al suo training orientato al ragionamento ("think first, answer later"), che favorisce la generazione di contenuti più dettagliati e diversificati.
  • GPT-4.1 ha mostrato la migliore Fluenza (correttezza grammaticale e naturalezza), ma ha ottenuto punteggi più bassi in Originalità, tendendo a usare espressioni convenzionali.
  • Qwen2.5 ha mostrato alta Originalità ma scarsa Fluenza, con output talvolta poco chiari per i lettori nativi.
  • Nessun modello ha eccelso in tutte le dimensioni simultaneamente, indicando che la creatività è distribuita in modo disomogeneo tra i modelli.

• Analisi Lessicale e Stilistica:

  • I modelli tendono a riutilizzare pattern lessicali simili (es. "speranza", "luce", "buio", "cuore"), mostrando una minore diversità lessicale rispetto ai testi umani.
  • I modelli orientati al ragionamento (come DeepSeek-R1) mostrano una frequenza maggiore di termini più vividi e creativi (es. "alba" invece di "buio").
  • Dispositivi Retorici: I modelli tendono a sovraccaricare i testi di similitudini e metafore, spesso in modo ripetitivo. Al contrario, i testi umani integrano in modo più bilanciato diverse figure retoriche (inclusi iperbole e antitesi) all'interno della stessa frase.
  • Limitazione dei Giudici LLM: I modelli LLM hanno mostrato difficoltà nel distinguere correttamente tra metafora e similitudine quando usati come annotatori, sottolineando la necessità di annotazione umana per l'analisi stilistica fine.

4. Contributi Principali

1. Prima valutazione sistematica: Il primo studio che valuta la generazione di testi letterari in persiano utilizzando un framework adattato dal TTCT.
2. Dataset CPers: Rilascio del primo dataset di testi letterari persiani (4.371 esempi) con annotazioni di creatività e dispositivi retorici, fondamentale per le lingue a risorse limitate.
3. Framework di Valutazione Culturale: Adattamento delle metriche di creatività (in particolare la ridefinizione di "Fluenza") per riflettere le specificità linguistiche e culturali della letteratura persiana.
4. Analisi Comparativa: Un'analisi approfondita di 6 modelli SOTA che evidenzia come l'architettura (es. modelli con ragionamento) influenzi la creatività in modi specifici.

5. Significato e Implicazioni

Questo lavoro dimostra che, sebbene gli LLM siano strumenti utili per la generazione di testi letterari persiani, la loro creatività non ancora eguaglia la diversità e la sfumatura umana.

• Importanza Culturale: Evidenzia la necessità di valutazioni multilingue culturalmente consapevoli, poiché i modelli addestrati su dati globali potrebbero non catturare le specificità di tradizioni letterarie ricche come quella persiana.
• Design dei Modelli: Suggerisce che i modelli con capacità di ragionamento (Chain-of-Thought) potrebbero essere più adatti per compiti creativi complessi che richiedono elaborazione e flessibilità.
• Futuro della Ricerca: Sottolinea la necessità di collaborazioni interdisciplinari (linguistica, psicologia, letteratura) per affinare i criteri di valutazione e l'importanza di esplorare prompt più complessi e contesti narrativi più lunghi.

In sintesi, il paper fornisce una base metodologica solida per valutare la creatività AI in contesti non inglesi, ponendo le basi per futuri sviluppi nell'NLP multilingue e culturalmente sensibile.