GhazalBench: Usage-Grounded Evaluation of LLMs on Persian Ghazals

1. Il Problema

I grandi modelli linguistici (LLM) sono sempre più utilizzati in contesti multilingue e culturalmente diversificati. Tuttavia, le valutazioni esistenti si concentrano spesso sulla generazione creativa o sull'imitazione stilistica, trascurando come i modelli interagiscono con testi poetici canonici in scenari di uso reale.
Nella cultura persiana, poeti come Hafez sono onnipresenti: i loro versi vengono citati, parafrasati o completati a partire da indizi parziali nella conversazione quotidiana e nei rituali sociali. Il problema centrale è che non è chiaro se gli LLM possano accedere a queste forme poetiche canoniche in modo fedele (ricordando l'esatta superficie testuale) o se si limitino a comprenderne il significato semantico. Esiste un vuoto nella valutazione della capacità dei modelli di recuperare forme culturali specifiche sotto vincoli di cue (indizi) semantici e formali, distinguendo tra memoria semantica e memoria superficiale.

2. Metodologia: GhazalBench

Gli autori introducono GhazalBench, un benchmark progettato per valutare l'interazione degli LLM con le ghazal (una forma poetica classica) di Hafez, basandosi su scenari di uso reale. Il benchmark si articola in due dimensioni complementari:

A. Costruzione del Dataset

• Fonte: I primi 100 ghazal del Divan di Hafez.
• Estrazione: Utilizzo di Gemini 2.5 Flash per estrarre le coppie di versi (distici) e le relative spiegazioni in prosa.
• Verifica: Tutte le estrazioni sono state verificate manualmente da esperti di poesia persiana per garantire l'accuratezza del testo e della metrica (ottenuta da Ganjoor).
• Campionamento: Per gli esperimenti, è stato selezionato un sottoinsieme di 50 ghazal (438 distici).

B. Scenari di Valutazione

Il benchmark valuta due capacità principali:

1. Comprensione Poem-to-Prose: I modelli devono parafrasare ogni distico in un nesso prosaico naturale, neutro e conciso in persiano. La valutazione avviene tramite un "LLM-as-Judge" (Gemini 3 Pro) e metriche automatiche (BERTScore, chrF++, BLEU).
2. Recupero del Verso Canonico: Valutazione della capacità di recuperare il secondo verso di un distico dato il primo, in diverse condizioni di cue:
   • Completamento (Recall libero): Generazione diretta del secondo verso.
   • Riconoscimento (Multiple Choice): Selezione del verso corretto tra distrattori (stesso metro, alta similarità semantica).
   • Mediazione in Prosa: Recupero basato su una spiegazione in prosa del significato.
   • Robustezza alla Parafrasi: Recupero basato su una parafrasi della spiegazione in prosa (per testare la dipendenza dalla sovrapposizione lessicale).
   • Condizionamento a Frammenti: Recupero basato su due parole chiave estratte dal verso target.
   • Condizionamento a Forma Mescolata: Recupero basato su un verso con l'ordine delle parole mescolato (per testare la sensibilità all'ordine sintattico).

C. Modelli Testati

Sono stati valutati quattro LLM multilingue all'avanguardia:

• Proprietario: Claude Sonnet 4.5.
• Open-weight: DeepSeek V3.2, Gemma 3 27B Instruct, Gemma 3 12B Instruct.
• Confronto Cross-lingua: Sono stati condotti esperimenti paralleli sui Sonetti di Shakespeare (inglese) per isolare l'effetto della densità dei dati di addestramento.

3. Risultati Chiave

Comprensione Semantica vs. Recupero Formale

• Alta Comprensione Semantica: Tutti i modelli hanno ottenuto punteggi elevati nel compito di parafrasare i versi in prosa, dimostrando una buona comprensione del significato poetico.
• Basso Recupero per Completamento: C'è una dissociazione sistematica. Mentre comprendono il significato, i modelli falliscono nel recuperare la forma esatta del verso in compiti di completamento (recall). Le percentuali di recupero completo sono vicine allo zero per i modelli Gemma e molto basse per gli altri, anche con indizi contestuali.
• Vantaggio del Riconoscimento: Le prestazioni migliorano drasticamente nei compiti di riconoscimento (multiple choice). Questo indica che i modelli possono identificare il verso corretto quando gli viene fornito, ma non riescono a generarlo da memoria.

Ruolo dei Cue e della Lingua

• Densità dei Dati: Il confronto con i Sonetti di Shakespeare mostra che i modelli ottengono tassi di recupero molto più alti in inglese rispetto al persiano. Questo suggerisce che il problema non è architettonico, ma dipende dalla densità dei segnali di addestramento (i testi persiani canonici sono sottorappresentati rispetto all'inglese).
• Sensibilità alla Superficie: Fornire parole chiave sparse o parafrasi della prosa non aiuta significativamente il recupero. Tuttavia, fornire il verso con le parole mescolate (shuffled) migliora notevolmente le prestazioni, indicando che i modelli sono sensibili all'identità lessicale e all'ordine sintattico, ma non hanno memorizzato la sequenza esatta in modo robusto.
• Modelli Open vs. Proprietari: Claude Sonnet 4.5 ha mostrato prestazioni superiori in quasi tutti i compiti, suggerendo una maggiore familiarità con la prosa letteraria persiana rispetto ai modelli open-weight.

4. Contributi Principali

1. Introduzione di GhazalBench: Un benchmark innovativo che valuta l'interazione con la poesia culturale canonica in scenari di uso reale, andando oltre la semplice generazione creativa.
2. Distinzione Teorica: Applicazione della distinzione psicologica tra recall (richiamo libero) e riconoscimento al contesto degli LLM, dimostrando che la capacità di riconoscere un verso è molto superiore alla capacità di richiamarlo.
3. Evidenza Empirica: Dimostrazione di una dissociazione sistematica tra la comprensione semantica (alta) e il recupero della forma superficiale (bassa) per testi culturalmente significativi.
4. Analisi Cross-Lingua: Prove che le limitazioni nel recupero formale sono legate alla scarsità dei dati di addestramento (lingua a risorse limitate) e non a limiti intrinseci dell'architettura del modello.

5. Significato e Implicazioni

Il lavoro evidenzia un limite critico negli attuali LLM multilingue: la competenza semantica non garantisce l'accesso alla forma culturale esatta.

• Implicazioni per la Valutazione: I benchmark basati solo sul riconoscimento o sulla parafrasi sovrastimano la capacità dei modelli di partecipare a interazioni culturali autentiche (come citazioni o completamenti di versi), che richiedono un accesso preciso alla superficie testuale.
• Implicazioni Culturali: Per un'interazione culturale significativa, i modelli devono essere in grado di recuperare non solo il "significato" ma la "forma" esatta, che è spesso il veicolo della tradizione orale e scritta.
• Direzioni Future: Suggerisce la necessità di strategie di addestramento che migliorino l'accesso alle forme canoniche senza incoraggiare una memorizzazione verbatim eccessiva (rischio di privacy), e l'adozione di diagnosi basate sull'uso reale per rivelare lacune rappresentazionali invisibili ai test standard.

In sintesi, GhazalBench dimostra che, sebbene gli LLM possano "capire" la poesia persiana, faticano a "parlare" la lingua della tradizione poetica con la precisione richiesta dall'uso culturale reale, specialmente quando i dati di addestramento sono scarsi.