Constrained Semantic Decompression in LLMs through Persian Proverb-Conditioned Story Generation

Sintesi Tecnica: Decompressione Semantica Vincolata nei LLM attraverso la Generazione di Storie Condizionata da Proverbi Persiani

Definizione del Problema
Il documento formalizza la sfida di trasformare la conoscenza culturale densa e astratta in narrazioni coinvolgenti come un compito di decompressione semantica vincolata. Nello specifico, investiga la capacità dei Large Language Models (LLM) di generare storie condizionate da proverbi persiani. A differenza della scrittura creativa aperta, questo compito richiede che i modelli istanzino fedelmente la logica morale sottostante e la struttura causale codificata in un proverbio, rispettando al contempo vincoli quali la coerenza narrativa, la lunghezza e l'appropriatezza per età infantile. Gli autori postulano che ciò funga da banco di prova rigoroso per valutare le capacità di "astrazione-a-realizzazione", indagando se i modelli possano colmare il divario tra la saggezza culturale astratta e la forma narrativa concreta.

Metodologia
Per studiare questo problema, gli autori introducono il Proverb Aligned Narrative Dataset (PAND), un corpus curato di 150 istanze. Ogni istanza accoppia un proverbio persiano con il suo significato morale esplicito e una breve storia scritta da esseri umani per bambini. Il dataset è stato costruito tramite il crawling di risorse letterarie persiane e la verifica manuale che tutti i contenuti siano precedenti all'era degli LLM per prevenire la contaminazione sintetica.

Lo studio valuta una gamma di modelli proprietari (GPT-4.1) e open-weight (Gemma 3 12B/27B, Mistral Small 3.2 24B) attraverso tre distinti regimi di prompting:

1. Pure (Puro): I modelli generano storie utilizzando solo il proverbio e i limiti di parole, testando il ragionamento intrinseco tramite strategie come Zero-Shot, Persona, Moral Chain-of-Thought (CoT) e Outline CoT.
2. Surface-Assisted (Assistito da Superficie): I prompt sono aumentati con indizi di livello superficiale derivati da storie di riferimento umane (ad esempio, condizionamento tramite prefisso o inclusione di parole chiave) per testare la dipendenza dai segnali lessicali rispetto al radicamento semantico.
3. Feedback-Guided (Guidato dal Feedback): Un ciclo di raffinamento iterativo che coinvolge tre persona: uno Scrittore (genera una bozza), un Critico (valuta e fornisce feedback basandosi su criteri specifici) e un Editore (revisiona la storia). Questo regime testa se il ragionamento esplicito e la critica iterativa possano mitigare i fallimenti di decomposizione.

La valutazione impiega un framework ibrido che combina:

• LLM-as-a-Judge Calibrato dall'Umano: Un modello Gemini 2.5 Pro calibrato valuta cinque metriche soggettive: Pertinenza, Creatività, Fluenza, Idoneità per Bambini e Qualità Complessiva.
• Metriche Strutturali: Misure oggettive inclusi Diversità Lessicale e Semantica, Novità, Sorpresa e Leggibilità (Flesch-Dayani) per quantificare la struttura narrativa e la deviazione dai benchmark umani.

Risultati Chiave
Gli esperimenti rivelano un persistente gap di decompressione: gli attuali LLM raggiungono spesso alti punteggi di fluenza superficiale e idoneità per l'infanzia, ma falliscono nell'istanziare fedelmente le strutture morali e causali più profonde dei proverbi.

• Fluenza vs. Radicamento: I modelli generano spesso testi grammaticalmente corretti e coinvolgenti che però mancano dell'intento di allineamento morale. I modelli open-weight più piccoli mostrano punteggi di "Pertinenza" particolarmente bassi rispetto ai benchmark umani.
• Impatto del Prompting: Le strategie che separano esplicitamente l'interpretazione semantica dalla realizzazione narrativa, in particolare la Moral CoT, producono costantemente punteggi di Pertinenza e Qualità Complessiva più elevati. Al contrario, le strategie assistite dalla superficie (ad esempio, il condizionamento tramite prefisso) spesso vincolano la diversità semantica, portando a una minore novità e sorpresa.
• Raffinamento Iterativo: Il regime Feedback-Guided dimostra che gli errori di decomposizione non sono necessariamente dovuti a una mancanza di conoscenza, ma piuttosto alle difficoltà nel tradurre il significato astratto in forma narrativa. Il raffinamento iterativo, specialmente quando si utilizza un modello più forte (Gamente 3 27B) come critico per uno scrittore più debole (Gemma 3 12B), migliora significamente il radicamento semantico e la qualità creativa, permettendo ai modelli più piccoli di avvicinarsi alle prestazioni dei baseline proprietari a passaggio singolo.
• Validazione Umana: Uno studio di preferenza a coppie in cieco ha confermato che gli annotatori umani hanno preferito le storie raffinate rispetto alle bozze iniziali nel 65% dei casi, validando la valutazione del giudice LLM riguardo al miglioramento.

Significatività e Contributi
Il documento apporta quattro contributi primari:

1. Formalizzazione del Compito: Definisce la generazione di storie condizionata da proverbi come un compito di decompressione semantica vincolata, offrendo un nuovo framework per valutare l'astrazione-a-realizzazione nei LLM.
2. Creazione del Dataset: Introduce PAND, il primo dataset persiano che accoppia proverbi con significati espliciti e storie scritte da umani per valutare la generazione narrativa culturalmente radicata.
3. Risultati Empirici: Identifica un disaccoppiamento sistematico tra fluenza superficiale e radicamento semantico, evidenziando un limite fondamentale nella capacità dei modelli attuali di preservare la logica morale durante la generazione.
4. Strategie di Mitigazione: Dimostra che il ragionamento esplicito (CoT) e il raffinamento iterativo possono parzialmente riparare questi fallimenti, suggerendo che il "gap di decompressione" è una sfida risolvibile attraverso migliori politiche di prompting e raffinamento piuttosto che una mancanza insuperabile di conoscenza culturale.

Gli autori concludono che, sebbene i modelli allo stato dell'arte mostrino una forte competenza linguistica, la loro capacità di trasformare la conoscenza culturale compressa in narrazioni radicate rimane una sfida significativa. Suggeriscono che il lavoro futuro potrebbe estendere questo framework ad altre forme di conoscenza compressa (ad esempio, favole, massime legali) ed esplorare l'internalizzazione della dinamica scrittore-critico attraverso l'addestramento piuttosto che solo tramite il prompting.