Constrained Semantic Decompression in LLMs through Persian Proverb-Conditioned Story Generation

Technische Samenvatting: Beperkte Semantische Decompressie in LLM's door middel van Perzische Spreekwoord-geconditioneerde Verhaalgeneratie

Probleemdefinitie
Het artikel formaliseert de uitdaging om dichte, abstracte culturele kennis te transformeren naar boeiende narratieven als een taak van beperkte semantische decompressie. Specifiek onderzoekt het het vermogen van Large Language Models (LLM's) om verhalen te genereren die geconditioneerd zijn op Perzische spreekwoorden. In tegenstelling tot open einde creatief schrijven, vereist deze taak dat modellen de onderliggende morele logica en causale structuur die in een spreekwoord is gecodeerd, getrouw instantiëren, terwijl ze voldoen aan beperkingen zoals narratieve coherentie, lengte en leeftijdstoepasselijkheid voor kinderen. De auteurs stellen dat dit dient als een rigoureuze testomgeving voor het evalueren van "abstractie-naar-realisatie"-vermogens, waarbij wordt onderzocht of modellen de kloof kunnen overbruggen tussen abstracte culturele wijsheid en concrete narratieve vorm.

Methodologie
Om dit probleem te bestuderen, introduceren de auteurs de Proverb Aligned Narrative Dataset (PAND), een gecureerde corpus van 150 instanties. Elke instantie koppelt een Perzisch spreekwoord aan de expliciete morele betekenis en een door mensen geschreven kort verhaal voor kinderen. De dataset werd samengesteld door het crawlen van Perzische literaire bronnen en door handmatige verificatie dat alle inhoud voorafgaat aan het LLM-tijdperk om synthetische contaminatie te voorkomen.

De studie evalueert een reeks propriëtaire (GPT-4.1) en open-weight modellen (Gemma 3 12B/27B, Mistral Small 3.2 24B) over drie verschillende prompting-regimes:

1. Pure: Modellen genereren verhalen met alleen het spreekwoord en woordlimieten, waarbij intrinsiek redeneren wordt getest via strategieën zoals Zero-Shot, Persona, Moral Chain-of-Thought (CoT) en Outline CoT.
2. Surface-Assisted: Prompts worden uitgebreid met oppervlakkige aanwijzingen uit menselijke referentieverhalen (bijv. prefix-conditionering of trefwoord-inclusie) om de afhankelijkheid van lexicale signalen versus semantische gronding te testen.
3. Feedback-Guided: Een iteratieve verfijningslus die drie persona's omvat: een Schrijver (genereert een concept), een Criticus (scoort en geeft feedback op basis van specifieke criteria) en een Redacteur (herziet het verhaal). Dit regime test of expliciet redeneren en iteratieve kritiek decompressiefouten kunnen mitigeren.

Evaluatie maakt gebruik van een hybride framework dat het volgende combineert:

• Human-Calibrated LLM-as-a-Judge: Een gekalibreerd Gemini 2.5 Pro-model beoordeelt vijf subjectieve metrieken: Relevantie, Creativiteit, Vloeibaarheid, Geschiktheid voor Kinderen en Algemene kwaliteit.
• Structurele Metrieken: Objectieve maten inclusief Lexicale en Semantische Diversiteit, Nieuwigheid, Verrassing en Leesbaarheid (Flesch-Dayani) om de narratieve structuur en afwijking van menselijke baselines te kwantificeren.

Belangrijkste Resultaten
De experimenten onthullen een hardnekkige decompressiekloof: huidige LLM's behalen vaak hoge scores op het gebied van oppervlakkige vloeibaarheid en geschiktheid voor kinderen, maar falen erin de diepere morele en causale structuren van de spreekwoorden getrouw te instantiëren.

• Vloeibaarheid versus Gronding: Modellen genereren vaak grammaticaal correcte en boeiende teksten die de beoogde morele afstemming missen. Kleinere open-weight modellen vertonen bijzonder lage "Relevantie"-scores in vergelijking met menselijke benchmarks.
• Impact van Prompting: Strategieën die de semantische interpretatie expliciet scheiden van de narratieve realisatie, met name Moral CoT, leveren consistent hogere Relevantie- en Algemene scores op. Daarentegen beperken surface-assisted strategieën (bijv. Prefix-Conditioned) vaak de semantische diversiteit, wat leidt tot lagere nieuwigheid en verrassing.
• Iteratieve Verfijning: Het Feedback-Guided regime laat zien dat decompressiefouten niet noodzakelijkerwijs te wijten zijn aan een gebrek aan kennis, maar aan moeilijkheden bij het vertalen van abstracte betekenis naar narratieve vorm. Iteratieve verfijning, vooral wanneer een sterker model (Gemma 3 27B) wordt gebruikt als criticus voor een zwakker schrijver (Gemma 3 12B), verbetert de semantische gronding en creatieve kwaliteit aanzienlijk, waardoor kleinere modellen de prestaties van single-pass propriëtaire baselines benaderen.
• Menselijke Validatie: Een blinded pairwise voorkeursonderzoek bevestigde dat menselijke annotatoren de verfijnde verhalen in 65% van de gevallen verkozen boven de initiële concepten, wat de beoordeling van de LLM-judge over verbetering valideert.

Betekenis en Bijdragen
Het artikel levert vier primaire bijdragen:

1. Taakformalisering: Het definieert spreekwoord-geconditioneerde verhaalgeneratie als een taak van beperkte semantische decompressie, en biedt een nieuw framework voor het evalueren van abstractie-naar-realisatie in LLM's.
2. Dataset Creatie: Het introduceert PAND, de eerste Perzische dataset die spreekwoorden koppelt aan expliciete betekenissen en door mensen geschreven verhalen voor het evalueren van cultureel gegronde narratieve generatie.
3. Empirische Bevindingen: Het identificeert een systematische ontkoppeling tussen oppervlakkige vloeibaarheid en semantische gronding, wat wijst op een fundamentele beperking in het vermogen van huidige modellen om morele logica te behouden tijdens de generatie.
4. Mitigatiestrategieën: Het demonstreert dat expliciet redeneren (CoT) en iteratieve verfijning deze fouten gedeeltelijk kunnen herstellen, wat suggereert dat de "decompressiekloof" een oplosbare uitdaging is door middel van betere prompting en verfijningsbeleid, in plaats van een onoverkomelijk gebrek aan culturele kennis.

De auteurs concluderen dat hoewel state-of-the-art modellen sterke linguïstische competentie tonen, hun vermogen om gecomprimeerde culturele kennis te transformeren naar gegronde narratieven een aanzienlijke uitdaging blijft. Zij suggereren dat toekomstig werk dit framework kan uitbreiden naar andere vormen van gecomprimeerde kennis (bijv. fabels, juridische maximas) en het internaliseren van de schrijver-criticus dynamiek kan verkennen via training in plaats van enkel via prompting.