Constrained Semantic Decompression in LLMs through Persian Proverb-Conditioned Story Generation

Résumé technique : Décompression sémantique contrainte dans les LLM via la génération d'histoires conditionnée par des proverbes persans

Définition du problème
L'article formalise le défi consistant à transformer une connaissance culturelle dense et abstraite en récits engageants sous la forme d'une tâche de décompression sémantique contrainte. Plus précisément, il étudie la capacité des grands modèles de langage (LLM) à générer des histoires conditionnées par des proverbes persans. Contrairement à l'écriture créative ouverte, cette tâche exige que les modèles instancient fidèlement la logique morale et la structure causale sous-jacentes encodées dans un proverbe, tout en respectant des contraintes telles que la cohérence narrative, la longueur et l'adéquation à l'âge des enfants. Les auteurs postulent que cela sert de banc d'essai rigoureux pour évaluer les capacités d'« abstraction-à-réalisation », sondant si les modèles peuvent combler le fossé entre la sagesse culturelle abstraite et la forme narrative concrète.

Méthodologie
Pour étudier ce problème, les auteurs introduisent le Proverb Aligned Narrative Dataset (PAND), un corpus organisé de 150 instances. Chaque instance associe un proverbe persan à sa signification morale explicite et à une histoire courte écrite par un humain pour les enfants. Le jeu de données a été construit en parcourant des ressources littéraires persanes et en vérifiant manuellement que tout le contenu est antérieur à l'ère des LLM afin d'éviter toute contamination synthétique.

L'étude évalue une gamme de modèles propriétaires (GPT-4.1) et de modèles à poids ouverts (Gemma 3 12B/27B, Mistral Small 3.2 24B) à travers trois régimes de prompting distincts :

1. Pur (Pure) : Les modèles génèrent des histoires en utilisant uniquement le proverbe et les limites de mots, testant le raisonnement intrinsèque via des stratégies telles que le Zero-Shot, le Persona, le Moral Chain-of-Thought (CoT) et l'Outline CoT.
2. Assisté par la surface (Surface-Assisted) : Les prompts sont augmentés d'indices de surface provenant d'histoires de référence humaines (par exemple, conditionnement par préfixe ou inclusion de mots-clés) pour tester la dépendance aux signaux lexicaux par rapport à l'ancrage sémantique.
3. Guidé par le feedback (Feedback-Guided) : Une boucle de raffinement itérative impliquant trois personas : un Écrivain (génère un brouillon), un Critique (évalue et fournit un feedback basé sur des critères spécifiques) et un Éditeur (révise l'histoire). Ce régime teste si le raisonnement explicite et la critique itérative peuvent atténuer les échecs de décompression.

L'évaluation emploie un cadre hybride combinant :

• LLM-as-a-Judge calibré par l'humain : Un modèle Gemini 2.5 Pro calibré évalue cinq métriques subjectives : la Pertinence, la Créativité, la Fluidité, l'Adéquation pour les enfants et la Qualité globale.
• Métriques structurelles : Des mesures objectives incluant la Diversité lexicale et sémantique, la Nouveauté, la Surprise et la Lisibilité (Flesch-Dayani) pour quantifier la structure narrative et l'écart par rapport aux références humaines.

Résultats clés
Les expériences révèlent un fossé de décompression persistant : les LLM actuels atteignent fréquemment des scores élevés de fluidité de surface et d'adéquation pour les enfants, mais échouent à instancier fidèlement les structures morales et causales profondes des proverbes.

• Fluidité vs Ancrage : Les modèles génèrent souvent des textes grammaticalement corrects et engageants qui manquent de l'alignement moral prévu. Les modèles plus petits à poids ouverts présentent des scores de « Pertinence » particulièrement bas par rapport aux références humaines.
• Impact du prompting : Les stratégies qui séparent explicitement l'interprétation sémantique de la réalisation narrative, particulièrement le Moral CoT, produisent systématiquement des scores de Pertinence et de Qualité globale plus élevés. Inversement, les stratégies assistées par la surface (par exemple, le Conditionnement par Préfixe) contraignent souvent la diversité sémantique, entraînant une nouveauté et une surprise moindres.
• Raffinement itératif : Le régime Feedback-Guided démontre que les erreurs de décompression ne sont pas nécessairement dues à un manque de connaissances, mais plutôt à des difficultés de traduction du sens abstrait en forme narrative. Le raffinement itératif, surtout lorsqu'un modèle plus fort (Gemma 3 27B) est utilisé comme critique pour un écrivain plus faible (Gemma 3 12B), améliore significativement l'ancrage sémantique et la qualité créative, permettant aux modèles plus petits de s'approcher des performances des bases propriétaires à passage unique.
• Validation humaine : Une étude de préférence par paire en aveugle a confirmé que les annotateurs humains préféraient les histoires raffinées aux brouillons initiaux dans 65 % des cas, validant l'évaluation du juge LLM concernant l'amélioration.

Signification et contributions
L'article apporte quatre contributions principales :

1. Formalisation de la tâche : Il définit la génération d'histoires conditionnée par des proverbes comme une tâche de décompression sémantique contrainte, offrant un nouveau cadre pour évaluer l'abstraction-à-réalisation dans les LLM.
2. Création de jeu de données : Il introduit PAND, le premier jeu de données persan associant des proverbes à des significations explicites et des histoires écrites par des humains pour évaluer la génération narrative culturellement ancrée.
3. Constats empiriques : Il identifie un découplage systématique entre la fluidité de surface et l'ancrage sémantique, soulignant une limitation fondamentale dans la capacité des modèles actuels à préserver la logique morale lors de la génération.
4. Stratégies d'atténuation : Il démontre que le raisonnement explicite (CoT) et le raffinement itératif peuvent partiellement réparer ces échecs, suggérant que le « fossé de décompression » est un défi soluble grâce à un meilleur prompting et des politiques de raffinement plutôt qu'à un manque insurmontable de connaissances culturelles.

Les auteurs concluent que, bien que les modèles de pointe montrent une forte compétence linguistique, leur capacité à transformer des connaissances culturelles compressées en récits ancrés reste un défi important. Ils suggèrent que les travaux futurs pourraient étendre ce cadre à d'autres formes de connaissances compressées (par exemple, les fables, les maximes juridiques) et explorer l'internalisation de la dynamique écrivain-critique par l'entraînement plutôt que par le seul prompting.