Résumé technique : Les LLM ont-ils du rythme ? Filtrage phonologique hybride pour la poésie grecque

Énoncé du problème

Les grands modèles de langage (LLM), malgré leur maîtrise des tâches de NLP généralistes, présentent des déficiences significatives dans les phénomènes phonologiquement ancrés, plus précisément dans la détection et la génération de rimes. Cette limitation est particulièrement aiguë en grec moderne, une langue à faibles ressources où la rime est un pilier structurel de la poésie, allant de la Renaissance crétoise au hip-hop contemporain.

Le problème central provient du désalignement entre la tokenisation des LLM (basée sur la cooccurrence statistique, par exemple BPE ou WordPiece) et les unités phonologiques (syllabes, schémas d'accentuation, domaines de rime). En grec, l'orthographe historique crée des correspondances de type « plusieurs-vers-un » (par exemple, le son /i/ peut s'écrire de six manières différentes), et la rime est strictement définie par la position de l'accent (Masculine, Feminine-2, Feminine-3). Les LLM reposent souvent sur la similitude visuelle (« rime visuelle » ou eye rhyme) plutôt que sur l'identité phonétique, ce qui entraîne des échecs dans la distinction des paires minimales différant uniquement par l'accentuation ou dans la génération de structures de rimes valides. La génération pure par LLM pour des tâches de poésie contraintes s'est avérée catastrophique, avec des taux de validité inférieurs à 4 %.

Méthodologie : Architecture neuro-symbolique hybride

Les auteurs proposent un système hybride qui intègre les capacités génératives et de raisonnement des LLM avec des algorithmes phonologiques déterministes basés sur des règles. L'architecture se compose de deux composantes principales :

1. Le moteur phonologique (Vérificateur symbolique)

Basé sur le cadre théorique de Topintzi et al. (2019), ce module effectue un traitement déterministe :

• Syllabification : Identifie les frontières de syllabes en se basant sur les contraintes phonotactiques spécifiques au grec.
• Détection de l'accentuation : Utilise les signes d'accentuation orthographiques grecs pour identifier l'accent, en gérant l'extension des clitiques (ex: pronoms objets faibles).
• Extraction du domaine de rime : Définit le domaine de rime de la voyelle accentuée jusqu'à la fin de la phrase phonologique, capable de s'étendre sur plusieurs mots (rimes mosaïques).
• Transcription phonétique : Convertit l'orthographe en représentation phonétique pour contourner les décalages visuels.
• Classification : Assigne des étiquettes composées (ex: F2-TR-S-IDV) basées sur la position de l'accent, la correspondance de l'attaque (rimes riches), les voyelles pré-accentuées (IDV) et les imperfections.

2. Intégration des LLM et pipeline agentique

Le système évalue plusieurs stratégies de prompting (Zero-Shot, Chain-of-Thought, RAG-augmenté) à travers des modèles propriétaires (Claude 3.7/4.5, GPT-4o, Gemini 2.0) et des modèles à poids ouverts (Llama 3.1/3.3, Mistral Large).

Pour la Génération de rimes, les auteurs implémentent une Boucle Agentique Générer-Vérifier-Affiner :

1. Générer : Le LLM produit un brouillon de poème basé sur un thème et des contraintes de rime.
2. Vérifier : Le moteur phonologique vérifie chaque paire de rimes par rapport aux règles.
3. Affiner : Si des erreurs sont détectées, le moteur formate un retour spécifique (ex: « Discordance d'accent : F3 attendu, F2 trouvé ») et met à jour le prompt pour que le LLM régénère le texte.
   Cette boucle s'exécute jusqu'à 15 tentatives avant de retourner un résultat ou un avertissement.

Contributions clés

1. Dataset : Un corpus curaté de plus de 40 000 rimes agrégées à partir de l'archive Anemoskala et d'un ensemble de poésie de l'entre-deux-guerres, standardisé et annoté selon une taxonomie complète de la rime grecque.
2. Système de détection hybride : Un système combinant le prompting de LLM avec une vérification basée sur des règles, atteignant une précision de vérification de 100 % contre un maximum de 54 % pour les approches LLM pures.
3. Pipeline de génération agentique : Une boucle qui élève la validité des poèmes générés de près de 0 % à 73,1 % en imposant des contraintes phonologiques strictes.
4. Évaluation multi-modèles : Un benchmark complet à travers huit modèles et quatre configurations de prompting, mettant en évidence le « fossé de raisonnement » dans les tâches phonologiques.

Résultats

Identification des rimes

• Fossé de raisonnement : Il existe une disparité de performance significative entre les modèles selon le prompting. Claude 4.5 a atteint 53,8 % de précision avec CoT et RAG, contre 26,9 % sans CoT. Les approches LLM pures ont généralement échoué, les modèles à poids ouverts étant peu performants (ex: Llama 3.1 8B à 3,8–15,4 %).
• Sensibilité à l'accentuation : Tous les modèles ont le plus de mal avec les rimes Féminines-3 (proparoxytone), avec une précision souvent inférieure à 22 %.
• Détection de caractéristiques : Les rimes mosaïques (s'étendant sur les frontières de mots) étaient indétectables par les modèles en matière de correspondance de caractéristiques quantitatives (0 % de précision), bien que Claude 4.5 avec CoT+RAG ait montré un succès qualitatif lors de l'analyse qualitative.
• Taille du modèle : Les modèles plus larges (Llama 3.1 70B) surpassent nettement les variantes plus petites (Llama 3.1 8B), suggérant que la détection de rimes en grec bénéficie d'un nombre de paramètres accru.

Génération de rimes

• Amélioration de la validité : La génération par LLM pur a produit 0–4 % de poèmes valides. L'inclusion de la boucle de vérification a augmenté la validité à 73,1 % pour Claude 3.7, 42,3 % pour GPT-4o, et 34,6 % pour Claude 4.5.
• Correction d'erreurs : La boucle a réussi à corriger les décalages de schémas d'accentuation (ex: par défaut vers F2 au lieu de F3), à affiner la précision des caractéristiques (distinction entre rimes Riches vs Pures) et à éliminer les paires non rimées.
• Créativité vs Hallucination : La boucle de vérification a encouragé les modèles capables (particulièrement Claude 4.5) à générer des néologismes plausibles (ex: pyrafí pour « couleur de feu ») lorsque le vocabulaire standard faisait défaut, plutôt que de produire du non-sens. Cela suggère un compromis où les contraintes strictes stimulent l'invention morphologique créative.

Signification et affirmations

L'article pose que les LLM manquent fondamentalement de la conscience phonologique sous-lexicale requise pour les tâches poétiques rigoureuses, particulièrement dans les langues dotées d'une orthographe complexe et de relations accentuation-orthographe comme le grec moderne. Les auteurs affirment que les architectures neuro-symboliques hybrides sont essentielles pour maîtriser ces nuances structurelles.

En découplant le raisonnement (LLM) de la notation phonologique (moteur symbolique), le système tire parti de la richesse sémantique et de la créativité des LLM tout en confiant les contraintes computationnelles précises à un module déterministe. Les auteurs concluent que si les LLM possèdent des capacités créatives latentes, ils ne peuvent satisfaire indépendamment les strictes contraintes phonologiques de la poésie sans vérification externe. Le code source publié et le corpus de plus de 40 000 rimes sont présentés comme des ressources fondamentales pour les recherches futures sur le NLP phonologiquement conscient et la génération de poésie en langues à faibles ressources.

Les auteurs restent modestes quant aux limites, notant que leur corpus est plus petit que ceux disponibles pour les langues à hautes ressources, et que le processus de vérification itératif introduit une surcharge computationnelle par rapport à l'inférence en un seul passage. Des travaux futurs sont proposés pour étendre cela à la vérification métrique et à l'apprentissage par renforcement à partir de rétroaction phonologique (RLPF).