Technische Samenvatting: Hebben LLM's Ritme? Hybride Fonologische Filtering voor Griekse Poëzie

Probleemstelling

Large Language Models (LLM's), ondanks hun bekwaamheid in algemene NLP-taken, vertonen significante tekortkomingen in fonologisch gefundeerde verschijnselen, specifiek in het detecteren en genereren van rijm. Deze beperking is bijzonder acuut in het Modern Grieks, een minder rijkwaardige taal (lower-resource language) waar rijm een structurele pijler is van de poëzie variërend van de Cretische Renaissance tot hedendaagse hiphop.

De kern van het probleem ligt in de mismatch tussen de LLM-tokenisatie (gebaseerd op statistische co-occurrence, zoals BPE of WordPiece) en fonologische eenheden (lettergrepen, klemtoonpatronen en rijmdomeinen). In het Grieks creëert de historische orthografie vele-op-één mappingen (bijv. de klank /i/ kan op zes verschillende manieren worden gespeld), en rijm wordt strikt gedefinieerd door de klemtoonpositie (Mannelijk, Vrouwelijk-2, Vrouwelijk-3). LLM's vertrouwen vaak op visuele gelijkenis ("oogrijm") in plaats van fonetische identiteit, wat leidt tot falen in het onderscheiden van minimale paren die slechts verschillen in klemtoon, of in het genereren van geldige rijmstructuren. Zuivere LLM-generatie voor beperkte poëtische taken bleek catastrofaal te falen, met validiteitspercentages onder de 4%.

Methodologie: Hybride Neuro-Symbolische Architectuur

De auteurs stellen een hybride systeem voor dat de generatieve en redeneervermogens van LLM's integreert met deterministische, regelgebaseerde fonologische algoritmen. De architectuur bestaat uit twee primaire componenten:

1. De Fonologische Engine (Symbolische Verifieerder)

Gebaseerd op het theoretische kader van Topintzi et al. (2019), voert deze module deterministische verwerking uit:

• Lettergreping: Identificeert lettergreengrenzen op basis van Griekse-specifieke fonotactische restricties.
• Detectie van Klemtoon: Maakt gebruik van Griekse accenttekens om klemtoon te identificeren, waarbij rekening wordt gehouden met clitische extensie (bijv. zwakke objectpronomina).
• Extractie van Rijmdomein: Definieert het rijmdomein vanaf de gestresteerde klinker tot het einde van de fonologische frase, in staat om meerdere woorden te overspannen (Mozaïekrijm).
• Fonetische Transcriptie: Converteert orthografie naar fonetische representatie om visuele mismatches te omzeilen.
• Classificatie: Wint samengestelde labels (bijv. F2-TR-S-IDV) op basis van klemtoonpositie, onset-matching (Rijke rijm), pre-stress klinkers (IDV) en imperfecties.

2. LLM Integratie en Agentic Pipeline

Het systeem evalueert verschillende prompting-strategieën (Zero-Shot, Chain-of-Thought, RAG-augmented) over propriëtaire modellen (Claude 3.7/4.5, GPT-4o, Gemini 2.0) en open-weight modellen (Llama 3.1/3.3, Mistral Large).

Voor Rijmgeneratie implementeren de auteurs een Agentic Generate-Verify-Refine Loop:

1. Genereren: De LLM produceert een gedichtontwerp op basis van een thema en rijmrestricties.
2. Verifiëren: De Fonologische Engine controleert elk riimpaar tegen de regels.
3. Verfijnen: Indien fouten worden gedetecteerd, formatteert de engine specifieke feedback (bijv. "Klemtoon mismatch: Verwacht F3, gevonden F2") en werkt de prompt bij voor de LLM om opnieuw te genereren.
   Dit proces doorloopt maximaal 15 pogingen voordat het een resultaat of een waarschuwing teruggeeft.

Belangrijkste Bijdragen

1. Dataset: Een gecureerde corpus van meer dan 40.000 rijmen verzameld uit het Anemoskala-archief en een Interbellum-poëzie dataset, gestandaardiseerd en geannoteerd volgens een uitgebreide Griekse rijmtaxonomie.
2. Hybride Detectiesysteem: Een systeem dat LLM-prompting combineert met regelgebaseerde verificatie, waarmee een verificatienauwkeurigheid van 100% wordt bereikt vergeleken met een maximum van 54% voor pure LLM-benaderingen.
3. Agentic Generatie Pipeline: Een loop die de validiteit van gegenereerde gedichten verhoogt van bijna 0% naar 73,1% door strikte fonologische restricties af te dwingen.
4. Multi-Model Evaluatie: Een uitgebreide benchmark over acht modellen en vier prompting-configuraties, die de "Reasoning Gap" in fonologische taken benadrukt.

Resultaten

Rijmidentificatie

• Reasoning Gap: Er is een aanzienlijk prestatieverschil tussen modellen op basis van prompting. Claude 4.5 behaalde 53,8% nauwkeurigheid met Chain-of-Thought (CoT) en RAG, vergeleken met 26,9% zonder CoT. Pure LLM-benaderingen hadden over het algemeen moeite, waarbij open-weight modellen slecht presteerden (bijv. Llama 3.1 8B op 3,8–15,4%).
• Gevoeligheid voor Klemtoon: Alle modellen hadden de meeste moeite met Feminine-3 (proparoxytone) rijm, waarbij de nauwkeurigheid vaak onder de 22% lag.
• Feature Detectie: Mozaïekrijm (die woordgrenzen overspant) was ondetecteerbaar voor elk model in kwantitatieve feature-matching (0% nauwkeurigheid), hoewel Claude 4.5 met CoT+RAG kwalitatief succes toonde in kwalitatieve analyse.
• Modelgrootte: Grotere modellen (Llama 3.1 70B) presteerden aanzienlijk beter dan kleinere varianten (Llama 3.1 8B), wat suggereert dat rijmdetectie in het Grieks profiteert van een hoger aantal parameters.

Rijmgeneratie

• Verbetering van Validiteit: Pure LLM-generatie resulteerde in 0–4% geldige gedichten. De inclusie van de verificatieloop verhoogde de validiteit naar 73,1% voor Claude 3.7, 42,3% voor GPT-4o en 34,6% voor Claude 4.5.
• Foutcorrectie: De loop corrigeerde succesvol klemtoonpatroon-mismatches (bijv. standaardiseren naar F2 in plaats van F3), verfijnde de precisie van features (onderscheid tussen Rijke en Pure rijm) en elimineerde niet-rijmende paren.
• Creativiteit vs. Hallucinatie: De verificatieloop moedigde capabele modellen aan (met name Claude 4.5) om plausibele neologismen te genereren (bijv. pyrafí voor "vuurkleurig") wanneer de standaardwoordenschat tekortschoot, in plaats van onzin te produceren. Dit suggereert een trade-off waarbij strikte restricties creatieve morfologische inventie stimuleren.

Betekenis en Claims

Het artikel stelt dat LLM's fundamenteel een gebrek hebben aan sub-token fonologisch bewustzijn dat vereist is voor rigoureuze poëtische taken, met name in talen met complexe orthografie-klemtoonrelaties zoals het Modern Grieks. De auteurs beweren dat hybride neuro-symbolische architecturen essentieel zijn voor het beheersen van deze structurele nuances.

Door redeneren (LLM) te ontkoppelen van fonologische scoring (Symbolische Engine), maakt het systeem gebruik van de semantische rijkdom en creativiteit van LLM's, terwijl de precieze computationele restricties worden gedelegeerd aan een deterministisch module. De auteurs concluderen dat hoewel LLM's over latente creatieve vermogens beschikken, ze niet onafhankelijk de strikte fonologische restricties van poëzie kunnen voldoen zonder externe verificatie. De vrijgegeven codebase en de 40.000+ rijmcorpus worden gepresenteerd als fundamentele bronnen voor toekomstig onderzoek naar fonologisch bewuste NLP en poëziegeneratie in talen met minder middelen.

De auteurs blijven bescheiden over beperkingen en merken op dat hun corpus kleiner is dan die beschikbaar voor talen met veel middelen, en dat het iteratieve verificatieproces meer computationele overhead introduceert vergeleken met single-pass inferentie. Toekomstig werk wordt voorgesteld om dit uit te breiden naar metrische verificatie en Reinforcement Learning from Phonological Feedback (RLPF).