Sintesi Tecnica: Gli LLM hanno il ritmo? Filtraggio Fonologico Ibrido per la Poesia Greca

Definizione del Problema

I Large Language Models (LLM), nonostante la loro competenza nei compiti generali di NLP, mostrano carenze significative nei fenomeni fonologicamente fondati, specificamente nella rilevazione e generazione della rima. Questa limitazione è particolarmente acuta nel greco moderno, una lingua a basse risorse dove la rima è un pilastro strutturale della poesia che spazia dal Rinascimento cretese alla hip-hop contemporanea.

Il problema centrale deriva dal disallineamento tra la tokenizzazione degli LLM (basata sulla co-occorrenza statistica, ad esempio BPE o WordPiece) e le unità fonologiche (sillabe, schemi di accento e domini di rima). Nel greco, l'ortografia storica crea mappature molti-a-uno (ad esempio, il suono /i/ può essere scritto in sei modi diversi), e la rima è strettamente definita dalla posizione dell'accento (Maschile, Femminile-2, Femminile-3). Gli LLM spesso si affidano alla somiglianza visiva ("rima visiva") piuttosto che all'identità fonetica, portando a fallimenti nel distinguere coppie minime che differiscono solo per l'accento o nel generare strutture rimiche valide. La generazione pura tramite LLM per compiti poetici vincolati è risultata fallimentare in modo catastrofico, con tassi di validità inferiori al 4%.

Metodologia: Architettura Neuro-Simbolica Ibrida

Gli autori propongono un sistema ibrido che integra le capacità generative e di ragionamento degli LLM con algoritmi fonologici deterministici basati su regole. L'architettura consiste in due componenti primarie:

1. Il Motore Fonologico (Verificatore Simbolico)

Basato sul quadro teorico di Topintzi et al. (2019), questo modulo esegue l'elaborazione deterministica:

• Sillabazione: Identifica i confini sillabici basandosi sui vincoli fonotattici specifici del greco.
• Rilevazione dell'Accento: Utilizza i segni di accento ortografici greci per identificare l'accento, gestendo l'estensione clitica (ad esempio, pronomi oggetto deboli).
• Estrazione del Dominio di Rima: Definisce il dominio di rima dal voto accentato fino alla fine della frase fonologica, capace di estendersi su più parole (Rime Mosaic).
• Trascrizione Fonetica: Converte l'ortografia in rappresentazione fonetica per superare i disallineamenti visivi.
• Classificazione: Assegna etichette composte (ad esempio, F2-TR-S-IDV) basate sulla posizione dell'accento, l'incontro dell'onsets (Rime Ricche), le vocali pre-accentate (IDV) e le imperfezioni.

2. Integrazione LLM e Pipeline Agente

Il sistema valuta diverse strategie di prompting (Zero-Shot, Chain-of-Thought, RAG-augmented) attraverso modelli proprietari (Claude 3.7/4.5, GPT-4o, Gemini 2.0) e modelli a pesi aperti (Llama 3.1/3.3, Mistral Large).

Per la Generazione di Rime, gli autori implementano un Ciclo Agente Genera-Verifica-Raffina:

1. Generazione: L'LLM produce una bozza di poema basata su un tema e vincoli di rima.
2. Verifica: Il Motore Fonologico controlla ogni coppia di rime rispetto alle regole.
3. Raffinamento: Se vengono rilevati errori, il motore fornisce un feedback specifico (ad esempio, "Discrepanza di accento: Atteso F3, trovato F2") e aggiorna il prompt per l'LLM per la rigenerazione.
   Questo ciclo viene eseguito fino a 15 tentativi prima di restituire un risultato o un avviso.

Contributi Chiave

1. Dataset: Un corpus curato di oltre 40.000 rime aggregato dall'archivio Anemoskala e da un dataset di Poesia del Periodo Interbellico, standardizzato e annotato secondo una tassonomia completa della rima greca.
2. Sistema di Rilevazione Ibrido: Un sistema che combina il prompting degli LLM con la verifica basata su regole, raggiungendo il 100% di accuratezza nella verifica rispetto a un massimo del 54% per gli approcci puramente LLM.
3. Pipeline di Generazione Agente: Un ciclo che eleva la validità dei poemi generati dallo quasi 0% al 73,1% imponendo rigorosi vincoli fonologici.
4. Valutazione Multi-Modello: Un benchmark completo su otto modelli e quattro configurazioni di prompting, evidenziando il "Gap di Ragionamento" nei compiti fonologici.

Risultati

Identificazione della Rima

• Gap di Ragionamento: Esiste una significativa disparità di prestazioni tra i modelli basata sul prompting. Claude 4.5 ha raggiunto il 53,8% di accuratezza con Chain-of-Thought (CoT) e RAG, rispetto al 26,9% senza CoT. Gli approcci puramente LLM generalmente hanno faticato, con i modelli a pesi aperti che hanno performato scarsamente (ad esempio, Llama 3.1 8B al 3,8–15,4%).
• Sensibilità all'Accento: Tutti i modelli hanno incontrato maggiori difficoltà con le rime Femminile-3 (proparossitone), con un'accuratezza spesso inferiore al 22%.

3. Rilevazione delle Caratteristiche: Le rime Mosaic (che attraversano i confini delle parole) erano indetectabili da qualsiasi modello nel matching delle caratteristiche quantitative (0% di accuratezza), sebbene Claude 4.5 con CoT+RAG abbia mostrato un successo qualitativo nell'analisi qualitativa.

• Dimensione del Modello: I modelli più grandi (Llama 3.1 70B) hanno superato significativamente le varianti più piccole (Llama 3.1 8B), suggerendo che la rilevazione della rima nel greco beneficia di un aumento del numero di parametri.

Generazione della Rima

• Miglioramento della Validità: La generazione pura tramite LLM ha prodotto lo 0–4% di poemi validi. L'inclusione del ciclo di verifica ha aumentato la validità al 73,1% per Claude 3.7, al 42,3% per GPT-4o e al 34,6% per Claude 4.5.
• Correzione degli Errori: Il ciclo ha corretto con successo le discrepanze degli schemi di accento (ad esempio, passando da F2 a F3), ha raffinato la precisione delle caratteristiche (distinguendo tra Rime Ricche e Pure) ed eliminato le coppie non rimanti.
• Creatività vs Allucinazione: Il ciclo di verifica ha incoraggiato i modelli capaci (particolarmente Claude 4.5) a generare neologismi plausibili (ad esempio, pyrafí per "color fuoco") quando il vocabolario standard falliva, invece di produrre nonsense. Ciò suggerisce un compromesso in cui i vincoli stretti guidano l'invenzione morfologica creativa.

Significato e Rivendicazioni

L'articolo sostiene che gli LLM manchino fondamentalmente della consapevolezza fonologica sub-token necessaria per compiti poetici rigorosi, specialmente in lingue con relazioni ortografia-accento complesse come il greco moderno. Gli autori affermano che architetture neuro-simboliche ibride sono essenziali per padroneggiare queste sfumature strutturali.

Decoppiando il ragionamento (LLM) dalla valutazione fonologica (Motore Simbolico), il sistema sfrutta la ricchezza semantica e la creatività degli LLM, delegando al contempo i vincoli computazionali precisi a un modulo deterministico. Gli autori concludono che, sebbene gli LLM possiedano capacità creative latenti, non possono soddisfare indipendentemente i rigidi vincoli fonologici della poesia senza una verifica esterna. Il codice rilasciato e il corpus di oltre 40.000 rime sono presentati come risorse fondamentali per la ricerca futura nella NLP fonologicamente consapevole e nella generazione di poesia in lingue a basse risorse.

Gli autori rimangono modesti riguardo ai limiti, notando che il loro corpus è più piccolo di quelli disponibili per le lingue ad alte risorse e che il processo di verifica iterativo introduce un overhead computazionale rispetto all'inferenza a singolo passaggio. Il lavoro futuro proposto mira a estendere questo approccio alla verifica metrica e al Reinforcement Learning from Phonological Feedback (RLPF).