Resumen Técnico: ¿Tienen ritmo los LLM? Filtrado fonológico híbrido para la poesía griega

Planteamiento del problema

Los Modelos de Lenguaje de Gran Escala (LLM), a pesar de su competencia en tareas generales de PLN, exhiben deficiencias significativas en fenómenos fonológicamente fundamentados, específicamente en la detección y generación de rimas. Esta limitación es particularmente aguda en el griego moderno, una lengua de bajos recursos donde la rima es un pilar estructural de la poesía que abarca desde el Renacimiento cretense hasta el hip-hop contemporáneo.

El problema central surge de la desalineación entre la tokenización de los LLM (basada en la coocurrencia estadística, por ejemplo, BPE o WordPiece) y las unidades fonológicas (sílabas, patrones de acentuación y dominios de rima). En griego, la ortografía histórica crea mapeos de muchos a uno (por ejemplo, el sonido /i/ puede escribirse de seis formas distintas), y la rima está estrictamente definida por la posición del acento (Masculina, Femenina-2, Femenina-3). Los LLM suelen depender de la similitud visual ("rima visual" o eye rhyme) en lugar de la identidad fonética, lo que conduce a fallos al distinguir pares mínimos que difieren solo en el acento o al generar estructuras de rima válidas. Se descubrió que la generación pura de LLM para tareas de poesía con restricciones fallaba catastróficamente, con tasas de validez inferiores al 4%.

Metodología: Arquitectura Neuro-Simbólica Híbrida

Los autores proponen un sistema híbrido que integra las capacidades generativas y de razonamiento de los LLM con algoritmos fonológicos deterministas basados en reglas. La arquitectura consta de dos componentes principales:

1. El Motor Fonológico (Verificador Simbólico)

Basado en el marco teórico de Topintzi et al. (2019), este módulo realiza un procesamiento determinista:

• Silabificación: Identifica los límites silábicos basándose en restricciones fonotácticas específicas del griego.
• Detección de Acento: Utiliza las marcas de acento ortográfico griegas para identificar el acento, gestionando la extensión de clíticos (por ejemplo, pronombres de objeto débiles).
• Extracción del Dominio de Rima: Define el dominio de la rima desde la vocal acentuada hasta el final de la frase fonológica, capaz de abarcar múltiples palabras (rimas de mosaico o mosaic rhymes).
• Transcripción Fonética: Convierte la ortografía a representación fonética para evitar desajustes visuales.
• Clasificación: Asigna etiquetas compuestas (por ejemplo, F2-TR-S-IDV) basadas en la posición del acento, la coincidencia de la sílaba inicial (onset matching, rimas ricas), vocales pre-acentuales (IDV) e imperfecciones.

2. Integración de LLM y Pipeline Agéntico

El sistema evalúa múltiples estrategias de prompting (Zero-Shot, Chain-of-Thought, RAG-augmented) a través de modelos propietarios (Claude 3.7/4.5, GPT-4o, Gemini 2.0) y modelos de pesos abiertos (Llama 3.1/3.3, Mistral Large).

Para la Generación de Rimas, los autores implementan un Bucle Agéntico de Generar-Verificar-Refinar:

1. Generar: El LLM produce un borrador de poema basado en un tema y restricciones de rima.
2. Verificar: El Motor Fonológico comprueba cada par de rimas contra las reglas.
3. Refinar: Si se detectan errores, el motor genera una retroalimentación específica (por ejemplo, "Error de acento: se esperaba F3, se encontró F2") y actualiza el prompt para que el LLM regenere el texto.
   Este bucle se ejecuta hasta un máximo de 15 intentos antes de devolver un resultado o una advertencia.

Contribuciones Clave

1. Dataset: Un corpus curado de más de 40,000 rimas agregadas del archivo Anemoskala y un dataset de Poesía del Periodo de Entreguerras, estandarizado y anotado según una taxonoma de rima griega exhaustiva.
2. Sistema de Detección Híbrido: Un sistema que combina el prompting de LLM con verificación basada en reglas, logrando una precisión de verificación del 100% en comparación con el máximo del 54% de los enfoques de LLM puro.
3. Pipeline de Generación Agéntica: Un bucle que eleva la validez de los poemas generados de casi 0% a 73.1% mediante la imposición de estrictas restricciones fonológicas.
4. Evaluación Multi-Modelo: Un benchmark exhaustivo a través de ocho modelos y cuatro configuraciones de prompting, resaltando la "Brecha de Razonamiento" en tareas fonológicas.

Resultados

Identificación de Rimas

• Brecha de Razonamiento: Existe una disparidad significativa de rendimiento entre los modelos basada en el prompting. Claude 4.5 alcanzó un 53.8% de precisión con Chain-of-Thought (CoT) y RAG, comparado con un 26.9% sin CoT. Los enfoques de LLM puro generalmente tuvieron dificultades, y los modelos de pesos abiertos funcionaron deficientemente (por ejemplo, Llama 3.1 8B con un 3.8–15.4%).
• Sensibilidad al Acento: Todos los modelos tuvieron mayores dificultades con las rimas Femeninas-3 (proparoxítonas), con una precisión que a menudo fue inferior al 22%.

3. Detección de Características: Las rimas de mosaico (que abarcan límites de palabras) fueron indetectables por cualquier modelo en el emparejamiento de características cuantitativas (0% de precisión), aunque Claude 4.5 con CoT+RAG mostró éxito cualitativo en el análisis cualitativo.

• Tamaño del Modelo: Los modelos más grandes (Llama 3.1 70B) superaron significativamente a sus variantes más pequeñas (Llama 3.1 8B), lo que sugiere que la detección de rimas en griego se beneficia de un mayor número de parámetros.

Generación de Rimas

• Mejora de la Validez: La generación pura de LLM resultó en poemas válidos del 0–4%. La inclusión del bucle de verificación aumentó la validez al 73.1% para Claude 3.7, al 42.3% para GPT-4o y al 34.6% para Claude 4.5.
• Corrección de Errores: El bucle corrigió con éxito desajustes de patrones de acento (por ejemplo, pasando de F2 a F3 por defecto), refinó la precisión de las características (distinguiendo entre rimas ricas y puras) y eliminó pares que no rimaban.
• Creatividad vs. Alucinación: El bucle de verificación incentivó a los modelos capaces (particularmente a Claude 4.5) a generar neologismos plausibles (por ejemplo, pyrafí para "color de fuego") cuando el vocabulario estándar fallaba, en lugar de producir sinsentidos. Esto sugiere un intercambio donde las restricciones estrictas impulsan la invención morfológica creativa.

Significado y Reivindicaciones

El artículo postula que los LLM carecen fundamentalmente de la conciencia fonológica sub-token requerida para tareas poéticas rigurosas, particularmente en lenguas con relaciones complejas entre ortografía y acento como el griego moderno. Los autores afirman que las arquitecturas neuro-simbólicas híbridas son esenciales para dominar estos matices estructurales.

Al desacoplar el razonamiento (LLM) de la puntuación fonológica (Motor Simbólico), el sistema aprovecha la riqueza semántica y la creatividad de los LLM mientras delega las restricciones computacionales precisas a un módulo determinista. Los autores concluyen que, si bien los LLM poseen capacidades creativas latentes, no pueden satisfacer de forma independiente las estrictas restricciones fonológicas de la poesía sin una verificación externa. El código fuente liberado y el corpus de más de 40,000 rimas se presentan como recursos fundamentales para futuras investigaciones sobre el PLN con conciencia fonológica y la generación de poesía en lenguas de bajos recursos.

Los autores mantienen la modestia respecto a las limitaciones, señalando que su corpus es más pequeño que los disponibles para lenguas de altos recursos y que el proceso de verificación iterativo introduce una carga computacional adicional en comparación con la inferencia de paso único. Se propone como trabajo futuro la extensión de esto a la verificación métrica y al Aprendizaje por Refuerzo con Retroalimentación Fonológica (RLPF).