GhazalBench: Usage-Grounded Evaluation of LLMs on Persian Ghazals

Aquí presento un resumen técnico detallado del artículo "GhazalBench: Usage-Grounded Evaluation of LLMs on Persian Ghazals" en español.

Resumen Técnico: GhazalBench

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) se despliegan cada vez más en entornos multilingües y culturalmente diversos. Sin embargo, la evaluación actual de estos modelos en poesía se centra principalmente en la generación creativa, la imitación estilística o la calidad estética, ignorando cómo la poesía funciona como un recurso cultural compartido.

En la cultura persa, especialmente con el poeta canónico Hafez, la interacción con la poesía no se basa solo en la creación, sino en prácticas cotidianas como citar versos, parafrasear significados, completar versos a partir de pistas parciales o reconocerlos en rituales sociales. El problema central es que las evaluaciones existentes no determinan si los LLMs pueden participar en estas interacciones basadas en el uso real, donde es crucial acceder tanto al significado semántico como a la forma superficial exacta (el texto canónico) de los versos. Además, existe una brecha en el conocimiento sobre cómo los modelos acceden a formas culturales canónicas bajo condiciones de uso realistas, más allá de la simple memorización de datos de entrenamiento.

2. Metodología: GhazalBench

Los autores introducen GhazalBench, un benchmark diseñado para evaluar la interacción de los LLMs con los ghazals (poesía lírica clásica) de Hafez bajo escenarios de diagnóstico basados en el uso.

• Construcción del Dataset:
  • Se extrajeron los primeros 100 ghazals del Diván de Hafez.
  • Se generaron explicaciones en prosa para cada verso utilizando un LLM (Gemini 2.5 Flash) y se verificaron manualmente por expertos.
  • Se seleccionaron 50 ghazals (438 versos) para los experimentos finales.
• Dimensiones de Evaluación:
  El benchmark evalúa dos capacidades complementarias:
  1. Comprensión de Poesía a Prosa: Los modelos deben parafrasear versos en prosa persa neutral y concisa. La evaluación se realiza mediante un "Juez LLM" (Gemini 3 Pro) y métricas automáticas (BERTScore, chrF++, BLEU).
  2. Recuperación de Versos Canónicos: Se evalúa la capacidad de los modelos para recuperar el segundo verso de un ghazal dado el primero, bajo diferentes condiciones de pistas (cues):
     • Recordación (Recall): Generación libre del verso (completado) o selección múltiple.
     • Tipos de Pistas:
       • Continuación Canónica: Solo el nombre del poeta y el primer verso.
       • Mediada por Prosa: Nombre del poeta + explicación en prosa del verso.
       • Robustez a Parafraseo: Nombre del poeta + explicación en prosa parafraseada (cambio léxico, mismo significado).
       • Condicionada por Fragmentos: Nombre del poeta + primer verso + dos palabras clave del segundo verso.
       • Condicionada por Forma Desordenada: Nombre del poeta + primer verso + segundo verso con el orden de las palabras mezclado (para probar la sensibilidad al orden sintáctico).
• Comparación Cruzada: Se realizó un experimento paralelo con los Sonetos de Shakespeare (inglés) para distinguir si las limitaciones son arquitectónicas o dependientes de la densidad de datos de entrenamiento.

3. Contribuciones Clave

1. Introducción de GhazalBench: El primer benchmark que evalúa la interacción con poesía persa canónica bajo escenarios de uso realista, diferenciando entre comprensión semántica y acceso a la forma superficial.
2. Marco de Evaluación Diagnóstica: Propone escenarios que separan la recordación (recall) de la reconocimiento (recognition), basándose en teorías de la psicología cognitiva, para medir cómo las pistas semánticas y léxicas afectan la recuperación.
3. Hallazgo de Disociación Sistemática: Demostración empírica de una desconexión clara: los modelos entienden bien el significado pero fallan estrepitosamente en recuperar la forma exacta del verso en tareas de completado libre.
4. Evidencia Translingüística: La comparación con los sonetos de Shakespeare revela que las dificultades en persa no son inherentes a la arquitectura del modelo, sino que dependen de la densidad de la señal de entrenamiento (los modelos tienen mucho más acceso a poesía en inglés que en persa).

4. Resultados Principales

• Comprensión Semántica: Los modelos (incluyendo Claude Sonnet 4.5, DeepSeek V3.2 y Gemma 3) obtienen puntuaciones altas en la tarea de parafrasear poesía a prosa, indicando una buena comprensión del significado.
• Disociación Recordación vs. Reconocimiento:
  • Recordación (Completado): El rendimiento es extremadamente bajo (cercano a cero en modelos como Gemma 3 y muy bajo en otros) para recuperar el verso exacto a partir de pistas mínimas.
  • Reconocimiento (Selección Múltiple): El rendimiento mejora drásticamente cuando se ofrecen opciones. Esto confirma que los modelos pueden identificar el verso correcto si se les da la opción, pero no pueden generarlo desde la memoria.
• Efecto de las Pistas:
  • Proporcionar la explicación en prosa original mejora ligeramente la recuperación, pero la superposición léxica superficial parece ser más efectiva que el contenido semántico abstracto.
  • Las palabras clave aisladas (fragmentos) no mejoran el rendimiento y a veces lo empeoran.
  • La forma desordenada (palabras mezcladas) produce las tasas de recuperación más altas, lo que sugiere que los modelos son muy sensibles a la identidad léxica y al orden sintáctico, incluso si la secuencia original no está memorizada como un bloque.
• Comparación Inglés vs. Persa:
  • Los modelos obtienen tasas de recuperación significativamente más altas para los sonetos de Shakespeare que para los ghazals de Hafez.
  • Esto indica que la limitación en persa es distribucional (falta de datos de entrenamiento de alta calidad y cantidad) y no una incapacidad arquitectónica inherente.

5. Significado e Implicaciones

• Reevaluación de la Evaluación de Poesía: Los paradigmas actuales que se basan principalmente en tareas de reconocimiento o parafraseo sobreestiman la capacidad de los modelos para interactuar con textos culturalmente significativos. Un modelo puede "entender" un poema pero no ser capaz de citarlo o completarlo, lo cual es esencial para la participación cultural real.
• Brecha Cultural en LLMs: El estudio destaca que la competencia semántica puede transferirse entre idiomas, pero la recuperación de formas canónicas (texto exacto) depende fuertemente de la exposición a los datos de entrenamiento. Esto plantea un desafío para los modelos multilingües en lenguas con menos recursos digitales.
• Direcciones Futuras: Se sugiere que las estrategias de entrenamiento y adaptación deben fortalecer el acceso a formas superficiales canónicas sin fomentar la memorización verbatim excesiva (que plantea riesgos de privacidad). Además, se aboga por incluir diagnósticos basados en el uso en las suites de evaluación estándar para revelar brechas representacionales invisibles en los benchmarks tradicionales.

En conclusión, GhazalBench demuestra que, aunque los LLMs modernos tienen una comprensión semántica sólida de la poesía persa, carecen de la capacidad de recuperar la forma exacta del texto canónico en condiciones de uso real, una limitación que es más aguda en idiomas con menos recursos como el persa en comparación con el inglés.