Zero-shot Large Language Models for Automatic Readability Assessment

1. Planteamiento del Problema

La Evaluación Automática de la Legibilidad (ARA) es crítica para garantizar que los materiales educativos y médicos sean accesibles para sus audiencias objetivo. Si bien las fórmulas de legibilidad tradicionales (por ejemplo, Flesch-Kincaid) son fáciles de implementar, dependen de características superficiales (longitud de la oración, conteo de sílabas) y a menudo fallan al captar matices contextuales. Por el contrario, los métodos de aprendizaje automático supervisados ofrecen una mayor precisión, pero requieren grandes conjuntos de datos anotados manualmente, cuya producción es costosa y consume mucho tiempo.

Investigaciones recientes han explorado métodos no supervisados utilizando Modelos de Lenguaje de Gran Escala (LLM) mediante la generación de respuestas en cero disparos (zero-shot prompting). Sin embargo, estudios existentes (por ejemplo, Trott & Rivière, 2024) presentan limitaciones:

• Se basan en evaluaciones estrechas (a menudo conjuntos de datos únicos en inglés).
• Utilizan técnicas de generación de respuestas simplificadas (por ejemplo, pedir un número sin definiciones de escala).
• Prueban principalmente modelos de código cerrado (GPT-4) en lugar de diversas alternativas de código abierto.
• Existe una falta de comprensión sobre cómo funcionan estos métodos a través de diferentes idiomas, longitudes de texto y dominios técnicos.

El artículo aborda la brecha en la evaluación integral y el rigor metodológico para el uso de LLM en cero disparos como una herramienta de ARA robusta y no supervisada.

2. Metodología

Los autores proponen dos avances metodológicos principales: una estrategia refinada de generación de respuestas en cero disparos para LLM y un nuevo método de conjunto llamado LAURAE.

A. Generación de Respuestas en Cero Disparos Refinada para LLM

Los autores proponen dos mejoras específicas sobre las técnicas estándar de generación de respuestas:

1. Definiciones de Escala: En lugar de pedir una puntuación arbitraria, se solicita al LLM que utilice la misma escala y definiciones empleadas por los anotadores humanos (por ejemplo, el Marco Común Europeo de Referencia para las Lenguas - MCER). Para conjuntos de datos sin escalas específicas, se utiliza una escala de 1 a 9 con definiciones detalladas de factores de legibilidad (gramática, claridad).
2. Puntuación por Valor Esperado: En lugar de aceptar únicamente el único token "vanilla" generado por el modelo (el token de mayor probabilidad), los autores calculan la puntuación de legibilidad como el valor esperado sobre las probabilidades de los tokens de salida del modelo.
   • Formalmente, si el modelo genera un token en la posición $n$, la puntuación $s_{LLM}$ se calcula sumando el producto de la probabilidad y el valor del token para todos los tokens numéricos en la distribución de probabilidad mejor clasificada hasta encontrar un token no numérico. Esto reduce los empates y captura la incertidumbre del modelo.

B. LAURAE (Ensemble de Evaluación Automática No Supervisada de Legibilidad basada en LLM)

Para mejorar la robustez, los autores introducen LAURAE, un método de conjunto que combina:

• Características Contextuales Profundas: Puntuaciones del LLM con generación de respuestas en cero disparos.
• Características Superficiales: Puntuaciones de fórmulas de legibilidad tradicionales (por ejemplo, FKGL, ARI, Lix).

Mecanismo de Ponderación:
Dado que el entorno es no supervisado (no hay verdad fundamental para el ajuste), LAURAE utiliza la confianza verbal autoinformada del LLM como factor de ponderación.

1. Se solicita al LLM que genere una puntuación de confianza (1–9) sobre qué tan bien su calificación se alinea con los evaluadores humanos.
2. Esta puntuación de confianza se convierte en un peso $c$ (normalizado a 0.1–0.9).
3. La puntuación final es una combinación ponderada de la puntuación estandarizada del LLM y la puntuación estandarizada de la fórmula:
   $$\text{LAURAE} = c \cdot \left(\frac{s_{LLM} - \mu_{LLM}}{\sigma_{LLM}}\right) + (1-c) \cdot \left(\frac{s_{rf} - \mu_{rf}}{\sigma_{rf}}\right)$$
   Donde $c$ es el peso de confianza, y $\mu, \sigma$ representan las medias y desviaciones estándar a nivel de conjunto de datos.

3. Configuración Experimental

• Conjuntos de Datos: Se utilizaron 14 conjuntos de datos diversos, que abarcan:
  • Idiomas: Inglés, francés, hindi, árabe, ruso y griego.
  • Longitudes: A nivel de oración (por ejemplo, Asset, OneStop) hasta nivel de párrafo/artículo (por ejemplo, MedReadMe, libros de texto griegos).
  • Dominios: General, médico (MedReadMe), educativo (libros de texto) y técnico.
  • Verdad Fundamental: 11 conjuntos de datos con calificaciones explícitas; 3 con comparaciones por pares.
• Modelos: Se evaluaron 10 LLM diversos de código abierto y ajustados a instrucciones, incluidos Llama 3.1/3.2, Aya Expanse, Gemma 2, Mixtral y Phi-4.
• Líneas Base: Fórmulas de legibilidad tradicionales (FKGL, ARI, etc.), RSRS (un método no supervisado basado en PLM) y un método base de LLM en cero disparos (LLM-v-ns) que imita trabajos anteriores.

4. Resultados Clave

A. Rendimiento de LLM en Cero Disparos

• Mejoras en la Generación de Respuestas: El método de generación de respuestas propuesto (Definiciones de Escala + Valor Esperado) superó al método base en cero disparos (LLM-v-ns) en 13 de 14 conjuntos de datos.
• Selección de Modelos:
  • Llama 3.1 70B tuvo el mejor rendimiento en conjuntos de datos en inglés.
  • Aya Expanse 32B (un modelo multilingüe) superó a Llama 70B en conjuntos de datos no en inglés, destacando la importancia de los datos de entrenamiento multilingües.
• Generalización: El método propuesto mostró ganancias significativas en conjuntos de datos no en inglés, lo que sugiere que proporcionar definiciones de escala explícitas ayuda a los LLM a superar la falta de conocimiento internalizado en idiomas de recursos limitados.

B. Rendimiento de LAURAE

• Superioridad: LAURAE superó a todas las líneas base (LLM independientes, fórmulas y RSRS) en 13 de 14 conjuntos de datos.
• Robustez:
  • Logró cerrar la brecha donde los LLM independientes tenían dificultades (por ejemplo, textos muy cortos o dominios técnicos específicos) aprovechando las características de fórmulas superficiales.
  • Mantuvo un alto rendimiento donde las fórmulas fallaron (por ejemplo, textos contextuales complejos) aprovechando la comprensión del LLM.
• Estudios de Ablación:
  • El uso de puntuaciones de confianza verbal como pesos demostró ser superior al uso de pesos basados en entropía o ponderación igual (conjunto ingenuo).
  • Reemplazar las fórmulas de legibilidad con RSRS en el conjunto resultó en un rendimiento ligeramente inferior, confirmando que las fórmulas simples son un componente "superficial" más efectivo para esta tarea específica.

5. Contribuciones Clave

1. Avance Metodológico: Introducción de un marco robusto de generación de respuestas en cero disparos que incluye definiciones de escala y puntuación por valor esperado, mejorando significativamente el rendimiento de los LLM sobre el estado del arte anterior.
2. Nuevo Método de Conjunto (LAURAE): Propuesta de un conjunto ponderado por confianza que combina la fortaleza contextual de los LLM con la estabilidad de las fórmulas de legibilidad, logrando un rendimiento no supervisado de vanguardia.
3. Evaluación Integral: Primera evaluación a gran escala de 10 LLM de código abierto en 14 conjuntos de datos diversos (idiomas, longitudes, dominios), desafiando la suposición de que GPT-4 es la única opción viable y revelando la necesidad de modelos multilingües para tareas no en inglés.
4. Recursos Abiertos: Liberación de código, conjuntos de datos (incluidos conjuntos de datos de libros de texto griegos curados) y prompts para facilitar la investigación futura.

6. Significado

• Adopción Práctica: LAURAE ofrece una alternativa viable y de alta precisión a la anotación manual para la evaluación de legibilidad, particularmente útil en los sectores de salud y educación donde el etiquetado manual es demasiado costoso.
• Cambio de Paradigma: El artículo demuestra que, aunque los LLM puros son poderosos, los enfoques híbridos (combinando aprendizaje profundo con heurísticas superficiales) producen los resultados más robustos en entornos no supervisados.
• Perspectiva Multilingüe: Los hallazgos enfatizan que, para aplicaciones globales, los modelos específicos multilingües (como Aya) son esenciales, y se requieren estrategias de generación de respuestas explícitas para cerrar las brechas de rendimiento en idiomas no en inglés.
• Direcciones Futuras: El trabajo sugiere que combinar las calificaciones de LLM en cero disparos con herramientas de PLN superficiales podría mejorar otras tareas no supervisadas como el análisis de sentimientos o la detección de toxicidad.

Limitaciones Notadas: El método requiere alfabetización en Python y recursos computacionales significativos (GPUs) en comparación con las calculadoras de fórmulas simples. Además, la naturaleza de "caja negra" de las explicaciones de los LLM no se evaluó completamente en cuanto a su plausibilidad en este estudio.