Beyond Precision: Importance-Aware Recall for Factuality Evaluation in Long-Form LLM Generation

1. El Problema

La evaluación de la facticidad (veracidad) en las respuestas de texto largo generadas por Modelos de Lenguaje de Gran Escala (LLMs) sigue siendo un desafío crítico. Los métodos existentes se centran casi exclusivamente en la precisión: descomponen la respuesta en afirmaciones atómicas y verifican si cada una está respaldada por fuentes externas (como Wikipedia).

Sin embargo, este enfoque ignora una dimensión fundamental: el recuerdo (recall). Las métricas actuales no detectan si el modelo omite información crítica o hechos relevantes que deberían haber sido incluidos en la respuesta. Además, los enfoques recientes que intentan medir el recuerdo a menudo dependen de heurísticas frágiles (como un número fijo de hechos esperados) o se limitan a la cobertura de subtemos generales, sin evaluar unidades factuales finas ni ponderar la importancia relativa de cada hecho.

2. Metodología

Los autores proponen un marco de evaluación unificado que mide simultáneamente la precisión y el recuerdo, introduciendo un esquema de ponderación basado en la importancia. El proceso se divide en las siguientes etapas:

A. Construcción del Conjunto de Hechos de Referencia ($F$)

En lugar de depender de la salida del modelo para definir qué hechos existen, el sistema construye un conjunto de referencia basado en conocimiento externo:

1. Recuperación (Retrieval): Dada una consulta $q$, se recuperan los $k$ documentos más relevantes de una fuente de conocimiento externa (Wikipedia, Google Search, etc.).
2. Extracción de Hechos Atómicos: Se utiliza un LLM (basado en el método VeriScore) para extraer una lista de afirmaciones factuales independientes, únicas y específicas de los documentos recuperados.
3. Puntuación de Importancia: No todos los hechos son igual de relevantes. Se asigna una puntuación de importancia a cada hecho $f_k$ basándose en dos dimensiones evaluadas por un juez LLM:
   • Relevancia: Qué tan útil es el hecho para responder a la consulta específica.
   • Saliencia: Qué tan central es el hecho para el tema principal o entidad, independientemente de la consulta.
   • Se calcula una puntuación compuesta: $imp(f_k; q) = \alpha \tilde{r}_k + \beta \tilde{s}_k$.

B. Extracción de Afirmaciones del Modelo ($C$)

La respuesta generada por el LLM ($G_o$) se descompone en afirmaciones atómicas ($C$) utilizando el mismo proceso de extracción que para los hechos de referencia.

C. Métricas de Evaluación

Se definen dos métricas principales:

1. Precisión Factual ($Prec_F$): La proporción de afirmaciones generadas que están respaldadas por la evidencia recuperada.
2. Recuerdo Factual ($Rec_F$): La proporción de hechos del conjunto de referencia (filtrados por importancia) que están cubiertos en la generación del modelo.
   • Se introduce un Recuerdo Ponderado ($Rec^w_F$) que prioriza la cobertura de los hechos con mayor puntuación de importancia, en lugar de tratar todos los hechos por igual.

3. Contribuciones Clave

1. Mecanismo Automatizado de Extracción: Un pipeline completo que utiliza la Generación Aumentada por Recuperación (RAG) para extraer hechos factuales de fuentes de conocimiento y convertirlos en un conjunto de referencia estandarizado.
2. Métrica de Evaluación Integral: Introducción de un marco que combina precisión y recuerdo, incorporando la importancia factual para evitar que hechos periféricos diluyan la evaluación de la omisión de información crítica.
3. Análisis Empírico Exhaustivo: Evaluación de múltiples modelos LLM (abiertos y cerrados) en tres dominios de generación de texto largo: Biografía (FactScore), Preguntas de Largo Alcance (LongFact) y Generación de Texto Largo (LongForm).

4. Resultados Principales

Los experimentos revelan hallazgos significativos sobre el comportamiento de los LLMs actuales:

• Desbalance Precisión-Recuerdo: Los modelos actuales tienen un rendimiento sustancialmente mejor en precisión que en recuerdo. Esto indica que, aunque los modelos evitan inventar hechos (alucinaciones), a menudo fallan en proporcionar respuestas completas, omitiendo información relevante.
• Importancia de la Cobertura: Los modelos tienden a capturar los hechos más importantes (alta saliencia) con mayor fiabilidad que el conjunto completo de hechos relevantes. A medida que aumenta la cantidad de hechos requeridos, el recuerdo disminuye drásticamente.
• Compensación Longitud vs. Calidad:
  • Generaciones más largas (más tokens) no garantizan una mejor facticidad.
  • En algunos casos (ej. Gemini-2.5-Flash-Lite), una mayor longitud aumenta el recuerdo pero reduce la precisión debido a la generación de afirmaciones no respaldadas.
  • Modelos como GPT-4o-mini lograron un equilibrio superior, obteniendo alta precisión y un recuerdo cercano al máximo con menos afirmaciones generadas (mayor eficiencia de afirmaciones).
• Tipos de Errores: La mayoría de los errores no son contradicciones directas, sino afirmaciones "no respaldadas" (falta de evidencia). Sin embargo, en dominios como biografías, las contradicciones directas (ej. fechas de nacimiento incorrectas) son más frecuentes.
• Ponderación de Importancia: El uso de puntuaciones combinadas (Relevancia + Saliencia) para construir el conjunto de referencia produce un recuerdo más robusto y fiel que usar solo uno de los criterios.

5. Significado e Implicaciones

Este trabajo cambia el paradigma de la evaluación de facticidad de "¿El modelo miente?" a "¿El modelo dice todo lo importante que debería?".

• Limitación de la Incompletitud: Identifica que la incompletitud factual es una limitación mayor en la generación de texto largo que la alucinación pura.
• Evaluación Más Fiel: Al incorporar la importancia de los hechos, las métricas pueden distinguir entre una respuesta que omite detalles triviales y una que omite información crítica, ofreciendo una visión más matizada de la calidad del modelo.
• Futuro: Sugiere que los futuros sistemas de evaluación y los propios modelos deben optimizarse no solo para la corrección, sino para la completitud selectiva de la información más relevante.

En resumen, el artículo propone que para evaluar verdaderamente la facticidad en tareas complejas, no basta con verificar lo que el modelo dice; es necesario medir también lo que el modelo deja de decir y cuán crítico es ese omisión.