Resumen Técnico: La Precisión no es la Fidelidad

Declaración del Problema

Las métricas actuales de fidelidad sin referencia para la generación fundamentada sufren de un punto ciego crítico: miden únicamente la precisión (la proporción de afirmaciones realizadas por un modelo que están respaldadas por la verdad de referencia) pero ignoran la exhaustividad o recall (la proporción de hechos relevantes de la verdad de referencia que el modelo realmente declaró).

Debido a que estas métricas no penalizan las omisiones, recompensan inadvertidamente la abstención. Un modelo puede lograr puntuaciones de fidelidad casi perfectas declarando un único hecho seguro y omitiendo toda la demás información relevante. En entornos de dominio abierto, medir la exhaustividad es estructuralmente difícil porque no existe un conjunto completo y enumerable de hechos relevantes que sirva como denominador. En consecuencia, los benchmarks existentes no pueden distinguir entre un modelo que es altamente informativo y uno que es simplemente cauteloso y poco informativo.

Metodología

Para abordar esto, los autores introducen un enfoque de oráculo completo (complete-oracle), utilizando dominios donde la verdad de referencia estratégica puede derivarse de forma determinista y exhaustiva.

1. El Oráculo Completo (Fórmula 1 y Clima)

El principal dominio experimental es la explicación de estrategia de la Fórmula 1. Utilizando la API FastF1, los autores extraen datos de tiempos y telemetría para derivar un conjunto determinista de eventos estratégicos (paradas en boxes, compuestos de neumáticos, intentos de undercut/overcut, defensas en pista).

• Completitud: Para cada instancia de decisión, el sistema enumera el conjño completo de hechos verificables que una explicación fiel debe cubrir (por ejemplo, números de vuelta específicos de paradas en boxes, cambios de compuesto, brechas de tiempo).
• Benchmark: Se construyó un conjunto de datos multilingüe (inglés, español, portugués) de 7.253 instancias de decisión que abarcan 150 carreras (2018–2025).
• Dominio Secundario: Los hallazgos se replicaron en un dominio de pronóstico del tiempo utilizando registros de la NOAA, donde cada registro de pronóstico constituye un conjunto completo de hechos enumerables.

2. La Métrica: Precisión + Exhaustividad (Recall)

Los autores proponen una métrica sin referencia que descompone las generaciones del modelo en afirmaciones atómicas y las verifica contra la verdad de referencia estructurada:

• Precisión (Fidelidad): La fracción de afirmaciones hechas por el modelo que están respaldadas.
• Exhaustividad (Cobertura/Recall): La fracción de los hechos enumerables de la verdad de referencia que el modelo declaró correctamente.
• Puntuación F1: La media armónica de la precisión y la exhaustividad, utilizada para evaluar el equilibrio entre exactitud e informatividad.

3. Extracción y Verificación

Se emplearon dos backends de extracción para asegurar la robustez:

• Un extractor de regex independiente de dependencias (para inglés) y un extractor de LLM (para soporte multilingüe) para procesar texto de forma libre en afirmaciones tipadas.
• La verificación fue validada mediante perturbación controlada (inyección de errores) y acuerdo entre extractores (correlación de Spearman de 1.00 entre regex y extractores de la misma familia de LLM a nivel de sistema).

4. Generación Guiada por Verificador

Se desarrolló un método de generación donde un modelo refina iterativamente su salida basándose en la retroalimentación de un verificador estructurado. El bucle de retroalimentación proporciona instrucciones específicas para corregir afirmaciones contradictorias y añadir hechos de la verdad de referencia no cubiertos, mejorando tanto la precisión como la exhaustividad sin requerir textos de referencia.

Resultados Clave

1. La Precisión Premia la Abstención; la Cobertura Reordena el Ranking

El hallazgo central es que el ranking de los modelos cambia significamente cuando se requiere cobertura.

• El "Efecto Abstención": El modelo más preciso del estudio, grok-4.3 (Precisión 0.89 en portugués), cubrió solo 0.46 de los hechos relevantes, lo que resultó en la puntuación F1 más baja (0.61).
• Inversión de Ranking: Por el contrario, modelos más verbosos como DeepSeek-V3.2 tuvieron una precisión ligeramente menor pero una exhaustividad significativamente mayor, lo que llevó a una puntuación F1 mucho más alta.
• Consistencia: Esta inversión ocurrió en los tres idiomas (EN, ES, PT) y en el dominio secundario del clima. El modelo más preciso nunca fue el más completo.

2. El Prompting No Resuelve la Brecha

Los experimentos con un prompt de "cubrir todo" (instruyendo a los modelos a declarar cada hecho sustentable) fallaron en cerrar la brecha de cobertura. De hecho, la exhaustividad media disminuyó (de 0.60 a 0.47), y solo 2 de 5 modelos mostraron alguna mejora. Esto indica que la baja cobertura no es meramente un artefacto de un prompting insuficiente, sino una limitación fundamental de los modelos actuales para generar texto fundamentado comprensivo.

3. Modelos Pequeños Ajustados (Fine-Tuned) Pueden Competir

Un modelo pequeño de código abierto (Qwen2.5-3B) ajustado sobre explicaciones fundamentadas logró la puntuación F1 más alta (0.982) del estudio, superando a los modelos de frontera. Sin embargo, los autores señalan que este rendimiento depende de que el modelo reproduzca fielmente plantillas deterministas, lo que plantea una advertencia sobre la imitación de plantillas frente al razonamiento genuino.

4. La Generación Guiada por Verificador Mejora el Rendimiento

Aplicar el método de autocorrección guiada por el verificador a gpt-5.4-mini aumentó su precisión de 0.640 a 0.881, demostrando que las señales de verificación estructurada pueden guiar eficazmente la generación sin necesidad de textos de referencia.

Significado y Reivindicaciones

El artículo afirma que la precisión no es la fidelidad. Al introducir un marco de oráculo completo, los autores demuestran que:

1. Las métricas de fidelidad sin referencia están incompletas: No penalizan las respuestas poco informativas, lo que conduce a evaluaciones engañosas donde se premia la abstención.
2. Los rankings de los sistemas son inestables: Depender únicamente de la precisión reordena las comparaciones de sistemas, promoviendo potencialmente modelos que son precisos pero poco útiles.
3. La cobertura es medible: En dominios con verdad de referencia determinista, la exhaustividad se puede medir exactamente, revelando una brecha significativa entre la precisión y la cobertura en los modelos de frontera.
4. El problema es general: El fenómeno no es exclusivo de la F1, sino que aparece en otros dominios de datos-a-texto (clima), lo que sugiere que es una propiedad de las métricas basadas solo en precisión y no un problema específico de un conjunto de datos.

Los autores publican el benchmark, las anotaciones estructuradas, la métrica, las líneas base y una demo interactiva para facilitar la investigación sobre la evaluación consciente de la cobertura. Reconocen las limitaciones, incluyendo que su métrica de exhaustividad está limitada por la ontología de afirmaciones específica de su esquema y que los resultados del ajuste fino pueden reflejar la imitación de plantillas.