Resumen Técnico: MMLongBench-Doc-V2

Planteamiento del Problema

MMLongBench-Doc (Ma et al., 2024) es un benchmark para la respuesta a preguntas (QA) sobre documentos largos que comprende 1,082 preguntas en 135 archivos PDF. Aunque fue diseñado para probar la comprensión de documentos y suprimir las alucinaciones mediante preguntas "no contestables", el benchmark original (V1) sufre dos fallos críticos que distorsionan la medición del rendimiento:

1. Limitaciones de Métricas de Cadena (String-Metric): V1 evalúa las respuestas comparando cadenas extraídas contra claves de referencia. Esto penaliza respuestas semánticamente correctas por diferencias menores de formato (por ejemplo, 1,358,000 frente a 1358000, o Operating Activities frente a Operations activities). Este problema afecta desproporcionadamente a los sistemas que responden preguntas basadas en listas o de texto libre, distorsionando los rankings relativos en lugar de solo las puntuaciones absolutas. Además, seis preguntas eran técnicamente imposibles de puntuar porque sus respuestas de referencia violaban sus propias restricciones de answer_format declaradas (por ejemplo, errores de análisis sintáctico).
2. Errores Sistemáticos de Anotación: Una parte no trivial de las anotaciones de la verdad de campo (ground-truth) son incorrectas, ambiguas o incompletas. Estos errores no son aleatorios; están concentrados en preguntas que sistemas capaces responden correctamente pero que se puntúan como cero porque la respuesta del sistema —que es defendible— entra en conflicto con una clave defectuosa. Esto crea un techo artificial en el rendimiento del benchmark que imita una limitación del modelo en lugar de un problema del conjunto de datos.

Metodología

MMLongBench-Doc-V2 aborda estos problemas mediante un proceso de revisión riguroso que involucra el reemplazo de métricas, la corrección de anotaciones y un procedimiento de decisión formal para casos límite.

1. Revisión de la Métrica: El Juez LLM "Fijado" (Pinned LLM Judge)

La métrica de identidad de cadena es reemplazada por un "juez LLM fijado".

• Entrada: El juez recibe la pregunta, la respuesta de referencia, el formato esperado y el texto de la respuesta completa del sistema (no una cadena pre-extraída).
• Restricción: Se le instruye explícitamente al juez que no lea el documento fuente. Trata la respuesta de referencia como la verdad de campo y determina únicamente si la respuesta del sistema transmite el mismo significado.
• Rúbrica: El vocabulario, el uso de mayúsculas, las unidades, los separadores y el orden de las listas son flexibles. Sin embargo, la falta o exceso de miembros en una lista, valores diferentes o una negativa a responder (cuando existe una respuesta) son penalizados. Para las referencias de "No contestable", solo se acepta un rechazo limpio; ofrecer una cifra cercana cuenta como un error.
• Estabilidad: El modelo del juez, el esfuerzo de razonamiento y el esquema JSON están fijos ("fijados") para asegurar la reproducibilidad, aunque la elección del modelo sigue siendo un parámetro libre para la métrica.

2. Correcciones de Anotación

El autor auditó 1,082 preguntas, identificando y corrigiendo 106 anotaciones.

• Tipos de Corrección: Los cambios incluyen la corrección de respuestas erróneas (26), la reparación de preguntas defectuosas (19), la aclaración de preguntas ambiguas (19), la completitud de respuestas incompletas (16) y la reclasificación de elementos "No contestables" como contestables (14).
• Defectos del Corpus: Se eliminaron por completo diez preguntas dirigidas a documentos enviados con nombres de archivo incorrectos, ya que ningún sistema podía responderlas. También se eliminó una pregunta duplicada con claves contradictorias.
• Documentación: Cada corrección se publica con la anotación original, la versión corregida y evidencia específica (números de página o aritmética) para permitir la verificación independiente.

3. Procedimiento de Decisión para Claves de "Conjunto Vacío"

Un desafío específico involucró preguntas con claves de 0 (por ejemplo, "¿cuántos gatos?") frente a "No contestable". El autor estableció un procedimiento de decisión para determinar cuándo una clave de "conjunto vacío" debería ampliarse a "No contestable" sin destruir la naturaleza de muestra negativa deliberada del benchmark.

• Criterios de Ampliación: Una clave se amplía solo si el contenedor existe (por ejemplo, un rango de páginas específico) y el entidad objetivo está verificablemente ausente. En este caso, "ninguno" o "0" es una lectura válida del documento.
• Criterios de No Ampliación: La ampliación está prohibida si:
  • El contenedor mismo está ausente (por ejemplo, rangos de páginas inexistentes).
  • La entidad nunca aparece en el alcance del documento (por ejemplo, un año específico no cubierto).
  • La pregunta pide un complemento contra un universo ilimitado (por ejemplo, "iconos no encontrados").
  • El conjunto es corto pero no vacío (por ejemplo, preguntar por dos elementos cuando solo existe uno).
• Verificación: Este proceso se basa en comprobaciones de vacuidad ejecutables en lugar de la intuición del revisor para prevenir errores silenciosos.

Contribuciones Clave y Resultados

• Corpus Corregido: V2 contiene 1,071 preguntas en 134 documentos (frente a las 1,082/135 originales).
• Registro de Anotación: Se proporciona un registro público de 106 correcciones con evidencia de apoyo.
• Harness de Evaluación: Se lanza un harness de evaluación de código abierto que implementa el juez LLM fijado.
• Segmento de "No Contestables": 208 preguntas (19.4%) permanecen como no contestables, con 14 claves ampliadas según el nuevo procedimiento de decisión.
• Impacto en la Puntuación: Las puntuaciones de V2 no son comparables con las de V1. Las puntuaciones son generalmente más altas para los mismos sistemas, observándose las mayores ganancias en tareas de listas y texto libre donde la métrica de cadena penalizaba previamente las variaciones de formato.

Significancia y Limitaciones

El artículo posiciona a MMLongBench-Doc-V2 como una reparación necesaria en lugar de un reemplazo del benchmark original. Su principal significancia radica en:

• Restauración de la Validez de la Medición: Al desacoplar la puntuación de la identidad de la cadena y corregir los errores sistemáticos de anotación, el benchmark refleja mejor las capacidades reales de comprensión de documentos de un modelo.
• Preservación del Diseño de "No Contestables": El benchmark sigue siendo uno de los pocos conjuntos donde responder con confianza a una pregunta no soportada incurre en una penalización, una característica que el autor argumenta es esencial para detectar alucinaciones.
• Rigor Metodológico: La introducción de un procedimiento de decisión formal para las claves de "conjunto vacío" y la publicación transparente de los registros de corrección establecen un estándar para el mantenimiento futuro de benchmarks.

Limitaciones:

• Sesgo de Auditoría: Las correcciones se derivaron de preguntas que un sistema específico respondió con confianza pero puntuó como cero. En consecuencia, la tasa de error general del corpus permanece sin medir; no se realizó una auditoría de muestreo aleatorio uniforme.
• Cobertura de Tipos de Tarea: La verificación fue exhaustiva para las tareas de lookup, derive, compare y verify, pero menos completa para las tareas de count y enumerate, donde aproximadamente 95 filas permanecen donde un sistema capaz discrepa de la clave pero no se pudo probar el error.
• Etiquetas Automatizadas: Las etiquetas de tipo de tarea y requires_visual fueron generadas por una única pasada de un modelo y no son verdades de campo verificadas por humanos.
• Falibilidad del Juez: Aunque el juez está fijado y explícitamente regulado, sigue siendo un modelo y no es infalible.

El autor concluye que el corpus corregido, los registros por entrada y el harness de evaluación están disponibles bajo la licencia Apache 2.0, invitando a realizar más correcciones mediante reportes de problemas (issues) que citen páginas y entradas específicas.