DEER: A Benchmark for Evaluating Deep Research Agents on Expert Report Generation

El artículo presenta DEER, un benchmark diseñado para evaluar la generación de informes expertos por agentes de investigación profunda mediante una taxonomía de criterios detallada, orientación para evaluadores y una arquitectura de verificación de afirmaciones que revela las limitaciones actuales de los sistemas en la satisfacción de solicitudes especializadas y la coherencia lógica.

Lo esencial

¡Claro que sí! Imagina que las Inteligencias Artificiales (IA) han aprendido a ser como detectives de investigación muy rápidos. Pueden buscar en internet, leer miles de documentos y escribir informes largos y complejos en segundos.

Pero, ¿cómo sabemos si esos informes son realmente buenos, precisos y útiles para un experto? ¿O si la IA se está inventando cosas?

Aquí es donde entra DEER.

¿Qué es DEER? (El "Examen de Conductor" para IAs)

Imagina que quieres comprar un coche nuevo. No basta con que el coche tenga un motor bonito y luces brillantes (eso es lo que hacen las IAs: se ven bien). Necesitas saber si frena bien, si consume poco y si es seguro en una tormenta.

DEER es como un examen de conducir ultra-detallado diseñado por expertos humanos para poner a prueba a estas IAs cuando escriben informes profesionales. No es un simple "¿qué tal te fue?", es una auditoría completa.

Los 3 Grandes Problemas que DEER Resuelve

Antes de DEER, evaluar a estas IAs era como intentar juzgar una obra de arte con una regla de cocina:

1. Las reglas eran vagas: Decían "el informe debe ser bueno", pero ¿qué significa "bueno"? ¿Que tenga muchas palabras? ¿Que tenga fotos? DEER creó una lista de verificación maestra (llamada taxonomía) con 101 puntos específicos. Es como tener un manual de 101 reglas para saber exactamente qué debe tener un informe de ingeniería, medicina o historia.
2. El juez era un novato: Antes, usaban otras IAs para corregir a las IAs. Es como pedirle a un niño que corrija la tesis de un doctor. A veces, la IA "jueza" no ve errores sutiles o mentiras que un experto humano sí notaría. DEER soluciona esto dándole a la IA "jueza" un guion de experto (una hoja de trucos) que le explica exactamente qué buscar en cada tema, como si un profesor le diera las respuestas correctas antes del examen.
3. Las mentiras pasaban desapercibidas: Las IAs a veces citan fuentes que no dicen lo que dicen, o inventan datos sin citar nada. DEER tiene un detective de mentiras automático. Revisa cada afirmación del informe, no solo las que tienen una cita al lado. Si la IA dice "el sol sale por el este" pero no pone la fuente, el detective busca en el texto anterior para ver si la fuente estaba escondida en otra frase. Si no encuentra prueba, ¡la IA suspende!

¿Cómo funciona el examen? (La Analogía del Restaurante)

Imagina que la IA es un chef y el informe es un plato gourmet.

• La Taxonomía (Las 101 reglas): Es el manual del chef estrella. Dice: "El plato debe tener sal, pimienta, y la carne debe estar a 60 grados". No basta con que sepa que "sabe rico".
• El Juez con Guion: Es el inspector de salud que tiene el manual en la mano. En lugar de decir "está rico", dice: "Le falta sal (punto 14), la carne está a 55 grados (punto 22) y no mencionaste el origen del tomate (punto 45)".
• El Detective de Fuentes: Es el proveedor que verifica que los ingredientes sean reales. Si el chef dice "usé trufas de Italia", el detective va a la cocina, mira la factura y dice: "¡Mentira! Estas son champiñones de tu jardín".

¿Qué descubrieron? (El Resultado del Examen)

Cuando pusieron a las IAs más famosas (como las de Google, OpenAI, Anthropic) a hacer este examen:

• Lo bueno: ¡Escriben muy bien! Sus informes tienen buena estructura, gramática perfecta y se ven muy profesionales. Son como chefs que saben cortar cebolla perfectamente.
• Lo malo: A menudo no cumplen lo que el cliente pidió o sus argumentos no tienen lógica profunda. A veces, usan muy pocas fuentes o se inventan datos. Es como un chef que hace un plato hermoso, pero le falta el ingrediente principal o usa ingredientes falsos.

En resumen

DEER es la herramienta que nos dice: "Oye, esta IA es genial escribiendo, pero aún necesita aprender a pensar como un experto y a no inventar cosas".

No se trata solo de ver quién gana, sino de diagnosticar exactamente dónde falla la IA para que los ingenieros puedan mejorarla. Es el primer paso para que estas máquinas sean verdaderos asistentes de investigación y no solo generadores de texto bonito.

Resumen técnico

1. El Problema

A pesar de los avances en los Modelos de Lenguaje Grandes (LLM) que permiten sistemas de "investigación profunda" (deep research) capaces de generar informes expertos mediante razonamiento multi-paso y síntesis de evidencia, la evaluación de estos informes sigue siendo un desafío crítico. Las metodologías existentes presentan tres limitaciones principales:

1. Criterios de evaluación poco definidos: Las métricas actuales suelen ser demasiado generales (dimensiones de alto nivel) o generadas automáticamente por LLMs, lo que resulta en una falta de granularidad y consistencia para evaluar la calidad real de un informe experto.
2. Falta de experiencia de dominio: Los evaluadores basados en LLMs a menudo pasan por alto errores sutiles que requieren conocimiento experto específico para ser identificados (ej. saltos lógicos no obvios o malinterpretaciones de dominio).
3. Verificación de evidencia incompleta: Los enfoques actuales de verificación de fuentes se limitan a afirmaciones con citas explícitas, ignorando afirmaciones implícitas o no citadas, lo que deja la fiabilidad factual del informe en su conjunto sin examinar adecuadamente.

2. Metodología: El Marco DEER

Los autores proponen DEER (Deep research Expert Report benchmark), un marco de evaluación sistemático e interpretable diseñado para informes de investigación de nivel experto. La metodología se basa en dos componentes principales:

A. Construcción de Datos y Tareas

• Origen de las tareas: Se utilizaron 50 preguntas semilla de alto nivel de dificultad del conjunto de datos Humanity's Last Exam (HLE).
• Reformulación: Expertos de dominio (con máster o equivalente) reformularon estas preguntas de formato QA a prompts para la generación de informes (estilo académico o técnico), eliminando las respuestas directas para obligar al modelo a razonar y sintetizar.
• Cobertura: Las tareas abarcan 13 dominios (Finanzas, CS, Biología, Historia, etc.) y 50 tareas en total.

B. Taxonomía de Evaluación

Se desarrolló una Taxonomía de Evaluación de Informes de Investigación Profunda mediante consenso de expertos, sintetizando 80 estándares de 20 dominios. La taxonomía consta de:

• 7 Dimensiones Principales:
  1. Cumplimiento de la Solicitud (Request Fulfillment)
  2. Solidez Analítica (Analytical Soundness)
  3. Coherencia Estructural (Structural Coherence)
  4. Formato y Estilo (Format & Style)
  5. Ética y Cumplimiento (Ethics & Compliance)
  6. Suficiencia de Información (Information Sufficiency)
  7. Integridad de la Información (Information Integrity)
• 25 Subdimensiones y 101 ítems de rúbrica fina (granulares).

C. Arquitectura de Evaluación Híbrida

DEER combina dos enfoques para evaluar los informes:

1. Evaluación de Calidad del Informe (Asistida por Experto):

   • Utiliza un enfoque LLM-as-a-Judge.
   • Rúbricas Fijas: Los 101 ítems evalúan dos aspectos: Cobertura (¿están presentes los elementos requeridos?) y Calidad (¿qué tan bien están escritos?).
   • Guías de Evaluación de Expertos (Expert Evaluation Guidance): Para cada tarea, un experto redacta una guía específica que detalla los elementos de contenido obligatorios y las expectativas del dominio. Esto ayuda al LLM a detectar errores que de otro modo pasarían desapercibidos.

2. Verificación de Información (Arquitectura de Verificación de Afirmaciones):

   • Extrae afirmaciones atómicas del informe y las clasifica en 6 tipos (A-F).
   • Rastreo Semántico (Back-tracking): Un mecanismo clave que recupera citas implícitas. Si una afirmación no tiene una cita explícita, el sistema busca en oraciones anteriores dentro del mismo informe para encontrar la fuente de evidencia que la sustenta.
   • Verificación: Compara las afirmaciones (citas explícitas e implícitas) contra los documentos de evidencia originales para calcular métricas cuantitativas de Integridad (facticidad, soporte de citas) y Suficiencia (cobertura de evidencia, cantidad de referencias).

3. Contribuciones Clave

1. DEER Benchmark: La primera referencia sistemática para evaluar informes de investigación profunda de nivel experto, basada en una taxonomía jerárquica validada por expertos.
2. Rúbricas y Guías Estandarizadas: Traducción de la taxonomía en 101 ítems de rúbrica fijos y guías de evaluación específicas por tarea, mejorando la consistencia y la correlación con juicios humanos.
3. Arquitectura de Verificación de Nivel de Informe: Un sistema que verifica no solo las citas explícitas, sino también las afirmaciones implícitas mediante rastreo semántico, proporcionando una evaluación completa de la fiabilidad factual.
4. Diagnóstico Interpretativo: Más allá de una puntuación global, DEER ofrece señales diagnósticas detalladas sobre las fortalezas y debilidades específicas de los sistemas (ej. buen estilo pero mala lógica, o buena estructura pero falta de fuentes).

4. Resultados Experimentales

Los autores evaluaron múltiples sistemas (LLMs generales, modelos con razonamiento, búsqueda web y sistemas de investigación profunda dedicados como WebThinker y OpenAI Deep Research):

• Desempeño General: Los sistemas actuales generan informes estructuralmente plausibles y con buen estilo (puntuaciones altas en Coherencia Estructural y Formato), pero fallan significativamente en el cumplimiento de solicitudes complejas de expertos y en la solidez analítica.
• Impacto de la Búsqueda: Añadir búsqueda web (think+search) mejora las métricas de información, pero a veces degrada la calidad de la redacción o la estructura del argumento en comparación con modelos de razonamiento puro sin búsqueda, sugiriendo que la integración de información externa puede "difuminar" la definición del problema.
• Variación por Dominio: El rendimiento varía drásticamente según la disciplina. Los agentes tienen mejor desempeño en Filosofía, Psicología e Ingeniería, pero luchan con CS, Historia y Física, donde el contenido técnico y el contexto histórico son más complejos.
• Correlación Humana: La adición de Guías de Evaluación de Expertos aumentó significativamente la correlación de los LLMs con los juicios de expertos humanos (Pearson r de 0.64 a 0.75) y mejoró la fiabilidad inter-evaluador.
• Verificación: El módulo de verificación demostró que muchos sistemas dependen de un número muy pequeño de referencias y a menudo incluyen afirmaciones no verificadas o mal citadas.

5. Significado e Impacto

• Estándar de Evaluación: DEER establece un nuevo estándar para la evaluación de agentes de investigación, moviéndose más allá de las respuestas cortas hacia la evaluación de documentos largos y complejos.
• Herramienta de Diagnóstico: Proporciona a los investigadores y desarrolladores una herramienta para identificar dónde fallan sus sistemas (¿es un problema de búsqueda, de razonamiento lógico o de síntesis?), permitiendo mejoras dirigidas.
• Fiabilidad: Al integrar la verificación de fuentes a nivel de afirmación (incluyendo las implícitas), DEER aborda el problema de la alucinación y la fiabilidad factual, crucial para aplicaciones en entornos profesionales y académicos.
• Escalabilidad: Demuestra que es posible automatizar la evaluación de informes expertos con alta precisión y bajo costo mediante el uso estratégico de rúbricas fijas y guías de expertos, reduciendo la dependencia de evaluaciones humanas costosas para cada iteración.

En resumen, DEER no solo mide cuánto sabe un modelo, sino cómo construye, verifica y presenta el conocimiento experto, revelando que, aunque la capacidad de redacción ha madurado, la capacidad de realizar investigación profunda y analíticamente sólida sigue siendo un desafío abierto.