Resumen Técnico: DRNOISE – Evaluación de Agentes de Investigación Profunda en Entornos de Evidencia Engañosa

Declaración del Problema

Los agentes de investigación profunda se despliegan cada vez más para realizar trabajos de conocimiento complejos en la web abierta, donde deben sintetizar conclusiones a partir de una mezcla de registros autoritativos, resúmenes redundantes y afirmaciones contradictorias. Una vulnerabilidad crítica en estos entornos es la presencia de documentos de tipo "respuesta" —como resúmenes ejecutivos, fichas de datos almacenadas en caché o artículos de noticias secundarios— que presentan una respuesta fluida y directa sin ser autoritativos.

Los benchmarks de evaluación actuales (p. ej., GAIA, BrowseComp) evalúan principalmente la capacidad de un agente para recuperar información o navegar en espacios de búsqueda complejos. Sin embargo, ofrecen una visión limitada sobre si los agentes mantienen estándares de evidencia sólidos cuando se siembra deliberadamente un documento plausible pero falso en un entorno buscable. Específicamente, no está claro si un agente tratará dicho documento como una base suficiente para una conclusión o si continuará reconciliando la afirmación contra la evidencia de nivel de registro subyacente. Este artículo postula que un modo de falla clave no es la incapacidad de recuperar la verdad, sino el cese prematuro de la verificación en favor de un atajo atractivo y directo.

Metodología: El Benchmark DRNOISE

Los autores introducen DRNOISE, un benchmark de 100 tareas diseñado para aislar y medir la "recuperación de respuestas bajo evidencia engañosa".

Formulación de la Tarea

Cada instancia de tarea se define como una tupla $(q, a^\star, \tilde{a}, E_A, E_B, F)$:

• $q$: La pregunta de investigación.
• $a^\star$: La respuesta de oro única.
• $E_A, E_B$: Dos cadenas independientes y corroborativas de registros indirectos. Ningún documento individual establece $a^\star$ directamente; la respuesta debe reconstruirse mediante la intersección de restricciones a través de estos registros de nivel inferior (p. ej., uniendo IDs de proveedores con estados de certificación y registros de envíos).
• $F$: Un documento "ruidoso". En la condición ruidosa, se añade un único documento de apariencia ordinaria que establece directamente una respuesta contradictoria $\tilde{a}$.

Diseño Experimental

El benchmark emplea una intervención emparejada de limpio–ruidoso:

1. Condición Limpia: El agente opera en un corpus que contiene solo las cadenas de evidencia indirecta ($E_A, E_B$).
2. Condición Ruidosa: El corpus es idéntico a la versión limpia, excepto por la adición del único resumen falso $F$.

Este diseño asegura que cualquier caída en el rendimiento no se deba a una falta de capacidad de recuperación (ya que los registros que sustentan la verdad están presentes en ambas condiciones), sino a un cambio en la política de uso de la evidencia del agente. El benchmark abarca 10 familias de tareas (p. ej., selección de entidad, selección de fecha, verificación booleana, unión de múltiples saltos, agregación de costos totales) para asegurar que el fenómeno no se limite a un patrón de razonamiento específico.

Protocolo de Evaluación

Los autores evaluaron cinco modelos de lenguaje contemporáneos (Gemini 3.5 Flash, MiMo v2.5, GPT-5.4, DeepSeek V4 Flash, Qwen3-32B) utilizando un entorno de agente de búsqueda BrowseComp-Plus fijo con una interfaz de estilo ReAct.

• Métricas:
  • Precisión Limpia (Clean Accuracy): Rendimiento sin el documento engañoso.
  • Precisión Ruidosa (Noisy Accuracy): Rendimiento con el documento engañoso.
  • Deferencia Condicional (Conditional Deference): La fracción de tareas que el modelo resolvió correctamente en la condición limpia que posteriormente respondió con el valor falso inyectado $\tilde{a}$ en la condición ruidosa. Esta métrica aísla la falla específica de la deferencia hacia el atajo engañoso.

Resultados Clave

1. Degradación Aguda de la Precisión

A través de agentes con un fuerte rendimiento en tareas limpias, la introducción de un solo documento engañoso causó caídas masivas de precisión (66–88 puntos porcentuales).

• DeepSeek V4 Flash y MiMo v2.5 cayeron de una precisión limpia de ~82–89% a una precisión ruidosa de ~1%.
• Gemini 3.5 Flash cayó de 96.3% a 26.0%.
• GPT-5.4 cayó de 81.7% a 15.7%.

2. Inercia de Verificación Sistemática

El análisis de trazas reveló que el modo de falla dominante es la parada prematura.

• Exposición de Recuperación: En la condición ruidosa, los agentes recuperaron los registros indirectos verídicos en el 100% de los casos (recuperados junto con el resumen falso).
• Comportamiento de Parada: A pesar de recuperar la evidencia que sustenta la verdad, los agentes a menudo dejaron de buscar antes de completar la cadena de evidencia. Para GPT-5.4, el número medio de llamadas de búsqueda cayó de 7.1 (limpio) a 4.5 (ruidoso), y la tasa de recuperación de una ruta de evidencia completa cayó del 45% al 16%.
• Deferencia: Los agentes frecuentemente trataron el documento directo de tipo "respuesta" como una conclusión suficiente, deferiendo ante él incluso cuando los registros subyacentes lo refutaban.

3. Generalización a través de Familias de Tareas

La degradación se observó tanto en tareas simbólicas (p. ej., selección de entidad, verificación booleana) como numéricas (p. ej., agregación de costos totales), lo que indica que el problema es un problema general de parada/verificación y no un fallo de aritmética o de un razonamiento específico.

4. Análisis de Mecanismos de Falla

• Prompts de Verificación: Las instrucciones genéricas de "verificar contra documentos" redujeron la brecha, pero no la cerraron (p. ej., la precisión ruidosa de GPT-5.4 mejoró del 12% al 28%).
• Credibilidad de la Fuente: Cambiar la fuente del documento falso de un foro de baja credibilidad a un informe de auditoría de alta credibilidad no redujo significamente la deferencia (54% vs. 84% de deferencia condicional), lo que sugiere que el efecto se satura más allá de un umbral de baja credibilidad.
• Tipo de Recuperador: El efecto persistió e incluso se intensificó bajo la recuperación léxica (BM25) en comparación con la recuperación densa, descartando artefactos de recuperación como la causa principal.
• Verdad Directa vs. Falsedad Directa: Cuando se añadió un documento verdadero directo a la condición ruidosa (haciendo que la verdad fuera tan directa como la mentira), la precisión se recuperó significativamente (12% a 63%), aunque persistió una deferencia residual. Esto sugiere que la asimetría entre la verdad derivada y la falsedad declarada es un factor importante, pero no el único.
• Oráculo de Contexto Completo: Cuando se proporcionó toda la evidencia directamente en el contexto (evitando la recuperación), la deferencia condicional cayó del 84% al 8%. Esto confirma que la falla principal es la parada prematura durante el proceso de búsqueda, no una incapacidad para reconciliar conflictos visibles.

Contribuciones y Significado

El artículo realiza tres contribuciones primarias:

1. Benchmark DRNOISE: Un benchmark controlado de 100 tareas que aísla el modo de falla específico de la deferencia ante afirmaciones directas engañosas en presencia de evidencia indirecta suficiente.
2. Evidencia Empírica de la Brecha de Capacidad-Despliegue: Los resultados demuestran que los agentes de alto rendimiento poseen la capacidad de resolver estas tareas (evidenciado por el rendimiento limpio), pero fallan al desplegar esta capacidad bajo ruido. La falla es un cambio de política hacia la "inercia de verificación" en lugar de una falta de capacidad de razonamiento.
3. Identificación del Mecanismo: A través del análisis de trazas y estudios de ablación, los autores identifican la parada prematura como el mecanismo dominante. Los agentes recuperan registros verídicos pero se detienen antes de reconciliarlos con el documento engañoso, tratando a este último como un punto final suficiente.

Conclusión

El artículo concluye que la investigación profunda confiable requiere más que recuperación y citación; requiere la reconciliación activa de las afirmaciones directas con la evidencia a nivel de registro. Los agentes actuales exhiben una tendencia sistemática a tratar las aserciones de tipo respuesta como evidencia suficiente, incluso cuando existen registros de nivel inferior contradictorios. Los autores argumentan que las evaluaciones futuras deben ir más allá de probar la adquisición de información para probar si los agentes pueden resistir el "atajo" de una respuesta directa y plausible en favor de la reconstrucción de conclusiones a partir de evidencia corroborativa.