Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification

1. Planteamiento del Problema

Los Agentes de Investigación Profunda (DRAs) impulsados por Modelos de Lenguaje Grande (LLMs) están transformando el descubrimiento automatizado de conocimientos, pero sufren problemas de fiabilidad. Los modos de fallo comunes incluyen alucinaciones, uso incorrecto de APIs, dependencia de fuentes secundarias incompletas y errores de razonamiento.

• Limitaciones de los Enfoques Actuales: Los métodos existentes se centran principalmente en mejorar las capacidades de la política mediante entrenamiento posterior (Ajuste Fino Supervisado o Aprendizaje por Refuerzo). Aunque existe el "Escalado en Tiempo de Prueba" (por ejemplo, muestreo Best-of-N), a menudo falla porque diferentes ejecuciones tienden a repetir los mismos errores sistemáticos.
• La Brecha: Existe una falta de marcos automatizados y escalables que permitan a los agentes autoevolucionarse durante la inferencia verificando sus propias salidas, generando retroalimentación dirigida y refinando respuestas sin entrenamiento adicional. Además, generar retroalimentación de alta calidad es difícil ya que requiere capacidades de razonamiento sofisticadas.

2. Metodología

Los autores proponen DeepVerifier, un marco que aprovecha la asimetría de la verificación (comprobar una respuesta suele ser más fácil que generarla) para permitir una auto-mejora iterativa. La metodología consta de tres componentes principales:

A. Taxonomía de Fallos del DRA

Para guiar la verificación, los autores construyeron una taxonomía sistemática de fallos de agentes basada en un análisis de 555 puntos de error del conjunto de datos WebAggregatorQA.

• Estructura: La taxonomía clasifica los fallos en 5 categorías principales y 13 subcategorías.
• Hallazgos Clave: El modo de fallo más frecuente es "Encontrar Fuentes" (por ejemplo, consultar evidencia incorrecta, búsquedas genéricas), seguido de "Razonamiento" (conclusiones prematuras, alucinaciones).
• Uso: Esta taxonomía sirve de base para crear rúbricas estructuradas que guían el proceso de verificación.

B. El Marco DeepVerifier

DeepVerifier es una tubería de tres etapas y múltiples módulos diseñada para descomponer tareas de verificación complejas:

1. Agente de Descomposición:
   • En lugar de pedirle a un LLM que vuelva a resolver toda la tarea compleja (lo cual es propenso a errores), este agente resume la trayectoria original e identifica puntos de error potenciales basándose en la Taxonomía de Fallos.
   • Formula preguntas de seguimiento de alto impacto dirigidas a vulnerabilidades específicas (por ejemplo, "¿La Fuente X afirma explícitamente la Afirmación Y?").
2. Agente de Verificación:
   • Ejecuta las preguntas de seguimiento utilizando herramientas externas (búsqueda web, ejecución de código) para recopilar evidencia concreta.
3. Agente Juez:
   • Evalúa la respuesta original frente al resumen de la trayectoria, la lista de errores potenciales y la evidencia recopilada de las preguntas de seguimiento.
   • Genera una puntuación basada en rúbrica (1–4) y retroalimentación detallada y accionable.

C. Escalado en Tiempo de Prueba y Autoevolución

• Bucle Iterativo: El agente genera una respuesta $\rightarrow$ DeepVerifier la verifica $\rightarrow$ Se proporciona retroalimentación $\rightarrow$ El agente reintenta/refina la respuesta.
• Retroalimentación Guiada por Rúbricas: La retroalimentación no es genérica; se deriva de la taxonomía de fallos específica, asegurando que el agente sepa exactamente por qué falló (por ejemplo, "Confías en una búsqueda genérica en lugar de en una fuente primaria").
• Sin Entrenamiento Requerido: Este proceso ocurre enteramente en tiempo de inferencia, sin requerir actualizaciones de gradiente en el modelo base.

D. Conjunto de Datos DeepVerifier-4K

Para permitir que los modelos de código abierto desarrollen capacidades de verificación robustas, los autores crearon DeepVerifier-4K, un conjunto de datos de Ajuste Fino Supervisado (SFT) curado que contiene 4.646 pares de alta calidad de indicación-respuesta. Estos pares se centran en el proceso de reflexión y autocrítica, permitiendo que los modelos abiertos (como Qwen) aprendan a verificar y refinar sus propias salidas.

3. Contribuciones Clave

1. Formalización de la Reflexión del Agente: El artículo formaliza una tubería de reflexión para DRAs que explota la asimetría de verificación, avanzando más allá del juicio holístico hacia la verificación de evidencia dirigida.
2. Taxonomía de Fallos del DRA: La creación de una taxonomía exhaustiva y construida automáticamente (5 clases, 13 subclases) que categoriza sistemáticamente los fallos de los agentes, sirviendo como plano para recompensas basadas en rúbricas.
3. Marco DeepVerifier: Un módulo plug-and-play que integra la verificación y la generación de retroalimentación, superando las líneas base estándar de "Agente como Juez" y jueces LLM.
4. Conjunto de Datos DeepVerifier-4K: Un conjunto de datos SFT de alta calidad liberado a la comunidad abierta para entrenar modelos en reflexión y autocrítica, abordando la escasez de datos para esta capacidad específica.

4. Resultados Experimentales

Rendimiento de Verificación (Meta-evaluación)

• DeepVerifier supera significativamente al "Agente como Juez" vanilla y a los jueces LLM estándar.
• Métrica: Logra una mejora del 12%–48% en las puntuaciones F1 de meta-evaluación.
• Ablación: Eliminar el módulo de descomposición conduce a una alta precisión pero bajo recuerdo (omitiendo errores sutiles). Eliminar el módulo de verificación conduce a una pobre precisión. La tubería completa equilibra ambos.

Escalado en Tiempo de Prueba (Ganancias de Rendimiento)

• Modelos de Código Cerrado (Claude-3.7-Sonnet):
  • En la prueba GAIA, la precisión mejoró un 8%–11% (por ejemplo, GAIA-Web pasó de ~52% a ~63.5%).
  • En XBench-DeepSearch, las ganancias alcanzaron el 6%.
  • En BrowseComp (extremadamente difícil), las ganancias alcanzaron el 5%.
• Modelos de Código Abierto (Qwen3-8B / DeepVerifier-8B):
  • Los modelos ajustados finamente en DeepVerifier-4K mostraron capacidades de reflexión superiores.
  • DeepVerifier-8B logró una ganancia de precisión del 5.5% después de 10 rondas de reflexión, superando significativamente al Qwen3-8B base y al CK-Pro-8B (entrenado solo en datos estándar).

Tendencias de Escalado

• El rendimiento suele alcanzar su punto máximo alrededor de 3–4 rondas de retroalimentación.
• Las rondas tempranas corrigen muchos errores (Incorrecto $\to$ Correcto), pero las rondas posteriores arriesgan una sobre-corrección (Correcto $\to$ Incorrecto). El marco incluye un mecanismo de parada temprana cuando el verificador acepta una respuesta.

5. Significado e Impacto

• Cambio de Paradigma: El artículo desplaza el enfoque de entrenar exclusivamente agentes mejores hacia escalar la verificación en tiempo de inferencia. Demuestra que los agentes pueden autocorregirse eficazmente sin costos adicionales de entrenamiento.
• Escalabilidad: El enfoque es agnóstico al modelo, funcionando eficazmente tanto con APIs de código cerrado potentes como con modelos de código abierto ajustados finamente.
• Eficiencia de Recursos: Al descomponer la verificación en pequeñas subtareas en lugar de volver a resolver todo el problema, ofrece una mejor compensación precisión-costo en comparación con métodos de fuerza bruta como Best-of-N.
• Contribución a la Comunidad: La liberación de la Taxonomía de Fallos y el conjunto de datos DeepVerifier-4K proporciona una base crítica para futuras investigaciones en Aprendizaje por Refuerzo (RL) potenciado por reflexión y desarrollo de agentes confiables.

En resumen, este trabajo establece que la verificación estructurada y guiada por rúbricas es un mecanismo poderoso para escalar la fiabilidad de los Agentes de Investigación Profunda, convirtiendo el cómputo en tiempo de inferencia en un bucle de auto-mejora que aumenta significativamente la precisión en tareas complejas de razonamiento multi-etapa.