Benchmarking Real-Time Question Answering via Executable Code Workflows

Resumen Técnico: RT-QA - Evaluación de Agentes de IA para Preguntas en Tiempo Real

1. El Problema: Limitaciones de los Benchmarks Estáticos

Los agentes de IA integrados con búsqueda (como SearchGPT o Perplexity) han evolucionado para acceder a información dinámica. Sin embargo, la evaluación de estas capacidades adolece de dos fallas críticas en los benchmarks existentes:

• Fuga de Datos (Data Leakage): Los modelos pueden responder basándose en su conocimiento estático interno en lugar de realizar búsquedas reales.
• Obsolescencia del Conocimiento: Las respuestas "ground truth" (verdad fundamental) en los benchmarks estáticos se vuelven inválidas a medida que los hechos del mundo real cambian (ej. precios de acciones, noticias de ayer).
• Brecha de Latencia: Los benchmarks periódicos (mensuales/anuales) no pueden evaluar consultas sobre eventos que ocurren "hoy" o "ahora", ya que requieren un retraso en la actualización de los datos.

2. Metodología: RT-QA y el Paradigma de Ejecución

Para abordar esto, los autores proponen RT-QA, un marco de evaluación dinámico que cambia el paradigma de "Respuestas Estáticas" a "Flujos de Trabajo de Código Ejecutable".

• Estructura del Dato: En lugar de un par (pregunta, respuesta), cada ítem de prueba es una tupla (pregunta, flujo de trabajo de código).
  • Pregunta ($q_\tau$): Una pregunta en lenguaje natural con restricciones temporales relativas (ej. "¿qué pasó ayer?", "últimos 7 días").
  • Flujo de Trabajo ($w_\tau$): Un script de Python generado automáticamente que, al ejecutarse en el momento de la evaluación, navega a sitios web autorizados, analiza elementos DOM y genera la respuesta correcta en tiempo real.
• Construcción del Dataset (RT Agent):
  • Se utiliza un agente (RT Agent) que analiza páginas web no estructuradas y genera scripts de Python para extraer datos.
  • Mecanismo de Autoreparación: Si la estructura de una página web cambia (rompiendo el selector CSS), un agente de reparación reanaliza el DOM y parchea el código automáticamente para mantener la funcionalidad.
  • Cobertura: El dataset incluye 320 preguntas en 12 dominios (Finanzas, Deportes, Política, etc.) con tres niveles de dificultad:
    • L1 (Directo): Búsqueda directa de un hecho.
    • L2 (1 Salto): Requiere identificar una entidad basada en un evento pasado y luego buscar datos actuales sobre esa entidad.
    • L3 (2+ Saltos): Cadenas de razonamiento complejas que vinculan múltiples entidades y marcos temporales.
• Evaluación: Se ejecutan modelos de estado del arte (GPT-5.2, GLM-4.7, Claude-4.5, etc.) y se compara su respuesta con la generada por el flujo de trabajo en el mismo instante temporal, utilizando un "Juez LLM" para la verificación semántica.

3. Contribuciones Clave

1. RT-QA: El primer benchmark que utiliza flujos de trabajo de código ejecutables para generar ground truth dinámico, eliminando la latencia y la obsolescencia.
2. RT Agent: Un marco automatizado para la generación y mantenimiento de estos flujos de trabajo, permitiendo la escalabilidad y extensibilidad del benchmark sin esfuerzo manual masivo.
3. Taxonomía de Fallos: Un análisis granular de más de 7,000 trayectorias de agentes que identifica modos de fallo específicos en la búsqueda de información en tiempo real.

4. Resultados Principales

La evaluación de modelos avanzados reveló un rendimiento decepcionante en entornos dinámicos:

• Baja Precisión General: Incluso los mejores modelos (como GPT-5.2 y Doubao-Seed) alcanzaron solo un 46% de precisión en promedio. La mayoría de los modelos de código abierto quedaron por debajo del 40%.
• Inestabilidad Diaria: El rendimiento fluctuó drásticamente de un día a otro debido a la dependencia de los resultados de búsqueda iniciales.
• Paradoja de la Dificultad (L2 vs. L3): Contrario a la intuición, los modelos tuvieron un rendimiento peor en tareas de nivel medio (L2) que en las más complejas (L3).
  • Ejemplo: GPT-5.2 obtuvo 41.0% en L3 pero solo 38.0% en L2.

5. Modos de Fallo Identificados

El análisis de errores reveló dos modos de fallo dominantes:

1. Búsqueda Perezosa (Lazy Retrieval) - 20% de los fallos: Los agentes se conforman con los fragmentos de búsqueda (snippets) de los motores de búsqueda en lugar de navegar a la página web oficial para verificar la información.
2. Confusión Temporal (Temporal Confusion) - 20% de los fallos:
   • El Problema: En tareas L2, el agente recupera una fecha histórica (ej. "Octubre 2025" para identificar una entidad) y falla al "re-anclarse" al tiempo actual (ej. "Enero 2026") para la segunda parte de la consulta.
   • La Causa: Una gestión deficiente del estado temporal. El agente trata la fecha recuperada como el "tiempo presente" para el razonamiento subsiguiente.
   • La Paradoja L3: Las tareas L3, al ser más complejas, obligan al modelo a planificar más rigurosamente y a distinguir explícitamente entre fechas históricas y actuales, lo que paradójicamente mejora el rendimiento.

6. Significado e Implicaciones

• Más allá de la Búsqueda: El estudio demuestra que simplemente mejorar las herramientas de búsqueda no es suficiente. Los agentes necesitan gestión robusta del estado temporal y capacidades de planificación para distinguir entre hechos pasados y el contexto actual.
• Nueva Infraestructura: RT-QA no es solo un dataset, sino una infraestructura extensible que democratiza la creación de benchmarks en vivo, acelerando la transición de los LLMs de "chatbots con conocimiento estático" a "asistentes en tiempo real confiables".
• Dirección Futura: Se requiere que los agentes evolucionen de ser meros buscadores pasivos a investigadores proactivos que verifiquen activamente la información y gestionen sus propios marcos temporales.

Recurso: El código y los datos están disponibles públicamente en GitHub para fomentar la investigación en esta área.