Resumen Técnico: SANA - Marco de Ablación de Navegación de Agentes de Búsqueda

1. Definición del Problema

La Respuesta a Preguntas Exploratorias (EQA, por sus siglas en inglés) sobre lagos de datos requiere que un agente de LLM descubra iterativamente fuentes relevantes, analice los datos recuperados y adapte sus acciones basándose en resultados intermedios. A diferencia de la QA estándar, el agente debe determinar qué tablas, metadatos, filtros o computaciones son necesarios para responder a una pregunta de alto nivel sin conocimiento previo del esquema de los datos.

Los métodos de evaluación actuales dependen de la precisión de extremo a extremo, lo que amalgama fallos en distintos componentes:

• Búsqueda: Recuperación de fuentes irrelevantes, incompletas o faltantes.
• Planificación: Descomposición de la pregunta en subpreguntas erróneas o incompletas.
• Análisis de Datos: Escritura de consultas/código incorrectos, mala interpretación de resultados o errores de esquema.
• Política del Agente: El proceso de decisión a nivel de turno (Política de Acción) que determina qué hacer a continuación, cuándo detenerse o cómo sintetizar la evidencia.

Los benchmarks previos (p. ej., LakeQA, KramaBench) y las evaluaciones de agentes (p. ej., DCI, Metadata Reasoner) no aíslan estos modos de fallo. En consecuencia, no está claro si un agente falla debido a una infraestructura de recuperación deficiente, cadenas de razonamiento débiles o políticas de ejecución defectuosas.

2. Metodología: El Marco SANA

Los autores proponen SANA (Marco de Ablación de Navegación de Agentes de Búsqueda), un marco de ablación diagnóstico diseñado para deconstruir las precisiones de las tareas de EQA de extremo a extremo en fallos de componentes específicos.

2.1 Perfilado de Tareas

SANA transforma las tareas de EQA resueltas en perfiles de tiempo de ejecución que contienen información de verdad fundamental (ground-truth):

1. Secuencia de Fuentes: La secuencia ordenada de conjuntos de datos dorados ($D_{gold}$) requeridos para cada subpregunta.
2. Subpreguntas Sanitizadas: Una secuencia de subpreguntas ($\tilde{Q}$) donde se eliminan las menciones directas de nombres de conjuntos de datos para evitar la filtración de objetivos de búsqueda (p. ej., reemplazando "nypd_crimes" por "encontrar informes de crímenes reportados por el NYPD").
3. Registros de Ejecución: Especificaciones del conjunto de datos, la intención de análisis, el código/consulta correcto y la respuesta intermedia para cada paso que requiera análisis de datos.

2.2 Ablación Basada en la Intención

SANA aísla la contribución de los componentes del sistema reemplazándolos con versiones idealizadas mientras preserva la Política de Acción del agente. El marco define tres ejes para la ablación:

• Ablación de Planificación: El agente recibe la secuencia de subpreguntas sanitizadas ($\tilde{Q}$) y el objetivo de cada paso, pero aún debe formular consultas de búsqueda y ejecutar el análisis. Esto prueba si el agente puede seguir una descomposición correcta.
• Ablación de Búsqueda: La herramienta de búsqueda estándar se reemplaza con un operador de tipo oráculo ($f_{ideal}$) que restringe el espacio de búsqueda estrictamente a $D_{gold}$. El agente aún decide qué buscar y cuándo, pero la precisión de la recuperación es perfecta.
• Ablación de Análisis de Datos: La herramienta de ejecución estándar se reemplaza con $g_{ideal}$, que verifica si la intención del agente coincide con el registro de ejecución anotado. Si coinciden, devuelve la respuesta intermedia verificada; de lo contrario, utiliza un modelo más fuerte para generar el código correcto para la intención declarada.

2.3 Configuración de Evaluación

El marco se aplicó a dos benchmarks:

• LakeQA: Un entorno de lago de datos a gran escala (~40 millones de documentos, 135 tareas).
• KramaBench (Convertido): Un entorno de datos a conocimiento a menor escala (1,764 fuentes, 83 tareas) adaptado para requerir descubrimiento de datos.

Los experimentos se realizaron con dos tamaños de modelo (gpt-5.4-nano y gpt-5-mini) bajo presupuestos fijos ($B=30$ llamadas a herramientas) y tiempos de ejecución. El estudio compara las configuraciones Naive (línea base), Standard (mejores prácticas actuales) e Ideal (ablación).

3. Resultados Clave

3.1 Hallazgos de LakeQA (Descubrimiento a Gran Escala)

• La Búsqueda es un Cuello de Botella Mayor: La búsqueda ideal (recuperación de oráculo) mejoró la coincidencia semántica (SM) en un +14.1% para gpt-5.4-nano y un +13.3% para gpt-5-mini sobre BM25. La precarga de fuentes doradas produjo ganancias aún mayores (+28.9% para nano), lo que indica que los agentes más débiles luchan significativamente con la navegación de búsqueda (formulando consultas y comprometiéndose con las fuentes).
• El Análisis de Datos es un Cuello de Botella Consistente: El análisis de datos ideal mejoró la SM en un +18.5% para gpt-5-mini, sugiriendo que los modelos más fuertes a menudo identifican la intención correcta pero fallan en la implementación (generación de SQL/Python).
• La Planificación es Menos Limitante: La planificación ideal proporcionó ganancias modestas (+3.0% para nano, +9.6% para mini). El análisis reveló que los agentes a menudo pueden generar planes similares a la descomposición dorada, pero fallan al seguirlos durante la ejecución (deriva de trayectoria).
• Fallos de Política Residuales: Incluso con todos los componentes idealizados, permanece una brecha (p. ej., 76.3% de SM para gpt-5-mini frente al 100% potencial). Los fallos incluyen la alucinación de respuestas finales, el desperdicio de presupuesto en bucles o la falta de validación de la evidencia intermedia.

3.2 Hallazgos de KramaBench (Análisis a Menor Escala)

• El Análisis de Datos Domina: En este entorno, el análisis de datos fue el cuello de botella principal, mejorando la SM en un +24.1% (nano) y un +14.5% (mini) cuando se idealizó.
• La Búsqueda es Menos Crítica: Las mejoras en la búsqueda fueron marginales (+2.4% a +6.0%), lo que refleja la escala menor y la naturaleza de las tareas, que están más cerca de los flujos de datos a conocimiento que del descubrimiento amplio.
• Impacto de la Planificación: La ablación de la planificación mostró ganancias relativas más significativas para el modelo más débil (nano) que para el más fuerte, sugiriendo que la descomposición explícita ayuda más a los agentes más débiles en tareas de análisis estructurado.

3.3 Análisis de Fallos

La auditoría de las trazas fallidas reveló perfiles de fallo distintos:

• gpt-5.4-nano: Los fallos se distribuyeron entre el direccionamiento de fuentes, la divergencia de planes, el desperdicio de turnos (bucles repetidos) y el cese prematuro.
• gpt-5-mini: Los fallos se concentraron en la ejecución/computación (57.2% de los fallos) y la finalización (35.7%). Este modelo típicamente alcanzaba la evidencia correcta pero fallaba al implementar la operación correctamente o al sintetizar la respuesta final.

4. Contribuciones

1. Marco SANA: Un marco de ablación diagnóstica que convierte las tareas de EQA resueltas en perfiles de tiempo de ejecución para construir interfaces idealizadas para la planificación, la búsqueda y el análisis de datos, preservando la política del agente.
2. Evaluación Controlada: Una evaluación sistemática en LakeQA y el KramaBench convertido que aísla las contribuciones de extremo a extremo de la búsqueda, la planificación y la ejecución bajo condiciones fijas.
3. Diagnóstico Empírico: Evidencia de que el análisis de datos es una limitación consistente en todos los benchmarks, la búsqueda es una limitación importante en el descubrimiento a gran escala, y los fallos de política residuales (control de trayectoria, validación, criterios de parada) persisten incluso cuando los componentes se idealizan.

5. Significado y Reivindicaciones

El artículo sostiene que SANA proporciona un cambio necesario de la evaluación de "caja negra" de precisión de extremo a extremo hacia un enfoque diagnóstico que identifica modos de fallo específicos en los agentes de EQA.

• Deconstrucción de la Precisión: Los autores argumentan que la precisión de extremo a extremo por sí sola no puede distinguir entre un fallo en la búsqueda, la planificación o la política del agente. SANA permite comparaciones sistemáticas del progreso en estas áreas específicas.
• Política vs. Calidad del Componente: Los resultados sugieren que las mejoras futuras en los agentes de EQA requieren más que solo mejores recuperadores o una generación de código más fuerte. La "brecha residual" indica la necesidad de políticas de tiempo de ejecución más fuertes que puedan rastrear el progreso de los subobjetivos, comprometerse con fuentes validadas, recuperarse de derivas de trayectoria y verificar la evidencia intermedia antes de enviar una respuesta final.
• Cuellos de Botella Dependientes del Contexto: El artículo enfatiza que los cuellos de botella no son universales; cambian según la estructura del benchmark (p. ej., la búsqueda domina en grandes lagos, mientras que el análisis domina en tareas más pequeñas impulsadas por el conocimiento).

Limitaciones Reconocidas por los Autores:

• Aproximación Diagnóstica: Las herramientas ideales son aproximaciones de oráculos; pueden no dar crédito a fuentes válidas alternativas fuera del perfil.
• Alcance de la Tarea: Las conclusiones son específicas para las suites de tareas evaluadas (LakeQA y KramaBench) y pueden no generalizarse a todos los benchmarks de agentes.
• Dependencia de Jueces: Varias métricas (coincidencia semántica, trayectoria de plan, etiquetado de fallos) dependen de jueces de LLM, lo que puede introducir falsos positivos/negativos.