Resumen Técnico: Baikal – Búsqueda Estructurada para Investigación Profunda sobre Lagos de Datos

1. Formulación del Problema

El artículo aborda el desafío de la investigación profunda sobre lagos de datos, definida como la tarea en la que un agente autónomo debe sintetizar un informe investigando selectivamente evidencia distribuida a través de miles de tablas heterogéneas y pasajes de texto no estructurados.

La dificultad central radica en la naturaleza de búsqueda con presupuesto del problema. Dado un presupuesto fijo de $B$ pasos (donde cada paso genera un hallazgo), el agente debe:

1. Recuperar evidencia relevante para la consulta de una colección masiva y heterogénea ($L = T \cup P$).
2. Procesar la evidencia mediante razonamiento.
3. Crucialmente: Identificar un conjunto diverso de aspectos salientes para la consulta sin sobreexplotar evidencia localmente prometedora.

Los métodos existentes de recuperación y generación iterativa suelen fallar aquí porque dependen de la acumulación de contexto para cambiar las creencias del modelo. Esto sesga al agente hacia evidencia localmente prometedora, lo que conduce a una pobre cobertura de regiones semánticas distintas y a informes de baja calidad que omiten aspectos clave de la consulta. Los autores formalizan el objetivo como la maximización del puntaje de calidad promedio de los hallazgos a lo largo del presupuesto, donde el puntaje de calidad ($\rho$) es un producto de cuatro dimensiones: veracidad (groundedness), relevancia, distinción y utilidad.

2. Metodología: El Marco de Trabajo Baikal

Baikal redefine la investigación profunda como un problema de bandit de múltiples brazos con presupuesto sobre un espacio semántico estructurado. El marco opera en tres fases principales:

A. Añadir Estructura (Precomputación)

En lugar de buscar en tablas y pasajes brutos, Baikal primero organiza el lago de datos en regiones semánticas:

• Embedding: Un único codificador (p. ej., Qwen3-Embedding) incrusta tanto metadatos de tablas (título, esquema) como pasajes de texto en un espacio vectorial compartido.
• Clustering: Utilizando BERTopic (UMAP para reducción de dimensionalidad + HDBSCAN para clustering), el sistema agrupa miles de elementos en $|R|$ regiones semánticas.
• Definición de Región: Cada región $c$ contiene un subconjunto de tablas $T_c$ y pasajes $P_c$, junto con una descripción. Las regiones están diseñadas para caber dentro de la ventana de contexto de un agente mientras permanecen tópicamente coherentes. Esto reduce el espacio de búsqueda de $|L|$ elementos a $|R|$ "brazos".

B. Búsqueda e Investigación (Tiempo de Ejecución)

Para una consulta $q$ dada, Baikal realiza una búsqueda secuencial sobre las regiones candidatas $C(q)$:

1. Selección de Candidatos: Se incrusta la consulta y se recuperan los top-$k$ tablas/pasajes. Cualquier región que se traslape con estos top-$k$ elementos se retiene como candidata. Esto asegura que recuperar un elemento traiga consigo toda su región semántica al alcance.
2. Política de Selección de Región: Una política $\pi$ selecciona una región $c \in C(q)$ para investigar. El artículo evalúa varias políticas:
   • Aleatoria: Muestreo uniforme.
   • Guiada por LLM: Un LLM selecciona basándose en las descripciones de las regiones y el historial.
   • Bayesiana $\epsilon$-greedy: Explota la región con la media estimada de recompensa más alta, con una probabilidad $\epsilon$ de explorar mediante softmax sobre las medias posteriores.
   • Bayes-UCB: Selecciona la región con el cuantil superior posterior más alto, equilibrando exploración y explotación.
   • Nota: Las políticas Bayesianas se inicializan con prioris elicitadas por LLM para evitar desperdiciar el presupuesto en una exploración sin información.
3. Generación y Selección de Subpreguntas: Dentro de la región seleccionada, un LLM genera hasta $K$ subpreguntas analíticas (p. ej., conteos, comparaciones) fundamentadas en el contenido de la región. Se selecciona una subpregunta (aleatoriamente o mediante una política de LLM) para ser respondida.
4. Ejecución: Un agente de codificación (p. ej., OpenCode) ejecuta la subpregunta utilizando SQL con alcance de región contra una base de datos SQLite de las tablas de la región y lee sus pasajes. El agente también puede realizar una expansión de región (usando grep para obtener pasajes adicionales relevantes) si la región inicial es insuficiente.
5. Retroalimentación de Recompensa: Un juez LLM califica el hallazgo resultante según las cuatro dimensiones de la rúbrica. Este puntaje sirve como la recompensa $r_t$ para actualizar la estimación de valor de la política para esa región (usando un esquema de pseudo-conteo para actualizaciones Bayesianas).

C. Síntesis del Informe

Una vez agotado el presupuesto o cuando no quedan candidatos, los hallazgos recolectados se sintetizan en un informe final, con afirmaciones atribuidas a fuentes de evidencia específicas.

3. Contribuciones Clave

1. Formalización: Presentar la investigación profunda sobre lagos de datos como un problema de búsqueda con presupuesto sobre regiones semánticas estructuradas, abordando explícitamente el compromiso entre exploración y explotación.
2. Marco de Trabajo Baikal: Un sistema que agrupa datos heterogéneos en regiones semánticas y utiliza la toma de decisiones secuencial (políticas de bandit) para guiar la recolección de evidencia, en lugar de depender únicamente de la acumulación de contexto iterativo.
3. Nuevo Banco de Pruebas y Evaluación: La construcción de consultas de investigación profunda sobre los lagos de datos HybridQA (10,993 tablas) y TAT-QA (2,757 tablas), acompañadas de una rúbrica práctica para evaluar veracidad, relevancia, distinción y utilidad utilizando jueces LLM.
4. Validación Empírica: Demostrar que las mejoras provienen del procedimiento de búsqueda (asignación secuencial del presupuesto) y no solo de la estructura. Proporcionar un agente de codificación fuerte con las mismas regiones no replica el rendimiento de Baikal.

4. Resultados

Los autores evaluaron Baikal contra bases de comparación sólidas, incluyendo un agente OpenCode (con y sin artefactos de recuperación/clustering) y DeepSearcher, en 15 consultas por lago de datos con un presupuesto de 50 pasos.

• Rendimiento: La mejor configuración de Baikal (Bayes-UCB en HybridQA; Random/Bayes $\epsilon$-greedy en TAT-QA) mejoró los puntajes de los informes en un 28% en HybridQA y un 36% en TAT-QA respecto a las bases de comparación más fuertes.
• Dimensiones de Calidad: Baikal mejoró significativamente la veracidad (0.92 vs. ~0.72 para las bases de comparación) y la distinción (0.86 vs. ~0.62), que son críticas para evitar contenido repetitivo o alucinado. Aunque las bases de comparación a veces obtuvieron puntajes más altos en relevancia, su falta de veracidad resultó en puntajes generales más bajos debido a la naturaleza multiplicativa de la rúbrica.
• Eficiencia de Búsqueda: Las políticas de Baikal se separaron de las bases de comparación dentro de los primeros 10 pasos. Aunque la selección aleatoria funcionó sorprendentemente bien (debido a la estructura misma), las políticas Bayesianas mostraron ventajas claras a medida que aumentaba el presupuesto (p. ej., Bayes-UCB ganó un 8.8% sobre la aleatoria con un presupuesto de 200).
• Análisis de Costo: Baikal incurrió en costos totales más altos por consulta porque produjo más hallazgos válidos (44.6 vs. 30.9 para OpenCode). Sin embargo, el costo por hallazgo válido fue comparable al de las bases de comparación, lo que indica que el sobrecosto compra evidencia utilizable en lugar de pasos fallidos costosos.

5. Significado y Afirmaciones

El artículo afirma que la exploración semántica estructurada es esencial para la investigación sistemática sobre lagos de datos heterogéneos. La contribución principal no es solo el agrupamiento de datos, sino la gestión explícita del proceso de búsqueda bajo un presupuesto fijo.

• Estructura vs. Búsqueda: Los autores enfatizan que proporcionar a un agente fuerte las mismas regiones estructuradas (recuperación + clustering) no transfiere las ganancias de rendimiento. La mejora proviene de la política de toma de decisiones secuenciales que asigna el presupuesto entre las regiones para maximizar la cobertura y la distinción.
• Escalabilidad: El enfoque maneja la naturaleza de "largo horizonte" de la investigación profunda reduciendo el espacio de búsqueda a regiones semánticas, lo que permite al agente cubrir partes distintas del lago que los métodos basados en contexto iterativo suelen pasar por alto.
• Reproducibilidad: La rúbrica de evaluación (veracidad, relevancia, distinción, utilidad) fue validada para el acuerdo entre LLM, mostrando una alta consistencia en la puntuación de distinción y veracidad.

En conclusión, Baikal demuestra que tratar un lago de datos como un espacio estructurado para ser buscado, en lugar de un corpus del cual recuperar información, ofrece una base robusta para tareas de investigación profunda, particularmente cuando la evidencia está distribuida a través de miles de tablas y pasajes.