Resumen Técnico: LAKEQA – Un Benchmark de QA Exploratorio sobre un Data Lake de Escala de Millones

Definición del Problema

Los modelos de lenguaje de gran escala (LLMs) recientes han demostrado un progreso significativo en la respuesta a preguntas (QA) basada en la lectura, donde la evidencia se proporciona explícitamente o es trivialmente recuperable de corpus estrechos y curados. Sin embargo, los escenarios del mundo real a menudo implican una Respuesta a Preguntas Exploratoria (EQA) sobre lagos de datos heterogéneos. En estos entornos, la evidencia no se proporciona de antemano; en su lugar, se encuentra dispersa en colecciones masivas de documentos estructurados (por ejemplo, CSV, JSON) y no estructurados (por ejemplo, PDF, HTML). Resolver tales problemas requiere que los agentes busquen iterativamente archivos relevantes, descubran entidades intermedias y razonen a través de múltiples pasos dependientes antes de formular una respuesta final.

Los benchmarks actuales no logran capturar esta complejidad de forma simultánea. Los conjuntos de datos existentes poseen o bien una alta intensidad de búsqueda (grandes colecciones de documentos) pero baja profundidad de razonamiento (pocos saltos), o bien una alta profundidad de razonamiento pero operan sobre espacios de búsqueda pequeños y curados. Existe una falta de un benchmark integral que exija tanto una alta intensidad de búsqueda (escanear millones de documentos) como una alta intensidad de razonamiento (razonamiento de largo horizonte y de múltiples saltos con pasos intermedios implícitos).

Metodología

1. Construcción del Benchmark (LAKEQA)

Los autores introducen LAKEQA, un benchmark diseñado para evaluar las capacidades de EQA sobre un data lake masivo y heterogéneo.

• Escala del Data Lake: El benchmark se construye sobre una colección de aproximadamente 9.5 TB de datos, que comprende alrededor de 40 millones de documentos únicos.
• Fuentes: Los datos se agregan de dos fuentes de datos abiertos complementarias:
  • Wikipedia: Procesada a partir del último volcado (dump) en inglés para servir como un corpus de texto canónico.
  • Data.gov: Recolectado del archivo Harvard LIL data.gov, proporcionando diversos artefactos gubernamentales públicos débilmente estandarizados (tablas estructuradas, metadatos, informes).
• Diseño de Tareas: Cada tarea es una pregunta compleja en lenguaje natural que requiere que un agente:
  1. Identifique documentos relevantes del conjunto de 40 millones.
  2. Extraiga hechos de apoyo.
  3. Encadene pasos de razonamiento donde el resultado de un paso sirva como la condición de entrada para el siguiente.
• Proceso de Anotación: Las tareas se construyen mediante un proceso de humano en el bucle (human-in-the-loop) que involucra a expertos de nivel doctorado y estudiantes de grado avanzados. El proceso implica:
  • Construcción de Subpreguntas: Los anotadores derivan hechos de los documentos y formulan subpreguntas, encadenándolas de tal manera que $Answer_i$ sea un prerrequisito para $Question_{i+1}$.
  • Reescritura de Preguntas: La cadena se reescribe en una única pregunta de sonido natural que oculta los identificadores de los documentos para evitar el descubrimiento trivial.
  • Control de Calidad: Cada tarea se somete a una revisión de múltiples etapas por parte de anotadores independientes para asegurar la validez lógica, la naturalidad y que la respuesta final esté determinada de forma única por la evidencia.

2. Configuración Experimental

• Modelos Evaluados: Se probaron siete LLMs de frontera, incluyendo modelos propietarios (OpenAI GPT-5.2, GPT-5-mini, Anthropic Claude Haiku/Sonnet/Opus 4.5) y modelos de código abierto (DeepSeek-R1, Llama-3.3-70B).
• Entorno del Agente: Los modelos fueron equipados con un conjunto de herramientas que imita flujos de trabajo de análisis de datos realistas, incluyendo:
  • search(query): Búsqueda por palabra clave y semántica sobre el data lake.
  • list_files, download, inspect: Gestión de archivos y previsualización.
  • execute_code: Ejecución de Python para análisis de datos locales (filtrado, agregación).
• Baselines: Se probaron baselines de Generación Aumentada por Recuperación (RAG) utilizando búsqueda BM25 e Híbrida (BM25 + Vector) sobre subconjuntos muestreados del data lake (10k–50k documentos).
• Métricas: El rendimiento se midió utilizando Exact Match (EM) para la precisión de extremo a extremo, junto con Precisión, Recall y F1 a nivel de documento para la efectividad de la búsqueda.

Resultados Clave

1. Brecha de Rendimiento

Incluso con acceso a herramientas de búsqueda e inspección, los LLMs de última generación tienen dificultades significativas con LAKEQA:

• Baja Precisión: El modelo con mejor desempeño, Claude-sonnet-4.5, logró solo un 32.87% de Exact Match en el benchmark completo (LAKEQA-full). GPT-5.2 obtuvo un 18.37%, y los modelos de código abierto tuvieron un desempeño aún menor.
• Relación Costo-Precisión: Aunque los modelos más grandes (por ejemplo, Claude Opus) mostraron una mayor precisión en el mini-set (45.93%), incurrieron en costos y tiempos de ejecución significativamente mayores. Los modelos más pequeños y económicos a menudo fallaron debido a una generación de código ineficiente o un razonamiento pobre.

2. Análisis de Fallos

El análisis de trayectoria reveló que el cuello de botella principal es el descubrimiento de documentos, no el razonamiento sobre la evidencia encontrada:

• Fallo de Búsqueda: Los modelos fallaron frecuentemente al recuperar los documentos "oro" necesarios para responder la pregunta. El Recall en el conjunto recuperado ($D_{ret}$) fue bajo, lo que indica que los agentes no pudieron hacer emerger los archivos relevantes.
• Fallo de Exploración: Incluso cuando se recuperaron documentos relevantes, los agentes a menudo fallaron al inspeccionarlos o analizarlos. Por ejemplo, en LAKEQA-full, Claude-sonnet-4.5 logró un 42.36% de recall en los documentos recuperados, pero solo un 13.04% de recall en los documentos accedidos ($D_{acc}$), lo que sugiere una desconexión entre la recuperación y la exploración efectiva.
• Acumulación de Errores: El rendimiento se degradó drásticamente a medida que aumentaba el número de saltos de razonamiento. Las tareas que requerían >18 saltos experimentaron una caída drástica en la precisión, indicando que la exploración de largo horizonte amplifica los errores compuestos de una recuperación imperfecta y de la omisión de restricciones.

3. Baselines de RAG

La adición de herramientas de recuperación a subconjuntos reducidos de documentos (10k–50k) mejoró ligeramente el rendimiento, pero no resolvió el problema. Los resultados sugieren que la EQA no es una tarea de recuperación de un solo paso; los agentes deben inferir información faltante de forma iterativa, formular nuevas consultas y decidir cuándo la evidencia es suficiente, una capacidad de la que carecen los sistemas RAG actuales.

Significancia y Reivindicaciones

El artículo posiciona a LAKEQA como un banco de pruebas realista para desarrollar agentes de LLM capaces de operar en entornos de data lake modernos. Su significancia radica en:

1. Cerrar la Brecha: Es el primer benchmark que escala simultáneamente tanto la intensidad de búsqueda (40M de documentos) como la intensidad de razonamiento (cadenas de múltiples saltos), abordando una limitación en trabajos previos como OTT-QA (alta búsqueda, bajo razonamiento) y MuSiQue (alto razonamiento, baja búsqueda).
2. Identificar Cuellos de Botella: Los experimentos demuestran que los agentes de LLM actuales aún no son capaces de una búsqueda y exploración iterativa efectiva. El principal modo de fallo es la incapacidad de descubrir y abrir los documentos de evidencia correctos, más que la incapacidad de razonar una vez encontrada la evidencia.
3. Relevancia en el Mundo Real: Al utilizar datos gubernamentales y de Wikipedia heterogéneos, LAKEQA refleja la realidad desordenada y no estructurada de los data lakes del mundo real, yendo más allá de los corpora curados para desafiar a los agentes con la complejidad de descubrir evidencia en la oscuridad.

Los autores concluyen que, si bien los LLMs han avanzado en la comprensión de lectura, la búsqueda y la exploración efectivas siguen siendo los principales cuellos de botella para resolver preguntas complejas de dominio abierto sobre lagos de datos a gran escala.