Resumen Técnico: LAKEQUEST

Definición del Problema

Los sistemas modernos de Respuesta a Preguntas (QA) han alcanzado un éxito significativo en corpora curados y homogéneos (por ejemplo, comprensión de lectura, recuperación de texto de dominio abierto). Sin embargo, el conocimiento empresarial y científico del mundo real rara vez se almacena como texto plano alineado con esquemas. En su lugar, reside en lagos de datos (data lakes): colecciones heterogéneas y débilmente estructuradas de tablas, pasajes y metadatos vinculados.

Los benchmarks actuales no logran evaluar el rendimiento de extremo a extremo requerido para navegar estos entornos. O bien abstraen el ruidoso proceso de descubrimiento, o bien evalúan el razonamiento sobre datos que ya han sido limpiados. En consecuencia, existe una falta de entornos de evaluación que estresen simultáneamente el descubrimiento de fuentes, la composición entre fuentes y la atribución fiel sobre corpora heterogéneos y débilmente estructurados.

Metodología: El Marco de Trabajo LAKEQUEST

Para abordar esta brecha, los autores presentan LAKEQUEST, un benchmark validado por humanos diseñado para evaluar el pipeline de recuperación y síntesis de extremo a extremo sobre lagos de datos realistas.

1. Construcción del Conjunto de Datos

LAKEQUEST abarca tres dominios diversos, preservando su heterogeneidad estructural nativa en lugar de aplanarlos en una representación uniforme:

• Metadatos de IA/ML: Un repositorio de tarjetas de modelos y conjuntos de datos del Hugan Face Hub, centrado en la desambiguación de entidades y el encadenamiento de relaciones sobre metadatos débilmente vinculados.
• Banca Minorista: Un lago sintético de alta fidelidad derivado de esquemas relacionales inspirados en la banca abierta (clientes, cuentas, transacciones, políticas), que evalúa la toma de decisiones fundamentada bajo estrictas restricciones de política.
• Información Biomédica de Fármacos: Un corpus híbrido que fusiona registros XML estructurados de DrugBank 6.0 con literatura científica de acceso abierto de PubMed, estresando la integración de evidencia multimodal.

El conjunto de datos contiene 9.846 pares de QA validados por humanos. Cada pregunta está emparejada con una respuesta de referencia y punteros de evidencia exactos y conscientes de la modalidad (por ejemplo, filas de tablas específicas o rangos de pasajes).

2. Pipeline de Construcción

Los autores emplean un pipeline de cinco etapas reproducible para sintetizar y validar el conjunto de datos:

1. Instanciación del Lago: Preservando el esquema nativo del dominio.
2. Síntesis de Candidatos: Utilizando un modelo de lenguaje fuerte (GPT-5) para generar preguntas, respuestas y punteros de evidencia a partir de subgrafos muestreados.
3. Filtrado Estructural: Eliminación programática de salidas malformadas.
4. Filtrado Semántico: Uso de un LLM-as-a-judge para rechazar candidatos triviales que puedan responderse mediante memoria paramétrica por sí solos.
5. Validación Humana: Revisión humana rigurosa para verificar la Respondedilidad (¿puede la pregunta responderse exclusivamente usando la evidencia citada?) y la Atribución (¿es la respuesta fiel al texto citado?).

3. Taxonomía de Tareas

El benchmark organiza las tareas en cuatro familias de razonamiento:

• Búsquedas de fuente única: Extracción de hechos de objetos aislados.
• Composición entre fuentes: Combinar hechos a través de objetos heterogéneos (por ejemplo, unir una política con una transacción).
• Razonamiento multi-salto (Multi-hop): Inferencia encadenada sobre entidades intermedias o metadatos vinculados.
• Recuperación basada en anclas: Razonamiento sobre entidades relacionadas en medio de distractores semánticamente cercanos.

4. Protocolo de Evaluación

La evaluación aisla el descubrimiento de la fuente (recuperación) de la síntesis cross-modal (generación). Las métricas incluyen:

• Exactitud (Accuracy): Corrección binaria.
• Fidelidad (Atribución): Si la respuesta predicha está respaldada por el conjunto de evidencia predicho (estilo AIS).
• Calidad de Recuperación: Recall del oro (gold evidence) consciente del dominio.
• Uso de Tokens: Huella de tokens de extremo a extremo.

Los baselines evaluados incluyen Zero-Shot prompting, RAG estándar y métodos de uso de herramientas agénticos (XMODE, RESP).

Resultados Clave y Análisis

Las evaluaciones de los baselines a través de los tres dominios revelan que una recuperación de alta calidad no garantiza un razonamiento correcto, y los modos de falla dependen fuertemente del dominio.

• Dominio de IA/ML (Cuello de botella de Descubrimiento): La calidad de la recuperación es el principal cuello de botella. Mientras que RAG logra un recall modesto (ej., 0.09 para preguntas de Modelos), la exactitud es mayor (0.35), lo que sugiere que los lagos de datos contienen redundancia factual. Los sistemas a menudo pueden sintetizar respuestas correctas a partir de evidencia válida alternativa incluso si se pierde el artefacto "oro" específico. Sin embargo, navegar la metadatos débilmente vinculados para la desambiguación de entidades sigue siendo difícil.
• Dominio de Banca Minorista (Fallo de Fundamentación): El principal fallo no es la recuperación, sino la fundamentación (grounding). Los sistemas agénticos (XMODE) logran un alto recall de políticas (>0.85) pero luchan por fundamentar esas reglas abstractas contra libros contables operativos específicos para ejecutar decisiones fieles. Los modelos zero-shot a veces logran una alta exactitud al confiar en priors paramétricos de principios financieros, pero fallan en la métrica de fidelidad (atribución), resaltando el riesgo de respuestas no auditables en entornos empresariales.
• Dominio de Fármacos (Cuello de botella de Síntesis): Este dominio se caracteriza como un desafío de síntesis cross-modal más que uno limitado por la recuperación. Aunque la recuperación de pasajes y tablas suele ser fuerte, la exactitud de extremo a extremo cae significativamente cuando se requiere razonamiento conjunto sobre evidencia estructurada y no estructurada (por ejemplo, la exactitud de Pasaje-Tabla es de 0.66 a pesar del alto recall individual). El razonamiento multi-salto sobre evidencia biomédica estructurada sigue siendo sustancialmente más difícil que las búsquedas en una sola tabla.

Estudio de Ablación: Cuando se les proporciona evidencia de oro perfecta (Context Bundle), la exactitud de IA/ML se satura en 98.7%, confirmando que es un problema de descubrimiento. En contraste, la exactitud del lago de Fármacos solo alcanza el 62.5% con evidencia perfecta, indicando que el razonamiento cross-modal sobre tablas biomédicas densas está fundamentalmente roto en los LLM actuales, independientemente del rendimiento de recuperación.

Significancia y Contribuciones

El artículo reclama tres contribuciones primarias:

1. El Benchmark LAKEQUEST: Un conjunto de datos validado por humanos de más de 9.8k preguntas que evalúa el razonamiento fundamentado a través de tres lagos de datos heterogéneos (IA/ML, Banca Minorista, Fármacos Biomédicos).
2. Un Marco de Construcción Reproducible: Un protocolo de cinco etapas para sintetizar, filtrar y validar pares de QA con trazas de evidencia explícitas sobre corpora débilmente estructurados.
3. Análisis Empírico de QA Moderno: Evaluaciones extensas de baselines que revelan que una alta calidad de recuperación no se traduce consistentemente en respuestas precisas y fieles, especialmente cuando se requiere composición multi-paso o entre fuentes.

Los autores posicionan a LAKEQUEST como un banco de pruebas necesario para impulsar la próxima generación de sistemas de QA agénticos y fiables, capaces de un descubrimiento riguroso y una atribución fiel sobre lagos de datos del mundo real. Enfatizan que el benchmark está destinado a ser un recurso de evaluación rigurosa, no un sustituto de la experiencia de dominio o la supervisión humana en procesos de decisión de alto riesgo.