🤖 AI

BatchDAG: LLM-Planned Execution Graphs for Scalable Ad-Hoc Analysis Over Enterprise Data

BatchDAG es un sistema escalable que aprovecha los LLM para generar grafos acíclicos dirigidos tipados para la orquestación de operaciones por lotes paralelas y conscientes de las entidades, permitiendo un análisis ad-hoc eficiente y preciso sobre grandes conjuntos de datos empresariales al tiempo que reduce significamente las alucinaciones y los costos en comparación con los enfoques de agentes secuenciales.

Autores originales: Anupreet Walia

Publicado 2026-07-22

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anupreet Walia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot superinteligente que puede leer un solo libro y decirte exactamente qué pasó en él. Este robot es excelente resumiendo una sola historia, pero ¿qué pasa si le pides que lea 50,000 libros y responda una pregunta como: "¿Alguna vez hablaron de dinero todos los personajes de estos libros?"? Si simplemente le entregas todos los libros a la vez, su cerebro explotaría por el exceso de información. Si le pides que los lea uno por uno, tardaría años en terminar. Este es el problema que enfrentan los "Modelos de Lenguaje Extensos" (LLM) modernos —los cerebros de IA detrás de muchos chatbots—. Son brillantes comprendiendo documentos individuales, pero tienen dificultades cuando se les pide analizar colecciones masivas y desordenadas de datos (como miles de reuniones de negocios) de una sola vez. Se confunden, pierden el rastro de a qué reunión pertenece cada hecho y tardan una eternidad en terminar.

Entra BatchDAG, un nuevo sistema diseñado para solucionar esto actuando como un director maestro para una gigantesca orquesta. En lugar de dejar que el robot de IA intente hacer todo por sí mismo, BatchDAG utiliza a la IA solo para escribir una "receta" detallada o un "mapa" de lo que debe hacerse. Luego, un motor informático superrápido y que no "piensa" sigue ese mapa, realizando la matemática aburrida y repetitiva y las búsquedas de forma instantánea, y solo llama a la IA "inteligente" cuando es absolutamente necesario. ¿El resultado? El sistema puede responder preguntas complejas sobre decenas de miles de reuniones en menos de un minuto, costando centavos en lugar de dólares, y no inventa hechos.

El Problema: La trampa del "uno por uno"

Imagina intentar encontrar una conversación específica en una biblioteca de 50,000 transcripciones de reuniones. Si utilizas un agente de IA estándar (como un bot ReAct), este actúa como una persona caminando por la biblioteca, tomando un libro, leyéndolo, dejándolo, tomando el siguiente, y así sucesivamente.

La sobrecarga cerebral: Si intentas alimentar a la IA con todos los libros a la vez, alcanza un "límite de contexto": su memoria está demasiado llena para contenerlo todo.
La pérdida de atribución: Si la IA busca "dinero" en todos los libros, podría decirte: "¡Sí, se mencionó el dinero!", pero no podrá decirte qué reunión lo dijo. Pierde la conexión entre el hecho y la fuente.
El sumidero de tiempo: Hacer esto uno por uno es dolorosamente lento. Si tienes que verificar 3,000 acuerdos y cada uno toma unos segundos, estarás esperando horas.

La Solución: El "Planificador Maestro" y la "Línea de Ensamblaje"

BatchDAG cambia las reglas del juego al dividir el trabajo en dos roles distintos: el Planificador y el Trabajador.

1. El Planificador (El Arquitecto de IA)
Cuando haces una pregunta como: "¿Nuestro equipo de ventas hizo buenas preguntas en cada reunión?", la IA no empieza a leer todavía. En su lugar, actúa como un arquitecto dibujando un plano. Crea un Grafo Acíclico Dirigido (DAG).

Traducción simple: Imagina un diagrama de flujo hecho de bloques de Lego. Cada bloque es una tarea específica: "Buscar en la base de datos", "Filtrar los resultados", "Agrupar por reunión" o "Pedir a la IA que analice".
La IA escribe este mapa en un formato estricto y estructurado (JSON), no en frases desordenadas. Esto asegura que la computadora sepa exactamente qué hacer a continuación sin confundirse.

2. El Trabajador (El Motor Determinista)
Una vez dibujado el mapa, un motor informático superrápido toma el control. No necesita ser "inteligente"; solo necesita ser rápido y obediente.

Olas en paralelo: En lugar de realizar las tareas una por una, el motor observa el mapa y ve qué bloques pueden realizarse al mismo tiempo. Los ejecuta en "olas". Imagina la ola en un estadio: todos en la sección A se levantan a la vez, luego la sección B, luego la sección C. Esto hace que el proceso sea increíblemente rápido.
Pasos de Cero-LLM: La mayoría de los bloques en el mapa (como buscar en una base de datos o clasificar números) no necesitan a la IA; son realizados por código regular, que es gratuito e instantáneo. La IA solo es llamada cuando el mapa dice: "Ahora, usa tu cerebro para analizar este grupo específico".

El Ingrediente Secreto: "Agrupación Consciente de Entidades"

Este es el mayor truco de este artículo de investigación. Imagina que tienes 121 reuniones y cada reunión tiene 48 páginas de texto.

La forma antigua (A nivel de fila): Si alimentas a la IA con 5 páginas a la vez, podrías enviarle las primeras 5 páginas de la Reunión A, luego las siguientes 5 páginas de la Reunión A, y así sucesivamente. Terminas enviando a la IA la misma reunión 10 veces, pero cada vez solo ve un fragmento diminuto y confuso. Esto es un desperdicio y conduce a suposiciones erróneas.
La forma de BatchDAG (Consciente de la entidad): El sistema agrupa las páginas por ID de Reunión primero. Dice: "Aquí hay 5 reuniones completas, con todas sus páginas incluidas". Envía a la IA 5 historias completas en lugar de 100 fragmentos diminutos y desordenados.
El Resultado: Este agrupamiento simple redujo el número de veces que se tuvo que llamar a la IA en 47 veces. Es como enviar a un detective a investigar 5 casas enteras en lugar de 235 habitaciones diferentes dispersas por toda la ciudad.

Lo que encontraron

Los investigadores probaron este sistema con datos del mundo real de Brevian.ai, que incluye más de 50,000 reuniones y 3,000 acuerdos comerciales.

Velocidad: Analizaron 3,000 acuerdos en menos de 60 segundos. Un agente de IA estándar habría tardado unos 100 minutos en hacer el mismo trabajo.
Costo: Debido a que el sistema evita llamar al costoso cerebro de IA para cada paso, el costo disminuyó drásticamente. Una consulta simple a la base de datos costó solo $0.02. Incluso un análisis complejo de miles de reuniones costó solo unos $0.24 por consulta.
Precisión: El sistema fue tan bueno como un experto humano diseñando un flujo de trabajo personalizado (calificando 3.74 de 5 frente a 3.25 para un pipeline diseñado por humanos) y significativamente mejor que un agente de IA estándar.
Veracidad: Lo más importante, BatchDAG fue mucho mejor demostrando sus respuestas. Pudo señalar la evidencia exacta de la transcripción el 77% de las veces, en comparación con solo el 46–60% de otros métodos. Esto es crucial para las empresas que necesitan saber por qué una IA hizo una afirmación.

Por qué esto importa

El artículo sugiere que, para problemas de Big Data, no debemos simplemente hacer que la IA sea más "inteligente". En su lugar, debemos dejar de permitir que la IA haga el trabajo pesado. El mejor enfoque es dejar que la IA planifique el trabajo, y luego usar una máquina rápida, aburrida y confiable para hacer el trabajo.

Al utilizar datos estructurados (como filas ordenadas en una hoja de cálculo) en lugar de resúmenes desordenados entre pasos, el sistema también redujo las "alucinaciones" (hechos inventados) en un 27%. Los autores descubrieron que cuando la IA resume cosas en lenguaje natural entre pasos, tiende a perder el rastro de los detalles. Pero cuando pasa datos estructurados y ordenados, los hechos permanecen bloqueados en su lugar.

En resumen, BatchDAG no se trata de hacer que la IA sea un genio; se trata de convertir a la IA en un gran gerente que sabe exactamente cuándo llamar a los expertos y cuándo dejar que la línea de ensamblaje haga el trabajo. Convierte un proceso lento, costoso y propenso a errores en uno rápido, barato y confiable.

Resumen Técnico: BatchDAG

1. Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) sobresalen al analizar documentos individuales, pero tienen dificultades con consultas analíticas exhaustivas y trans-entidad sobre conjuntos de datos a escala empresarial. Al aplicarse a tareas que requieren el procesamiento de cientos o miles de entidades (por ejemplo, analizar 50,000 transcripciones de reuniones), los bucles estándar de un solo agente enfrentan tres limitaciones críticas:

Desbordamiento de la Ventana de Contexto: La agregación de resultados para miles de entidades excede incluso las ventanas de contexto comerciales más grandes (por ejemplo, 1.25M de tokens para 50k reuniones).
Pérdida de Atribución por Entidad: La búsqueda global de top- $N$ devuelve los resultados más relevantes en todas las entidades, pero falla al atribuir los hallazgos a acuerdos o reuniones específicos, lo que hace imposible responder preguntas del tipo "para cada entidad".
Latencia Lineal: Las llamadas a herramientas secuenciales causan que la latencia crezca proporcionalmente con el número de entidades, lo que vuelve el análisis de corpus extensos imprácticamente lento.

Los marcos de trabajo existentes (por ejemplo, ReAct, LangChain) delegan la planificación de la ejecución al LLM en cada paso, heredando cuellos de botella secuenciales y fallando en el soporte del paralelismo a nivel de entidad requerido para el análisis de corpus cruzados.

2. Metodología: Arquitectura BatchDAG

BatchDAG aborda estas limitaciones descomponiendo el problema en una fase de planificación y una fase de ejecución determinista. El sistema opera en tres fases distintas:

Fase 1: Planificación (DAG generado por LLM)

Un LLM planificador recibe la consulta en lenguaje natural del usuario, un esquema de fuentes de datos disponibles y una definición de tipos de operación. En lugar de generar una cadena de pensamiento lineal, el planificador genera un Grafo Acíclico Dirigido (DAG) Tipado.

Prompting Basado en Objetivos: El planificador es guiado por una arquitectura de prompt "basada en objetivos" que describe las características de costo y los modelos de datos de las operaciones, en lugar de depender de listas exhaustivas de reglas o ejemplos de pocos disparos (few-shot). Esto permite que el LLM razone desde los primeros principios sobre qué operaciones componer.
Restricciones de Salida: El planificador genera un DAG en JSON estructurado con pasos tipados y especificaciones de entrada explícitas (por ejemplo, referencias directas, uniones de mezcla). Un "filtro de especificación segura" elimina campos desconocidos para evitar que parámetros alucinados rompan el sistema.

Fase 2: Ejecución (Motor Determinista)

Un motor determinista evalúa el DAG utilizando paralelismo de ondas topológicas.

Operaciones Tipadas: El DAG consta de seis tipos de operación: sql, search, transform, fan out, analyze y compare.
- Costo Cero de LLM: sql, search, transform y compare se ejecutan mediante backends deterministas (DB relacional, DB vectorial, Python puro) requiriendo cero llamadas al LLM.
- Costo de LLM: Solo fan out (análisis por entidad) y analyze (agregación) invocan al LLM.
Flujo de Datos Inter-pasos Estructurado: Los pasos pasan filas JSON estructuradas entre ellos, nunca resúmenes en prosa. Esto preserva la procedencia, permite realizar uniones/filtros de estilo base de datos entre pasos y evita alucinaciones en etapas posteriores.
Loteo Consciente de la Entidad (Entity-Aware Batching): Una optimización clave donde las filas se agrupan por entidad lógica (por ejemplo, ID de reunión) antes del paso de fan out. Esto asegura que cada llamada al LLM procese un contexto de entidad completo en lugar de filas fragmentadas, reduciendo las llamadas al LLó en hasta un 47× en comparación con el loteo ingenuo a nivel de fila.
Ejecución por Ondas: Los pasos independientes se ejecutan en ondas paralelas. Los pasos de fan out generan tareas hijas paralelas con semántica de reintento por lote (si un lote falla, solo ese lote se reintenta).

Fase 3: Síntesis

Un LLM de síntesis compila los resultados estructurados del DAG en una respuesta final coherente con citas por entidad.

3. Contribuciones Clave

Formalismo de DAG Tipado: Un sistema para descomponer consultas analíticas ad-hoc en operaciones componibles con flujo de datos inter-pasos estructurado, separando la planificación de la ejecución.
Loteo Consciente de la Entidad: Un algoritmo que agrupa datos por entidad lógica antes del fan-out, logrando una reducción de 47× en las llamadas al LLM mientras asegura un contexto holístico.
Arquitectura de Planificación Basada en Objetivos: Un diseño de prompt que supera a las reglas exhaustivas y a los ejemplos de pocos disparos al razonar sobre los costos de las operaciones y los modelos de datos.
Despliegue en Producción: Un informe sobre el despliegue de BatchDAG en Brevian.ai, procesando consultas sobre más de 50,000 reuniones con costos y latencia medidos.
Evaluación Empírica: Un estudio controlado que demuestra que los DAG generados automáticamente alcanzan una calidad comparable a las canalizaciones diseñadas por expertos, con una procedencia superior y menos alucinaciones.

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos de desarrollo (46 reuniones, 62 acuerdos) y datos de producción (50,000+ reuniones).

Correctitud del Planificador: A través de 300 llamadas de planificación, el sistema alcanzó una tasa de DAG válido del 98.8%.
Calidad de la Respuesta: En 12 consultas intensivas de transcripciones, BatchDAG alcanzó una puntuación de calidad promedio de 3.74/5, comparable a una línea base diseñada por expertos (S5b, 3.25/5) y superando significativamente a un agente ReAct (S3, 3.09/5, $p<0.01$ ).
Procedencia: BatchDAG logró una tasa de evidencia de transcripción del 77%, significativamente mayor que la línea base (46–60%), asegurando respuestas auditables.
Control de Alucinaciones: Un estudio de ablación mostró que el uso de intermediarios JSON estructurados redujo las alucinaciones en un 27% en comparación con los resúmenes en prosa (aunque la significancia estadística fue marginal, $p=0.107$ , la tendencia fue consistente).
Eficiencia:
- Latencia: BatchDAG procesó un análisis de 3,000 acuerdos en ~60 segundos, comparado con un tiempo teórico de un agente secuencial de ~100 minutos.
- Costo: Los costos por consulta variaron de $0.02 (solo SQL) a $0.24 (fan-out intensivo de transcripciones). Comparado con una canalización fija, BatchDAG proyectó una ventaja de costo anual de 6.2× en una carga de trabajo de consultas mixtas.

5. Significado y Reivindicaciones

El artículo posiciona a BatchDAG no principalmente como una mejora de precisión sobre las canalizaciones optimizadas a mano, sino como una capa de orquestación de propósito general. Su importancia radica en:

Eliminación de la Ingeniería de Canalización: Reemplaza la necesidad de diseñar múltiples flujos de trabajo diseñados a mano para diferentes tipos de consulta con un único sistema que genera la estrategia de ejecución apropiada a partir del lenguaje natural.
Escalabilidad: Al restringir el uso de LLM a pasos específicos de fan out y analyze y aprovechar backends deterministas para el resto, permite el análisis escalable sobre conjuntos de datos empresariales que de otro modo serían demasiado grandes o costosos de procesar.
Cambio Arquitectónico: La idea central es que, para cargas de trabajo analíticas trans-entidad, el LLM debe planificar, no ejecutar. El sistema logra una alta validez y calidad tratando al LLM como un compilador de grafos de ejecución en lugar de un ejecutor directo de cada paso.

Los autores señalan limitaciones, incluyendo la falta de un benchmark establecido para consultas trans-entidad, la ausencia de una "fase de sondeo" para validar los DAG antes de la ejecución completa, y la incapacidad actual de extender dinámicamente los DAG durante la ejecución. Sin embargo, el sistema ya está en producción, procesando miles de reuniones con alta confiabilidad y eficiencia de costos.