Agentic DAG-Orchestrated Planner Framework for Multi-Modal, Multi-Hop Question Answering in Hybrid Data Lakes

O artigo apresenta o A.DOT, um framework agêntico que orquestra planos de execução em grafos acíclicos direcionados para responder a perguntas complexas em múltiplas etapas, integrando de forma eficiente dados estruturados e não estruturados em lagos de dados híbridos com maior precisão e rastreabilidade.

O essencial

Imagine que você é um detetive tentando resolver um caso complexo. Para achar a resposta, você precisa de duas coisas: um arquivo de banco de dados (com tabelas organizadas de números e nomes) e uma pilha de documentos soltos (contratos, e-mails e relatórios em texto livre).

O problema é que, na maioria das empresas hoje, os sistemas de Inteligência Artificial (IA) são como detetives desajeitados: eles pegam tudo o que têm, misturam tudo num monte e tentam adivinhar a resposta. Isso é lento, gasta muita energia e, pior, muitas vezes eles inventam fatos (alucinações) porque não sabem exatamente onde procurar cada pedaço da informação.

Aqui entra o A.DOT, o novo sistema criado pelos pesquisadores da IBM. Vamos explicar como ele funciona usando uma analogia simples: A Orquestra de Detetives.

1. O Chefe de Orquestra (O Planejador DAG)

Em vez de mandar todos os detetives correrem aleatoriamente, o A.DOT tem um Chefe de Orquestra inteligente. Quando você faz uma pergunta em linguagem natural (como: "Quanto pagamos em média para clientes do Texas e quais são os termos de pagamento?"), o Chefe não apenas busca a resposta.

Ele desenha um mapa de missão (chamado de DAG - um gráfico de tarefas conectadas).

• Passo 1: Ele diz ao "Detetive SQL": "Vá até o banco de dados e encontre apenas os clientes do Texas".
• Passo 2: Ele pega a lista de nomes que o Detetive SQL trouxe e diz ao "Detetive de Documentos": "Agora, vá até a pilha de contratos e leia apenas os termos de pagamento desses nomes específicos".

Isso é chamado de raciocínio multi-hop (múltiplos saltos). O sistema sabe que precisa ir do banco de dados para o documento e voltar, passo a passo, sem perder o foco.

2. A Validação de Segurança (O Inspetor de Obras)

Antes de qualquer detetive sair para a rua, o plano passa por um Inspetor de Obras.

• Ele verifica: "Esse plano faz sentido? Os nomes das tabelas existem? A lógica está correta?"
• Se o plano estiver errado, ele não deixa o sistema rodar. Ele avisa o Sistema DataOps (uma equipe de reparo automática) para consertar o erro antes que ele aconteça. É como um corretor ortográfico que impede você de enviar um e-mail com erros graves.

3. A Execução Paralela (O Tráfego Inteligente)

Aqui está a mágica da velocidade. Se duas tarefas não dependem uma da outra (ex: "buscar dados do Texas" e "buscar dados da Califórnia"), o A.DOT manda os dois detetives trabalharem ao mesmo tempo.

• Ele não espera um terminar para começar o outro.
• Ele só passa a informação necessária (como um número de ID) de um detetive para o outro, evitando carregar "mochilas pesadas" de dados desnecessários. Isso economiza tempo e evita vazamento de dados.

4. A Memória de Longo Prazo (O Cache)

Se você perguntar a mesma coisa de um jeito diferente ("Quero saber a média de pagamentos do Texas" vs "Mostre o valor médio pago por clientes do Texas"), o sistema reconhece que é a mesma pergunta.

• Ele usa um sistema de cache para reutilizar o mapa de missão que já foi desenhado e validado antes. É como ter um "atalho" no GPS que já sabe que o caminho está livre, economizando tempo de cálculo.

5. O Rastro de Papel (Prova e Confiança)

Diferente de outras IAs que dão uma resposta e somem, o A.DOT deixa um rastro de papel (evidência) de cada passo.

• Você pode clicar na resposta e ver exatamente: "Onde esse número veio? Qual linha da tabela? Qual parágrafo do contrato?".
• Isso é crucial para empresas, pois permite auditoria e garante que a resposta não foi inventada.

Os Resultados na Prática

Os pesquisadores testaram esse sistema em um "campo de treinamento" difícil (o dataset HybridQA), onde as perguntas exigem misturar tabelas e textos.

• O resultado: O A.DOT foi muito mais preciso e completo do que os sistemas atuais (como RAG ou ReAct). Ele acertou 14,8% mais e foi 10,7% mais completo nas respostas.
• O futuro: Esse sistema já está sendo testado para entrar no produto IBM Watsonx.data, ou seja, em breve, empresas poderão usá-lo para fazer perguntas complexas aos seus dados com a mesma facilidade de conversar com um humano, mas com a precisão de um engenheiro de dados.

Em resumo: O A.DOT transforma a busca por informações em uma operação militar bem coordenada, onde cada agente sabe exatamente o que fazer, quando fazer e como se comunicar, garantindo respostas rápidas, precisas e 100% verificáveis.

Resumo técnico

Resumo Técnico: Framework A.DOT para Resposta a Perguntas em Data Lakes Híbridos

1. O Problema

As empresas enfrentam crescentes desafios ao realizar consultas em linguagem natural (NL) sobre Data Lakes Híbridos, que combinam dados estruturados (tabelas SQL) e não estruturados (documentos, contratos, textos).

• Limitações das Soluções Atuais: Sistemas baseados em RAG (Retrieval-Augmented Generation) tradicionais frequentemente dependem de recuperação "força bruta" de cada repositório e fusão post-hoc.
• Deficiências Críticas:
  • Ineficiência e Vazamento de Dados: Recuperam grandes volumes de dados desnecessários, aumentando o custo computacional e o risco de expor informações sensíveis.
  • Falta de Raciocínio Multi-hop: Não suportam adequadamente consultas que exigem múltiplos passos de raciocínio, alternando entre fontes estruturadas e não estruturadas (ex: encontrar IDs em uma tabela e depois buscar detalhes em um documento vinculado).
  • Hallucinações e Falta de Rastreabilidade: A dependência excessiva de modelos NL2SQL/NL2Vector gera erros de interpretação e falta de trilhas de evidência claras para auditoria.

2. Metodologia: O Framework A.DOT

Os autores propõem o A.DOT (Agentic DAG-Orchestrated Transformer), um framework que compila consultas em linguagem natural em Planos de Execução em Grafo Acíclico Direcionado (DAG). O sistema coordena a recuperação concorrente em fontes heterogêneas, garantindo a passagem seletiva de resultados intermediários.

Arquitetura e Componentes Principais:

1. Gerador de Plano (Plan Generator):
   • Decompõe a consulta NL em um DAG onde cada nó representa uma sub-consulta atômica mapeada para uma fonte específica (SQL ou Vetor).
   • Gera o plano em uma única passagem de LLM, definindo dependências e variáveis simbólicas para comunicação entre nós.
2. Validador de Plano (Plan Validator):
   • Realiza verificações estruturais (conformidade de esquema, higiene de variáveis, ausência de ciclos) e semânticas (preservação da intenção, tipos de dados corretos) antes da execução.
3. Sistema DataOps (Diagnóstico e Remediação):
   • Atua quando falhas ocorrem (no planejamento ou execução).
   • Módulos: Diagnoser (identifica a causa raiz), Recommender (sugere ações), Fixer (aplica correções locais) e Replanner (regera o plano se necessário).
4. Executor de Plano (Plan Executor):
   • Executa nós independentes em paralelo e nós dependentes sequencialmente.
   • Otimização de Payload: Passa apenas chaves essenciais (ex: IDs) entre nós, evitando o envio de grandes volumes de dados intermediários, o que reduz latência e custos de contexto.
   • Suporta respostas parciais (streaming) e mantém logs de linhagem de dados.
5. Cache de Plano (Plan Caching):
   • Utiliza correspondência exata, baseada em templates (com slots) e semântica para reutilizar planos de DAG validados para consultas equivalentes, acelerando a resposta.

Mecanismo de Ligação de Variáveis:
O sistema utiliza um mecanismo de variable-binding que permite a comunicação seletiva entre sub-consultas. Resultados intermediários de tabelas (ex: lista de IDs de faturas) são passados apenas como parâmetros para buscas em documentos, garantindo precisão e reduzindo vazamento de dados.

3. Principais Contribuições

1. Framework Unificado A.DOT: Integra geração de planos baseada em DAG, validação dupla (estrutura/semântica), sistema DataOps de recuperação, cache inteligente e execução paralela.
2. Passagem de Dados Seletiva: Mecanismo de ligação de variáveis que transmite apenas os elementos de dados necessários entre fontes estruturadas e não estruturadas, melhorando a escalabilidade e a segurança.
3. Estratégia de Execução Paralela: Explora a independência dos nós no DAG para reduzir a latência de ponta a ponta, permitindo a exposição de resultados intermediários.
4. Rastreabilidade e Auditoria: Modelo de execução orientado a planos que registra evidências e linhagem de dados em cada etapa, essencial para conformidade corporativa.
5. Validação Empírica: Demonstração de ganhos significativos em precisão e completude sobre baselines agênticos fortes.

4. Resultados Experimentais

O framework foi avaliado no conjunto de dados HybridQA (focado em raciocínio multi-hop sobre tabelas e textos), comparado a baselines como RAG Padrão, ReAct e LLM Compiler.

• Métricas de Desempenho:
  • Corretude da Resposta: O A.DOT alcançou 71,0%, superando o melhor baseline (RAG Padrão com 56,2%) em 14,8 pontos percentuais absolutos.
  • Completude da Resposta: O A.DOT alcançou 73,0%, superando o RAG Padrão (62,3%) em 10,7 pontos percentuais.
• Análise de Ablação:
  • A remoção do Sistema DataOps causou a maior queda de desempenho (queda para 60,0% de corretude), evidenciando que a capacidade de recuperação automática de erros de execução é crítica.
  • A combinação de Validador e DataOps é essencial; sem ambos, o sistema falha em corrigir planos defeituosos ou executa sem segurança.
• Comparação com Baselines:
  • O ReAct teve desempenho inferior devido a limitações de passos de iteração e loops de raciocínio.
  • O LLM Compiler falhou por falta de validação robusta de esquema e incapacidade de lidar com erros no meio da execução, dependendo excessivamente de ferramentas relacionais.

5. Significância e Futuro

• Aplicação Empresarial: O A.DOT está em avaliação para implantação como o módulo principal de recuperação de dados no IBM Watsonx.data Premium. O foco é garantir precisão, outputs verificáveis e conformidade em ambientes corporativos.
• Impacto: O framework resolve o dilema entre eficiência e profundidade de raciocínio em data lakes híbridos, oferecendo não apenas respostas, mas trilhas de evidência claras para auditoria e confiança do usuário.
• Trabalho Futuro: Os autores planejam expandir o sistema para cenários de conversação multi-turno (mantendo histórico de contexto) e integrar modalidades adicionais, como bancos de dados de grafos e conhecimento baseado em imagens.

Em suma, o A.DOT representa um avanço significativo na arquitetura de sistemas de IA para empresas, substituindo abordagens de recuperação bruta por orquestração inteligente, validada e auditável de dados heterogêneos.