Resumo Técnico: Repensando a Otimização de Consultas para Sistemas Multi-Agentes [Visão]

Declaração do Problema

A proliferação de Grandes Modelos de Linguagem (LLMs) acelerou a adoção de pipelines de dados multi-agentes, onde agentes colaboram para executar tarefas complexas e orientadas a dados. No entanto, os métodos de construção atuais permanecem ad hoc, baseando-se em estruturas de pipeline fixas, modelos pré-selecionados e motores de execução únicos. Essa abordagem falha em otimizar sistematicamente através de fontes de dados e motores heterogêneos.

Os autores argumentam que a otimização de pipelines agênticos é um problema fundamentalmente diferente da otimização de consultas tradicional devido a quatro desafios centrais:

1. Espaço de Busca Multidimensional: A otimização deve determinar conjuntamente a topologia do pipeline, a seleção de modelos e a atribuição de motores através de objetivos concorrentes (latência, custo e precisidade).
2. Topologia Variável: A estrutura do pipeline é, ela própria, uma variável de decisão, não um plano fixo.
3. Falta de Álgebra Comum: A coexistência de dados estruturados, texto não estruturado, embeddings e dados de streaming elimina uma álgebra de operadores comum, impedindo técnicas clássicas de poda (pruning).
4. Execução Estocástica e Cara: Chamadas de LLM incorrem em custos monetários significativos e exibem variabilidade na qualidade da saída, tornando a exploração ingênua do espaço de busca inviável.

Metodologia e Estrutura: NOMA

O artigo apresenta o NOMA, uma visão para um framework de otimização de consultas projetado especificamente para pipelines de dados multi-agentes. O NOMA trata agentes como unidades de computação de primeira classe e estende os princípios clássicos de otimização (modelagem de custo, geração de plano, reotimização) para um cenário onde os planos são heterogêneos, estocásticos e estruturalmente dinâmicos.

O NOMA é conceitução como um loop de otimização integrado composto por quatro componentes principais que se reforçam mutuamente:

1. Geração de Planos: Em vez de enumerar planos, o NOMA propõe o uso de modelos generativos treinados em pipelines históricos para gerar diretamente pipelines executáveis no espaço de otimização conjunta (topologia, modelos, motores).
2. Estimativa de Custo Unificada: O framework visa construir modelos de custo que mapeiem características heterogêneas de agentes em uma representação compartilhada. Em vez de estimativas pontuais escalares, esses modelos preveem distribuições calibradas sobre latência, custo e precisão para lidar com a natureza estocástica dos agentes e a propagação não aditiva de qualidade.
3. Refinamento em Tempo de Execução: A otimização é tratada como um processo contínuo. Um "refinador de pipeline" utiliza otimização Bayesiana para atualizar os priors do modelo de custo com base nas conclusões dos agentes e decide se o ganho esperado de replanejamento justifica o custo.
4. Cache Semântico: Para abordar a redundância, o NOMA propõe um cache que armazena não apenas resultados intermediários, mas também subplanos otimizados e decisões de configuração. Ele indexa esses artefatos semanticamente (usando embeddings) em vez de sintaticamente para permitir o reúso entre pipelines estruturalmente diferentes.

Principais Contribuições e Resultados

O artigo apresenta quatro contribuições primárias, apoiadas por experimentos controlados e análise do mundo real:

1. Quantificação de Custos Subotimizados:

   • Experimento: Um experimento controlado foi conduzido em um pipeline de 10 agentes do mundo real (envolvendo relatórios de suporte ao cliente) com 186.624 planos possíveis sob uma topologia fixa.
   • Descobertas: O espaço de planos exibiu uma variância extrema: 153× no custo monetário, 5× na latência e uma lacuna de 25% na qualidade.
   • Observação: Os planos ótimos eram configurações heterogêneas (por exemplo, misturando diferentes LLMs com base na dificuldade da tarefa) que nenhum usuário construiria manualmente. A fronteira de Pareto era rica, mostrando que um aumento de 19% na qualidade poderia custar 138× mais, enquanto um plano equilibrado poderia cortar custos em 65% com perda mínima de qualidade.
   • Impacto da Topologia: Modificar a topologia (por exemplo, adicionando um loop de refinamento condicional) permitiu que o sistema alcançasse pontos de desempenho fora da fronteira de Pareto de planos de topologia fixa, provando que a topologia é um eixo de otimização crítico.

2. Análise de Implementações Reais:

   • Escopo: Análise de 62 implementações de pipelines agênticos reais e 9.000 pipelines construídos.
   • Descobertas:
     • Complexidade: Os pipelines estão crescendo em complexidade (frequentemente 5–10+ tarefas).
     • Seleção Habitual: A seleção de modelos é impulsionada pela familiaridade, e não pelo equilíbrio custo-qualidade; usuários reutilizam o mesmo conjunto limitado de modelos.
     • Topologias Ineficientes: Cadeias simples dominam (34%), falhando em explorar paralelismo ou loops de feedback.
     • Motores Subutilizados: A atribuição de motores raramente é otimizada, com a maioria das tarefas rodando em bancos de dados estruturados padrão, apesar da disponibilidade de motores de streaming ou vetoriais.
     • Redundância: Tarefas principais (ingestão, extração, relatórios) ocorrem frequentemente sem computação compartilhada.

3. Formalização do Problema:

   • O artigo define formalmente o Pipeline Multi-Agente Abstrato (um grafo lógico de agentes) e o Pipeline Multi-Agente Executável (um grafo concreto com modelos, motores e transformações estruturais específicas como fusão, divisão ou reordenação).
   • O objetivo é definido como encontrar pipelines executáveis Pareto-ótimos ($G^*$) a partir de um pipeline abstrato ($G$) sob múltiplos objetivos.

4. Agenda de Pesquisa:

   • O artigo delineia questões de pesquisa abertas para a comunidade, incluindo como iniciar o treinamento de dados para modelos generativos sem exploração exaustiva, como reconciliar sinais de custo heterogêneos em distribuições unificadas, como gerenciar a otimização contínua sob execução estocástica e como definir equivalência semântica para cache.

Significância e Visão

O artigo afirma que o estado atual dos pipelines multi-agentes é "fundamentalmente não otimizado" e que a lacuna entre as práticas atuais e o desempenho ideal é "severa e inevitável".

A significância do NOMA reside em sua proposta de um mudança de paradigma:

• De Estático para Adaptativo: Mover da otimização de consultas sobre planos fixos para a síntese e adaptação contínua de pipelines.
• Otimização como uma Função Persistente: A otimização torna-se uma função contínua do sistema, em vez de uma fase pré-execução.
• Sistemas Autoevolutivos: À medida que o sistema acumula experiência de execução, as configurações de pipeline (topologia, modelos, estratégias) reescrevem-se continuamente.

Os autores posicionam o NOMA como um chamado à ação para as comunidades de banco de dados, sistemas e aprendizado de máquina para abordarem conjuntamente os desafios da otimização de consultas para sistemas multi-agentes, visando estabelecer as bases para uma nova classe de otimizadores que vão além de pipelines estáticos em direção à execução adaptativa e consciente de custos.