Resumo Técnico: Raciocínio Colaborativo de LLM Multi-Agente e Planejamento de Tarefas para Resolução de Tarefas Complexas

1. Definição do Problema

Tarefas de domínio aberto complexas exigem que grandes modelos de linguagem (LLMs) realizem raciocínio de longo alcance, decomposição controlada e execução mediada por ferramentas confiável. Embora os fluxos de trabalho de agente único de LLM tenham avançado através de técnicas como Chain-of-Thought e ReAct, eles sofrem de três limitações primárias:

1. Viés de planejamento de perspectiva única: Um modelo único tende a seguir uma perspectiva dominante, levando a suposições errôneas precoces que se propagam silenciosamente.
2. Erros acumulados: Cadeias de raciocínio longas acumulam erros que são difíceis de corrigir sem um reinício completo.
3. Controle fraco de ferramentas: Agentes únicos frequentemente têm dificuldade com o sequenciamento preciso, seleção de parâmetros e validação de invocações de ferramentas externas.

Abordagens multi-agente existentes (ex: Generative Agents, Multiagent Debate, AutoGen) frequentemente dependem de conversação não restringida, o que pode levar a diálogos redundantes e expansão descontrolada sem garantia de confiabilidade. Este artigo aborda a necessidade de um framework multi-agente controlável, auditável e baseado em evidências que separe planejamento, execução e verificação.

2. Metodologia

O framework proposto introduz uma arquitetura colaborativa Planner-Executor-Verifier (Planejador-Executor-Verificador) governada por um grafo de tarefas hierárquico e um protocolo de interação ordenado.

A. Arquitetura do Framework

O sistema separa a compreensão de contexto da colaboração entre agentes. Ele utiliza um extrator de contexto aprimorado por CNN para modelar sinais de tarefas estruturados e visuais (tabelas, diagramas, logs) junto com linguagem natural, fundindo essas representações antes do planejamento da tarefa.

O loop central envolve três agentes especializados compartilhando uma memória episódica:

• Agente Planejador (Planner Agent): Converte consultas de entrada em um grafo de tarefas dependente de dependências ($G_T = (V, E, \chi)$). Ele atribui prioridades baseadas em centralidade de dependência, relevância ao objetivo do usuário, incerteza e custo de recursos.
• Agente Executor (Executor Agent): Realiza subtarefas agendadas, invocando ferramentas, gerando artefatos e produzindo respostas locais com traços de evidência compactos.
• Agente Verificador (Verifier Agent): Avalia alegações contra evidências, detecta contradições e emite solicitações de reparo se a confiança cair abaixo de um limite calibrado.

B. Planejamento de Tarefas Hierárquico

As tarefas são representadas como grafos direcionados onde os nós são subtarefas com tuplas de estado: $(prioridade, confiança, orçamento\_de\_recurso, status)$.
A prioridade de agendamento ($p_i$) para uma subtarefa é calculada como:
$$p_i = \alpha d_i + \beta u_i + \gamma(1 - c_i) - \lambda r_i$$
Onde:

• $d_i$: Centralidade de dependência
• $u_i$: Relevância ao objetivo do usuário
• $c_i$: Confiança atual
• $r_i$: Custo de execução estimado
• $\alpha, \beta, \gamma, \lambda$: Coeficientes determinados via busca em grade (grid search) em um conjunto de validação.

Parâmetros Padrão: $\alpha = 0.35, \beta = 0.30, \gamma = 0.25, \lambda = 0.10$.

C. Protocolo de Interação e Memória

O sistema impõe um protocolo de interação tipado para garantir auditabilidade:

1. Planner emite uma subtarefa com pré-requisitos e critérios de terminação.
2. Executor retorna uma alegação com um traço de evidência.
3. Verifier emite um sinal de Aceitar (Accept), Revisar (Revise) ou Dividir (Split).

Memória Compartilhada: As atualizações são gerenciadas via uma função $\phi(\cdot)$ que armazena registros tipados (evidência positiva/negativa, conflitos) com indexação semântica e baseada em grafos. Isso permite que o sistema reutilize informações verificadas e evite a regeneração de respostas inteiras quando apenas nós específicos falham.

Reparo Consciente de Falhas: Quando o verificador rejeita uma alegação, o sistema identifica o modo de falha específico (evidência ausente, ferramenta errada, etc.) e reabre apenas o nó afetado e suas dependências a jusante, em vez de reiniciar toda a tarefa.

D. Taxonomia de Erros de Ferramenta

O artigo define uma taxonomia unificada para erros de ferramenta para garantir métricas comparáveis:

• Seleção de ferramenta errada
• Parâmetros inválidos
• Sequência de invocação inválida
• Falha de execução
• Integração inconsistente de resultados

3. Principais Contribuições

1. Arquitetura Colaborativa End-to-End: Um sistema multi-agente integrando decomposição de tarefas, execução específica de papéis, validação cruzada e reparo direcionado para tarefas complexas de domínio aberto.
2. Algoritmo de Planejamento Hierárquico: Um método de planejamento formalizado com regras explícitas de seleção de parâmetros e análise de sensibilidade para coeficientes de prioridade e limiares do verificador.
3. Mecanismo de Memória Compartilhada Concreto: Uma função de atualização definida especificando armazenamento de informações, indexação, recuperação e tratamento de conflitos usando registros tipados.
4. Classificação Unificada de Erro de Ferramenta: Uma taxonomia padronizada para contagem de erros de uso de ferramentas, permitindo comparações justas entre métodos.
5. Validação Empírica: Experimentos comparativos demonstrando ganhos consistentes sobre o baseline de agente único GPT-4 em raciocínio lógico, orquestração de ferramentas e resolução de problemas de domínio aberto.

4. Resultados Experimentais

O framework foi avaliado em três categorias de benchmarks: Raciocínio lógico de múltiplos passos, Orquestração de ferramentas cruzadas e Resolução de problemas de domínio aberto. O baseline foi uma instância de agente único GPT-4 utilizando as mesmas ferramentas e instruções.

Melhorias de Desempenho (Relativas ao Baseline):

• Taxa de Conclusão de Tarefa: +27.3% (Baseline: 63.0% $\to$ Proposto: 80.2%)
• Precisão da Resposta: +19.6% (Baseline: 68.4% $\to$ Proposto: 81.8%)
• Precisão de Raciocínio: +22.1%
• Consistência Factual: +24.8%
• Taxa de Erro de Ferramenta: -31.5% (Baseline: 25.7% $\to$ Proposto: 17.6%)

Sensibilidade e Ablação:

• Sensibilidade de Parâmetros: Variar os coeficientes de prioridade ($\pm 0.10$) alterou as taxas de conclusão em não mais que 2.6 pontos percentuais. Variar o limiar do verificador ($\theta$) de 0.65 para 0.80 alterou a precisão em não mais que 3.2 pontos percentuais, indicando robustez.
• Estudo de Ablação: Remover o Verificador (Verifier) causou a maior queda na consistência factual (-11.6%). Remover o Planejamento Hierárquico (Hierarchical Planning) reduziu as taxas de conclusão e aumentou turnos redundantes. Remover o Protocolo Ordenado (Ordered Protocol) levou a colaborações instáveis e diálogos mais longos e menos eficazes.

5. Significância e Alegações

O artigo afirma que o framework proposto aborda as limitações do raciocínio de caminho único ao tratar o raciocínio como um processo controlável em vez de um evento de geração de passagem única.

• Colaboração Controlável: Ao atribuir papéis explícitos e impor um protocolo tipado, o sistema evita a "expansão de diálogo descontrolada" comum em debates multi-agentes sem restrições. Cada mensagem do agente serve a uma função específica (planejamento, ação ou verificação).
• Mitigação de Erros: A separação de preocupações permite que o sistema detecte e repare erros (ex: sequências de ferramentas inválidas) antes que eles se propaguem para a resposta final, reduzindo significativamente as taxas de erro de ferramenta.
• Interpretabilidade: A arquitetura garante que as respostas finais possam ser rastreadas até subtarefas aceitas e registros de evidência, aumentando a auditabilidade do processo de raciocínio.
• Escalabilidade: O framework é projetado para tarefas de longo horizonte onde erros precoces de outra forma degradariam silenciosamente o output final, oferecendo um equilíbrio estável entre confiabilidade e custo de interação (média de ~8.6 turnos).

Os autores concluem que a comunicação estruturada e a separação de papéis são mais críticas para o desempenho do que simplesmente aumentar o número de agentes ou o volume de diálogo. O trabalho futuro é identificado como a investigação de ajuste de parâmetros adaptativo e implantação em fluxos de trabalho reais com ferramentas heterogêneas.