Collaborative Agent Reasoning Engineering (CARE): A Three-Party Design Methodology for Systematically Engineering AI Agents with Subject Matter Experts, Developers, and Helper Agents

1. Declaração do Problema

O artigo aborda a "fronteira tecnológica irregular" dos Modelos de Linguagem de Grande Escala (LLMs), onde o desempenho é altamente inconsistente e dependente da habilidade do usuário. Embora os LLMs ofereçam potencial para fluxos de trabalho científicos, existe uma lacuna entre analistas novatos e especialistas:

• Novatos frequentemente aceitam resultados fluentes, mas incorretos, ou especificam insuficientemente as restrições.
• Especialistas aplicam consistentemente restrições de domínio, verificam as saídas e estruturam fluxos de trabalho de múltiplas etapas.
• Limitações Atuais: A construção de agentes de IA confiáveis geralmente depende de iteração de prompts por tentativa e erro, o que leva a sistemas que falham silenciosamente, regredem após alterações menores ou superajustam-se a casos de teste estreitos. Há uma falta de uma metodologia de engenharia disciplinada para traduzir conhecimento tácito de especialistas em especificações de agentes explícitas, verificáveis e mantíveis.

2. Metodologia: CARE (Engenharia de Raciocínio Colaborativo de Agentes)

O CARE é uma metodologia orientada por fases e impulsionada por artefatos que reestrutura o desenvolvimento de agentes como um processo de engenharia colaborativo. Introduz um fluxo de trabalho de três partes envolvendo:

1. Especialistas no Assunto (SMEs): Fornecem conhecimento de domínio e restrições.
2. Desenvolvedores: Implementam soluções técnicas e orquestração de ferramentas.
3. Agentes Auxiliares: Facilitadores baseados em LLM que atuam como "infraestrutura de especificação", convertendo intenções informais de SMEs em artefatos estruturados e passíveis de revisão.

Alvos de Design Principais

O CARE decompõe um agente em quatro alvos de design, cada um mapeado para artefatos específicos:

1. Política de Interação e Estratégia de Raciocínio: Como o agente decompõe tarefas, gerencia incertezas e verifica etapas.
2. Fundamentação de Domínio: Fontes de conhecimento autoritativas e restrições para prevenir alucinações.
3. Orquestração de Ferramentas: Lógica para selecionar, invocar e validar ferramentas externas (APIs).
4. Avaliação e Verificação: Métricas e benchmarks para detectar regressões.

O Processo de Cinco Fases

A metodologia prossegue através de cinco fases com portões de fase rigorosos (aprovação humana necessária para prosseguir):

• Fase 1: Escopo e Decomposição: Definir o fluxo de trabalho, usuários e restrições. Agentes auxiliares elaboram artefatos de escopo iniciais.
• Fase 2: Elicitação de Informações Chave: Coleta estruturada de Ferramentas (APIs/limites), Contexto (estratégias de recuperação) e Formato de Saída (modelos/proveniência).
• Fase 3: Política de Raciocínio e Barreiras de Segurança: Definir explicitamente modos de falha, limites de segurança e lógica de decisão (por exemplo, quando pedir esclarecimentos versus quando abster-se).
• Fase 4: Arquitetura de Prompt e Implementação: Traduzir artefatos aprovados no prompt real do agente usando padrões estabelecidos (por exemplo, planejamento, crítica, estruturação de uso de ferramentas).
• Fase 5: Benchmarking e Verificação: Definir conjuntos de consultas realistas e rubricas de pontuação para validar o desempenho antes da implantação.

Mecanismo Chave: Agentes auxiliares mantêm a continuidade reutilizando artefatos de fases anteriores, permitindo que as equipes iterem sem perder o alinhamento. Todos os artefatos são versionados (por exemplo, no GitHub) para suportar auditabilidade.

3. Contribuições Principais

1. Framework CARE: Introdução de uma metodologia disciplinada de três partes (SME, Desenvolvedor, Agente Auxiliar) que substitui a engenharia de prompts ad hoc por uma abordagem baseada em especificação.
2. Design Orientado por Artefatos: Decomposição de funções agênicas em quatro alvos distintos (Política, Fundamentação, Orquestração, Verificação) mapeados para artefatos Markdown concretos e passíveis de revisão.
3. Agentes Auxiliares como Infraestrutura: O conceito inovador de usar LLMs não apenas como o agente implantado, mas como ferramentas de facilitação para acelerar o processo de eliciação e especificação, mantendo humanos no loop para aprovação.
4. Validação Empírica: Um estudo de caso demonstrando que um agente engenheirado com CARE supera uma linha de base com acesso idêntico a modelo e ferramentas, provando que o processo de engenharia em si impulsiona ganhos de desempenho.

4. Resultados: Estudo de Caso de Ciência da Terra da NASA

Os autores avaliaram o CARE construindo um Agente de Descoberta de Dados de Ciência da Terra da NASA que consulta a API do Repositório de Metadados Comum (CMR).

• Comparação:
  • $cmr\_care\_v1$: Construído usando a metodologia CARE.
  • $cmr\_simple$: Uma linha de base "LLM + Ferramenta" construída via prompting iterativo padrão (sem artefatos/portões CARE).
• Estratégia de Avaliação: Uma abordagem de benchmarking de dois portões:
  1. Portão Sintético: 621 consultas geradas a partir de artigos de pesquisa (iteração rápida).
  2. Portão Ouro: 43 consultas formuladas por SMEs (validação de alta confiança).
• Métricas: Recall@K (proporção de conjuntos de dados de verdade fundamentais encontrados nos top K resultados).

Resultados de Desempenho:

Métrica	Portão Sintético (n=621)	Portão Ouro (n=43)
Métrica	Recall@1	Recall@5
Agente CARE	71,7%	27,2%
Linha de Base	69,1%	20,2%
Melhoria	+2,6%	+7,0%

Nota: O agente CARE mostrou melhorias estatisticamente significativas, particularmente no Portão Ouro fundamentado por SMEs (Recall@5), indicando melhor manejo de consultas complexas de nível de especialista.

5. Significado e Limitações

Significado:

• Superação da Lacuna de Habilidade: O CARE operacionaliza fluxos de trabalho de especialistas, permitindo que agentes funcionem de forma confiável sem exigir que cada usuário seja um engenheiro de prompts especialista.
• Mantibilidade: Ao tratar prompts como saídas derivadas de artefatos versionados, o CARE torna os agentes mais fáceis de auditar, atualizar e manter à medida que modelos ou ferramentas mudam.
• Confiabilidade: O processo com portões de fase força a definição explícita de barreiras de segurança e modos de falha, reduzindo "falhas silenciosas" comuns no desenvolvimento por tentativa e erro.

Limitações e Trabalho Futuro:

• Qualidade do Agente Auxiliar: A metodologia depende fortemente da capacidade do agente auxiliar de fazer as perguntas certas; uma eliciação deficiente pode levar à falta de restrições.
• Sensibilidade do Benchmark: Os resultados dependem da construção específica do benchmark; há risco de "ensinar para a prova" se o agente auxiliar otimizar inadvertidamente para a distribuição do benchmark.
• Deriva de Modelo: Alterações nos LLMs subjacentes podem alterar a conformidade com políticas de raciocínio, exigindo re-verificação periódica.
• Direção Futura: Os autores planejam testar o CARE em múltiplos domínios e ecossistemas de ferramentas para identificar quais fases impulsionam os ganhos de desempenho mais significativos.

Em conclusão, o CARE demonstra que a engenharia sistemática—e não apenas a capacidade do modelo—é o fator crítico na construção de agentes de IA robustos, confiáveis e de alto desempenho para domínios científicos e técnicos.