Resumo Técnico: Habilidades Declarativas para Agentes de IA em Fluxos de Trabalho de Uso de Ferramentas com Fundamentação em Conhecimento

Declaração do Problema

O artigo aborda a orquestração de agentes de IA em fluxos de trabalho de atendimento ao cliente realistas e complexos que dependem de bases de conhecimento (KBs) não estruturadas. Especificamente, os autores focam no benchmark $\tau$-Knowledge, um domínio envolvendo atendimento ao cliente de fintech onde os agentes devem realizar três competências distintas: interação conversacional, execução de tarefas procedimentais (restrições de pedidos, verificações) e raciocínio sobre documentos recuperados.

O desafio central é que os agentes devem descobrir as capacidades das ferramentas e as regras procedimentais dentro de uma KB grande e não estruturada (ex: descobrir que "fechar conta bancária" requer um sufixo aleatório específico e pré-condições) antes de executá-las. O ambiente é modelado como um Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP), onde o agente tem uma visão incompleta do estado do banco de dados e deve confiar nos outputs das ferramentas e nas mensagens do usuário para atingir um estado alvo. Os autores identificam que os agentes atuais têm dificuldade com:

1. Interdependências complexas que exigem raciocínio de múltiplos saltos (multi-hop reasoning).
2. Falha em respeitar a ordenação implícita de subtarefas (ex: verificar a identidade antes de alterar dados).
3. Confiança excessiva em afirmações do usuário sem verificação por ferramenta.
4. Ineficiência de busca e suposições injustificadas.

Metodologia

O estudo compara três classes distintas de políticas (paradigmas de orquestração) instanciadas em cinco grandes modelos de linguagem (LLMs) sob dois regimes de recuperação (Golden retrieval e Embedding-based retrieval).

1. Agente de Linha de Base ($\pi_B$)

Um agente LLM padrão não estruturado, condicionado apenas a um prompt de sistema estático e ao histórico da conversa. Não possui fluxo de controle explícito ou priors procedimentais.

2. Agente Declarativo ($\pi_D$)

Este agente estende a linha de base anexando arquivos de habilidades em linguagem natural ao prompt de sistema. Esses arquivos atuam como um prior procedimental, descrevendo:

• Procedimentos Bancários: Pré-condições, requisitos de descoberta de ferramentas e restrições de ordenação (ex: "aumento de limite de crédito requer ausência de disputas pendentes").
• Interação com o Cliente: Uma estrutura conversacional descritiva de quatro etapas (Saudação, Triagem, Verificação, Ação).
• Descoberta de Conhecimento: Estratégias para buscar na KB, enfatizando que a descoberta da ferramenta é uma pré-condição rígida para ferramentas de alteração de estado.
  O LLM lê esses arquivos em tempo de execução e decide o fluxo de trabalho, as ferramentas e a estratégia de verificação dinamicamente, sem uma máquina de estados explícita.

3. Agente Imperativo ($\pi_I$)

Este agente implementa uma máquina de estados finitos determinística (Controle Externalizado). Ele impõe um grafo de fases rígido: Saudação $\to$ Triagem $\to$ Verificação $\to$ Planejamento $\to$ Execução $\to$ Confirmação.

• Fluxo de Controle: As transições de fase são computadas por código, não pelo LLM.
• Restrições: O espaço de ação é restrito em cada turno ($A_{\phi_t} \subset A$). Por exemplo, ferramentas de mutação de estado só são permitidas na fase de Execução, que é bloqueada por uma flag de Verificação bem-sucedida.
• Mecanismos: Inclui filas de tarefas explícitas (algoritmo de Kahn para ordenação topológica), políticas de tentativa de reexecução (retry) por ferramenta com escalonamento determinístico para uma fase de Escalonamento, e imposição estrita de tipo de resposta.

Estrutura Teórica

Os autores formalizam os agentes dentro do framework Dec-POMDP e propõem quatro proposições teóricas:

• Prop 1: Arquivos de habilidades fornecem uma vantagem de informação (reduzindo a entropia condicional das ações) para modelos com um hiato de competência procedimental.
• Prop 2: A restrição imperativa encolhe a classe de políticas; o sucesso depende de se os ganhos de conformidade compensam a perda de capacidade do modelo.
• Prop 3: Agentes imperativos devem reduzir custos ao limitar o comprimento da trajetória via limites de tentativa.
• Prop 4: O ruído de recuperação degrada o canal de observação; se o canal for muito ruidoso, o benefício dos arquivos de habilidades colapsa.

Principais Resultados

1. Impacto da Orquestração no Desempenho

• Vantagem Declarativa: Sob Golden Retrieval (evidência de alta qualidade), o Agente Declarativo superou consistentemente a Linha de Base em quatro de cinco modelos, com ganhos que escalam com o hiato de competência procedimental do modelo. Ele melhorou o Pass1 (sucesso da tarefa) e a Precisão de Argumentação de Escrita (Write-Argument Accuracy).
• Subdesempenho Imperativo: O Agente Imperativo teve desempenho inferior à Linha de Base em todos os modelos e configurações de recuperação. A restrição do espaço de ação reduziu a capacidade do modelo de resolver tarefas sem fornecer benefícios de conformidade suficientes para compensar a perda.
• Recuperação como Gargalo: Sob Embedding Retrieval (ruidoso), o desempenho caiu drasticamente para todos os agentes. A vantagem do Agente Declarativo colapsou para modelos mais fracos, confirmando que arquivos de habilidades não podem compensar evidências fundamentalmente incorretas ou ausentes.

2. Conformidade e Eficiência

Ao contrário da hipótese de que portões determinísticos melhoram a segurança:

• Escritas Não Autorizadas: O Agente Imperativo não reduziu a taxa de escritas não autorizadas (escritas antes da verificação) em comparação com a Linha de Base. Em alguns casos (recuperação por embedding), apresentou uma taxa maior de escritas pré-verificação.
• Fragilidade: O Agente Imperativo exibiu uma taxa de reexecução excessiva significativamente maior (4–7$\times$ maior que a Linha de Base/Declarativo) e comprimentos de trajetória maiores. Isso sugere que transições de fase baseadas em código rígido são frágeis; se o LLM classificar incorretamente uma fase, ele pode burlar os portões ou entrar em loops infinitos, enquanto agentes adaptativos baseados em LLM lidam melhor com erros.
• Custo: O Agente Imperativo não alcançou a economia de custo prevista devido ao aumento dos comprimentos de trajetória e loops de reexecução.

Significância e Alegações

O artigo alega as seguintes contribuições e insights:

1. Habilidades Declarativas como Priors Eficazes: Arquivos de habilidades em linguagem natural são um paradigma de orquestração eficaz para agentes que utilizam ferramentas, particularmente quando o modelo subjacente possui um hiato de competência procedimental. Eles melhoram a precisão e reduzem erros de orquestração sem a fragilidade das máquinas de estado.
2. Limitações da Orquestração Imperativa: O estudo refuta empiricamente a suposição de que máquinas de estado determinísticas garantem conformidade em ambientes complexos e não estruturados. A rigidez do controle baseado em código pode levar à classificação incorreta de fases e falha na recuperação de erros, não oferecendo vantagem de segurança sobre agentes adaptativos neste contexto.
3. Dominância da Recuperação: A qualidade da recuperação é o gargalo dominante para agentes de IA. Nenhum paradigma de orquestração (declarativo ou imperativo) consegue recuperar o desempenho quando o canal de observação (evidência recuperada) é ruidoso ou incompleto.
4. Implicações de Engenharia: Para domínios regulados, confiar em portões determinísticos para garantias de conformidade pode ser enganoso. Prompts aumentados por habilidades oferecem um método de manutenção de baixo custo para melhorar o comportamento do agente, desde que a qualidade da recuperação seja alta.

Os autores concluem que, embora a orquestração declarativa ofereça melhorias mensuráveis de precisão, o campo deve priorizar avanços na recuperação juntamente com a orquestração para desbloquear o potencial comercial dos sistemas agênticos.