Resumo Técnico: Aprendizado para Configurar Sistemas de IA Agêntica (ARC)

Declaração do Problema

A configuração de sistemas de agentes baseados em Modelos de Linguagem de Grande Porte (LLM) envolve a seleção de um vasto espaço de design combinatório que abrange fluxos de trabalho, ferramentas, orçamentos de tokens e prompts. As abordagens atuais dependem de heurísticas estáticas ou estratégias de "tudo em um" que aplicam uma configuração fixa independentemente da dificuldade da consulta. Essa abordagem "tamanho único" leva a dois problemas principais:

1. Degradação de Desempenho: Contextos longos frequentemente sofrem com o fenômeno "perdido no meio", onde os modelos falham em atender a informações relevantes.
2. Ineficiência: Sistemas estáticos desperdiçam recursos computacionais ao aplicar fluxos de trabalho pesados e iterativos (por exemplo, raciocínio multi-hop com busca na web) a consultas triviais, resultando em latência e custos desnecessários.

O desafio central é que o espaço de design é grande demais para busca exaustiva ou ajuste manual. Por exemplo, um sistema modesto com alguns padrões de fluxo de trabalho, ferramentas e níveis de orçamento pode gerar dezenas de milhares de configurações estruturais, o que se expande para mais de $10^5$ ao incluir variações de prompts. Além disso, os fluxos de trabalho de agentes não são ações atômicas; são processos temporalmente estendidos com durações e custos variáveis, tornando as formulações padrão de Processo de Decisão de Markov (MDP) inadequadas.

Metodologia: ARC (Aprendizado de Recursos e Configuração Agêntica)

Os autores propõem o ARC, um framework de aprendizado por reforço hierárquico que formula a configuração de agentes como um Processo de Decisão de Markov Semi-Markov (SMDP). Nessa formulação, cada configuração atua como uma "opção" temporalmente estendida que determina como um sistema de agentes processa uma consulta.

1. Formulação SMDP

Diferentemente dos MDPs padrão, onde as ações têm durações fixas, o ARC modela configurações como opções com tempos de execução variáveis (número de chamadas ao LLM) e custos.

• Estado ($S$): Uma concatenação de embeddings semânticos da consulta e características criadas manualmente (por exemplo, comprimento da consulta, densidade numérica).
• Opções ($O$): Cada opção representa uma configuração completa $(\omega, t, b, p)$, onde $\omega$ é o fluxo de trabalho, $t$ são as ferramentas, $b$ é o orçamento de tokens e $p$ é o prompt.
• Recompensa: Uma função de utilidade que equilibra correção contra custo: $U(q, c) = I[\hat{a} = a] - \lambda C_{cost}(c)$. A recompensa inclui penalidades pelo uso de tokens, tempo de execução e duração (número de chamadas ao LLM).

2. Decomposição Hierárquica da Política

Para gerenciar a complexidade combinatória, a política $\pi_{arc}$ é decomposta em dois níveis:

• Política de Estrutura ($\pi_{struct}$): Seleciona a topologia do fluxo de trabalho, alocação de ferramentas e faixas de orçamento.
• Política de Prompt ($\pi_{prompt}$): Compõe autoregressivamente instruções de prompt específicas a partir de uma biblioteca de fragmentos semânticos com base na escolha estrutural.
• Mascaramento de Ações: Para lidar com invalidade estrutural (por exemplo, atribuir ferramentas a um fluxo de trabalho "Direto" de agente único), o sistema aplica mascaramento de ações para podar configurações inválidas durante o treinamento.

3. Pipeline de Treinamento

O processo de treinamento combina Aprendizado por Reforço (RL) com Ajuste Fino Supervisionado (SFT):

1. Fase de RL: Utiliza Otimização de Política Proximal (PPO) com recompensas moldadas para explorar o espaço de design. A função de recompensa é decomposta em termos para correção, penalidades de etapa, penalidades de tokens e moldagem de ferramentas para abordar a discrepância entre alocação de ferramentas e uso real.
2. Refinamento SFT: Após a convergência do RL, o sistema filtra o buffer de replay para trajetórias "de elite" (respostas corretas com altas recompensas). Uma fase de ajuste fino supervisionado então destila essas estratégias bem-sucedidas nas redes de política. Esta etapa estabiliza o aprendizado, reduz a variância e fornece um limite mínimo de desempenho.

4. Garantias Teóricas

O artigo estabelece dois resultados teóricos:

• Convergência: A formulação SMDP admite uma função de valor ótima única $Q^*$, garantindo que o alvo do RL seja bem definido.
• Concentração de Política: A fase de SFT garante que a política final se concentre em configurações de alta recompensa, assegurando um limiar mínimo de desempenho.

Contribuições Principais

1. Formulação SMDP: Os autores lançam a configuração de agentes como um problema SMDP, tratando fluxos de trabalho como opções temporalmente estendidas para lidar naturalmente com pegadas computacionais variáveis.
2. Framework ARC: Introdução de uma política hierárquica leve que seleciona dinamicamente configurações específicas da consulta (fluxo de trabalho, ferramentas, orçamento, prompts) sem atualizar o LLM subjacente.
3. Treinamento Híbrido: Um pipeline que combina PPO mascarado com SFT em trajetórias de elite para estabilizar o aprendizado sob recompensas esparsas e melhorar a consistência.
4. Validação Empírica: Experimentos extensivos demonstrando que aprender configurações por consulta é uma alternativa superior a designs estáticos.

Resultados Experimentais

Os autores avaliaram o ARC em benchmarks de raciocínio, uso de ferramentas e agênticos usando Qwen 2.5 7B e Gemini 2.5 Flash Lite.

• Tarefas de Raciocínio: O ARC melhorou a precisão média de raciocínio em 31,3% sobre LLMs aumentados com ferramentas com orçamento correspondido. No GSM8k, o ARC alcançou 88,6% de precisão, superando bases fortes como GEPA (83,6%) e RL Episodes (85,2%).
• Tarefas de Uso de Ferramentas: O ARC aumentou a precisão de uso de ferramentas em 13,95%. No HotpotQA, igualou o AutoGen (34,1%) e superou a base RL mais forte em 6,3%.
• Tarefas Agênticas: No $\tau$-Bench (Airline), o ARC dobrou a taxa de sucesso Pass$^1$ de 9,0% para 18,0%, enquanto a otimização de prompts fixos (DSPy) reduziu o desempenho.
• Eficiência: O ARC ocupa regiões Pareto-ótimas no trade-off precisão-custo, alcançando maior precisão com custos menores em comparação com bases fixas ou baseadas em busca.
• Generalização: As políticas aprendidas mostraram transferibilidade moderada entre tarefas de raciocínio (por exemplo, GSM8k para DROP) e escalabilidade zero-shot entre tamanhos de modelo (7B para 72B), indicando que os priores estruturais são amplamente invariantes à escala.

Significado e Alegações

O artigo alega que aprender configurações de agentes por consulta é uma alternativa poderosa a designs "tamanho único". O significado deste trabalho reside em demonstrar que:

• Adaptabilidade: Um sistema de agentes pode adaptar dinamicamente sua pegada computacional à dificuldade da tarefa, equilibrando precisão e eficiência.
• Escalabilidade: Um controlador leve pode gerenciar efetivamente um vasto espaço de design combinatório sem retreinar o LLM subjacente.
• Praticidade: A combinação de exploração por RL e refinamento por SFT fornece um método tratável para navegar arquiteturas de agentes complexas, oferecendo uma direção prática para construir sistemas de agentes baseados em LLM flexíveis e eficientes em termos computacionais.

Os autores enfatizam que, embora a semântica de prompts possa dominar em domínios intensivos em conhecimento, a otimização estrutural fornecida pelo ARC permanece essencial para alocação de recursos e para lidar com interações complexas e multi-etapas.