Resumo Técnico: Otimização de Agente Recursivo (RAO)

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) estão sendo cada vez mais implantados em tarefas complexas do mundo real que envolvem horizontes longos, grande memória de trabalho efetiva e exploração substancial. Embora muitas dessas tarefas sejam naturalmente passíveis de estratégias de dividir e conquistar, os sistemas recursivos e multiagentes existentes tipicamente tratam a recursão como uma estrutura estática, de tempo de inferência, envolvida em torno de um modelo pré-treinado. Nesses sistemas, o próprio modelo não é treinado para decidir quando a delegação é benéfica, como formular subtarefas eficazes, como comunicar-se entre níveis de execução ou como combinar as saídas de subagentes. Consequentemente, há uma lacuna no treinamento de modelos para explorar efetivamente a inferência recursiva como um primitivo aprendido, em vez de uma restrição arquitetônica fixa.

Metodologia: Otimização de Agente Recursivo (RAO)

Os autores introduzem a Otimização de Agente Recursivo (RAO), uma abordagem de aprendizado por reforço (RL) projetada para o treinamento de ponta a ponta de agentes recursivos. Diferentemente de trabalhos anteriores que fixam o esquema de orquestração, o RAO treina uma única política compartilhada ($\pi_\theta$) que é instanciada em cada nó de uma árvore de execução gerada dinamicamente.

1. Formulação e Inferência do Agente

O agente opera em um ambiente onde intercala raciocínio em linguagem natural com execução de código em um REPL Python. O espaço de ações é estendido para incluir uma função assíncrona launch_subagent(goal, ...).

• Árvores de Execução Dinâmicas: Ao resolver uma tarefa $X$, a política pode gerar zero ou mais agentes filhos em subtarefas delegadas $X_1, \dots, X_n$. O número e o conteúdo dessas subtarefas são escolhidos pela própria política.
• Concorrência: O agente pai pode lançar filhos sequencialmente ou concorrentemente (usando asyncio.gather), dependendo das dependências da tarefa.
• Limitação: Limites explícitos são impostos à profundidade da recursão e ao número de passos de ambiente por instância de agente para garantir computação limitada.

2. Design de Recompensa (Recompensa de Nó Local)

O RAO emprega uma estrutura de recompensa local para melhorar a atribuição de crédito através da árvore de execução. Para um nó correspondente à tarefa $X$ com trajetória $\tau_X$ e filhos imediatos $C(X)$, a recompensa é definida como:
$$R(X, \tau_X) = \tilde{s}(X, \tau_X) + \lambda \cdot \frac{1}{|C(X)|} \sum_{c \in C(X)} \tilde{s}(c, \tau_c)$$

• $\tilde{s}(X, \tau_X)$: O sinal de sucesso para o nó atual, derivado de verificação exata, um juiz LLM ou um proxy (por exemplo, sucesso da tarefa raiz) se a supervisão local estiver indisponível.
• Bônus de Delegação: O segundo termo recompensa o agente com base na taxa de sucesso de seus filhos imediatos. O parâmetro $\lambda$ controla a força desse bônus.
• Racional: Este design incentiva a delegação produtiva em vez de simplesmente gerar mais filhos. Ele fornece sinais de supervisão densos, especialmente no início do treinamento, quando o sucesso da tarefa raiz é raro.

3. Otimização da Política

O objetivo é otimizar a política compartilhada sobre tanto as tarefas raiz quanto os descendentes gerados pela política. A função objetivo $J(\theta)$ soma as recompensas esperadas através de todas as profundidades $d$ da expansão recursiva:
$$J(\theta) = \sum_{d=0}^{D} \mathbb{E}_{X \sim D_d(\theta)} \left[ \mathbb{E}_{\tau_X \sim \pi_\theta(\cdot|X)} [R(X, \tau_X)] \right]$$

• Efeito de Currículo: A estrutura recursiva gera naturalmente tarefas relacionadas de dificuldade variada, criando um currículo implícito onde as subtarefas são frequentemente mais simples ou mais estruturadas do que a tarefa raiz.
• Estimação de Vantagem: Para lidar com o número variável de trajetórias em diferentes profundidades, os autores utilizam uma linha de base leave-one-out calculada a partir das recompensas da expansão raiz.
• Ponderação por Nível de Profundidade: Para evitar que a otimização seja dominada por níveis mais profundos (que podem conter exponencialmente mais trajetórias), aplica-se uma ponderação por frequência inversa ao nível de profundidade. Trajetórias de profundidades super-representadas são ponderadas para baixo para preservar a escala geral da atualização.

Principais Contribuições

1. Treinamento de Ponta a Ponta de Agentes Recursivos: O RAO é o primeiro método a treinar conjuntamente uma única política em todos os nós de uma árvore recursiva gerada dinamicamente, ensinando o modelo a decidir quando e como delegar.
2. Mecanismo de Recompensa Novel: A introdução de uma recompensa de nó local com um bônus de delegação permite uma atribuição de crédito eficaz em estruturas recursivas profundas, alinhando a política com a qualidade da delegação em vez de apenas a quantidade.
3. Primitivo de Inferência Escalável: A abordagem demonstra que agentes recursivos podem escalar para tarefas que excedem a janela de contexto do modelo e generalizar para problemas significativamente mais difíceis do que aqueles vistos durante o treinamento.
4. Ganhos de Eficiência: O método mostra eficiência de treinamento aprimorada em comparação com o treinamento de agente único e pode reduzir o tempo de relógio (wall-clock time) para tarefas paralelizáveis.

Resultados Experimentais

Os autores avaliam o RAO em três benchmarks: TEXTCRAFT-SYNTH (tarefas de fabricação sintéticas), OOLONG-REAL (agregação de documentos de longo contexto) e DEEPDIVE (pesquisa profunda com busca na web multi-hop).

• Expansão da Janela de Contexto: No TEXTCRAFT-SYNTH, agentes recursivos treinados com uma janela de contexto de 8K alcançaram 95% de sucesso em tarefas difíceis, igualando o desempenho de modelos treinados com contextos de 40K. Em contraste, bases de agente único com contextos de 8K falharam completamente em tarefas difíceis. Similarmente, no OOLONG-REAL, agentes recursivos processaram entradas de até 175K tokens, apesar de terem sido treinados com um limite de 32K, enquanto agentes únicos não conseguiram ler a entrada completa.
• Generalização para Tarefas Mais Difíceis: Agentes treinados apenas em tarefas TEXTCRAFT-SYNTH de dificuldade média generalizaram para tarefas difíceis com uma taxa de sucesso de 88%, comparado a 20% para bases de agente único.
• Eficiência de Treinamento: Agentes recursivos aprenderam significativamente mais rápido do que bases de agente único em todos os benchmarks, atribuído às recompensas estruturadas de subagentes atuando como recompensas de processo densas e ao currículo auto-induzido.
• Tempo de Relógio: Para tarefas paralelizáveis (TEXTCRAFT-SYNTH), agentes recursivos reduziram o tempo de relógio em até 2,5× em comparação com agentes únicos em tarefas difíceis. Para tarefas sequenciais (DEEPDIVE), embora o tempo de relógio tenha aumentado devido à natureza sequencial das subtarefas, a taxa de sucesso melhorou de 0,24 para 0,40.
• Delegação Adaptativa: Os agentes aprenderam a adaptar sua profundidade de delegação à dificuldade da tarefa, escalando para árvores mais profundas (até 10 níveis) para problemas mais difíceis, sem restrições explícitas de profundidade durante a inferência.

Significado e Alegações

O artigo afirma que a Otimização de Agente Recursivo representa uma mudança na forma como estruturas de tempo de inferência devem ser utilizadas. Em vez de projetar estruturas em torno de modelos fixos, os modelos devem ser treinados para usá-las efetivamente. O RAO demonstra que a recursão é um primitivo poderoso de escalabilidade de tempo de inferência que fornece:

• Janelas de contexto frescas para subagentes, expandindo efetivamente a memória de trabalho.
• Uma estrutura de dividir e conquistar que generaliza para problemas mais difíceis.
• Alocação adaptativa de computação no tempo de teste.
• Oportunidades para execução paralela.

Os autores posicionam o RAO como um passo em direção a "agentes auto-organizáveis" que podem estruturar dinamicamente seus próprios processos de resolução de problemas. Eles observam que, embora seus experimentos se concentrem em domínios específicos, a abordagem sugere um princípio mais amplo para treinar agentes a aproveitar estruturas complexas de tempo de inferência. Trabalhos futuros são identificados como necessários para abordar procedimentos de amostragem de substitutos para expansões custosas e para treinar agentes recursivos generalistas que possam transferir estratégias de delegação entre domínios qualitativamente diferentes.