Resumo Técnico: Aprendizado de Política Guiado por Marcos para Agentes de Linguagem de Longo Horizonte (BEACON)

Declaração do Problema

O treinamento de agentes de linguagem para executar tarefas de longo horizonte — que exigem dezenas de decisões sequenciais — via aprendizado por reforço (RL) enfrenta duas limitações fundamentais inerentes a métodos de otimização em nível de trajetória, como o GRPO:

1. Má Atribuição de Crédito: Os métodos atuais atribuem crédito baseando-se exclusivamente nos resultados terminais. Consequentemente, ações iniciais corretas são penalizadas se ações subsequentes levarem ao fracasso. Isso cria sinais de gradiente contraditórios para pares idênticos de estado-ação, dependendo da estocasticidade a jusante, causando conflito de gradiente e colapso do aprendizado à medida que os horizontes da tarefa se estendem.
2. Ineficiência de Amostragem: À medida que os horizontes da tarefa aumentam, trajetórias bem-sucedidas tornam-se escassas. Crucialmente, trajetórias que alcançam subobjetivos significativos, mas falham no objetivo final, recebem a mesma recompensa zero que falhas completas. Isso descarta sinais de aprendizado valiosos de "sucessos parciais", levando a uma alta proporção de amostras que não fornecem gradiente útil.

Tentativas existentes de densificar a atribuição de crédito, como Modelos de Recompensa de Processo (PRMs) ou estimativa de valor Monte Carlo, introduzem custos de anotação proibitivos, sobrecarga computacional ou dependem de padrões de recorrência de estado que diminuem em configurações de longo horizonte.

Metodologia: Framework BEACON

Os autores propõem o BEACON (Ambiente de Benchmarking para Navegação Orientada a Ação), um framework que aproveita a estrutura composicional de tarefas de longo horizonte para desacoplar a atribuição de crédito entre fases. A premissa central é a Propriedade de Markov de Marcos: uma vez que um subobjetivo semântico (marco) é alcançado, a distribuição da trajetória futura depende principalmente dos subobjetivos restantes, e não do histórico completo de execução.

O BEACON opera por meio de três mecanismos integrados:

1. Particionamento de Trajetória em Limites de Marcos

Em vez de tratar uma trajetória como uma sequência plana, o BEACON a particiona em segmentos com base em transições de estado observáveis que indicam a conclusão de subobjetivos (por exemplo, pegar um objeto, alcançar uma página da web). Um detector de marcos $\Phi$ identifica essas transições a partir do feedback do ambiente, sem exigir modelos aprendidos ou anotações manuais.

• Resultado: As trajetórias são divididas em segmentos $Seg_k$ delimitados por marcos $M_k$.

2. Modelagem Temporal de Recompensa

Para abordar a ineficiência de amostragem, o BEACON atribui recompensas moldadas dentro dos segmentos para creditar o progresso parcial.

• Mecanismo: Para ações em um segmento que alcança com sucesso um marco, uma recompensa positiva é atribuída com decaimento temporal ($\gamma^{t_k - t}$). Ações em segmentos que falham em alcançar um marco recebem recompensa zero.
• Efeito: Isso transforma sinais terminais esparsos em feedback denso, garantindo que os agentes aprendam com trajetórias que completam subobjetivos, mesmo que a tarefa final falhe.

3. Estimativa de Vantagem em Dupla Escala

Para resolver a má atribuição de crédito, o BEACON estima vantagens em duas escalas:

• Vantagem em Nível de Trajetória ($A_{traj}$): Calculada globalmente com base nos resultados terminais (semelhante ao GRPO) para manter o alinhamento com o sucesso geral da tarefa.
• Vantagem em Nível de Segmento ($A_{seg}$): Calculada localmente comparando o retorno de um segmento apenas contra outras trajetórias que alcançaram o mesmo marco.
• Isolamento de Variância: Ao restringir os grupos de comparação a trajetórias que compartilham o mesmo histórico de marcos, a $A_{seg}$ isola a qualidade das ações locais da variância introduzida por segmentos subsequentes. Isso impede que ações iniciais corretas sejam penalizadas por falhas posteriores.
• Combinação: A vantagem final é uma soma ponderada: $\hat{A} = A_{traj} + \lambda \cdot A_{seg}$.

Principais Contribuições

1. Diagnóstico de Limitações: O artigo identifica e quantifica empiricamente a má atribuição de crédito (mais de 40% das atualizações de gradiente contêm sinais contraditórios em tarefas longas) e a ineficiência de amostragem (sucessos parciais gerando recompensa zero) como as causas raiz do colapso de desempenho no RL de longo horizonte.
2. Framework BEACON: Introdução de um framework de aprendizado de política guiado por marcos que particiona trajetórias, aplica modelagem temporal de recompensa e utiliza estimativa de vantagem em dupla escala para desacoplar a qualidade da ação local da variância a jusante.
3. Garantia Teórica: Uma prova demonstrando que, sob a Propriedade de Markov de Marcos, as vantagens em nível de segmento isolam a qualidade da ação local da variância a jusante, abordando diretamente a má atribuição de crédito.
4. Validação Empírica: Avaliação abrangente em três benchmarks diversos (ALFWorld, WebShop, ScienceWorld) demonstrando que o BEACON escala efetivamente com o horizonte da tarefa, ao contrário das linhas de base existentes.

Resultados Experimentais

Os experimentos foram conduzidos utilizando os modelos Qwen2.5-1.5B e Qwen2.5-7B em ALFWorld, WebShop e ScienceWorld.

• Desempenho em Tarefas de Longo Horizonte: No ALFWorld, o BEACON alcança uma taxa de sucesso de 92,9% em tarefas longas, quase dobrando os 53,5% alcançados pelo GRPO. Em contraste, o GRPO degrada-se drasticamente de 76,7% em tarefas curtas para 53,5% em tarefas longas.
• Eficiência de Amostragem: O BEACON melhora a utilização efetiva de amostras de 23,7% (GRPO) para 82,0%, extraindo com sucesso sinais de aprendizado de sucessos parciais que outros métodos descartam.
• Qualidade do Gradiente: A Razão de Vantagem Zero (amostras recebendo vantagem próxima de zero) cai de ~55% (GRPO) para ~10% (BEACON), e a Razão de Ação Contraditória é reduzida significativamente.
• Comparação com SFT: O BEACON supera o ajuste fino supervisionado (SFT) em trajetórias oráculo (91,4% vs. 43%), confirmando que os ganhos decorrem da otimização de política descobrindo estratégias superiores ao oráculo, e não de uma simples imitação.
• Robustez: O BEACON mantém desempenho robusto em horizontes curtos, médios e longos, enquanto linhas de base como GRPO e GiGPO mostram degradação significativa à medida que o comprimento da tarefa aumenta.

Significado e Alegações

O artigo alega que a atribuição de crédito ancorada em marcos representa um paradigma eficaz para o treinamento de agentes de linguagem de longo horizonte. Ao explorar a estrutura composicional inerente às tarefas agênticas, o BEACON supera o colapso sistemático de desempenho associado ao aumento das sequências de decisão.

Os autores enfatizam que seu método não requer modelos de recompensa de processo caros ou críticos adicionais aprendidos. Em vez disso, utiliza transições de estado observáveis para fornecer atribuição de crédito precisa, permitindo que os agentes aprendam eficientemente de sucessos parciais e resolvam conflitos de gradiente. Os resultados sugerem que priores estruturais (marcos) são críticos para escalar o RL em agentes de linguagem, oferecendo um caminho para sistemas autônomos mais capazes para tarefas complexas e multi-etapa, como navegação na web, controle incorporado e experimentação científica.