💻 computer science

Training One Model to Master Cross-Level Agentic Actions via Reinforcement Learning

O artigo apresenta o CrossHA, um modelo agêntico unificado treinado por meio de um novo pipeline que combina ajuste fino supervisionado e Otimização de Política de Grupo Relativa de Múltiplos Turnos para selecionar e alternar autonomamente entre espaços de ação heterogêneos, alcançando assim o estado da arte em desempenho e adaptabilidade em tarefas dinâmicas de longo horizonte dentro do ambiente Minecraft.

Autores originais: Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

Publicado 2026-06-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a jogar o videogame Minecraft. No passado, os pesquisadores tinham que construir "cérebros" separados para diferentes partes do jogo. Um cérebro era bom em caminhar (usando comandos simples, passo a passo), outro era bom em clicar em menus (usando movimentos precisos de mouse) e um terceiro era bom em usar atalhos de alto nível (como "ir até a árvore mais próxima").

O problema era que esses robôs eram rígidos. Se uma tarefa exigisse caminhar e depois clicar em um menu, o robô ficaria confuso ou travado porque foi treinado para usar apenas um tipo de "linguagem" por vez.

A Grande Ideia: O Agente "Canivete Suíço"
Este artigo apresenta o CrossHA, um novo tipo de agente de IA que age como um mestre cuca com uma cozinha completa. Em vez de ser forçado a usar apenas uma colher ou apenas uma faca, o CrossHA aprende a observar o ingrediente (a tarefa) e decide instantaneamente: "Eu preciso de um corte grosseiro (um movimento simples) ou de uma fatia fina (um clique preciso) agora?"

É o primeiro modelo que pode alternar perfeitamente entre diferentes "linguagens de ação" sobre a marcha, sem que um humano precise dizer qual usar em cada etapa.

Como Eles o Ensinaram (A Receita de Treinamento)

Os pesquisadores não apenas despejaram dados no modelo; eles usaram um pipeline de treinamento de três etapas, semelhante à forma como um humano aprende uma habilidade complexa:

A Fase de "Degustação" (Ajuste Fino Supervisionado):
Primeiro, eles mostraram ao modelo milhares de exemplos de pessoas jogando o jogo usando métodos diferentes (algumas caminhavam, outras clicavam, outras usavam atalhos). O objetivo aqui era apenas ensinar ao modelo o "vocabulário" de todos esses diferentes métodos para que ele pudesse entender todos eles. Era como ensinar um aluno a ler inglês, espanhol e francês, mas ainda não pedir para ele escrever uma história.
A Fase de "Sprint" (RL de Turno Único):
Em seguida, eles deram ao modelo desafios curtos de um passo. Se o modelo tentasse resolver um problema usando a "linguagem" errada (por exemplo, tentando atravessar uma porta trancada em vez de clicar na maçaneta), ele recebia uma pontuação baixa. Se escolhesse a ferramenta certa para o trabalho, recebia uma recompensa. Isso ensinou o modelo a fazer escolhas rápidas e inteligentes sobre qual ferramenta escolher para um único momento.
A Fase de "Maratona" (RL de Múltiplos Turnos):
Finalmente, eles deixaram o modelo jogar partidas completas e longas. O objetivo não era apenas acertar um passo, mas completar toda a missão de forma eficiente. O modelo aprendeu que, às vezes, usar um método "rápido, mas grosseiro" é melhor para caminhar por um campo, mas mudar para um método "lento, mas preciso" é necessário para fabricar um item delicado. Ele aprendeu a equilibrar velocidade e precisão ao longo de uma longa jornada.

Os Resultados: Por Que Isso Importa

Os pesquisadores testaram este modelo em mais de 800 tarefas diferentes no Minecraft, variando desde derrubar árvores até fabricar itens complexos e lutar contra monstros.

O Jeito Antigo: Robôs treinados para usar apenas um método (como apenas caminhar) eram ótimos em caminhar, mas péssimos em fabricar itens. Eles eram como uma pessoa que só sabe correr, mas não sabe abrir uma porta.
O Jeito CrossHA: O novo modelo foi o melhor em tudo. Ele não apenas empatou as pontuações; ele se destacou porque sabia exatamente quando mudar de marcha.

A Analogia do "Motorista Inteligente":
Imagine dirigir um carro.

Um robô de ação fixa é como um motorista que só sabe dirigir em uma rodovia. Se ele pegar uma estrada de terra, ele bate. Se entrar em um estacionamento, ele se perde.
O CrossHA é como um motorista habilidoso que sabe quando trocar para uma marcha alta para a rodovia (eficiência) e quando trocar para uma marcha baixa e dirigir com cuidado em uma vaga apertada (precisão). Ele não precisa de um copiloto para dizer quando trocar de marcha; ele simplesmente sente a estrada e se adapta.

A Conclusão

O artigo afirma que, ao treinar um único modelo para dominar todas essas diferentes "linguagens de ação" e permitir que ele aprendesse através de aprendizado por reforço (tentativa e erro com recompensas), eles criaram um agente significativamente mais inteligente, flexível e eficiente do que os modelos anteriores que estavam presos ao uso de apenas um tipo de ação.

Eles provaram isso mostrando que o modelo era capaz de lidar com mais de 800 desafios em um jogo de mundo aberto complexo, superando todos os outros métodos existentes. O código e os modelos estão agora abertos para que outros possam usar.

Resumo Técnico: CrossHA – Treinando um Único Modelo para Dominar Ações Agênticas de Diferentes Níveis via Aprendizado por Reforço

1. Definição do Problema

O paradigma da IA agêntica está mudando de fluxos de trabalho projetados em torno de modelos de Linguagem (LLMs) e Visão-Linguagem (VLMs) pré-treinados para modelos agênticos nativos desenvolvidos através de pós-treinamento. No entanto, os agentes existentes são tipicamente confinados a espaços de ação estáticos e predefinidos (por exemplo, usando exclusivamente APIs, eventos de GUI ou comandos robóticos). Essa rigidez cria duas limitações fundamentais:

Fragilidade: Políticas de ação específicas ou camadas de tradução frequentemente falham em ambientes dinâmicos (por exemplo, funções de API bloqueadas por CAPTCHAs, ou políticas robóticas carentes de precisão).
Inflexibilidade: A atribuição manual de espaços de ação às tarefas restringe a adaptabilidade. Crucialmente, o espaço de ação ideal pode variar não apenas entre tarefas, mas dentro de uma única tarefa no nível do passo. Por exemplo, um agente de "Pesquisa Profunda" pode usar eficientemente APIs de busca para coleta de informações, mas exigir manipulação precisa de nível de GUI para contornar um CAPTCHA.

As abordagens atuais frequentemente dependem de pipelines complexos e frágeis para orquestrar transições entre espaços de ação distintos ou fundir trajetórias heterogêneas sem otimizar explicitamente o mecanismo de seleção. Há uma falta de modelos unificados que possam selecionar autonomamente a interface mais eficaz (variando de APIs de alto nível a primitivas de baixo nível) para cada passo de uma trajetória com base no contexto.

2. Metodologia: O Framework CrossHA

Para abordar essas limitações, os autores propõem o CrossHA, um modelo agêntico unificado treinado para dominar múltiplos espaços de ação heterogêneos e selecionar autonomamente a interface apropriada para cada passo. O modelo é treinado por meio de um pipeline abrangente de três estágios, integrando o ajuste fino supervisionado (SFT) de partida a frio com um algoritmo de Otimização de Política de Grupo Relativa (GRPO) de múltiplos turnos.

2.1. Formulação do Problema

A tarefa é modelada como um Processo de Decisão de Markov (MDP) com um espaço de ação composto $\mathcal{A} = \bigcup_{x=1}^{N} \mathcal{A}_x$ , onde cada subespaço $\mathcal{A}_x$ corresponde a uma classe distinta de ações (por exemplo, controles motores de baixo nível vs. primitivas de movimento de alto nível). O objetivo é maximizar a recompensa esperada enquanto se penalizam os custos computacionais ou operacionais associados a diferentes granularidades de ação:
$J = \mathbb{E}\left[\sum_{t} (r_t - \lambda_x \text{cost}(a_t))\right]$

2.2. Pipeline de Treinamento

O processo de treinamento consiste em três estágios progressivos:

Estágio 1: Ajuste Fino Supervisionado de Espaço Misto (SFT)
O modelo é inicializado em um conjunto de dados equilibrado composto por trajetórias de múltiplos subespaços de ação. O objetivo é construir um modelo base robusto ( $M_{mix}$ ) capaz de decodificar e gerar ações válidas através de diversas modalidades sem interferência modal. Neste estágio, o modelo aprende sintaxe e semântica, mas ainda não seleciona autonomamente o espaço de ação ideal.
Estágio 2: Aprendizado por Reforço de Turno Único (STRL)
Este estágio capacita o modelo a selecionar autonomamente o espaço de ação apropriado para contextos de tarefa imediatos.
- Aquecimento (Warm-up): Uma fase de SFT com aumento de diversidade gera ações candidatas em todos os espaços, filtrando execuções bem-sucedidas para criar anotações de verdade fundamental (ground-truth).
- Otimização: O modelo é ajustado finamente usando a Otimização de Política de Grupo Relativa (GRPO). Ao contrário do PPO, o GRPO estima a vantagem com base no desempenho relativo de um grupo de saídas amostradas, em vez de uma função de valor aprendida. A recompensa é agnóstica ao espaço de ação: o crédito é concedido se a ação bruta analisada corresponder à verdade fundamental, independentemente da forma de superfície utilizada. Isso incentiva o modelo a selecionar o espaço de ação mais confiável para uma determinada entrada.
Estágio 3: Aprendizado por Reforço de Múltiplos Turnos (MTRL)
Para otimizar o raciocínio de longo horizonte e a eficiência da trajetória, o modelo passa pelo MTRL.
- Inicialização: Um passo de auto-treinamento rotula o conjunto de dados com base nas preferências do modelo STRL, criando um prior forte para a seleção apropriada de espaço de ação ( $M_{cs2}$ ).
- Otimização de Trajetória: O modelo é ajustado finamente em um conjunto de tarefas curadas usando uma recompensa episódica binária (sucesso/falha) combinada com uma penalidade pelo comprimento do token. Isso incentiva o agente a equilibrar o sucesso da tarefa com a eficiência de execução, preferindo ações de alto nível concisas sempre que possível e alternando para ações atômicas detalhadas quando necessário.

3. Principais Contribuições

Modelo CrossHA: Um modelo agêntico unificado capaz de dominar espaços de ação heterogêneos e selecionar autonomamente a interface apropriada ao contexto sem depender de heurísticas definidas por humanos.
Pipeline de RL Abrangente: A introdução de um framework de treinamento utilizando GRPO de múltiplos turnos, permitindo que o agente aprenda a alternar ações de forma adaptativa dentro de uma única trajetória para maximizar tanto o sucesso da tarefa quanto a eficiência de execução.
Desempenho de Estado da Arte: Demonstração de generalização e robustez superiores em tarefas de raciocínio de longo horizonte comparadas a baselines estáticos.

4. Resultados Experimentais

Os autores avaliaram o CrossHA no ambiente de mundo aberto Minecraft (versão 1.16.5), utilizando o benchmark OpenHA, que contém mais de 800 tarefas desenhadas manualmente categorizadas em:

Mine Blocks: Navegação e interação física.
Craft Items: Interações complexas de GUI.
Kill Entities: Sobrevivência e combate.

Principais Descobertas:

Desempenho: O CrossHA alcançou desempenho de estado da arte em todas as categorias. Notavelmente, atingiu uma taxa de Tarefas Concluídas (FT) de 94,7% em "Mine Blocks" e 83,3% em "Craft Items", superando significativamente os baselines de ação fixa.
Generalização: Apesar de ter sido treinado em apenas 30 tarefas (10 de cada categoria), o CrossHA generalizou com sucesso para mais de 800 tarefas de avaliação.
Estudos de Ablação:
- Espaços de Ação Mistos: O CrossHA convergiu mais rápido e atingiu um desempenho assintótico mais alto do que os baselines de espaço único (ex: GroundingHA, MotionHA) durante o MTRL, demonstrando melhor eficiência de dados.
- Necessidade de STRL: A inclusão do estágio STRL aumentou significamente a eficiência do treinamento e o desempenho final, particularmente em tarefas fora de distribuição (OOD).
- Robustez: Enquanto agentes de espaço único mostraram alto desempenho em tarefas dentro da distribuição (ID), mas caíram drasticamente em tarefas OOD, o CrossHA manteve um gap de generalização menor, sugerindo que a seleção dinâmica de espaço de ação mitiga o overfitting.

5. Significância e Alegações

O artigo afirma que o CrossHA representa um passo significativo em direção a agentes verdadeiramente generalistas. Ao tratar a seleção de espaço de ação como um componente aprendível e otimizado via aprendizado por reforço, o modelo supera a rigidez dos designs estáticos. Os resultados demonstram que a seleção adaptativa de espaço de ação produz generalização e robustez superiores em comparação com baselines estáticos.

Os autores enfatizam que o modelo aprende a equilibrar trade-offs dinamicamente: priorizando ações de alto nível para eficiência quando aplicável, enquanto emprega ações atômicas detalhadas para controle preciso quando necessário. Essa capacidade permite que o agente lide com cenários complexos que exigem interações multimodais sem intervenção manual.

O trabalho futuro, conforme observado pelos autores, inclui a melhoria da eficiência do RL de múltiplos turnos e a extensão do framework para configurações robóticas do mundo real, onde desafios como segurança e latência surgem.