🤖 IA

AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds

Este artigo apresenta o AceAction, um conjunto de dados de grande escala de jogabilidade humana em múltiplos jogos 3D que fornece anotações hierárquicas e temporalmente alinhadas de visão-linguagem-ação para permitir que agentes generalistas aprendam composição de habilidades e transições de subobjetivos em ambientes dinâmicos.

Autores originais: Kailing Li, Ruoxuan Zhang, Zheyuan Zhou, Boyang Chu, Yingshan Lei, Hongxia Xie, Liang Du, Zixun Sun

Publicado 2026-11-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kailing Li, Ruoxuan Zhang, Zheyuan Zhou, Boyang Chu, Yingshan Lei, Hongxia Xie, Liang Du, Zixun Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Para ensinar uma máquina a agir no mundo, pesquisadores precisam de uma biblioteca massiva de exemplos que mostrem a conexão entre o que um agente vê, o que ele deseja alcançar e os movimentos específicos que ele realiza para chegar lá. No mundo físico, reunir esse tipo de dado é lento, caro e perigoso; exige robôs, supervisores humanos e configurações repetidas que podem levar anos para serem acumuladas. Os videogames oferecem uma alternativa prática. Eles fornecem ambientes tridimensionais ricos onde jogadores humanos realizam tarefas complexas todos os dias e onde cada cena visual pode ser perfeitamente pareada com os comandos exatos de teclado e mouse usados para criá-la. O desafio para os cientistas tem sido que, embora os jogos gerem dados infinitos, transformar a jogabilidade bruta em uma lição útil para a inteligência artificial requer mais do que apenas gravar vídeos. Exige uma maneira de entender não apenas o resultado final, mas o pensamento passo a passo que levou a ele: como um jogador decide se mover, quando eles mudam de explorar para combater e como eles dividem um grande objetivo em tarefas menores e gerenciáveis.

Uma equipe de pesquisadores abordou isso criando uma nova coleção de dados chamada AceAction-5M, projetada para ensinar computadores a seguir instruções complexas através de muitos diferentes jogos 3D. Em vez de apenas registrar o que aconteceu, os pesquisadores organizaram milhares de horas de jogabilidade humana em uma hierarquia estruturada. Eles pegaram sessões de jogo longas e contínuas e as dividiram em uma cadeia de comando clara: uma missão principal, uma série de subobjetivos intermediários e as ações específicas, momento a momento, necessárias para alcançar cada um deles. Por exemplo, uma única tarefa poderia ser "atravessar o corredor e subir as escadas até a casa de tijolos vermelhos". O sistema divide isso ainda mais: primeiro, o jogador deve chegar à porta à direita; depois, ele deve subir as escadas; finalmente, ele se aproxima da casa. Cada uma dessas etapas está ligada à cena visual exata que o jogador viu e à sequência precisa de pressões de teclas e movimentos de mouse que ele usou para executar a etapa.

O conjunto de dados abrange uma grande variedade de mundos virtuais, incluindo títulos populares como Fortnite, Minecraft, Counter-Strike e Euro Truck Simulator 2. No total, a coleção inclui mais de 5.000 horas de jogabilidade de 42 jogos diferentes, representando mais de 5,4 milhões de instruções de tarefas distintas e quase 116 milhões de ações individuais de teclado e mouse. Para construir isso, os pesquisadores combinaram gravações de jogadores profissionais em seus próprios estúdios com dados de partidas publicamente disponíveis de comunidades online. Eles então usaram ferramentas avançadas de visão computacional para observar a jogabilidade e identificar automaticamente quando o objetivo de um jogador mudava. Se um jogador estava andando por um corredor e depois parou para atirar em um inimigo, o sistema reconhecia que a fase de "caminhada" havia terminado e uma fase de "combate" havia começado. Eles rotularam essas mudanças como estágios distintos, atribuindo um tempo de início e fim claro para cada subobjetivo.

Uma parte crucial deste trabalho é a capacidade de ligar esses estágios a marcos visuais específicos. Quando um jogador navega em direção a um destino, o sistema identifica o momento em que ele chega a um ponto reconhecível, como um portão, uma rampa ou uma sala específica, e marca isso como um ponto de passagem (waypoint). Isso permite que os dados mostrem não apenas que um jogador se moveu, mas que ele se moveu com um destino específico em mente. Os pesquisadores então agruparam esses waypoints em sequências mais longas para formar descrições completas de tarefas. Para garantir que os dados fossem precisos, eles empregaram um processo rigoroso de verificação em duas etapas. Primeiro, modelos de inteligência artificial revisaram cada anotação para verificar se a descrição escrita correspondia ao vídeo e aos controles registrados. Em seguida, uma equipe de oito revisores humanos inspecionou manualmente centenas de trajetórias de jogabilidade. Essa auditoria humana confirmou que as descrições estavam corretas 95,8 por cento das vezes, garantindo que o elo entre a linguagem, a visão e a ação fosse sólido.

O resultado é um conjunto de dados que ensina explicitamente um agente artificial como alternar entre diferentes habilidades conforme a situação muda. Ao contrário de coleções anteriores que poderiam descrever apenas o resultado final ou fornecer instruções vagas, o AceAction-5M mostra à máquina exatamente quando parar uma atividade e começar outra. Ele captura toda a gama de comportamentos necessários em um ambiente dinâmico, desde navegar em um mapa e explorar inimigos até engajar em combate e se recuperar após um revés. Ao fornecer este nível de detalhe, os pesquisadores criaram uma base para treinar agentes que possam compreender instruções complexas de múltiplת etapas e executá-las com a mesma flexibilidade de um jogador humano. O trabalho demonstra que, ao organizar a jogabilidade em objetivos hierárquicos claros, é possível ensinar máquinas não apenas como se mover, mas como pensar através de uma sequência de ações para alcançar um objetivo complexo.

Resumo Técnico: AceAction-5M

Declaração do Problema

O aprendizado de modelos de Visão-Linguagem-Ação (VLA) requer demonstrações em larga escala que conectem objetivos de linguagem, observações visuais e ações executáveis. Embora a coleta de dados no mundo físico seja dispendiosa e limitada por restrições de hardware e segurança, os videogames oferecem uma alternativa prática para gerar dados de interação diversos. No entanto, os conjuntos de dados de interação em jogos existentes sofrem de limitações significativas:

Cobertura Restrita: Muitos conjuntos de dados estão confinados a jogos únicos (ex: Counter-Strike) ou gêneros específicos.
Supervisão Esparsa: As instruções são frequentemente orientadas a objetivos, mas carecem dos passos intermediários necessários para vincular a execução de habilidades refinadas aos objetivos gerais.
Hierarquias Temporais Imperfeitas: As hierarquias existentes geralmente dependem de intervalos de duração predefinidos em vez de mudanças de estágio baseadas em objetivos, o que pode dividir subobjetivos sustentados ou fundir outros distintos.

Essas limitações dificultam o desenvolvimento de agentes capazes de compreender como compor, alternar e sequenciar habilidades para seguir instruções complexas de múltiplos estágios em ambientes 3D dinâmicos.

Metodologia: Construção do Conjunto de Dados AceAction-5M

Os autores introduzem o AceAction-5M, um conjunto de dados que compreende o gameplay humano em 42 jogos 3D diversos. O conjunto de dados é construído através de um pipeline rigoroso projetado para criar anotações hierárquicas explícitas que vinculam tarefas, subobjetivos e habilidades.

1. Fontes de Dados

O conjunto de dados agrega aproximadamente 5.180 horas de gameplay de duas fontes:

Coleta Direta: Gravações de funcionários internos (rank Gold ou superior) jogando Game for Peace e Valorant, capturando cenários de combate e táticos.
Fonte Pública: Dados de CS:GO/CS2 (gravações de partidas), Open-P2P e VPT (Minecraft), ampliando a cobertura de mecânicas de jogo e ambientes.

2. Pipeline de Anotação

O processo de construção gera uma hierarquia de três níveis: Instrução Geral $\rightarrow$ Subobjetivos Ordenados $\rightarrow$ Instruções de Habilidade Local.

Anotação de Subobjetivo Baseada em Habilidades:
- As trajetórias são processadas em janelas de até 32 unidades (4 ações por unidade).
- Um Modelo de Visão-Linguagem (VLM) prevê uma categoria de habilidade (ex: navegação, combate), índices de início/fim e uma descrição de subobjetivo para cada segmento.
- A segmentação é impulsionada por mudanças em objetivos ou alvos de interação. Uma "flag de continuação" permite que os subobjetivos abranjam múltiplas janelas de anotação se o objetivo primário permanecer inalterado.
- O sistema define 43 categorias de habilidades cobrindo navegação, reconhecimento, combate, interação e recuperação.
Anotação de Subobjetivo Baseada em Waypoints:
- Subobjetivos de navegação são ancorados a locais visualmente reconhecíveis (waypoints).
- Uma janela deslizante avalia eventos de chegada em locais específicos. Ao detectar, o modelo atribui um nome descritivo ao waypoint e o associa ao frame de origem.
- Isso cria exemplos de navegação com destinos compartilhados, mas pontos de partida e ações intermediárias variadas, garantindo que o subobjetivo descreva a rota para um alvo visual específico.
Composição de Instrução:
- Subobjetivos adjacentes dentro de uma trajetória são compostos em uma única instrução de tarefa geral.
- Esta estrutura vincula explicitamente a tarefa global aos objetivos intermediários e às ações específicas de teclado/mouse necessárias para executá-los, preservando as fronteiras temporais para transições de subobjetivos.

3. Controle de Qualidade

Um processo de verificação de dois estágios garante a fidelidade dos dados:

Verificação Baseada em Modelo: Dois VLMs (Qwen3.8-27B e GLM-5.3-FLASH) realizam a verificação bottom-up. Eles verificam o aterramento visual (a ação corresponde ao vídeo?), a consistência da ação (o texto corresponde aos controles?) e a consistência lógica entre os subobjetivos e a tarefa geral. As amostras são retidas apenas se ambos os modelos aprovarem todos os níveis.
Inspeção Humana: Oito revisores humanos avaliaram 500 trajetórias (cada uma revisada por pelo menos duas pessoas). A auditoria resultou em uma taxa de aprovação de 95,8%, confirmando que as descrições de ação, subobjetivos e instruções gerais refletem com precisão o gameplay.

Principais Contribuições

Um Conjunto de Dados Hierarquicamente Anotado e Multi-Jogo: O AceAction cobre 42 jogos com mais de 5,48 milhões de instâncias de instrução de tarefa e 115,93 milhões de ações de teclado/mouse. É o primeiro a alinhar conjuntamente descrições de tarefas, subobjetivos de nível de estágio e instruções de ação local com trajetórias de nível de frame em um conjunto tão diverso de ambientes 3D.
Estrutura de Estágio Explícita: Diferente de trabalhos anteriores que inferem a hierarquia a partir de janelas de tempo, o AceAction define um esquema de anotação que marca explicitamente o início e o fim de cada estágio. Isso transforma a decisão de "quando mudar" de uma propriedade implícita de dados em um sinal explícito e aprendível.
Cobertura Abrangente de Habilidades: O conjunto de dados captura todo o espectro de comportamentos de gameplay 3D, incluindo navegação, reconhecimento, combate, interação e recuperação, fornecendo uma base para o estudo da composição e alternância de habilidades.

Resultados e Significância

O artigo não apresenta um novo modelo treinado nos dados, mas estabelece o conjunto de dados como uma fundação de dados para pesquisas futuras. A significância do AceAction-5M reside em sua capacidade de apoiar o estudo de:

Decomposição de Tarefas: Como agentes quebram instruções complexas em subobjetivos gerenciáveis.
Composição de Habilidades: Como agentes combinam habilidades distintas (ex: mover-se e depois atirar) para atingir um objetivo.
Transições de Subobjetivos: Como agentes detectam quando um objetivo atual foi concluído e mudam para o próximo estágio.

Ao fornecer fronteiras temporais explícitas e dados de visão-linguagem-ação alinhados, o AceAction aborda a lacuna nos benchmarks existentes em relação à supervisão da estrutura de tarefas. Ele permite o treinamento de agentes que podem não apenas executar controles de baixo nível, mas também compreender a lógica de alto nível necessária para navegar, adaptar-se e ter sucesso em mundos de jogos 3D dinâmicos. O conjunto de dados destina-se a facilitar o desenvolvimento de agentes generalistas capazes de seguir instruções complexas de múltiplos estágios em ambientes caracterizados por observabilidade parcial e mudança contínua.