Resumo Técnico: ASH (Agentes que Auto-Aperfeiçoam via Aprendizado Embutido)

Declaração do Problema

Tarefas embutidas de longo horizonte permanecem um desafio fundamental na inteligência artificial. Os métodos atuais para treinar agentes nesses ambientes enfrentam problemas significativos de escalabilidade:

• Clonagem Comportamental (BC): Depende de conjuntos de dados massivos, de alta qualidade e rotulados com ações. Compilar tais dados exige extensa anotação humana e conhecimento de domínio. Além disso, políticas BC padrão frequentemente condicionam-se apenas à memória de curto prazo, falhando em capturar dependências através de sequências que se estendem por horas.
• Aprendizado por Reforço (RL): Embora bem-sucedido em configurações complexas, o RL tipicamente depende de funções de recompensa densas e projetadas manualmente. Projetar recompensas para tarefas abertas de várias horas com subobjetivos diversos é frágil, trabalhoso e frequentemente intratável para sequências longas.
• Modelos de Base: Abordagens zero-shot frequentemente alucinam ou falham em adaptar-se a novos contextos visuais e mecânicas sem acesso privilegiado ao estado ou estruturas específicas.

O problema central é a falta de um método escalável para agentes aprenderem políticas de longo horizonte a partir de vídeos da internet não rotulados e ruidosos, sem moldagem de recompensa humana ou anotação de especialistas.

Metodologia: ASH

Os autores introduzem o ASH, um sistema agêntico que emprega um loop dinâmico de auto-aperfeiçoamento para aprender a partir de vídeos da internet não rotulados. O ASH opera sem moldagem de recompensa, confiando, em vez disso, em um mecanismo de bootstrap acionado quando o agente fica "preso".

Arquitetura Central

O ASH utiliza um sistema de dupla memória para lidar com dependências de longo horizonte:

1. Memória de Curto Prazo: Os $w_s$ pares observação-ação mais recentes (32 segundos de contexto) para controle reativo.
2. Memória de Longo Prazo: Um buffer dos $w_l$ "momentos-chave" (observações salientes) mais recentes que fornecem contexto para decisões tomadas horas antes.

A política $\pi$ é um transformador causal que condiciona-se a ambos os tipos de memória para prever ações.

O Loop de Auto-Aperfeiçoamento

O ASH segue um ciclo de três etapas (Algoritmo 1):

1. Inferência:

   • $N$ agentes interagem com o ambiente sob uma política compartilhada $\pi$.
   • Um classificador de momentos-chave $K$ (baseado em agrupamento HDBSCAN) identifica observações salientes em tempo real.
   • Se um agente encontrar um novo momento-chave, ele é adicionado à memória de longo prazo do agente e um "temporizador de preso" é reiniciado.
   • Se qualquer agente falhar em encontrar um novo momento-chave por $\Delta$ passos (indicando que está preso), o sistema interrompe a inferência e inicia o bootstrap.

2. Recuperação:

   • O sistema incorpora a trajetória do agente preso usando DINOv2.
   • Recupera os segmentos de vídeo visualmente mais similares (top-$k$) de um corpus de internet em grande escala (YouTube).
   • Um algoritmo de correspondência um-para-um ganancioso pontua janelas temporais para garantir recuperação de alta qualidade de segmentos de jogabilidade relevantes.

3. Bootstrap (Atualização da Política):

   • Atualização do Modelo de Dinâmica Inversa (IDM): O IDM é atualizado usando as próprias trajetórias do agente (pares observação-ação) para melhorar sua capacidade de prever ações a partir de observações.
   • Descoberta de Momentos-Chave: O classificador $K$ é atualizado usando os novos vídeos da internet recuperados para identificar novos padrões recorrentes.
   • Treinamento da Política: Os vídeos da internet recuperados (que são apenas observações) são rotulados com pseudo-ações geradas pelo IDM atualizado. Essas trajetórias rotuladas, combinadas com a memória de longo prazo construída por $K$, formam um novo conjunto de dados de treinamento $D_\pi$. A política $\pi$ é então treinada nesses dados via aprendizado supervisionado (perda de entropia cruzada).

Contribuições Principais

1. Bootstrap Dinâmico: Os autores propõem um mecanismo onde os agentes atualizam autonomamente suas políticas e modelos de recuperação apenas quando encontram obstáculos, permitindo adaptação contínua em ambientes abertos.
2. Memória de Longo Prazo a partir de Vídeos da Internet: Em vez de confiar em memória curada manualmente ou janelas de contexto fixas, o ASH descobre e retém autonomamente "momentos-chave" a partir de dados de internet em grande escala, permitindo planejamento de várias horas.
3. Receita Escalável de Aprendizado Embutido: Através de experimentos, o artigo demonstra que combinar bootstrap dinâmico com memória de longo prazo cria uma abordagem escalável capaz de controle motor fino e adaptação a novos contextos visuais sem anotação humana.

Resultados Experimentais

O ASH foi avaliado em dois ambientes complementares de longo horizonte:

• Pokémon Emerald: Um RPG baseado em turnos que exige batalhas estratégicas e exploração aberta.
• The Legend of Zelda: The Minish Cap: Um jogo de ação e aventura em tempo real que exige resolução de quebra-cabeças e controle motor fino.

Métricas de Desempenho:

• Desempenho do ASH: Após uma avaliação de 8 horas, o ASH atingiu uma média de 11,2/12 marcos em Pokémon Emerald e 9,9/12 em The Legend of Zelda.
• Desempenho das Linhas de Base: As linhas de base mais fortes (Clonagem Comportamental, Aumentada por Recuperação e Modelos de Base Zero-Shot) estagnaram significativamente mais cedo, atingindo médias de 6,5/12 e 6,0/12 marcos, respectivamente.
• Adaptabilidade: Enquanto as linhas de base falharam ao encontrar novas dinâmicas (por exemplo, entrar no castelo de Zelda ou na interface de batalha de Pokémon), o ASH adaptou-se com sucesso. Por exemplo, o checkpoint inicial do ASH não podia batalhar; após o bootstrap, atingiu uma taxa de vitória de 87% em batalhas de Pokémon.
• Ablação de Componentes: Remover a memória de longo prazo ou o bootstrap dinâmico resultou em quedas claras de desempenho, confirmando que ambos os componentes são essenciais para a progressão sustentada.
• Qualidade da Recuperação: O método de recuperação do ASH atingiu uma taxa de relevância de 94% para dados de treinamento, superando significativamente a recuperação aleatória (8%) e outras linhas de base de similaridade.
• Esquecimento Catastrófico: Testes de replay offline mostraram que o ASH não exibiu esquecimento catastrófico; a política final pôde reproduzir o ambiente desde o início mais rápido do que o agente de aprendizado online.

Significado e Alegações

O artigo afirma que o ASH demonstra uma receita escalável para aprendizado embutido de longo horizonte. Ao aproveitar vídeos da internet não rotulados e um loop de auto-aperfeiçoamento, o ASH supera as limitações de corpora de treinamento estáticos e recompensas projetadas manualmente.

Os autores afirmam que essa abordagem permite que os agentes:

• Sustentem a progressão ao longo de horizontes de várias horas onde políticas fixas falham.
• Adquiram novas habilidades (por exemplo, batalhas, luta com espada) autonomamente através de recuperação e imitação.
• Adaptem-se a mudanças de distribuição e novos contextos visuais sem intervenção humana.

O trabalho sugere que agentes de auto-aperfeiçoamento, que fazem bootstrap a partir de suas próprias falhas e do conhecimento coletivo da internet, oferecem um caminho viável para IA aberta e de longo horizonte que não depende da escalabilidade impraticável de dados rotulados por humanos ou engenharia de recompensas. Os autores permanecem modestos, notando limitações como a dependência da disponibilidade de vídeos úteis da internet e a dificuldade de inferir ações que não são visualmente distintas.