Resumo Técnico: Aprendizado por Imitação Zero-shot por Mapeamento de Topologia Latente (ZALT)

Definição do Problema

O artigo aborda o desafio da composição de comportamento zero-shot no aprendizado por imitação condicionado a objetivos e de longo horizonte. Neste cenário, um agente recebe um conjunto fixo e offline de demonstrações de especialistas que cobrem apenas um subconjunto de tarefas possíveis de início-objetivo. O objetivo é que o agente resolva combinações de início-objetivo não vistas sem interação adicional com o ambiente ou otimização de política.

A dificuldade central reside na acumulação de erros ao longo de trajetórias longas. Métodos existentes, como clonagem comportamental ou imitação baseada em modelos, frequentemente falham nesse regime, pois pequenos erros de política, modelo ou deslocamento de distribuição se acumulam ao longo de centenas de passos de ação primitiva quando o agente tenta compor comportamentos fora da distribuição de início-objetivo demonstrada. O artigo postula que, embora um conjunto de dados fixo possa carecer de trajetórias completas para novas tarefas, ele provavelmente contém os segmentos de comportamento locais necessários; o desafio é aprender a recombinar esses segmentos de forma confiável.

Metodologia: ZALT

Os autores propõem Agentes Zero-shot a partir de Topologias Latentes (ZALT), um método que converte um conjunto fixo de demonstrações em uma estrutura de alto nível composicional para planejamento. A abordagem consiste em quatro etapas principais:

1. Descoberta de Hubs Latentes

O ZALT primeiro constrói uma topologia de comportamento identificando "estados hub" dentro dos dados de demonstração. Esses hubs atuam como junções reutilizáveis onde as trajetórias convergem ou divergem.

• Espaço Latente: Para lidar com observações de alta dimensão, o ZALT utiliza um modelo codificador-dinâmica-decodificador de baixo nível para mapear estados em um espaço latente alinhado à dinâmica. Este espaço é treinado para prever estados futuros com base em ações, garantindo que estados comportamentalmente semelhantes (e não apenas visualmente semelhantes) sejam agrupados.
• Identificação de Hubs: Hubs são definidos como clusters latentes onde:
  • Convergências: Múltiplas trajetórias anteriores distintas entram no mesmo cluster.
  • Divergências: Um único cluster leva a múltiplas trajetórias futuras distintas.
  • Inícios/Terminações: Estados iniciais e terminais também são tratados como hubs.
• Significado: Ao identificar esses hubs, o ZALT comprime longos horizontes de ação primitiva em sequências mais curtas de transições abstratas, isolando erros nos links entre hubs em vez de toda a trajetória.

2. Aprendizado de um Modelo de Dinâmica de Hub de Alto Nível

Uma vez estabelecida a topologia (grafo de hubs e arestas), o ZALT aprende um modelo de dinâmica de alto nível ($M^{high}$) que prevê o próximo hub dada a sequência de hubs visitados até o momento ($h_{0:m}$).

• Consciência Contextual: Diferentemente de uma simples travessia de grafo, este modelo utiliza uma GRU para capturar informações dependentes do caminho. Por exemplo, alcançar um hub de corredor pode levar a resultados diferentes dependendo se o agente coletou anteriormente uma chave específica.
• Mascaramento: O modelo é treinado com mascaramento de topologia; transições não suportadas por nenhuma aresta de demonstração recebem probabilidade zero, impedindo que o planejador tente comportamentos não suportados.

3. Aprendizado de Políticas Hub-a-Hub

Para cada aresta na topologia (transição do hub $h_i$ para $h_j$), o ZALT treina uma política específica de baixo nível ($\pi_{h_i}$) condicionada ao embedding do hub alvo.

• Clonagem Comportamental: Essas políticas são treinadas via clonagem comportamental nos segmentos de ação primitiva das demonstrações que conectam os hubs de origem e destino específicos.
• Robustez: Para lidar com variações de temporização e erros de detecção de limites, o treinamento inclui perturbação estocástica de limites (truncando ou estendendo segmentos) e ruído de observação.

4. Inferência Zero-shot

No momento do teste, dado um novo par início-objetivo:

1. Mapeamento: A observação de início é codificada e correspondida a um hub de início ($h_s$); o objetivo é correspondido a um conjunto de hubs de sucesso terminal ($H_g$).
2. Busca: Um algoritmo de busca (usando um custo de transição de gargalo) explora a topologia de comportamento para encontrar a rota mais plausível de $h_s$ para qualquer $h_g \in H_g$. A busca depende do modelo de dinâmica de alto nível para pontuar a plausibilidade do caminho com base no histórico.
3. Execução: O plano abstrato resultante (uma sequência de hubs) é executado encadeando as políticas aprendidas hub-a-hub correspondentes.

Contribuições Principais

• Mapeamento de Topologia Latente: A introdução de um método para identificar e utilizar explicitamente estados hub latentes (convergências/divergências) como junções reutilizáveis para composição de comportamento.
• Compressão de Horizonte: Um mecanismo que reduz o planejamento de longo horizonte de centenas de decisões primitivas para uma sequência curta de transições de hub abstratas, reduzindo significativamente a oportunidade de acumulação de erros.
• Dinâmica Dependente do Caminho: Um modelo de alto nível que condiciona previsões futuras na sequência de hubs visitados, e não apenas no estado atual, permitindo que o agente raciocine sobre o contexto (por exemplo, estado do inventário) implicitamente codificado no histórico do caminho.
• Composição Zero-shot: Uma estrutura que permite resolver tarefas com pares início-objetivo nunca vistos no treinamento, desde que os segmentos de comportamento locais necessários existam no conjunto de dados de demonstração.

Resultados Experimentais

Os autores avaliam o ZALT em um ambiente complexo de labirinto 3D (estilo MiniWorld/CARL) que exige manipulação ordenada de objetos (chaves, portas trancadas, diamantes e um barril). A tarefa envolve navegar até chaves específicas, destravar portas, coletar itens e depositá-los em uma ordem específica.

• Conjunto de Dados: 18 demonstrações bem-sucedidas e 120 demonstrações falhas cobrindo apenas 18 de 36 pares possíveis de início-objetivo.
• Desempenho Zero-shot: O ZALT alcança uma taxa de sucesso de 55% nos 18 pares de início-objetivo não vistos.
• Comparação com Baselines:
  • DQN+BC: 6% de sucesso (a baseline mais forte).
  • CQL, IQL, Option-Critic: 0% de sucesso.
  • Tarefas Vistas: O ZALT alcança 72,2% de sucesso em tarefas vistas, comparado a 11% para a baseline mais forte, indicando que o ambiente é difícil mesmo para aprendizado por imitação padrão.
• Eficiência: Planos bem-sucedidos do ZALT comprimem aproximadamente 244–281 passos de tempo primitivos em cerca de 33 transições de nível de hub (comprimento médio de aresta ~7,9 ações).
• Estudos de Ablação:
  • Remover o modelo de dinâmica de alto nível (substituindo-o por BFS) resulta em 0% de sucesso, provando que a conectividade bruta da topologia é insuficiente sem previsão dependente do caminho.
  • Remover a memória GRU do codificador de baixo nível resulta em 0% de sucesso, provando que a descoberta de hubs requer contexto comportamental (por exemplo, chaves coletadas) além da observação visual imediata.
• Adaptação Online: Após 500 episódios de interação online, as baselines falharam em recuperar o desempenho, sugerindo que a dificuldade decorre do horizonte longo e recompensas esparsas, e não da falta de prática.

Significado e Alegações

O artigo afirma que o ZALT demonstra que a topologia de comportamento explícita é um componente crítico para a generalização zero-shot no aprendizado por imitação de longo horizonte. Os autores argumentam que, enquanto métodos padrão lutam quando a rota completa de início-objetivo está fora da distribuição, o ZALT tem sucesso ao alavancar as "peças comportamentais locais" presentes nos dados.

O significado reside na capacidade de resolver tarefas complexas e composicionais sem exigir um conjunto completo de demonstrações para cada variação possível de tarefa. Ao comprimir o horizonte de planejamento e modelar explicitamente a conectividade de segmentos comportamentais reutilizáveis, o ZALT supera o problema de acumulação de erros que aflige políticas de longo horizonte. Os autores concluem que essa abordagem oferece uma direção promissora para treinar agentes em ambientes interativos onde coletar trajetórias de especialistas para cada combinação possível de tarefas é inviável.

O artigo permanece modesto quanto ao seu escopo, observando que o método assume a existência de conectividade comportamental reutilizável nas demonstrações e que a qualidade do hub depende da representação latente aprendida. Sugere-se trabalho futuro para explorar as forças que impulsionam a formação de hubs e adaptar a estrutura para configurações de aprendizado online ou híbrido.