Resumo Técnico: Descoberta Offline de Habilidades Interpretáveis a partir de Trajetórias Multitarefa (LOKI)

Definição do Problema

A Aprendizagem por Imitação Hierárquica (HIL) oferece um paradigma promissor para a aquisição de comportamentos robóticos complexos ao decompor tarefas de longo horizonte em subtarefas gerenciáveis. No entanto, um gargalo crítico permanece na descoberta de habilidades reutilizáveis e semanticamente significativas a partir de dados de trajetórias offline e multitarefa que carecem de recompensas explícitas ou anotações de subtarefas. Os métodos existentes enfrentam três desafios principais:

1. Ambiguidade nos Limites de Habilidades: Segmentar trajetórias contínuas em habilidades discretas sem supervisão explícita é difícil.
2. Falta de Reutilização e Interpretabilidade: As habilidades aprendidas frequentemente falham em se alinhar com as conceitualizações humanas ou em transferir entre tarefas.
3. Escalabilidade: Muitas abordagens são adaptadas para ambientes de tarefa única ou exigem extensa engenharia específica para cada tarefa, limitando sua utilidade em ambientes multitarefa diversos.

O artigo propõe o LOKI (Learning Offline Key-skills via Imitation), um framework projetado para abordar essas lacunas, descobrindo habilidades robustas e interpretáveis diretamente de demonstrações offline brutas e não anotadas.

Metodologia: O Framework LOKI

O LOKI é um framework de aprendizado de três estágios e ponta a ponta que transforma trajetórias multitarefa brutas em uma política hierárquica executável.

Estágio 1: Macro-Segmentação via VQ-VAE Forçado (EVQ-VAE)

O primeiro estágio realiza uma segmentação grosseira e consciente da tarefa para distinguir entre Habilidades Gerais (GS).

• Arquitetura: Os autores introduzem um Autoencoder Variacional com Quantização Vetorial Forçada (EVQ-VAE). Diferente dos VQ-VAEs padrão, esta arquitetura utiliza rótulos de tarefa fracos ($c$) para forçar a quantização condicional à tarefa.
• Funções de Perda: O modelo minimiza uma perda composta que inclui reconstrução condicional à tarefa, perda de código (codebook) e de comprometimento (commitment). Crucialmente, ele introduz uma perda de divergência ($L_{divergence}$) para maximizar a distância euclidiana entre os vetores do codebook, prevenindo o colapso e incentivando representações distintas.
• Detecção de Limites: Os limites das habilidades são identificados usando a entropia do espaço latente.
  • Habilidades extrínsecas (específicas da tarefa) resultam em baixa entropia, pois os embeddings se alinham de perto com um único vetor de codebook específico da tarefa.
  • Habilidades intrínsecas (agnósticas à tarefa) resultam em alta entropia, pois os embeddings são equidistantes de múltiplos vetores.
  • Os pontos de mudança são detectados usando o algoritmo Pelt sobre o sinal de entropia, separando comportamentos intrínsecos e extrínsecos.

Estágio 2: Micro-Segmentação Fracamente Supervisionada

Este estágio refina os macro-segmentos em Habilidades Independentes (IS) granulares e independentes de contexto.

• Modelagem Sequencial: Um VAE sequencial processa janelas deslizantes de comprimento fixo dos macro-segmentos. O modelo é treinado para reconstruir ações e estados enquanto regulariza o espaço latente contra um prior condicionado apenas ao estado inicial e ao rótulo da tarefa (garantindo que o código da habilidade não "trapaceie" observando estados futuros).
• Refinamento de Limites:
  1. Detecção de Pico de Erro: Limites potenciais são identificados pela detecção de picos repentinos no erro de reconstrução (indicando um desvio da dinâmica atual da habilidade).
  2. Clustering Iterativo: Um algoritmo de K-Means é aplicado para segmentar os embeddings. Segmentos consecutivos atribuídos ao mesmo cluster são mesclados, removendo limites redundantes.
• Alinhamento de Habilidade de Tarefa: O framework distingue entre habilidades reutilizáveis (intrínsecas) e únicas (extrínsecas). Segmentos intrínsecos são agrupados em um conjunto compartilhado de primitivas, enquanto habilidades extrínsecas recebem IDs únicos. Finalmente, todas as trajetórias de uma tarefa específica são forçadas ao alinhamento com uma sequência de habilidades canônica baseada em frequência e similaridade, garantindo consistência estrutural.

Estágio 3: Construção da Política Hierárquica

Usando os limites de habilidades refinados, o framework constrói uma política executável:

1. Função de Terminação ($\beta$): Um MLP (Perceptron Multicamadas) é treinado como um classificador binário para prever a terminação da habilidade com base no estado atual, substituindo horizontes de tempo fixos por alternância baseada em estado.
2. Política de Baixo Nível: Um controlador condicionado à habilidade ($\pi(a_t|s_t, k)$) é treinado via clonagem de comportamento condicional para executar habilidades atômicas específicas.
3. Política de Alto Nível: Em vez de aprender um meta-controlador dinâmico, o sistema utiliza as sequências de habilidades canônicas derivadas no Estágio 2 como programas determinísticos de tarefa.

Principais Contribuições

1. Framework LOKI: Um novo framework de três estágios e fracamente supervisionado para descoberta de habilidades offline e imitação hierárquica a partir de dados de longo horizonte e multitarefa.
2. EVQ-VAE: Uma nova arquitetura que utiliza rótulos de tarefa fracos para forçar a quantização condicional à tarefa, permitindo a separação de habilidades intrínsecas e extrínsecas.
3. Método de Micro-Segmentação: Uma abordagem fracamente supervisionada que combina análise de erro de reconstrução e clustering iterativo para distinguir habilidades granulares e conservadoras.
4. Validação Empírica: Demonstração de que as habilidades descobertas são semanticamente significativas, consistentes e composíveis, permitendo a solução de novas tarefas.

Resultados Experimentais

Os experimentos foram conduzidos no benchmark D4RL Kitchen, utilizando o conjunto de dados kitchen-mixed-v0 que contém trajetórias para sete subtarefas (ex: micro-ondas, chaleira, interruptor de luz) combinadas em tarefas complexas de múltiplos estágios.

• Macro-Segmentação: O EVQ-VAE identificou com sucesso os limites entre habilidades intrínsecas e extrínsecas, evidenciado por estados distintos de baixa entropia (extrínsecos) e alta entropidade (intrínsecos) no espaço latente.
• Micro-Segmentação: O processo de refinamento iterativo removeu efetivamente limites ruidosos e impôs estruturas de segmentação consistentes entre trajetórias da mesma tarefa.
• Interpretabilidade: A visualização PCA do espaço latente revelou que habilidades com movimentos robóticos semelhantes (ex: "Microwave" e "Hinge Cabinet") se agruparam adjacentes, confirmando o alinhamento semântico com a intuição humana.
• Precisão de Terminação: A função de terminação aprendida alcançou 93,7% de precisão dentro de uma janela de $\pm4$ passos de tempo em relação aos limites da verdade fundamental (ground-truth).
• Comparação de Desempenho:
  • Variantes do LOKI (LOKI-O usando IDs one-hot e LOKI-E usando embeddings contínuos) superaram significativamente as bases hierárquicas DADS e OPAL em termos de Erro Quadrático Médio (MSE) da política de baixo nível.
  • O LOKI-E obteve o melhor desempenho entre os métodos propostos (MSE Médio: 7,76), atribuído às informações mais ricas dos embeddings contínuos em comparação aos IDs discretos.
  • Embora a base "Expert" (BC plano) tenha alcançado um MSE menor, o LOKI demonstrou superior modularidade e interpretabilidade, que são críticas para o controle hierárquico.

Significância e Alegações

O artigo afirma que o LOKI fornece um método prático e robusto para extrair habilidades estruturadas e interpretáveis de dados offline brutos sem exigir recompensas densas ou anotações manuais de subtarefas. Ao alinhar as habilidades descobertas com a intuição humana e permitir sua composição para resolver novas tarefas, o trabalho aborda um obstáculo fundamental para escalar a aprendizagem por imitação em ambientes robóticos complexos e multitarefa. Os autores posicionam o LOKI como um passo significativo em direção a uma aprendizagem robótica mais escalável e generalizável a partir de demonstrações, oferecendo uma alternativa viável a métodos que dependem de extensa interação online ou conjuntos de dados massivos e anotados.