Resumo Técnico: Descoberta Hierárquica de Habilidades Não Supervisionada (HiSD)

Declaração do Problema

O artigo aborda o desafio da segmentação de habilidades não supervisionada e descoberta de estrutura hierárquica em aprendizado por reforço (RL). Enquanto o planejamento humano opera de forma hierárquica — raciocinando em termos de objetivos e subtarefas, em vez de ações primitivas —, os agentes de RL atuais em ambientes de alta dimensionalidade (por exemplo, Minecraft) lutam para aprender tais estruturas de forma eficiente.

As abordagens existentes para descoberta de habilidades geralmente dependem de supervisão forte, como:

• Rótulos de ação: Requerendo acesso às ações específicas tomadas por um agente.
• Sinais de recompensa: Dependendo de estruturas de recompensa densas ou esparsas para definir limites de habilidades.
• Anotações manuais: Demandando expertise humana para definir decomposições de tarefas (por exemplo, Redes de Tarefas Hierárquicas).

Essas dependências limitam a escalabilidade, particularmente ao lidar com abundantes dados de vídeo não rotulados, onde ações, recompensas ou segmentações de verdade fundamental estão indisponíveis. Além disso, muitos métodos existentes produzem segmentações "planas", em vez de hierarquias composicionais profundas necessárias para tarefas complexas de longo horizonte.

Metodologia: Descoberta Hierárquica de Habilidades (HiSD)

Os autores propõem o HiSD, um framework totalmente não supervisionado que extrai hierarquias de habilidades reutilizáveis e multiníveis puramente a partir de dados observacionais (sequências de pixels brutos ou características). O método desacopla a descoberta de estrutura da execução da política e opera em duas etapas distintas:

1. Identificação Não Supervisionada de Habilidades (Segmentação)

A primeira etapa converte trajetórias contínuas de observação em sequências discretas de habilidades latentes.

• Entrada: Trajetórias de observação não rotuladas $T = (X_1, \dots, X_n)$, onde $X$ representa vetores de características (por exemplo, pixels reduzidos por PCA ou incorporações CLIP).
• Algoritmo: O framework utiliza Segmentação Temporal de Ação (TAS) via abordagem ASOT (Transporte Ótimo Desbalanceado).
• Mecanismo: O ASOT formula a segmentação como um problema de transporte ótimo. Ele minimiza um objetivo regularizado que equilibra:
  • Custo de Correspondência Visual: Dissimilaridade entre características de observação e protótipos de habilidades latentes.
  • Regularidade Temporal: Imposta via um componente Gromov-Wasserstein (GW) que penaliza a troca rápida de rótulos dentro de um raio temporal, garantindo suavidade local.
  • Penalidade de Margem: Um termo de divergência KL que permite distribuições de habilidades desbalanceadas (lidando com casos onde algumas habilidades são raras).
• Saída: Uma sequência de índices de habilidades discretas $z_{1:n}$ representando unidades comportamentais atômicas.

2. Abstração Simbólica e Indução de Gramática (Descoberta de Estrutura)

A segunda etapa induz uma estrutura hierárquica sobre as sequências discretas de habilidades.

• Construção de Corpus: Quadros contíguos compartilhando o mesmo rótulo de habilidade são colapsados em símbolos atômicos únicos. Todas as sequências de episódios são concatenadas em um corpus unificado, separadas por um token de limite único $\phi$.
• Algoritmo: Um algoritmo Sequitur modificado é aplicado ao corpus. O Sequitur é um algoritmo de indução de gramática de tempo linear que infere estrutura hierárquica identificando padrões recorrentes.
• Restrições:
  • Unicidade de Digrama: Nenhum par de símbolos adjacentes aparece mais de uma vez; repetições são substituídas por novas regras não terminais.
  • Utilidade de Regra: Regras devem ser usadas pelo menos duas vezes para serem mantidas.
  • Proteção de Limite: O token de limite $\phi$ é proibido de aparecer em regras de produção, garantindo que as sub-rotinas aprendidas capturem comportamentos intra-episódicos em vez de fundir o final de um episódio com o início de outro.
• Saída: Uma Gramática Livre de Contexto (CFG) $G$ onde os nós terminais são habilidades atômicas e os nós internos representam sub-rotinas descobertas (por exemplo, "Coletar Madeira" + "Fazer Banco de Trabalho").

Contribuições Principais

1. Framework Não Supervisionado: Introdução do HiSD, que integra segmentação temporal de ação com indução de gramática para descobrir hierarquias multiníveis sem rótulos de ação, recompensas ou anotações manuais.
2. Pipeline Apenas Observacional: Um método adequado para demonstrações não rotuladas, desacoplando a descoberta de estrutura da execução da política e permitindo escalabilidade para dados de vídeo em grande escala.
3. Validação Empírica: Demonstração de qualidade superior de segmentação e profundidade de abstração em comparação com baselines (CompILE, OMPN) em domínios complexos.
4. Utilidade a Montante: Uma prova de conceito mostrando que hierarquias descobertas aceleram e estabilizam o aprendizado em tarefas de RL a montante, mesmo quando apenas um pequeno número de demonstrações rotuladas por ação está disponível para fundamentação da política.

Resultados Experimentais

Os autores avaliaram o HiSD em dois domínios: Craftax (um ambiente 2D totalmente observável e determinístico) e Minecraft (um ambiente estocástico, parcialmente observável e de alta dimensionalidade).

Baselines

As comparações foram feitas contra CompILE e OMPN, aos quais foram fornecidas ordenações de subtarefas de verdade fundamental e rótulos de ação para garantir que operassem sob suas condições mais favoráveis. O HiSD exigiu apenas o número máximo de habilidades $K$ como prior.

Desempenho de Segmentação de Habilidades

• Métricas: Média sobre Quadros (MoF), Pontuação F1 e média Interseção sobre União (mIoU).
• Descobertas: O HiSD superou consistentemente as baselines, particularmente em tarefas com maior complexidade, estocasticidade e horizontes mais longos.
  • No Craftax, o HiSD alcançou pontuações mIoU mais altas, agrupando corretamente comportamentos perceptivamente distintos, mas semanticamente equivalentes (por exemplo, aproximar-se da madeira de diferentes ângulos) em clusters de habilidade únicos.
  • No Minecraft, apesar do aliasing perceptual (por exemplo, caminhar em direção à madeira versus pedra parecendo idêntico na visão em primeira pessoa), o prior de consistência temporal do HiSD permitiu segmentação coerente onde as baselines falharam.

Qualidade da Hierarquia

• Métricas: Árvores Únicas (consistência), Profundidade Média, Tamanho da Árvore e Fatores de Ramificação.
• Descobertas:
  • O HiSD produziu decomposições mais consistentes entre episódios (menos árvores únicas) em comparação com o OMPN, que frequentemente gerava uma hierarquia única para cada episódio.
  • As hierarquias do HiSD foram geralmente menores e mais interpretáveis, com fatores de ramificação mais baixos, indicando melhor identificação de sub-rotinas intermediárias.
  • Na tarefa ruidosa "All" do Minecraft, o HiSD lutou para encontrar uma estrutura única consistente devido à estocasticidade ambiental, mas performou significativamente melhor na tarefa "Mapped" (semanticamente agrupada).

Implantação de RL a Montante

Os autores demonstraram a utilidade das hierarquias descobertas treinando agentes de alto nível usando Otimização de Política Próxima Mascarável (PPO) com as habilidades descobertas como opções.

• Eficiência: Agentes usando hierarquias HiSD alcançaram recompensas quase ótimas significativamente mais rápido (por exemplo, dentro de ~30k passos no Craftax) em comparação com PPO de ação primitiva (que falhou) e agentes de habilidades planas.
• Eficiência de Dados: Os agentes hierárquicos alcançaram alto desempenho com tão poucos quanto 250 demonstrações rotuladas por ação para fundamentação da política, apesar da descoberta inicial de habilidades ser totalmente não supervisionada.

Significado e Alegações

O artigo alega que o HiSD oferece um caminho escalável para agentes generalistas capazes de aprender a partir de dados abundantes e não rotulados. Ao conectar segmentação temporal de ação de última geração com compressão baseada em gramática, o método induz hierarquias multiníveis diretamente a partir de trajetórias observacionais brutas.

Os autores enfatizam que:

• A estrutura pode ser recuperada puramente a partir de coerência temporal e similaridade visual, sem necessidade de supervisão de ação.
• As hierarquias resultantes são semanticamente significativas e reutilizáveis, fornecendo vieses indutivos necessários para atribuição de crédito temporal em RL a montante.
• A abordagem reduz a barreira para treinar agentes capazes, removendo a necessidade de supervisão densa e rótulos de ação, facilitando melhor interação humano-IA através de estruturas transparentes e interpretáveis.

O trabalho é apresentado como uma prova de conceito, reconhecendo limitações como a natureza determinística da indução de gramática (que luta com alto ruído) e a dependência de um prior fixo para o número de habilidades $K$. No entanto, os resultados sugerem que a descoberta de estrutura não supervisionada é uma estratégia viável e eficaz para ambientes complexos e de alta dimensionalidade de aprendizado por reforço.