Resumo Técnico: Isomorfismo de Tempo de Atingimento para Planejamento Multi-Etapa com Políticas de Fundação

Declaração do Problema

O artigo aborda o desafio da aprendizagem por reforço (RL) condicionada a objetivos offline para aprendizagem de políticas de fundação. O objetivo é aprender uma política reutilizável e agnóstica a objetivos a partir de um conjunto de dados estático de trajetórias que possa generalizar para um conjunto aberto de objetivos de maneira zero-shot.

As abordagens existentes para aprendizagem de representação de estado offline dividem-se em três categorias, cada uma com limitações críticas para o planejamento multi-etapa:

1. Métodos de Medida Sucessora: Embora não supervisionados, frequentemente falham em satisfazer a desigualdade triangular, impedindo a composição de distâncias através de sub-objetivos intermediários.
2. Métodos de Distância de Alcançabilidade: Estes frequentemente impõem estruturas métricas ou quasimétricas, mas dependem de supervisão condicionada a objetivos para o treinamento da política, violando o requisito de agnosticismo a objetivos para políticas de fundação.
3. Métodos de Tempo de Atingimento: Estes satisfazem a desigualdade triangular e suportam treinamento não supervisionado, mas tipicamente dependem de distâncias euclidianas simétricas. Isso falha em capturar a geometria temporal direcionada e irreversível de ambientes do mundo real, levando a um planejamento subótimo onde rotas passam por sub-objetivos inatingíveis na direção requerida.

Os autores identificam o primitivo ausente como a geometria temporal direcional medida em passos de transição discretos. Eles propõem o tempo de atingimento esperado como a quantidade fundamental a ser recuperada, visando aprender uma representação onde os tempos de atingimento são funcionais lineares de deslocamentos latentes, preservando tanto a direção quanto a escala.

Metodologia: Aprendizagem de Incorporação Isomórfica (IEL)

A contribuição central é um novo framework baseado na teoria de operadores e o algoritmo de Aprendizagem de Incorporação Isomórfica (IEL).

1. Framework Teórico: Isomorfismo de Tempo de Atingimento

Os autores formalizam o ambiente como um Processo Markoviano Controlado (CMP) dentro de um espaço de Hilbert. Eles definem um CMP $\epsilon$-Suficiente onde as dinâmicas de transição são aproximadamente lineares em um espaço de características latentes $\phi$.

• Representação Linear de Tempos de Atingimento: Sob a condição de que as dinâmicas latentes fechem linearmente e uma condição específica de intervalo adjunto seja satisfeita, o tempo de atingimento esperado $V^\pi(x, g)$ do estado $x$ ao objetivo $g$ admite uma representação linear exata:
  $$V^\pi(x, g) = \langle \phi(g) - \phi(x), \omega^\pi_g \rangle_H$$
  Aqui, $\omega^\pi_g$ é um vetor identificador de tarefa no espaço de Hilbert. Isso prova que os funcionais de tempo de atingimento são equivalentes a deslocamentos latentes até um isomorfismo linear limitado.
• Identificabilidade: O artigo prova que qualquer representação que recupere essa geometria de tempo de atingimento é unicamente identificável até uma mudança de coordenadas linear limitada (Teorema 2.3). Isso garante que a geometria aprendida reflita a verdadeira estrutura temporal direcionada do ambiente, e não um sistema de coordenadas arbitrário.
• Limites de Erro: A análise teórica mostra que o erro global de tempo de atingimento é limitado pelo erro de transição latente de um passo amplificado pelo raio espectral transitório do ambiente (Teorema 3.3). Garantias de amostra finita decompõem o erro em termos de aproximação, complexidade estatística, cobertura e incompatibilidade de rótulos de trajetória (Teorema 3.5).

2. O Algoritmo IEL

O IEL operacionaliza essa teoria através de quatro componentes:

1. Aprendizagem de Identificador de Tarefa: Uma abordagem de aprendizagem contrastiva (perda InfoNCE) aprende um mapeamento $\omega_\psi(g)$ que transforma um estado-alvo em um identificador de tarefa. Isso estabelece o eixo direcional no espaço latente, permitindo cálculos de tempo de atingimento assimétricos.
2. Regressão de Tempo de Atingimento: O algoritmo amostra pontos intermediários de trajetórias offline e realiza regressão expectil para prever o progresso do tempo de atingimento. Isso viésa a geometria em direção a distâncias mais curtas e dentro da distribuição.
3. Aprendizagem por Diferença Temporal (TD): Para lidar com a escassez de dados de longo horizonte, o IEL faz a ponte entre a fórmula de tempo de atingimento e objetivos no estilo HILP. Ele introduz um viés direcional através de uma transformação:
   $$V^\pi(x, g) \approx \|\phi(g) - \phi(x)\| \exp(\beta(1 - \cos(\xi_{x \to g, g})))$$
   onde $\xi$ é o ângulo entre a diferença de incorporação e o identificador de tarefa. Isso penaliza o desalinhamento angular, atuando como uma restrição direcional suave ausente em métodos simétricos.
4. Planejamento Multi-Etapa Baseado em Grafos: No momento do teste, o IEL constrói um grafo direcionado sobre um conjunto central (coreset) de estados latentes. Os custos das arestas são definidos pela pontuação de tempo de atingimento assimétrica aprendida. A navegação é realizada via busca de Caminho Mais Curto de Fonte Única (SSSP) no grafo revertido, convertendo previsões temporais locais em planos de navegação globais zero-shot.

Contribuições Principais

• Teóricas: Prova a existência e identificabilidade de uma representação linear de deslocamento para tempos de atingimento em CMPs suficientes, estabelecendo um vínculo rigoroso entre a teoria de operadores e funcionais de tempo de atingimento.
• Algorítmicas: Introduz o IEL, o primeiro algoritmo de aprendizagem de políticas de fundação que satisfaz simultaneamente treinamento de política não supervisionado, distância direcional e a desigualdade triangular.
• Práticas: Demonstra que incorporar assimetria direcional na geometria de incorporação melhora significativamente as capacidades de planejamento multi-etapa em comparação com bases simétricas.

Resultados Experimentais

Os autores avaliam o IEL em seis benchmarks de RL condicionados a objetivos offline do conjunto de dados D4RL (suites AntMaze e Kitchen).

• Bases de Comparação: As comparações são feitas contra HILP (a base principal para políticas de fundação), GC-IQL e GC-CQL.
• Desempenho:
  • O IEL com planejamento de grafo assimétrico alcança resultados state-of-the-art, superando significativamente o HILP e o planejamento de ponto médio recursivo em ambientes como antmaze-ultra-diverse (79,0 vs 39,8) e antmaze-large-diverse (71,8 vs 68,0).
  • Mesmo a variante simétrica do IEL (usando distâncias simétricas, mas o mesmo planejamento de grafo) frequentemente supera a estratégia de ponto médio recursiva do HILP, validando a eficácia do próprio mecanismo de planejamento baseado em grafos.
  • A variante assimétrica fornece ganhos adicionais em quatro dos seis ambientes, confirmando a necessidade de geometria direcional para navegação complexa.
• Eficiência: O custo de treinamento do IEL é comparável ao do HILP. O planejamento de grafo assimétrico opera em velocidades comparáveis ao planejamento de ponto médio recursivo, enquanto a variante simétrica é aproximadamente três vezes mais rápida devido à reutilização do grafo.

Significado e Alegações

O artigo alega que o IEL fornece o primeiro framework para satisfazer as três capacidades críticas requeridas para políticas de fundação no planejamento multi-etapa: treinamento não supervisionado, distância direcional e a desigualdade triangular.

Os autores argumentam que, ao substituir heurísticas de distância simétrica por uma geometria temporal direcionada fundamentada na teoria de operadores, agentes podem navegar em ambientes complexos e irreversíveis com eficiência provável. Eles postulam que este trabalho fornece uma base matemática para transicionar a pesquisa de Visão-Linguagem-Ação (VLA) da dependência de aprendizagem por imitação para aprendizagem de políticas baseada em recompensa, potencialmente permitindo robôs de propósito geral mais autônomos e confiáveis. O framework é apresentado como uma alternativa rigorosa a modelos baseados em distância que carecem de garantias de consistência global.