Goal Sets, Not Goal States: Queryable Robot Goals through Goal-Set Hindsight Relabeling

Resumo Técnico: Conjuntos de Objetivos, não Estados de Objetivos: Objetivos de Robôs Consultáveis através de Relabeling de Histórico de Conjuntos de Objetivos

Declaração do Problema
O Aprendizado por Reforço Condicionado a Objetivos (GCRL) Offline visa derivar políticas de controle a partir de conjuntos de dados pré-coletados (ex: demonstrações ou registros de teleoperação) sem a necessidade de tentativa e erro online dispendiosa. Um mecanismo central neste domínio é o Hindsight Experience Replay (HER), que rotula estados futuros alcançados como objetivos para transições anteriores em uma trajetória.

Benchmarks típicos de GCRL offline, como o OGBench, tipicamente instanciam o HER utilizando o espaço de estado completo como o espaço de objetivos. Esta abordagem assume que o sucesso requer a reprodução de todo o vetor de estado futuro. No entanto, em muitas tarefas de manipulação robótica, o sucesso depende apenas de um subconjunto específico de variáveis de estado (ex: posição do objeto), enquanto outras variáveis (ex: configurações de juntas do robô, estado da garra, velocidades) são dimensões de incômodo (nuisance dimensions). Ao impor a correspondência exata do estado completo, o HER padrão introduz restrições artificiais que sobrecarregam o objetivo de aprendizado, levando a um desempenho subótimo quando os critérios de sucesso da tarefa são uma projeção do estado completo.

Metodologia: Goal-Set Hindsight Relabeling (GS-HER)
Os autores propõem o Goal-Set Hindsight Relabeling (GS-HER), uma generalização de nível de predicado do HER. Em vez de tratar um estado alcançado $s_{t+k}$ como um objetivo único $g = s_{t+k}$, o GS-HER trata este como um certificado para um conjunto de objetivos definido por uma consulta (query).

1. Classes de Equivalência Definidas por Consulta:
   Um vetor de consulta binário $q \in \{0, 1\}^D$ especifica quais variáveis de estado definem o sucesso para uma tarefa específica.

   • $q_i = 1$: A $i$-ésima coordenada é ativa e define o objetivo.
   • $q_i = 0$: A $i$-ésima coordenada é uma variável de incômodo para esta consulta.

   Dado um estado de referência $g$ e uma consulta $q$, o conjunto de objetivos é definido como a classe de equivalência de estados $G(g, q) = \{s' \in \mathcal{S} : q \odot s' = q \odot g\}$. O sucesso é determinado pela correspondência apenas das coordenadas ativas, tipicamente medida via uma distância quadrática normalizada com uma tolerância $\epsilon$.

2. Interface Condicionada à Consulta:
   O GS-HER modifica a entrada de condicionamento do algoritmo de GCRL offline subjacente sem alterar seu objetivo central de aprendizado (ex: atualizações de Bellman, perda contrastiva ou clonagem de comportamento). A entrada de condicionamento $\psi_{GS}$ é construída como:
   $$\psi_{GS}(s, g, q) = [\bar{s}_q, \bar{g}_q, q]$$
   onde $\bar{s}_q = q \odot s + (1-q) \odot e_s$ e $\bar{g}_q = q \odot g + (1-q) \odot e_g$. Aqui, $e_s$ e $e_g$ são embeddings de coordenadas de incômodo (aprendidos ou fixos) que mascaram as variáveis irrelevantes. A consulta $q$ é explicitamente fornecida à rede, permitindo que o modelo aprenda uma política unificada que se adapta à sua noção de "sucesso" com base na consulta.

3. Wrapper de Relabeling:
   O GS-HER atua como um wrapper em torno de algoritmos existentes de GCRL offline. Durante o treinamento, para cada transição, um estado de referência $g$ é amostrado (conforme o algoritmo base), e uma consulta $q$ é amostrada de uma distribuição $p_Q$. A transição é então rotulada com o conjunto de objetivos condicionado à consulta e o predicado de sucesso correspondente. Isso permite que um único modelo aprenda de uma mistura de semânticas de objetivos (ex: estado completo, posição do objeto, pose do efetuador final) simultaneamente.

Principais Contribuições

1. Identificação de Descompasso de Objetivo: O artigo identifica que o relabeling de histórico de estado exato cria um descompasso de objetivo em tarefas robóticas onde o sucesso depende de projeções relevantes para a tarefa, em vez do estado completo.
2. Formalização do GS-HER: Os autores formalizam o GS-HER como uma generalização de nível de predicado onde estados alcançados certificam a alcançabilidade de conjuntos de objetivos (classes de equivalência) em vez de estados únicos.
3. Wrapper Independente de Implementação: O GS-HER é instanciado como um wrapper de relabeling condicionado à consulta para ambientes de estado vetorial. Ele permite que algoritmos de GCRL offline existentes (incluindo clonagem de comportamento, RL contrastivo e Q-learning implícito) aprendam semânticas de objetivos consultáveis sem modificar seus objetivos de otimização subjacentes.
4. Interface de Objetivo Reutilizável: O método transforma o relabeling de histórico em uma interface reutilizável, permitendo que um único checkpoint treinado responda a múltiplos predicados de objetivos durante a inferência sem retreinamento.

Resultados Experimentais
Os autores avaliaram o GS-HER no conjunto OGBench, cobrindo tarefas de manipulação (ex: posicionamento de cubo) e tarefas de navegação (ex: PointMaze, AntMaze) através de cinco diferentes backbones de GCRL offline (GCBC, CRL, GCIVL, GCIQL, GCDL).

• Melhoria de Desempenho: O GS-HER (especificamente a variante "Blockwise" usando blocos de coordenadas aleatórias) superou consistentemente o HER de estado completo padrão (HER-Full) em tarefas de manipulação. Por exemplo, em média nas tarefas de manipulação, o GS-HER melhorou a taxa de sucesso oficial de 24,5% (HER-Full) para 55,0%, aproximando-se do desempenho de uma linha de base "Focada na Tarefa" (HER-Task) que utiliza uma projeção fixa e predefinida.
• Gargalo de Dimensão de Incômodo: Os ganhos de desempenho foram fortemente correlacionados ao grau em que o HER de estado completo era limitado pelas dimensões de incômodo. Em ambientes de baixo incômodo (como PointMaze), o GS-HER teve desempenho comparável ao HER-Full, confirmando que o método aborda especificamente o problema da sobre-restrição.
• Um Modelo, Muitos Predicados: Em um experimento de "um modelo, muitos objetivos", um único checkpoint de GS-HER foi consultado durante a inferência com vários predicados (ex: posição do cubo, yaw do cubo, pose do efetuador final, posição do objeto no ar). O modelo adaptou-se com sucesso a esses diferentes critérios de sucesso sem retreinamento. Em contraste, o HER-Task exigiu retreinamento para cada novo predicado, e o HER-Full falhou em generalizar para predicados que ignoravam variáveis de estado específicas.

Significância e Alegações
O artigo afirma que o GS-HER isola a semântica de relabeling do GCRL offline. Ao desacoplar a definição de sucesso (a consulta) do algoritmo de aprendizado, o GS-HER fornece um primitivo que permite que conjuntos de dados offline suportem especificações de objetivos flexíveis e consultáveis.

Os autores enfatizam que este trabalho não resolve a especificação de objetivos aberta (ex: via linguagem ou visão), mas demonstra que tornar o predicado de objetivo uma entrada de inferência é um passo útil e necessário para o aprendizado robótico offline. Isso permite que um único modelo sirva múltiplas definições de tarefas, mitigando a necessidade de execuções de treinamento separadas para diferentes projeções de tarefas e reduzindo a dependência de correspondência de estado exato, que é frequentemente semanticamente incorreta para manipulação robótica. O método é apresentado como uma camada complementar aos algoritmos existentes, aumentando sua flexibilidade sem alterar seus objetivos matemáticos fundamentais.