Resumo Técnico: Busca em Grafo em Tempo de Teste para Aprendizado por Reforço Condicionado a Objetivos

Declaração do Problema

O aprendizado por reforço condicionado a objetivos (GCRL) offline visa treinar agentes para alcançar objetivos especificados pelo usuário usando conjuntos de dados pré-coletados, evitando os custos e riscos de segurança da interação online. Embora eficaz para tarefas de horizonte moderado, políticas padrão de GCRL offline frequentemente falham em tarefas de longo horizonte. Em ambientes complexos (por exemplo, grandes labirintos), erros na estimativa de valor se acumulam, levando a políticas não confiáveis que não conseguem costurar comportamentos de partes distintas do conjunto de dados.

Soluções anteriores para este problema introduziram complexidade significativa, como planejadores generativos computacionalmente intensivos, treinamento de conjuntos de funções de valor distribuídas, utilização de representações geométricas especializadas ou dependência de dados adicionais além do conjunto de dados offline. Essas abordagens frequentemente operam sob a suposição de que funções de valor condicionadas a objetivos padrão são inerentemente muito ruidosas ou não confiáveis para suportar planejamento direto de longo horizonte.

Metodologia: Busca em Grafo em Tempo de Teste (TTGS)

Os autores propõem a Busca em Grafo em Tempo de Teste (TTGS), um wrapper de planejamento leve e sem treinamento projetado para aprimorar políticas GCRL congeladas. O TTGS opera inteiramente no momento do teste, não exigindo supervisão adicional, atualizações de parâmetros ou interação online.

Componentes Principais

1. Construção do Grafo:

   • Um subconjunto de estados é amostrado do conjunto de dados offline para servir como vértices do grafo.
   • Um sinal de distância é usado para atribuir pesos de aresta entre esses vértices. Este sinal pode ser derivado de:
     • Distâncias derivadas de valor: Mapeando a função de valor condicionada a objetivos pré-treinada $V(s, g)$ para uma contagem de passos estimada $\hat{d}(s, g)$. O artigo fornece mapeamentos de forma fechada para convenções de recompensa comuns (por exemplo, recompensas terminais esparsas ou penalidades por passo).
     • Distâncias específicas do domínio: Usando métricas geométricas como a distância euclidiana entre posições corporais quando disponível.
   • Mecanismo de Penalidade Suave: Para abordar a questão de funções de valor superestimarem a conectividade (criando "buracos de minhoca" através de lacunas), o TTGS emprega uma função de penalidade superlinear $p(\cdot)$ para transições que excedem um limiar de região de confiança $\tau$. Arestas com distâncias $D_{ij} < \tau$ mantêm sua distância bruta, enquanto aquelas com $D_{ij} \ge \tau$ recebem um peso $p(D_{ij})$ (por exemplo, $x \cdot 1000^{x/\tau}$). Isso preserva a estrutura métrica local enquanto direciona o planejador para cadeias de saltos curtos e confiáveis, impedindo que o grafo se fragmente (como faria um limiar rígido) ou permitindo saltos longos inviáveis.

2. Planejamento em Tempo de Teste:

   • Busca do Caminho Mais Curto: Dado um estado inicial $s_0$ e um objetivo $g$, o algoritmo localiza os vértices mais próximos no grafo e calcula um caminho mais curto usando o algoritmo de Dijkstra. Este caminho guia é computado uma vez por episódio.
   • Seleção Adaptativa de Subobjetivos: Durante a execução, o agente não segue o caminho cegamente. Em vez disso, seleciona um subobjetivo do caminho pré-computado com base em um orçamento de passos $T$. O agente identifica o ponto de passagem mais distante no caminho que está dentro do orçamento $T$ a partir do estado atual. Se nenhum ponto de passagem tal existir, seleciona o próximo ponto de passagem imediato para garantir progresso para frente.
   • Execução da Política: A política base congelada $\pi(a | s, \tilde{g})$ é invocada com o estado atual e o subobjetivo selecionado $\tilde{g}$.

Ferramenta de Diagnóstico

O artigo introduz uma razão do maior salto ($\rho$) como um diagnóstico livre de execução para prever se o TTGS será benéfico para uma nova tarefa. $\rho$ é a razão entre o custo de aresta máximo ao longo do caminho planejado e a distância total estimada. Um $\rho$ baixo indica cobertura suficiente de estados intermediários (favorável ao TTGS), enquanto um $\rho$ alto sugere que o conjunto de dados carece de estados de ponte, caso em que o TTGS recua para o comportamento da política base.

Contribuições Principais

1. Reavaliação de Funções de Valor: Os autores demonstram que funções de valor padrão de GCRL offline, anteriormente consideradas muito não confiáveis para busca, codificam estrutura geométrica local suficiente para planejamento robusto de longo horizonte quando processadas com um novo mecanismo de penalidade suave.
2. Framework Sem Treinamento: O TTGS fornece um método para melhorar o desempenho de longo horizonte reutilizando políticas e funções de valor existentes sem modificar o pipeline de treinamento, não exigindo supervisão adicional ou interação online.
3. Desempenho com Sobrecarga Mínima: Resultados empíricos mostram que o TTGS aumenta significativamente as taxas de sucesso para agentes de GCRL offline de última geração (HIQL, QRL, GCIQL, SAW, OTA) com sobrecarga computacional negligenciável (tempo de planejamento < 1 segundo por episódio).

Resultados Experimentais

O método foi avaliado no benchmark OGBench, cobrindo tarefas de locomoção (pointmaze, antmaze, humanoidmaze) e manipulação.

• Tarefas de Locomoção: O TTGS alcançou ganhos substanciais em tarefas de "costura" de longo horizonte onde políticas base tipicamente falham.
  • Em pointmaze-giant-stitch-v0, as taxas de sucesso do HIQL melhoraram de 0,0% para 80,9%, e do GCIQL de 0,0% para 98,0%.
  • Em humanoidmaze-giant-stitch-v0, o HIQL melhorou de 4,4% para 78,1%.
  • Essas melhorias frequentemente igualaram ou superaram métodos complexos que exigem treinamento auxiliar ou modelos generativos.
• Tarefas de Manipulação: Em tarefas onde os objetivos de avaliação estão fora da variedade de dados (por exemplo, scene-play-v0), o TTGS forneceu ganhos mínimos (0–2 pontos percentuais), mas não degradou o desempenho, recuando corretamente para a política base quando estados intermediários estavam ausentes.
• Ablações:
  • Penalidades Suaves vs. Rígidas: Remover a penalidade suave (usando distâncias brutas) ou usar um limiar rígido (removendo arestas longas) degradou significativamente o desempenho em tarefas de costura devido a desconexões no grafo ou caminhos inviáveis.
  • Seleção de Subobjetivos: A estratégia adaptativa de selecionar o ponto de passagem alcançável mais distante superou uma estratégia mais simples de sempre escolher o próximo ponto de passagem imediato.
  • Fontes de Distância: O TTGS funcionou efetivamente tanto com distâncias derivadas de valor quanto com distâncias simples de posição corporal euclidianas, demonstrando flexibilidade.

Significado e Alegações

O artigo alega que a complexidade adicional frequentemente assumida como necessária para planejamento de longo horizonte é frequentemente desnecessária. Ao aproveitar a estrutura geométrica latente já presente em funções de valor padrão e aplicar uma busca em grafo leve no momento do teste, praticantes podem estender significativamente as capacidades de agentes existentes de GCRL offline.

Os autores enfatizam que o TTGS é um wrapper de planejamento conservador e seguro: ele depende exclusivamente de estados recuperados do conjunto de dados, evitando a síntese de trajetórias fisicamente impossíveis comuns em abordagens generativas. Quando os dados offline carecem dos estados intermediários necessários para conectar o início e o objetivo, o TTGS recua graciosamente para o comportamento da política base em vez de produzir planos não confiáveis. O trabalho sugere que agentes de GCRL baseados em valor frequentemente deixam estrutura geométrica útil não utilizada, e o TTGS fornece uma receita para recuperar essa estrutura para planejamento de longo horizonte sem retreinamento.