Resumo Técnico: Decision Transformer Condicionado a Objetivos para Aprendizado por Reforço Offline Multi-Objetivo

Declaração do Problema

O aprendizado por reforço (RL) em robótica enfrenta desafios críticos relacionados à eficiência de amostras e à capacidade de generalização entre objetivos variados. Algoritmos online padrão exigem interação contínua com o ambiente, o que frequentemente é impraticável para hardware do mundo real devido a riscos de segurança, desgaste do hardware e restrições de tempo. Embora simulações ofereçam uma solução parcial, elas frequentemente sofrem com a lacuna "sim-to-real".

O RL offline aborda essas limitações permitindo que agentes aprendam políticas ótimas inteiramente a partir de conjuntos de dados pré-coletados, eliminando a necessidade de exploração online arriscada. No entanto, métodos offline existentes frequentemente focam em tarefas fixas únicas, o que é insuficiente para robótica de propósito geral. Além disso, embora o Decision Transformer (DT) tenha reformulado com sucesso o RL como um problema de modelagem de sequência condicional, sua aplicação a cenários offline multi-objetivo—especificamente aqueles envolvendo recompensas esparsas e manipulação robótica—permanece pouco explorada.

Metodologia

Os autores propõem um Decision Transformer Condicionado a Objetivos (GC-DT) adaptado para robótica multi-objetivo offline. A metodologia central envolve modificar a arquitetura padrão do DT para processar explicitamente informações de objetivos dentro do framework de modelagem de sequência.

1. Adaptação da Arquitetura

Diferentemente dos DTs padrão que condicionam retornos escalares, o GC-DT incorpora dados de objetivos estruturados diretamente na sequência de entrada. Em ambientes multi-objetivo, o espaço de observação é um dicionário contendo:

• $o_t$: Observação atual.
• $g_d$: Objetivo desejado.
• $g_a$: Objetivo alcançado.

O estado no instante de tempo $t$ é definido como uma tupla $s_t = (o_t, g_d, g_a)$. Para adaptar o Transformer, esses vetores são achatados e concatenados em um único vetor de entrada:
$$s_t = [o_t^{(0)}, \dots, o_t^{(n)}, g_d^{(0)}, \dots, g_d^{(m)}, g_a^{(0)}, \dots, g_a^{(m)}]$$

Ao incluir o objetivo alcançado ($g_a$) ao lado do objetivo desejado ($g_d$), o modelo pode inferir implicitamente o progresso em direção ao alvo sem exigir métricas de distância explícitas ou moldagem de recompensa. Isso permite que o modelo autoregressivo realize atribuição de crédito temporalmente estendida em relação à conquista de objetivos em toda a trajetória.

2. Conjunto de Dados e Treinamento

O modelo é treinado inteiramente offline usando dados gerados a partir do ambiente Franka Emika Panda via suíte Panda-Gym. O conjunto de dados inclui:

• Dados de Especialista: Trajetórias de agentes Truncated Quantile Critics (TQC) convergidos avaliados ao longo de 1 milhão de instantes de tempo.
• Dados Aleatórios: Trajetórias geradas por agentes amostrando ações uniformemente.
• Misturas: Várias combinações de dados de especialista e aleatórios para testar eficiência de dados e resiliência ao ruído.

Os autores também lançam este conjunto de dados offline especializado para apoiar a reprodutibilidade.

3. Tarefas e Estruturas de Recompensa

A abordagem é avaliada em três tarefas de manipulação robótica: Reach (posicionamento do efetuador final), Push (movimento de um cubo) e PickAndPlace (levantar e mover um objeto). O desempenho é testado sob duas estruturas de recompensa:

• Recompensas Esparsas: Feedback binário (0 para sucesso, -1 caso contrário).
• Recompensas Densas: Distância Euclidiana negativa entre os objetivos alcançados e desejados.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Extensão Arquitetural: Estender o Decision Transformer para lidar com configurações multi-objetivo, incorporando condicionamento explícito a objetivos (objetivos desejados e alcançados) na sequência de entrada.
2. Lançamento de Conjunto de Dados: Lançar um conjunto de dados especializado de RL offline para manipulação robótica multi-objetivo na plataforma Franka Emika Panda.
3. Validação Empírica: Demonstrar que a abordagem GC-DT supera as linhas de base online de última geração (TQC+HER) e Clonagem Comportamental (BC) em configurações offline, particularmente sob sinais de recompensa esparsa.

Resultados Experimentais

Os experimentos foram conduzidos usando três sementes aleatórias, comparando o GC-DT contra Clonagem Comportamental (BC) e TQC com Replay de Experiência de Perspectiva (TQC+HER).

Desempenho Comparativo

• Tarefas Complexas: Nos ambientes mais complexos Push e PickAndPlace com recompensas densas, o GC-DT consistentemente superou tanto o TQC+HER quanto o BC em retorno médio e taxa de sucesso.
• Eficiência: O GC-DT alcançou esses resultados com tempo de treinamento significativamente menor (80 minutos) comparado à linha de base online TQC+HER (240 minutos).
• Recompensas Esparsas: O GC-DT demonstrou robustez superior em configurações de recompensa esparsa. Na tarefa PickAndPlace, o GC-DT alcançou um retorno significativamente maior (-7,63 vs. -16,96 para TQC+HER) e manteve uma taxa de sucesso de 97,8%, enquanto a taxa de sucesso do TQC+HER caiu para 77,0%.

Eficiência de Dados e Robustez

• Tamanho do Conjunto de Dados: O desempenho permaneceu invariante ao tamanho do conjunto de dados para a tarefa Reach. Para tarefas complexas, o desempenho declinou apenas quando os dados caíram abaixo de 250 mil amostras; mesmo com 100 mil amostras, o modelo manteve >96% de sucesso em configurações densas.
• Razão de Dados de Especialista: O modelo mostrou robustez surpreendente ao ruído. Mesmo quando o conjunto de dados consistia apenas em 25% de dados de especialista (misturado com 75% de trajetórias aleatórias), o GC-DT manteve >80% de sucesso em tarefas complexas. O desempenho caiu abruptamente apenas abaixo desse limiar.

Significado e Alegações

Os autores afirmam que o Decision Transformer Condicionado a Objetivos proposto efetivamente preenche a lacuna entre RL offline e controle robótico multi-objetivo. Eles hipotetizam que a robustez do modelo, particularmente em configurações de recompensa esparsa, decorre da capacidade do Transformer de realizar atribuição de crédito de longo horizonte via autoatenção.

O artigo afirma que essa abordagem pode superar a própria política de especialista usada para gerar os dados de treinamento em tarefas complexas como PickAndPlace. Além disso, estabelece que a modelagem de sequência condicionada a objetivos é uma alternativa viável e robusta aos métodos tradicionais online ator-crítico para robótica multi-objetivo offline, capaz de lidar com demonstrações subótimas e feedback esparsos sem exigir interação online.

Trabalho futuro é identificado como a extensão deste framework para configurações de aprendizado contínuo e treinamento com trajetórias de especialistas heterogêneas.