Resumo Técnico: RankQ - Aprendizado por Reforço Offline-to-Online via Classificação de Ações Auto-supervisionada

Declaração do Problema

O aprendizado por reforço (RL) offline-to-online visa melhorar a eficiência de amostras aproveitando conjuntos de dados pré-coletados antes de engajar na interação online. Um desafio primário neste paradigma é aprender um crítico (função de valor) preciso em grandes espaços de estado-ação onde a cobertura do conjunto de dados é limitada. Métodos existentes frequentemente abordam a superestimação de valor para ações fora da distribuição (OOD) impondo pessimismo, efetivamente reduzindo o peso de ações OOD em relação às ações do conjunto de dados (por exemplo, Conservative Q-Learning [3] e Calibrated Q-Learning [2]).

Embora o pessimismo estabilize o treinamento, o artigo argumenta que ele atua como uma "âncora de clonagem de comportamento". Ao penalizar uniformemente ações não vistas, esses métodos enviesam a política em direção à distribuição do conjunto de dados. Isso torna-se problemático quando o conjunto de dados offline contém trajetórias subótimas ou de falha; a restrição pessimista pode impedir a melhoria da política online a jusante, evitando que o agente explore ações potencialmente superiores que não estavam presentes nos dados. A questão central abordada é como moldar funções de valor além do conjunto de dados para permitir melhoria online eficaz sem depender de pessimismo uniforme.

Metodologia: RankQ

Os autores propõem o RankQ, um objetivo de aprendizado Q offline-to-online que amplia o aprendizado padrão de diferença temporal (TD) com uma função de perda de classificação multi-termo auto-supervisionada. Em vez de penalizar uniformemente ações OOD, o RankQ modela explicitamente a qualidade relativa das ações para impor uma ordenação estruturada na paisagem de valores Q.

Mecanismo Central

O método particiona o conjunto de dados $D$ em trajetórias de sucesso ($D_{success}$) e de falha ($D_{failure}$). Ele constrói classes específicas de ações subótimas para criar restrições de classificação em pares:

1. Ações ruidosas ($a_\epsilon$): $a + \epsilon$, onde $\epsilon \sim \mathcal{N}(0, \sigma)$.
2. Ações muito ruidosas ($a_{2\epsilon}$): $a + 2\epsilon$.
3. Ações aleatórias ($a_r$): Ações amostradas uniformemente.
4. Ações permutadas ($a_p$): Ações amostradas de estados não relacionados.

A perda RankQ impõe a seguinte ordenação estruturada:

• Preferência por Sucesso: Para transições bem-sucedidas, o valor Q da ação ótima deve ser maior que todas as variantes subótimas: $Q(s, a) > Q(s, a')$ para $a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$.
• Qualidade Relativa entre Ações Subótimas: O método impõe uma hierarquia baseada na proximidade à ação ótima: $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$. Isso garante que os gradientes da paisagem Q ($\partial Q/\partial a$) apontem para regiões de maior qualidade, e não apenas para longe do conjunto de dados.
• Supervisão de Falha: Para trajetórias de falha, o método impõe que a ação do conjunto de dados ainda seja preferível a ações aleatórias ($Q(s, a) > Q(s, a_r)$), mas evita impor restrições de ordenação mais fortes devido à falta de uma noção significativa de qualidade relativa entre falhas.

O objetivo final combina essas perdas de classificação com a perda TD padrão:
$$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$$

Contribuições Principais

1. Desempenho em Benchmarks: O RankQ alcança desempenho competitivo ou superior a sete métodos anteriores (incluindo CQL, Cal-QL e Hybrid RL) em quatro ambientes antmaze e três ambientes adroit de recompensa esparsa no benchmark D4RL.
2. Ajuste Fino de VLA com Poucos Dados: Em um regime desafiador de poucos dados (200 rolagens offline, 8 rolagens online por atualização), o RankQ é o único método que melhora significativamente sobre o modelo base Vision-Language-Action (VLA). Ele alcança uma taxa de sucesso média 42,7% maior que o próximo melhor método em três tarefas de manipulação (cenoura-no-prato, empilhamento de cubos, colher-na-tigela).
3. Desempenho com Muitos Dados e Transferência Sim-to-Real: Em um cenário de muitos dados com randomização de domínio extensa, o RankQ melhora as taxas de sucesso na simulação em 13,7% e a velocidade de conclusão de tarefas em 25,7% sobre o próximo melhor método. Crucialmente, demonstra transferência bem-sucedida sim-to-real, aumentando a taxa de sucesso de empilhamento de cubos no mundo real de 43,1% para 84,7% em comparação com o desempenho inicial do VLA.
4. Análise da Paisagem Q: Os autores fornecem análise extensa mostrando que o RankQ molda a paisagem de valores Q de modo que os gradientes de ação sejam direcionados para comportamentos de maior qualidade, evitando o pessimismo ilimitado e os picos excessivos de gradiente observados no CQL e Cal-QL.

Resultados Experimentais

• Benchmarks D4RL: O RankQ iguala as melhores linhas de base em tarefas mais fáceis (por exemplo, antmaze-medium, adroit-pen) e supera todas as linhas de base em tarefas difíceis e de longo horizonte, como antmaze-large e adroit-relocate, onde outros métodos frequentemente falham em aprender políticas significativas.
• VLA com Poucos Dados: Com apenas 800 rolagens online no total, o RankQ consistentemente impulsiona a política além de sua linha de base de imitação, enquanto outros métodos (CQL, Cal-QL, SAC+OFF) estagnam principalmente perto de seu desempenho inicial.
• VLA com Muitos Dados e Sim-to-Real: Políticas treinadas com RankQ não apenas alcançam taxas de sucesso mais altas, mas também executam tarefas mais rapidamente (aproximadamente 8 segundos versus 10,5–12,5 segundos para as linhas de base). Em testes no mundo real, a política RankQ melhorou a taxa de sucesso de empilhamento de cubos de 43,1% para 84,7% em 144 tentativas, reduzindo também a variância no tempo de execução.

Significado e Alegações

O artigo alega que modelar explicitamente a ordenação relativa de ações fornece uma alternativa eficaz ao pessimismo uniforme usado em métodos state-of-the-art de offline-to-online. Ao moldar a função Q para guiar os gradientes de ação em direção a comportamentos de maior qualidade, em vez de simplesmente suprimir ações não vistas, o RankQ permite uma melhoria de política mais eficaz durante tanto o pré-treinamento offline quanto o ajuste fino online.

Os autores sugerem que essa abordagem é particularmente valiosa em cenários de recompensa esparsa e poucos dados, onde métodos pessimistas podem tornar-se excessivamente restritivos e falhar em extrair sinais de aprendizado de dados abundantes de falha. A transferência bem-sucedida sim-to-real da política RankQ demonstra que a moldagem estruturada de valores pode facilitar o RL escalável offline-to-online e o aprendizado de robôs no mundo real, mesmo quando o conjunto de dados inicial é dominado por trajetórias subótimas ou de falha.