Resumo Técnico: Aprendizado de Reforço Offline de Comportamentos de Alta Qualidade sob Alinhamento de Estilo Robusto

Declaração do Problema

O artigo aborda o desafio de aprender políticas condicionadas a estilo a partir de um conjunto de dados offline fixo sem interação adicional com o ambiente. Embora o Aprendizado de Reforço (RL) offline tenha avançado no aprendizado de comportamentos de alto desempenho a partir de dados pré-gravados, e o Aprendizado de Imitação (IL) tenha explorado comportamentos diversos, combinar alto desempenho na tarefa com um alinhamento de estilo robusto em um cenário offline continua sendo difícil. Os autores identificam três desafios primários:

1. Definição de Estilo: As definições existentes de estilo variam de clusters latentes não supervisionados (difíceis de interpretar/controlar) a rótulos de trajetória completa supervisionados (alto custo de rotulagem, atribuição de crédito deficiente para estilos de múltiplas escalas temporais).
2. Desvio de Distribuição Estado-Estilo: Métodos offline sofrem com desvio de distribuição. Adicionar condicionamento de estilo exacerba isso, pois o agente pode encontrar configurações de estado-estilo no tempo de inferência que nunca foram observadas conjuntamente no conjunto de dados (ex: um estilo de movimento específico em um estado não visitado por esse estilo nos dados).
3. Desalinhamento Tarefa-Estilo: Otimizar para o desempenho da tarefa (recompensas) frequentemente conflita com a manutenção de um estilo comportamental específico. Métodos existentes muitas vezes forçam um compromisso ou deslocam a política ótima, sacrificando o alinhamento de estilo em prol do desempenho.

Metodologia: SCIQL

Os autores propõem o Style-Conditioned Implicit Q-Learning (SCIQL), um framework que unifica o aprendizado de política condicionada a estilo com técnicas de RL offline.

1. Definição de Estilo Unificada via Rotulagem de Subtrajetória

Em vez de rotular trajetórias completas ou usar codificações não supervisionadas, o artigo adota uma abordagem de programação de dados usando funções de rotulagem ($\lambda$) aplicadas a subtrajetórias (janelas de estados e ações).

• Mecanismo: Uma função de rotulagem mapeia uma janela da trajetória $\tau_{t-w:t+w}$ para um rótulo de estilo discreto $z$.
• Benefício: Isso permite que os estilos variem dentro de uma única trajetória, mitigando problemas de atribuição de crédito associados a rótulos de nível de episódio. Fornece anotações de estilo interpretáveis e de baixo custo (ex: "rápido", "agachado") sem rotulagem manual.
• Objetivo Substituto: O verdadeiro objetivo de alinhamento de estilo é não-markoviano. Os autores o aproximam aprendendo uma recompensa markoviana substituta $r_D^\lambda(s, a, z) = p_{\pi_D}^\lambda(z | s, a)$, que representa a probabilidade de um par estado-ação contribuir para o estilo $z$ com base na distribuição do conjunto de dados.

2. Algoritmo SCIQL

O SCIQL é uma adaptação do Implicit Q-Learning (IQL) projetada para lidar com o objetivo condicionado ao estilo.

• Aprendizado de Valor: Ele aprende funções de valor condicionadas ao estilo $V^\lambda(s, z)$ e $Q^\lambda(s, a, z)$ usando regressão de expectil. Isso permite que o algoritmo estime o valor das ações que levam a estilos específicos sem exigir que a política seja ótima para aquele estilo durante o treinamento.
• Hindsight Relabeling & Stitching: Ao amostrar rótulos de estilo $z$ do conjunto de dados (incluindo estados futuros), o método realiza o relabeling de estilo hindsight. Isso possibilita o stitching de trajetórias, onde a política pode combinar comportamentos parciais de diferentes trajetórias para construir um caminho coerente e alinhado ao estilo, abordando o desafio do desvio de distribuição.
• Extração de Política: A política é extraída via Regressão Ponderada por Vantagem (AWR), enviesando a política para ações com altas vantagens de estilo.

3. Gated Advantage Weighted Regression (GAWR)

Para resolver o conflito entre desempenho da tarefa e alinhamento de estilo, os autores introduzem a Gated Advantage Weighted Regression (GAWR).

• Mecanismo: A GAWR combina a vantagem da tarefa ($A^r$) e a vantagem do estilo ($A^\lambda$) usando um portão sigmoide:
  $$\xi(A^\lambda, A^r) = A^\lambda + \sigma(A^\lambda) \cdot A^r$$
• Lógica: O sinal de melhoria da tarefa ($A^r$) só é ativado quando a vantagem do estilo ($A^\lambda$) é positiva (ou seja, a transição é consistente com o estilo alvo). Isso garante que a otimização da tarefa não degrade o alinhamento de estilo, aproximando efetivamente uma projeção sobre o conjunto de políticas ótimas de estilo.

Principais Contribuições

1. Definição Geral: Uma nova visão do aprendizado de política estilizada como uma generalização do Goal-Conditioned RL (GCRL), instanciada via funções de rotulagem de subtrajetória para garantir interpretabilidade e mitigar problemas de atribuição de crédito.
2. Algoritmo SCIQL: Um algoritmo de RL offline que aproveita o relabeling de hindsight e o aprendizado de valor para alcançar um alinhamento de estilo robusto, capaz de realizar o stitching de trajetórias através de configurações estado-estilo disjuntas.
3. Mecanismo GAWR: Uma técnica de regressão com portão (gated) que permite a otimização simultânea do desempenho da tarefa e do alinhamento de estilo sem exigir limiares de restrição explícitos ou variáveis duais.
4. Validação Empírica: Experimentos abrangentes demonstrando desempenho superior sobre baselines de última geração.

Resultados Experimentais

Os autores avaliaram o SCIQL em diversos ambientes: Circle2d (desenhar círculos), HalfCheetah (locomoção) e HumEnv (controle humanoide).

• Alinhamento de Estilo: O SCIQL superou significativamente os baselines (incluindo Behavior Cloning, Conditioned BC, BCPMI e SORL) no alcance dos rótulos de estilo alvo. Por exemplo, no halfcheetah-vary-v0, o SCIQL alcançou 78,9% de alinhamento de estilo comparado a ~52% do próximo melhor método (BCPMI).
• Desempenho da Tarefa: Usando GAWR, o SCIQL melhorou o desempenho da tarefa (ex: velocidade frontal no HalfCheetah) enquanto mantinha alto alinhamento de estilo.
• Eficiência de Pareto: O método alcançou um hipervolume (HV) maior no espaço de troca entre alinhamento de estilo e desempenho da tarefa em comparação ao SORL. As variantes do SCIQL deslocaram a fronteira de Pareto para mais perto do ponto ideal teórico (100% estilo, 100% tarefa) em 41% a 163% sobre o SORL em diferentes conjuntos de dados.

Significância e Alegações

O artigo afirma que o SCIQL fornece um framework unificado e prático para o aprendizado offline de comportamentos de alta qualidade e condicionados a estilo. Sua significância reside em:

• Robustez: Lidar com sucesso com desvios de distribuição e a necessidade de tomada de decisão de longo prazo (trajectory stitching) no alinhamento de estilo, algo com o qual métodos anteriores tiveram dificuldades.
• Eficiência: Alcançar alto desempenho tanto no objetivo de estilo quanto no de tarefa sem exigir interações online com o ambiente ou ajustes complexos de restrição.
• Interpretabilidade: Oferecer uma maneira clara e programável de definir e medir o estilo via funções de rotulagem, evitando a natureza de "caixa preta" das representações de estilo não supervisionadas.

Os autores concluem que sua abordagem efetivamente une o aprendizado de imitação (fidelidade de estilo) e o aprendizado de reforço (otimização de tarefa), permitindo o treinamento de agentes que são simultaneamente capazes e estilisticamente consistentes.