SAVGO: Learning State-Action Value Geometry with Cosine Similarity for Continuous Control

1. Formulação do Problema

O Aprendizado por Reforço (RL) profundo, particularmente os métodos ator-crítico off-policy como SAC e TD3, alcançou sucesso no controle contínuo, mas permanece limitado pela ineficiência de amostragem e instabilidade em ambientes de alta dimensão.

• Limitações Atuais: Embora a aprendizagem de representações (por exemplo, aprendizagem contrastiva) tenha melhorado a eficiência dos dados, ela é tipicamente tratada como uma tarefa auxiliar. A etapa de atualização da política geralmente depende do descenso de gradiente local, que ignora a estrutura geométrica global do espaço latente aprendido.
• A Lacuna: Métodos baseados em similaridade existentes frequentemente utilizam distâncias para regularizar representações ou moldar alvos de valor, mas raramente usam essas relações geométricas como operadores de primeira classe para guiar diretamente as atualizações da política no espaço de ações. Consequentemente, as melhorias da política permanecem locais e fracamente informadas pela paisagem de valor global.

2. Metodologia: SAVGO

Os autores propõem a Otimização de Geometria de Valor Estado-Ação (SAVGO), um algoritmo ator-crítico off-policy consciente de geometria que integra explicitamente a similaridade baseada em valor no mecanismo de atualização da política.

A. Aprendizagem de Geometria Estado-Ação Consciente de Valor

O SAVGO aprende um espaço de incorporação conjunta para pares estado-ação $(s, a)$ onde a distância geométrica (especificamente a similaridade de cosseno) reflete a similaridade na utilidade esperada (valores Q).

• Codificador: Uma rede neural $z_\psi(s, a)$ mapeia pares estado-ação para um espaço de incorporação de $d$ dimensões.
• Construção de Alvo: Para qualquer par de tuplas estado-ação $(s_i, a_i)$ e $(s_j, a_j)$, uma lacuna de valor normalizada $\Delta_{i,j}$ é computada com base na diferença entre seus valores Q.
• Mapeamento de Curvatura: Esta lacuna de valor é mapeada para uma similaridade de cosseno alvo $Y_{i,j}$ usando uma transformação de curvatura limitada:
  $$Y_{i,j} = 1 - 2(\Delta_{i,j})^\lambda$$
  onde $\lambda$ controla a sensibilidade. Lacunas pequenas (valores similares) mapeiam para alta similaridade ($\approx 1$), enquanto lacunas grandes mapeiam para similaridade baixa/negativa.
• Função de Perda: O codificador é treinado para minimizar a perda de regressão entre a similaridade de cosseno prevista das incorporações e o alvo $Y_{i,j}$. Isso força o espaço de incorporação a se organizar de modo que ações com valores similares se agrupem na hipersfera unitária.

B. Melhoria de Política Consciente de Geometria

Em vez de uma atualização de gradiente pontual padrão, o SAVGO realiza uma agregação ponderada por similaridade sobre ações candidatas.

1. Amostragem: Para um dado estado $s_t$, uma ação "âncora" $\hat{a}_t$ é amostrada da política atual. Adicionalmente, $K$ ações candidatas $\{a^k_t\}$ são amostradas de uma distribuição de proposta.
2. Incorporação e Pontuação: Tanto a âncora quanto as candidatas são incorporadas via $z_\psi$. As candidatas são pontuadas usando uma estimativa conservadora do crítico ($\min Q$).
3. Ponderação por Kernel: As similaridades de cosseno entre a incorporação da âncora e as incorporações candidatas são convertidas em uma distribuição de probabilidade (kernel de similaridade) usando um softmax controlado por temperatura:
   $$w_k = (1-\epsilon)\frac{\exp(\cos(\hat{\zeta}_t, \zeta^k_t)/\rho)}{\sum \exp(\dots)} + \frac{\epsilon}{K}$$
   Isso cria um peso $w_k$ para cada candidato com base em sua proximidade geométrica à âncora no espaço consciente de valor.
4. Atualização Agregada: A política é atualizada para maximizar uma estimativa de valor ponderada por similaridade:
   $$\hat{Q}(s_t, \hat{a}_t) = \sum_{k=1}^K w_k Q(s_t, a^k_t)$$
   Isso permite que a política seja atraída para regiões de alto valor que podem não ser imediatamente adjacentes no espaço de ações bruto, mas são "próximas" na geometria de valor aprendida.

3. Contribuições Principais

1. Objetivo Unificado: Propõe o SAVGO, que unifica a aprendizagem de representações, a estimativa de valor e a otimização da política em um único objetivo consistente com a geometria, indo além de tratar a aprendizagem de representações como mero regularizador.
2. Operador de Política Inovador: Deriva um operador de melhoria de política consciente de geometria que usa similaridades de cosseno aprendidas para ponderar ações candidatas, permitindo atualizações de política guiadas pela estrutura global de valor e não apenas por gradientes locais.
3. Validação Empírica: Demonstra melhorias consistentes sobre bases fortes (SAC, TD3, TQC, PPO) nos benchmarks MuJoCo, particularmente em tarefas de alta dimensão.

4. Resultados Experimentais

O método foi avaliado na suíte de controle contínuo MuJoCo v5 com um orçamento fixo de 1 milhão de passos de ambiente.

• Desempenho: O SAVGO alcançou as maiores recompensas totais em toda a suíte, com ganhos mais significativos em tarefas desafiadoras de alta dimensão:
  • Humanoid: O SAVGO (7687) superou significativamente o TQC (6330) e o SAC (5351).
  • Walker2d: O SAVGO (5626) superou o TQC (4952) e o SAC (4693).
  • Ant & HalfCheetah: Desempenho competitivo ou superior com variância reduzida.
• Eficiência de Amostragem: O SAVGO demonstrou aprendizado inicial mais rápido e convergência mais suave em comparação com as bases.
• Estudos de Ablação:
  • Curvatura ($\lambda$): Valores em torno de 1,0–1,5 forneceram o melhor equilíbrio entre estabilidade e desempenho.
  • Contagem de Candidatos ($K$): Valores moderados (por exemplo, $K=128$ para Humanoid) produziram resultados ótimos; poucos candidatos aumentaram a variância, enquanto muitos ofereceram retornos decrescentes.
  • Necessidade de Componentes: Remover a temperatura adaptativa, a perda de representação (congelando o codificador) ou a escala de valor adaptativa causou quedas significativas de desempenho. Substituir o kernel de similaridade por pesos uniformes fez o algoritmo colapsar, provando a necessidade da ponderação consciente de geometria.

5. Significado e Limitações

Significado:

• Preenchendo a Lacuna: O SAVGO preenche com sucesso a lacuna entre a aprendizagem de representações e a otimização da política, mostrando que a geometria do espaço latente pode ser explorada diretamente para melhorar a tomada de decisão.
• Robustez: Ao agregar sobre múltiplos candidatos ponderados por similaridade de valor, o método é mais robusto ao ruído do crítico e a mínimos locais do que atualizações padrão baseadas em gradiente.
• Escalabilidade: Mantém a escalabilidade dos métodos ator-crítico off-policy enquanto adiciona uma sobrecarga computacional gerenciável (linear em $K$).

Limitações:

• Custo Computacional: O método requer a avaliação de $K$ candidatos por estado, tornando-o mais lento que o SAC/TD3 padrão (aprox. 8h vs. 2h para 1M de passos nos experimentos).
• Dependência do Crítico: O método assume que o crítico fornece uma classificação razoavelmente consistente; ruído severo do crítico pode desestabilizar os pesos de similaridade.
• Ações Discretas: Estender isso para espaços de ação discretos (por exemplo, Atari) não é trivial devido à dificuldade de definir propostas de candidatos contínuas e geometrias estado-ação para ações descontínuas.

Em conclusão, o SAVGO representa um passo significativo para a frente no controle contínuo, tornando a "forma" da função de valor um motor direto da melhoria da política, levando a desempenho superior em ambientes complexos e de alta dimensão.