Resumo Técnico: Atenção Tchebycheff Suave Adaptativa para Otimização de Políticas Multi-Objetivo

Declaração do Problema

A Aprendizagem por Reforço (RL) profunda em domínios robóticos frequentemente exige equilibrar múltiplos objetivos conflitantes (por exemplo, velocidade versus segurança, cobertura de busca versus furtividade). Enquanto o RL padrão depende de recompensas escalares, a Aprendizagem por Reforço Multi-Objetivo (MORL) aborda cenários onde o ambiente retorna um vetor de recompensas. O objetivo é encontrar políticas na fronteira de Pareto, onde nenhum objetivo pode ser melhorado sem degradar outro.

As abordagens existentes enfrentam um compromisso fundamental entre estabilidade de otimização e precisão geométrica:

1. Escalarização Linear (LS): Combina objetivos por meio de uma soma ponderada. Embora estável, é teoricamente incapaz de recuperar soluções em regiões não convexas da fronteira de Pareto, levando a políticas subótimas em ambientes dinâmicos complexos.
2. Escalarização Tchebycheff (TCH): Pode teoricamente recuperar todas as soluções ótimas de Pareto, independentemente da convexidade, minimizando o desvio ponderado máximo de um ponto ideal "utópico". No entanto, o operador não diferenciável max causa instabilidade de gradiente e atualizações esparsas no RL profundo.
3. Tchebycheff Suave (STCH): Substitui o operador max por uma aproximação Log-Sum-Exp controlada por um parâmetro de suavidade $\mu$. Embora isso permita o fluxo de gradiente, introduz um gargalo crítico:
   • $\mu$ pequeno: Aproxima-se da função TCH real, mas causa fome de gradiente, onde apenas o objetivo dominante recebe atualizações, levando ao esquecimento catastrófico de outros objetivos.
   • $\mu$ grande: Garante gradientes suaves, mas reverte o método para uma escalarização linear, perdendo a capacidade de navegar em regiões não convexas.
   • Ajuste Estático: Um $\mu$ fixo é difícil de ajustar porque o "conjunto de dados" de RL (experiência do agente) é não estacionário; a escala das vantagens e a proximidade ao ponto utópico mudam conforme a política evolui.

Metodologia: PASTA

Os autores propõem o PASTA (Otimização de Política via Atenção Tchebycheff Suave Adaptativa), um framework que modula dinamicamente a curvatura da paisagem de otimização para resolver a tensão entre estabilidade e precisão.

1. Tchebycheff Suave Adaptativo (ASTCH)

No núcleo do PASTA está a escalarização ASTCH, que ajusta dinamicamente o parâmetro de suavidade $\mu$ com base na interferência de gradiente em tempo real.

• Controlador Orientado a Conflitos: O sistema monitora a Taxa de Conflito ($\kappa$), definida como a fração de pares de gradientes de objetivos amostrados que exibem produtos internos negativos (indicando interferência destrutiva).
• Adaptação Elástica:
  • Recozimento: À medida que o treinamento progride e os conflitos são resolvidos, $\mu$ decai para um valor baixo e preciso, afiando a escalarização, permitindo que o agente convirja para soluções de Pareto não convexas.
  • Frenagem Dinâmica: Se a taxa de conflito exceder um limiar (indicando otimização instável), o controlador aumenta temporariamente $\mu$. Isso "freia" o processo, revertendo para uma aproximação mais suave e linearizada para estabilizar a atualização da política e prevenir a fome de gradiente.
  • Suavização Inercial: Uma Média Móvel Exponencial (EMA) é aplicada a $\mu$ para evitar oscilações rápidas que poderiam violar as suposições de distribuição estacionária de algoritmos on-policy.

2. Crítico Ramificado Alinhado por Atenção

Para garantir que a função de valor aprenda as prioridades corretas, o PASTA introduz uma arquitetura de Crítico Ramificado com um extrator de características compartilhado e cabeças de valor independentes para cada objetivo.

• Mecanismo de Atenção STCH: O gradiente da função STCH induz naturalmente um peso normalizado e positivo ($\delta$) sobre os objetivos. Objetivos com maiores desvios do ponto utópico recebem atenção exponencialmente maior.
• Taxa de Manutenção ($\rho$): Para combater a fome de gradiente em regimes de baixo $\mu$, é introduzida uma taxa de manutenção. Os pesos de atenção efetivos são uma mistura da atenção derivada do STCH e de uma distribuição uniforme, garantindo que cada objetivo receba um orçamento mínimo de gradiente.
• Alinhamento de Perda: A perda do crítico é ponderada por esses coeficientes de atenção, garantindo que a capacidade de estimativa de valor seja alocada aos objetivos que atualmente atuam como gargalos.

3. Projeção de Gradiente Consciente de Conflito

Para mitigar ainda mais a interferência destrutiva, o PASTA integra uma variante do Projetar Gradientes Conflitantes (PCGrad).

• Em vez de escalarizar as vantagens imediatamente, o algoritmo mantém um vetor de vantagens.
• Os gradientes de política para objetivos individuais são computados separadamente.
• Se um conflito for detectado entre dois gradientes de objetivo, um é projetado no plano normal do outro. Isso permite que o agente respeite restrições individuais de região de confiança enquanto navega pelos conflitos geométricos inerentes às fronteiras de Pareto não convexas.

Contribuições Principais

1. Framework ASTCH: Um método de escalarização inovador que ajusta dinamicamente o parâmetro de suavidade $\mu$ com base em uma estimativa online de conflito de gradiente inter-objetivo, eliminando a necessidade de ajuste manual e prevenindo a fome de gradiente.
2. Algoritmo PASTA: Um método de gradiente de política on-policy que integra ASTCH, um controlador orientado a conflitos e críticos alinhados por atenção. Ele leva explicitamente em conta a não estacionariedade dos pontos utópicos e das estimativas de valor no MORL.
3. Validação Empírica: Avaliação extensa em tarefas desafiadoras do mundo real e simuladas, demonstrando a descoberta robusta de políticas ótimas de Pareto em regiões não convexas inacessíveis a bases lineares e instáveis para métodos não lineares estáticos.

Resultados Experimentais

Os autores avaliaram o PASTA em três domínios distintos:

1. Busca Visual Furtiva (Mundo Real e Simulação):

   • Tarefa: Um robô terrestre deve buscar objetos enquanto minimiza a exposição (furtividade) e maximiza a velocidade de exploração.
   • Resultados: O PASTA alcançou um Volume Hiper (HV) de 0,291, uma melhoria de 45,5% sobre a base estática mais forte (STCH com $\mu=10,0$). Alcançou uma Taxa de Vitória de 100% em diversos vetores de preferência, superando significativamente as bases Linear, Tchebycheff e STCH de parâmetro fixo.
   • Implantação no Mundo Real: Validado em um UGV Clearpath Jackal em ambientes externos com terreno irregular e obstáculos, equilibrando com sucesso busca, furtividade e segurança.

2. Benchmarks MuJoCo Multi-Objetivo:

   • Tarefas: Tarefas de controle contínuo (HalfCheetah, Humanoid, Ant, Walker2D) com objetivos conflitantes.
   • Resultados: O PASTA consistentemente alcançou maior Volume Hiper e melhor cobertura da fronteira de Pareto em comparação com as bases em todos os ambientes, demonstrando eficiência de amostra e robustez superiores.

3. Navegação de Quadrotor (Crazyflie):

   • Tarefas: "Frogger" (navegação em obstáculos dinâmicos) e "Formação" (manter uma formação triangular enquanto evita obstáculos).
   • Resultados: O PASTA superou as bases tanto no HV quanto nas taxas de sucesso da tarefa. Em voos reais, o agente alcançou uma taxa de sucesso da tarefa de 91,2% (52/57 objetivos) sem colidir, demonstrando a aplicabilidade do método a plataformas aéreas com obstáculos dinâmicos estocásticos.

Significado e Alegações

O artigo afirma que o PASTA fornece uma solução robusta para a tensão de longa data entre estabilidade de otimização e precisão geométrica no MORL sem modelo. Ao tratar a interferência de gradiente como um sinal de feedback, o método cria uma paisagem de otimização "elástica":

• Recoze em direção a uma escalarização precisa e não convexa quando os objetivos se alinham, permitindo a descoberta de soluções em regiões côncavas da fronteira de Pareto.
• Freia elasticamente para aproximações estáveis e suaves quando surgem conflitos de gradiente destrutivos, prevenindo o esquecimento catastrófico e o colapso do treinamento.

Os autores enfatizam que essa abordagem permite que robôs resolvam autonomamente requisitos complexos e conflitantes em cenários do mundo real não estruturados, sem o ajuste extensivo de hiperparâmetros exigido por métodos de escalarização estática. O trabalho é apresentado como um passo em direção à aprendizagem multi-objetivo confiável e específica de preferências para robótica, embora os autores notem limitações relacionadas à interdependência de hiperparâmetros (taxa de conflito versus taxa de manutenção) e ao foco em políticas específicas de preferências em vez de políticas condicionadas a preferências.