Resumo Técnico: Alinhamento Objetivo-Comportamento: Diagnósticos para MORL

Declaração do Problema

A tomada de decisão no mundo real frequentemente exige a otimização de múltiplos objetivos conflitantes simultaneamente. No Aprendizado por Reforço Multi-Objetivo (MORL), a abordagem padrão envolve a geração de um conjunto de políticas Pareto otimizadas (o Conjunto de Pareto, PS) e seus correspondentes vetores de valor (a Frente de Pareto, PF). Embora isso exponha os compromissos entre os objetivos, os métodos diagnósticos atuais dependem exclusivamente desses valores de objetivo.

O problema central identificado é o Desalinhamento Objetivo-Comportamento: políticas que são próximas no espaço de objetivo (ou seja, possuem retornos esperados semelhantes) podem exibir trajetórias comportamentais radicalmente diferentes. Métodos de escalonamento, que combinam recompensas em um único sinal, são conhecidos por serem frágeis; pequenas mudanças nos pesos podem induzir mudanças comportamentais drásticas. No entanto, mesmo dentro de uma frente de Pareto gerada, políticas vizinhas podem seguir trajetórias distintas (por exemplo, movendo-se estritamente para a esquerda vs. estritamente para a direita) que resultam em vetores de retorno idênticos ou quase idênticos. Confiar apenas na PF para a seleção de políticas corre o risco de negligenciar variações comportamentais críticas, podendo levar à implantação de políticas que satisfazem métricas numéricas, mas exibem padrões de execução indesejáveis ou inseguros na prática.

Metodologia

Os autores propõem um fluxo de trabalho diagnóstico exploratório e modular, projetado para revelar variações comportamentais ao longo da frente de Pareto que os valores de objetivo sozinhos não revelam. O fluxo de trabalho consiste em três etapas principais:

1. Treinamento de MORL e Extração de Trajetória

Um agente de MORL é treinado para obter um conjunto diversificado de políticas que representam o PS e a PF. O framework é agnóstico ao algoritmo de MORL específico utilizado; nos experimentos, os autores utilizam MORL baseado em decomposição (MORL/D), uma abordagem evolutiva que mantém uma população de políticas treinadas com distintos vetores de peso. Para cada política, um conjunto de trajetórias (rollouts) é extraído juntamente com seus retornos de valor vetorial.

2. Agregação via Codificação de Comportamento

As trajetórias extraídas são processadas para gerar representações comportamentais compactas e significativas.

• Codificador (Encoder): O fluxo de trabalho utiliza um codificador de trajetória aprendido (baseado em Mone et al., 2026) treinado via uma função de perda contrastiva composta. Esta inclui componentes para trajetórias completas ($L_{CLS}$), segmentos de trajetória ($L_{SEG}$) e pares de segmentos ($L_{PAIR}$), além de um regularizador Deep InfoMax ($L_{DIM}$).
• Embedding: O codificador mapeia sequências de estado-ação em um espaço latente. Para garantir uma geometria bem estruturada, um regularizador de variância-covariância é aplicado para evitar embeddings degenerados.
• Agregação: Múltiplos embeddings de trajetória para uma única política são agregados (via média) para produzir um único vetor comportamental $z(\pi)$, definindo o manifold de comportamento $Z$.

3. Análise de Alinhamento Objetivo-Comportamento

O fluxo de trabalho compara a geometria do espaço de objetivo (PF) contra o espaço de comportamento ($Z$) usando três ferramentas diagnósticas:

• Confiabilidade (Trustworthiness) e Continuidade (Continuity): Adaptadas da análise de projeção não linear, estas métricas quantificam a preservação de vizinhança.
  • Confiabilidade (Trustworthiness - $T$): Mede se vizinhos na PF permanecem vizinhos em $Z$.
  • Continuidade (Continuity - $C$): Mede se vizinhos em $Z$ permanecem vizinhos na PF.
  • Valores baixos indicam um descompasso estrutural onde a proximidade de objetivo falha em prever a similaridade comportamental.
• Gráficos de Dispersão Lipschitz: Inspirados na análise de landscape de otimização, estes gráficos visualizam a relação entre distâncias no espaço de objetivo ($eixo\ x$) e no espaço de comportamento ($eixo\ y$) para políticas consecutivas ordenadas ao longo da frente.
  • Região Crítica (Superior-Esquerda): Pontos onde as políticas estão próximas no espaço de objetivo, mas distantes no espaço de comportamento. Estes sinalizam pares que requerem inspeção manual.
  • Buracos (Inferior-Direita): Pontos onde as diferenças de objetivo são grandes em relação às diferenças comportamentais.
• Teste Qualitativo de "Olhar" (Eyeball Test): O fluxo de trabalho renderiza os rollouts das políticas para permitir que observadores humanos verifiquem diretamente se as discrepâncias quantitativas correspondem a diferenças comportamentais perceptíveis.

Principais Contribuições

1. Identificação de um Gap Estrutural: O artigo define formalmente o Desalinhamento Objetivo-Comportamento (Definição 1) como uma propriedade geométrica onde o mapeamento entre a frente de Pareto e o espaço de comportamento falha em preservar vizinhanças. Destaca que este gap é uma propriedade estrutural de conjuntos de políticas de MORL frequentemente negligenciada pela pesquisa atual.
2. Fluxo de Trabalho Diagnóstico Modular: Os autores introduzem um framework escalável para construir representações de espaço de comportamento e comparar sua estrutura local com a frente de Pareto. O design acomoda encoders alternativos, esquemas de agregação e métricas.
3. Diagnósticos Quantitativos e Visuais: O artigo propõe métricas específicas (Trustworthiness, Continuity) e ferramentas visuais (gráficos de dispersão Lipschitz) para sinalizar pares de políticas onde a proximidade no espaço de objetivo é um resumo pobre da diversidade comportamental.

Resultados

A abordagem foi validada tanto em ambientes de grade simples quanto em benchmarks de controle contínuo:

• Deep Sea Treasure (DST):

  • Left–Right DST: Nesta variante, políticas vizinhas na PF exibiram trajetórias distintas para a esquerda ou para a direita. O fluxo de trabalho detectou com sucesso este desalinhamento, resultando em baixa Confiabilidade (0.51) e Continuidade (0.47). Os gráficos de dispersão Lipschitz identificaram claramente a "região crítica" onde as políticas estavam próximas no espaço de objetivo, mas distantes no espaço de comportamento.
  • Smooth DST: Nesta variante, os espaços de objetivo e comportamento estavam alinhados. As métricas ficaram próximas de 1.0, e os gráficos de dispersão mostraram distâncias consistentes, confirmando a capacidade do método em distinguir entre cenários alinhados e desalinhados.
  • Validação do Encoder: Os embeddings de transformer aprendidos produziram agrupamentos comportamentais consistentes com embeddings desenhados manualmente, validando a capacidade do encoder de capturar padrões comportamentais relevantes sem anotações externas.

• Ambientes MuJoCo (MO-HalfCheetah e MO-Hopper):

  • Métricas globais indicaram forte alinhamento (Trustworthiness/Continuity > 0.94) em média, sugerindo que, para estas tarefas específicas, a PF geralmente prevê o comportamento bem.
  • No entanto, os gráficos de dispersão revelaram discrepâncias locais. No MO-Hopper, pares de políticas específicos (ex: 50 vs. 51), localizados na região crítica, exibiram diferenças comportamentais visíveis (ex: investida vs. postura ereta), apesar de retornos de objetivo semelhantes. No MO-HalfCheetah, as diferenças foram mais sutis, correlacionando-se com menores distâncias no espaço comportamental.
  • Os resultados demonstram que o método permanece eficaz conforme a complexidade do problema aumenta, sendo capaz de trazer à tona pares de políticas específicos para inspeção, mesmo em domínios contínuos de alta dimensão.

Significância e Alegações

O artigo posiciona este trabalho como uma ferramenta de diagnóstico, e não como uma solução para o problema de especificação de recompensa. Os autores afirmam explicitamente que seu fluxo de trabalho não determina se os objetivos de recompensa especificados são adequados para implantação ou se as diferenças comportamentais observadas são prejudiciais; tais julgamentos requerem informações externas sobre as preferências dos stakeholders.

Em vez disso, a significância do trabalho reside em:

• Sinalização Automatizada: Fornecer um meio escalável para identificar pares de políticas que justificam inspeção manual, complementando os resumos numéricos tipicamente apresentados aos tomadores de decisão.
• Transparência: Oferecer uma base mais transparente para a seleção de políticas ao revelar "pontos cegos" onde métricas de objetivo mascaram riscos comportamentais.
• Benchmarking de Algoritmos: Introduzir uma nova dimensão para avaliar algoritmos de MORL baseada na estabilidade comportamental e previsibilidade das frentes que eles geram, indo além das medidas padrão de convergência e diversidade, como o hipervolume.
• Insights de RL de Objetivo Único: A metodologia do gráfico de dispersão também pode identificar funções de recompensa em RL de objetivo único que são propensas à instabilidade, onde mudanças marginais na estrutura de recompensa desencadeiam mudanças comportamentais desproporcionais.

Os autores concluem que, embora o fluxo de trabalho represente um passo significativo em direção à compreensão da relação objetivo-comportamento, ele é modular e depende de heurísticas específicas (como a ordenação de políticas) que podem exigir refinamento para espaços de objetivos de maior dimensão.