Resumo Técnico: AETDICE: Estrutura Unificada e Otimização Offline para RL Multiobjetivo Não Linear

1. Declaração do Problema

O aprendizado por reforço multiobjetivo (MORL) visa otimizar decisões sequenciais sob múltiplos objetivos, frequentemente conflitantes. Embora a escalonização linear (somas ponderadas) reduza o MORL ao RL de objetivo único padrão, a escalonização não linear é essencial para capturar preferências complexas, como aversão ao risco, justiça (fairness) e retornos decrescentes.

Historicamente, o MORL não linear foi bifurcado em dois paradigmas distintos baseados na ordem da escalonização e da expectativa:

1. Retorno Escalonado Esperado (SER - Scalarized Expected Return): Aplica a não linearidade ao vetor de retorno esperado ($u(\mathbb{E}[R])$). Isso requer otimização em nível global, pois a contribuição marginal de uma ação depende do retorno esperado global da política, o que frequentemente exige políticas estocásticas.
2. Retorno Escalonado Esperado (ESR - Expected Scalarized Return): Aplica a não linearidade a cada trajetória de retorno ($\mathbb{E}[u(R)]$). Isso cria um problema não-markoviano onde a ação ótima depende do histórico de recompensas acumuladas, exigindo aumento de estado para restaurar a markovianidade.

A Lacuna: Métodos existentes de RL offline abordaram a escalonização linear e objetivos SER. No entanto, o ESR permanece não abordado no cenário offline. A não linearidade ao nível da trajetória torna as ações ótimas dependentes das recompensas acumuladas, e o aprendizado de tais políticas condicionadas à recompensa a partir de conjuntos de dados estáticos não foi explorado. Além disso, nenhum método existente aborda objetivos que combinam tanto não linearidades ao nível da trajetória quanto ao nível da expectativa, nem lidam com os trade-offs específicos induzidos por tais combinações.

2. Metodologia

A Estrutura AET

Os autores propõem a estrutura Agregação–Expectativa–Transformação (AET) para unificar os objetivos de MORL não linear. A AET decompõe o processo de escalonização em três componentes:

1. Transformação (F): Uma transformação ao nível da trajetória $F: \mathbb{R}^m \to \mathbb{R}^n$ que mapeia o vetor de retorno para $n$ dimensões de utilidade (ex: capturando retornos decrescentes via $\log$ ou eficiência via Cobb-Douglas).
2. Expectativa (E): A expectativa sobre as trajetórias.
3. Agregação (G): Uma agregação ao nível da expectativa $G: \mathbb{R}^n \to \mathbb{R}$ (tipicamente côncava) que combina as utilidades esperadas.

O objetivo AET é definido como:
$$J_{AET}(\pi; F, G) = G(\mathbb{E}_{\tau \sim \pi}[F(R(\tau))])$$

Esta estrutura subsume o MORL Linear, SER-MORL e ESR-MORL como casos especiais, permitindo simultaneamente uma classe mais rica de objetivos (AET-MORL) que combina $F$ e $G$ não lineares.

Algoritmo AETDICE

Para otimizar objetivos AET offline, os autores propõem o AETDICE (Otimização AET offline via Estimativa de Correção de Distribuição). O método aborda as duas fontes de não linearidade separadamente:

1. Lidando com a Transformação Não Linear $F$ (MOMDP Aumentado):
Para lidar com a não linearidade da trajetória de $F$, os autores constroem um MOMDP de horizonte finito aumentado $\tilde{M} = (\tilde{S}, A, \tilde{P}, H, \tilde{p}_0, \tilde{r})$.

• Aumento de Estado: O estado é aumentado com a recompensa acumulada: $\tilde{s}_t = (s_t, R^{acc}_t, t)$. Isso restaura a markovianidade para objetivos ESR.
• Recompensa Transformada: Uma nova função de recompensa é definida para capturar a contribuição incremental de cada ação para a utilidade da trajetória $F$:
  $$\tilde{r}(\tilde{s}_t, a_t) = F(R^{acc}_t + r(s_t, a_t)) - F(R^{acc}_t)$$
  Isso cria uma soma telescópica onde $\sum \tilde{r} = F(R(\tau))$. Esta transformação reduz o ESR-MORL ao RL de objetivo único padrão no espaço aumentado e o AET-MORL ao SER-MORL no espaço aumentado.

2. Lidando com a Agregação Não Linear $G$ (Otimização Convexa via DICE):
Com $F$ absorvido na recompensa, o problema torna-se maximizar uma função côncava $G$ sobre as utilidades esperadas no espaço aumentado. Os autores estendem a estrutura de Estimativa de Correção de Distribuição (DICE):

• Distribuição de Visitação: O objetivo é reformulado como uma otimização convexa sobre a distribuição de visitação $d_t(\tilde{s}, a)$ no espaço aumentado.
• Variável de Folga (Slack Variable): Uma variável de folga $k$ é introduzida para desacoplar a expectativa da agregação côncava $G$, permitindo uma estimativa não enviesada baseada em amostras.
• Regularização: Uma penalidade de divergência $\phi$ é adicionada para corrigir o desvio de distribuição entre a política aprendida e o conjunto de dados offline.
• Formulação Dual: O problema primal é convertido em um problema dual solúvel via gradiente estocástico em redes neurais que representam os multiplicadores de Lagrange ($\nu$) e a variável de folga ($\mu$). A política ótima é extraída via clonagem de comportamento ponderada usando as razões de visitação aprendidas.

3. Principais Contribuições

1. Estrutura Unificada (AET): O artigo introduz a AET, uma estrutura principista que unifica SER e ESR e define uma nova classe de objetivos (AET-MORL) combinando não linearidades ao nível da trajetória e da expectativa.
2. Primeira Otimização de ESR Offline: Ao definir uma recompensa transformada em um espaço de estado aumentado, os autores fornecem o primeiro método para otimizar objetivos ESR a partir de conjuntos de dados estáticos, reduzindo o problema ao RL offline padrão.
3. Algoritmo AETDICE: Os autores propõem o AETDICE, um algoritmo offline baseado em amostras que lida tanto com $F$ não linear (via aumento) quanto com $G$ não linear (via correção de distribuição estilo DICE).
4. Validação Empírica: A estrutura é validada em diversos ambientes, incluindo Fair-Taxi, MO-PointMaze e D4MORL (MO-Ant, MO-Walker2d, MO-HalfCheetah).

4. Resultados Experimentais

Experimentos foram conduzidos nos ambientes Fair-Taxi, MO-PointMaze e D4MORL (MO-Ant, MO-Walker2d, MO-HalfCheetah).

• Fair MORL (Fair-Taxi & PointMaze): O AETDICE otimizou com sucesso objetivos ESR, SER e Balanced Scalarized Return (BSR).
  • Diferenças Comportamentais: Políticas ótimas para ESR produziram retornos equilibrados dentro de cada trajetória (comportamento não-markoviano dependente do histórico). Políticas ótimas para SER produziram misturas estocásticas de trajetórias especializadas (Markovianas, equilibrando apenas na expectativa). Políticas BSR interpolaram suavemente entre esses comportamentos.
  • Performance: O AETDICE alcançou pontuações altas em seus respectivos objetivos alvo, superando baselines como FairDICE (limitado a SER) e ESR-IQL (limitado a ESR).
• Objetivos AET Gerais (D4MORL):
  • $F$ Convexo: O método otimizou com sucesso objetivos que priorizam dimensões de alto desempenho (F convexo) enquanto mantêm o equilíbrio via G côncavo, resultando em misturas estocásticas de comportamentos especializados.
  • $F$ Não-Convexo (Cobb-Douglas): O AETDICE otimizou trade-offs de eficiência (ex: velocidade vs. energia). Crucialmente, ao adicionar uma utilidade de segurança via agregação côncava, o método evitou o colapso do agente (um modo de falha da otimização de eficiência pura) enquanto mantinha alta eficiência.
• Ablação: O estudo sobre o coeficiente de regularização $\beta$ mostrou que valores menores são necessários para que o MORL não linear permita o necessário desvio de distribuição, embora o método permaneça estável e eficaz.

5. Significância e Alegações

O artigo afirma que o AETDICE resolve barreiras de longa data no MORL offline, unificando estratégias de otimização anteriormente fragmentadas.

• Unificação: Ele une a divisão entre SER e ESR, fornecendo uma estrutura única para o MORL não linear geral.
• Novidade: É o primeiro método a abordar a otimização de ESR offline e a classe mais ampla de objetivos AET.
• Insight Comportamental: A estrutura revela comportamentos de política distintos (estratégias não-markovianas, misturas estocásticas) decorrentes da interação entre não linearidades ao nível da trajetória e da expectativa, que métodos existentes falham em capturar ou abordar.
• Praticidade: Ao permitir a otimização offline de complexos objetivos de justiça e eficiência, o método suporta a tomada de decisão no mundo real, onde as políticas devem equilibrar critérios conflitantes tanto dentro quanto entre episódios.

Os autores observam limitações relativas à escalabilidade do espaço de estado aumentado conforme o número de objetivos aumenta e aos requisitos rigorosos de cobertura de dados inerentes ao MORL offline com desvio de distribuição. No entanto, eles afirmam que o AETDICE avança significativamente o campo ao tornar uma classe mais ampla de objetivos não lineares tratável no cenário offline.