Resumo Técnico: ISEP – Expansão Implícita de Suporte para Aprendizado por Reforço Offline

1. Declaração do Problema

O Aprendizado por Reforço (RL) Offline visa aprender políticas eficazes a partir de conjuntos de dados estáticos sem interação online, uma capacidade crítica para domínios de alto risco, como robótica e saúde. Um desafio fundamental neste cenário é a tensão entre conservadorismo (permanecer dentro do suporte do conjunto de dados para garantir estimativas de valor válidas) e otimismo (generalizar além de dados subótimos para descobrir comportamentos aprimorados).

Os métodos existentes geralmente resolvem isso impondo restrições estritas de suporte: limitando atualizações a transições dentro da amostra, restringindo ações ao suporte da política de comportamento ou penalizando valores de crítico superestimados. Embora essas restrições garantam segurança, elas frequentemente suprimem comportamentos de alta recompensa que são esparsamente representados no conjunto de dados. Esse "viés de densidade" impede a descoberta de políticas ótimas, particularmente quando a trajetória ótima carece de densidade de dados suficiente. Além disso, a interpolação determinística padrão entre dados conservadores e propostas otimistas frequentemente leva ao colapso de modos, onde a política média ações distintas e válidas em uma ação de baixo valor e inválida, situada fora da variedade de dados.

2. Metodologia

Os autores propõem o ISEP (Expansão Implícita de Suporte via Otimização Estocástica de Política), um framework projetado para extrapolar com segurança além de conjuntos de dados estáticos. O ISEP opera através de três inovações acopladas:

2.1 Estimativa de Valor Interpolada (Expansão Implícita de Suporte)

Em vez de tratar a distribuição do conjunto de dados como um limite rígido, o ISEP expande implicitamente o suporte válido da função de valor para abranger ações de alto valor que são válidas, mas esparsamente representadas. Isso é alcançado por meio de uma função objetivo híbrida para a rede de valor $V_\psi$:

$$L_V(\psi) = (1 - p)\mathbb{E}_{(s,a)\sim D} [L_\tau^2(\hat{Q}_\theta(s, a) - V_\psi(s))] + p\mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi} [(\hat{Q}_\theta(s, \hat{a}) - V_\psi(s))^2]$$

• Termo 1: Ancora as estimativas de valor a transições reais usando perda de expectile assimétrica (abordagem padrão IQL).
• Termo 2: Impulsiona a expansão consultando a função Q com ações amostradas da política atual $\hat{a} \sim \pi_\phi$.
• Parâmetro $p$: Um escalar controlável que governa o equilíbrio entre segurança (dentro da distribuição) e exploração (gerada pela política). Esse mecanismo "densifica" regiões de alta recompensa, criando um caminho navegável para a melhoria da política.

2.2 Seleção Estocástica de Ações

Para abordar a natureza multimodal do objetivo resultante, o ISEP emprega uma estratégia de Seleção Estocástica de Ações. A interpolação determinística padrão (média de gradientes) força a política em direção à média aritmética de uma ação conservadora e uma ação otimista, resultando frequentemente em uma ação de baixo valor "fora da variedade".

O ISEP evita isso alternando estocasticamente entre os alvos em cada passo de atualização usando um portão Bernoulli $B \sim \text{Bernoulli}(p)$:

$$L_\pi(\phi) = (1 - B) \cdot \mathbb{E}_{(s,a)\sim D}[\omega(s, a) \log \pi_\phi(a|s)] + B \cdot \mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi}[\omega(s, \hat{a}) \log \pi_\phi(\hat{a}|s)]$$

Isso garante que a política seja impulsionada em direção a modos distintos e válidos (seja a amostra de dados conservadora ou a proposta otimista), em vez de colapsar em um vale de baixo valor entre eles.

2.3 Instanciação: ISEP-FM

Como a estratégia estocástica exige uma política capaz de representar distribuições complexas e multimodais, os autores instanciam o framework usando Flow Matching Condicional (CFM) com Guia Livre de Classificador (CFG).

• O modelo de fluxo é condicionado a um token de otimalidade $o \in \{\emptyset, 1\}$.
• Na inferência, as ações são geradas integrando o campo de velocidade com uma escala de guia $w$, permitindo controle dinâmico entre a distribuição de comportamento base e a condição de otimalidade de alto valor.

3. Garantias Teóricas

O artigo fornece uma análise teórica demonstrando que o ISEP garante erro de valor limitado. Sob suposições de tamanhos de amostra finitos (Gap de Expectile) e subotimalidade do conjunto de dados, os autores provam que, se o parâmetro de interpolação $p$ satisfizer um limite específico derivado das características do conjunto de dados:

$$p \leq \frac{\delta_\tau + \delta_{sub}}{V_{max} - V^*(s) + \delta_\tau + \delta_{sub}}$$

Então, com probabilidade de pelo menos $\eta$ (governada pela qualidade do conjunto de dados), a função de valor aprendida $\hat{V}(s)$ permanece limitada superiormente pelo valor de estado ótimo $V^*(s)$. Isso estabelece $p$ como um mecanismo de segurança rigoroso que previne divergência catastrófica enquanto permite extrapolação controlada.

4. Resultados Experimentais

Os autores avaliaram o ISEP e sua variante de fluxo de correspondência (ISEP-FM) no benchmark D4RL, cobrindo locomoção Gym-MuJoCo, manipulação de mão robótica Adroit e manipulação sequencial de objetos Kitchen.

• Desempenho: O ISEP-FM alcançou resultados state-of-the-art em múltiplos ambientes. Por exemplo, em hopper-med-rep, alcançou uma pontuação normalizada de 104.5, superando bases fortes como QIPO (101.2) e IDQL (82.4). Em halfcheetah-med, obteve 59.9, superando o melhor anterior de 54.1.
• Estudos de Ablação:
  • Parâmetro $p$: Valores moderados ($p \in \{0.3, 0.5\}$) consistentemente produziram as pontuações mais altas. Valores agressivos ($p \geq 0.9$) levaram a divergência catastrófica, confirmando a necessidade de uma abordagem "intermediária".
  • Estocástico vs. Determinístico: Substituir a seleção estocástica por interpolação determinística resultou em quedas significativas de desempenho, validando que a média ingênua falha em paisagens de ação não convexas.
  • Expansão de Suporte: Visualizações (t-SNE) confirmaram que o ISEP expande com sucesso o suporte de ações para regiões esparsas e de alta recompensa que métodos estritamente dentro da distribuição (como IQL com $p=0$) falham em alcançar devido ao viés de densidade.

5. Significado e Alegações

O artigo alega que o ISEP aborda a limitação crítica de métodos de RL offline que tratam distribuições de conjuntos de dados como limites rígidos. Ao expandir implicitamente o suporte de ações viável através de uma função de valor interpolada entre dados dentro da distribuição e amostras de política, o ISEP "densifica" regiões de alta recompensa sem exigir restrições explícitas ou pipelines complexos de duas etapas.

O significado deste trabalho reside em sua capacidade de:

1. Preencher a lacuna entre segurança e otimismo, permitindo que agentes descubram ações superiores em regiões esparsamente representadas do espaço de estado-ação.
2. Prevenir o colapso de modos em paisagens não convexas através de uma nova estratégia de seleção estocástica de ações, essencial para o aprendizado de políticas multimodais.
3. Fornecer garantias de segurança teóricas, mostrando que as estimativas de valor permanecem limitadas mesmo ao explorar ações fora da distribuição, desde que o parâmetro de interpolação seja ajustado de acordo com a qualidade do conjunto de dados.

Os autores concluem que combinar a expansão de suporte com a expressividade de modelos generativos modernos (Flow Matching) permite que agentes de RL offline descubram efetivamente comportamentos superiores sem sacrificar a segurança.