Resumo Técnico: Fluxos de Transporte Contrafactual para Refinamento Conservador de Trajetórias Offline

1. Formulação do Problema

O artigo aborda uma limitação fundamental no aprendizado por reforço (RL) offline: a dificuldade de melhorar o comportamento observado sem extrapolar além do suporte dos dados registrados. Enquanto o RL padrão aprende mapeamentos reativos de estado-ação, ele frequentemente falha em modelar explicitamente como uma trajetória específica de baixo resultado poderia ser revisada localmente para ter sucesso. Os métodos offline existentes tipicamente ou restringem as políticas via penalidades de valor ou utilizam modelos generativos (difusão/fluxo) para criar novos comportamentos, operando frequentemente ao nível da transição ou aprendendo políticas globais em vez de melhorias específicas de instância.

Os autores formulam o problema como refinamento de trajetória condicionado à fonte. Dada uma trajetória candidata inicial $\tau^-$ com baixo feedback do mundo (ex: baixo retorno, violações de segurança), o objetivo é aprender uma revisão local em direção a uma alternativa próxima $\tau^*$ que ofereça um feedback melhorado, mantendo-se comportamentalmente plausível dentro da distribuição dos dados offline. Isso é conceituado como encontrar uma trajetória viável que minimize o desvio da fonte enquanto satisfaz uma margem de melhoria $\delta$:
$$\tau^* = \arg \min_{\tau' \in \mathcal{T}_{feas}} d_\tau(\tau', \tau^-) \quad \text{sujeito a} \quad R(\tau') \ge R(\tau^-) + \delta$$
onde $R(\tau)$ representa o feedback mensurável do mundo e $d_\tau$ mede o desvio ao nível da trajetória.

2. Metodologia: Fluxos de Transporte Contrafactual

O framework proposto, Counterfactual Transport Flows (Fluxos de Transporte Contrafactual), aprende a transportar uma trajetória de origem em direção a uma alternativa melhor em um espaço latente de trajetórias usando correspondência de fluxo condicional (conditional flow matching). O método opera em três estágios principais:

A. Construção de Pares de Preferência Local

Em vez de aprender uma política global, o método constrói pares de preferência local fracos a partir de dados offline. Para uma trajetória de origem $\tau^-$ dada, o algoritmo:

1. Codifica trajetórias em um espaço latente usando um codificador $\phi$.
2. Identifica um vizinhança latente local $\mathcal{N}(\tau^-)$ de trajetórias similares.
3. Seleciona uma trajetória alvo $\tau^+$ desta vizinhança que satisfaça o critério de melhoria ($R(\tau^+) \ge R(\tau^-) + \delta$).
4. Forma um par $(\tau^-, \tau^+)$ representando uma revisão "contrafactual": o que o agente poderia ter feito de diferente sob condições similares para alcançar um feedback melhor.

B. Correspondência de Fluxo Condicionado à Fonte

O refinamento é modelado como um processo de transporte contínuo em vez de uma previsão de etapa única.

• Interpolação Latente: Para cada par, um caminho de interpolação linear é definido: $z_s = (1-s)z^- + s z^+$, onde $z^- = \phi(\tau^-)$ e $z^+ = \phi(\tau^+)$, com $s \sim U(0, 1)$.
• Campo Vetorial Condicional: O modelo aprende um campo vetorial $v_\theta(z_s, s \mid z^-)$ condicionado especificamente à trajetória de origem $z^-$. Isso garante que a direção do refinamento seja específica da instância, aprendendo como esta trajetória particular pode ser revisada, em vez de aprender uma direção global em direção a regiões de alto feedback.
• Objetivo de Treinamento: O modelo é treinado usando o objetivo de correspondência de fluxo para minimizar a diferença entre a velocidade prevista e a velocidade alvo ($z^+ - z^-$):
  $$\mathcal{L}_{FM} = \mathbb{E}_{z^-, z^+, s} \left[ \| v_\theta(z_s, s \mid z^-) - (z^+ - z^-) \|_2^2 \right]$$

C. Inferência com Força de Refinamento

No momento da inferência, o método recebe uma trajetória candidata inicial $\tau^-$, codifica-a para $z^-$ e integra o campo vetorial aprendido. A integração é interrompida em um parâmetro de força de refinamento $\alpha \in [0, 1]$:
$$\tilde{z} = z_\alpha$$
O estado latente resultante é decodificado para produzir a trajetória refinada $\tau^* = \psi(\tilde{z})$.

• $\alpha = 0$: Recupera a trajetória original (conservador).
• $\alpha = 1$: Transporta totalmente a trajetória em direção ao alvo local de alto feedback.
• $0 < \alpha < 1$: Permite um compromisso contínuo entre preservar o comportamento original e aplicar um refinamento mais forte.

3. Principais Contribuições

Os autores destacam três contribuições primárias:

1. Formulação: Eles reformulam a melhoria de decisão offline como refinamento de trajetória condicionado à fonte a partir do feedback do mundo, distinto da otimização de política global ou geração de trajetória não restrita.
2. Metodologia: Eles propõem construir pares de preferência local a partir de resultados observados e utilizar correspondência de fluxo condicional para aprender direções de refinamento específicas de instância no espaço latente da trajetória.
3. Validação: Eles validam a abordagem nos benchmarks D4RL (AntMaze e MuJoCo), demonstrando melhoria de feedback com desvios de trajetória conservadores, sem exigir rótulos de preferência humana ou modelos de recompensa separados.

4. Resultados Experimentais

Experimentos foram conduzidos em conjuntos de dados D4RL, incluindo tarefas AntMaze e MuJoCo (HalfCheetah), utilizando um autoencoder de trajetória para construção do espaço latente.

• Baselines: O método foi comparado contra:
  • Vizinho Melhorado Mais Próximo (Nearest Improved Neighbor): Substitui diretamente a origem pelo vizinho de maior feedback mais próximo.
  • Trajetória Melhorada Aleatória (Random Improved Trajectory): Substitui a origem por uma trajetória de maior feedback aleatória.
  • Correspondência de Fluxo Não-Local (Non-local Flow Matching): Treina o modelo de fluxo sem restrições de localidade na seleção do alvo.
• Desempenho:
  • AntMaze: O método proposto alcançou uma melhoria de feedback de +69.44 com o menor desvio de ação (1.41) e desvio latente (27.00). Em contraste, o baseline "Random Improved Trajectory" alcançou ganhos brutos maiores (+117.50), mas com desvios significativamente maiores (Ação: 2.18, Latente: 62.50), indicando falta de conservadorismo. O baseline "Non-local Flow Matching" na verdade degradou o feedback (-11.48).
  • MuJoCo: Tendências semelhantes foram observadas. O método proposto alcançou +1180.20 de melhoria de feedback com desvios de 1.58 (ação) e 31.40 (latente). O "Nearest Improved Neighbor" alcançou uma melhoria bruta ligeiramente menor (+1050.30), mas com desvios maiores (2.14/42.50).
• Análise: Os resultados indicam que a construção de alvo local e o condicionamento à fonte são ambos necessários para um refinamento conservador. Abordagens globais ou não-locais falham em aprender direções de refinamento estáveis, enquanto estratégias de substituição direta sacrificam demais a fidelidade comportamental.

5. Significância e Alegações

O artigo afirma que os Fluxos de Transporte Contrafactual oferecem uma direção promissora para o melhoramento offline confiável ao:

• Fundamentar a Melhoria nos Dados: O método melhora o comportamento usando apenas feedback escalar do mundo (ex: retornos) de dados registrados, eliminando a necessidade de rótulos de preferência humana, modelos de recompensa separados ou interação online com o ambiente.
• Interpretabilidade: A perspectiva de transporte fornece interpretabilidade ao nível da trajetória. O campo vetorial aprendido traça caminhos de refinamento explícitos, oferecendo explicações "estilo contrafactual" de como comportamentos de baixo feedback podem ser revisados.
• Controlabilidade: O parâmetro de força de refinamento $\alpha$ permite um compromisso ajustável entre o conservadorismo (preservando a proposta original) e o melhoramento agressivo.

Os autores mantêm uma postura modesta, observando que o termo "contrafactual" é usado no sentido de refinamento de trajetória (baseado em dados observados) e não como inferência causal formal. Eles identificam direções de trabalho futuro, incluindo seleção de vizinhança adaptativa, garantias teóricas para trajetórias decodificadas e integração com modelos de mundo aprendidos para planejamento hipotético iterativo.