🤖 machine learning

STITCH-OPE: Trajectory Stitching with Guided Diffusion for Off-Policy Evaluation

O STITCH-OPE é uma estrutura generativa baseada em modelos que aproveita a difusão guiada e a costura de trajetórias para superar as limitações dos métodos de avaliação off-policy existentes em configurações de alta dimensão e longo horizonte, alcançando uma redução significativa de variância e melhor precisão.

Autores originais: Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

Publicado 2026-07-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a jogar um videogame, mas não pode deixar o robô jogar o jogo de verdade. Talvez o robô seja muito caro, ou o jogo seja perigoso demais. Em vez disso, você tem uma biblioteca gigante de gravações de vídeo antigas mostrando um robô diferente (vamos chamá-lo de "Velho Robô") jogando o jogo. Seu objetivo é descobrir o quão bem um novo robô ("Novo Robô") se sairia, apenas olhando para essas gravações antigas. Isso é chamado de Avaliação Fora da Política (Off-Policy Evaluation - OPE).

O problema é que o Velho Robô e o Novo Robô podem jogar de formas muito diferentes. Se o Novo Robô tentar fazer algo que o Velho Robô nunca fez, as gravações antigas serão inúteis. Se você tentar adivinhar a pontuação do Novo Robô apenas esticando os dados antigos, a matemática ficará confusa e explodirá em caos, especialmente para jogos longos e complicados.

Conheça o STITCH-OPE, um novo método que atua como um editor de vídeo astuto e um diretor criativo, tudo em um só.

O Problema com os Métodos Antigos

As tentativas anteriores de resolver isso eram como tentar prever um filme inteiro tentando adivinhar cada quadro do início ao fim em um único salto gigante.

A abordagem de "Importância de Amostragem" (Importance Sampling) era como tentar consertar um filme quebrado multiplicando o volume de cada quadro por um número enorme. Se o filme for longo, o volume fica tão alto que estraçalha os alto-falantes (a variância explode).
A abordagem "Baseada em Modelo" (Model-Based) era como tentar construir um simulador perfeito do mundo. Mas, se você cometer um erro minúsculo no primeiro segundo, esse erro aumenta cada vez mais a cada segundo, até que a simulação esteja completamente errada ao final.

A Solução STITCH-OPE: A Estratégia "Lego"

O STITCH-OPE muda o jogo ao quebrar o filme longo em pedaços pequenos e gerenciáveis. Pense nisso como construir uma ponte longa de Lego. Em vez de tentar encaixar a ponte inteira de uma vez (o que é difícil e propenso a quebras), você constrói peça por peça, conectando o fim de uma pequena seção ao início da próxima.

Aqui está como funciona, passo a passo:

O Editor de "Clipes Curtos":
Em vez de treinar um modelo para gerar um vídeo de 10 minutos de uma vez, o STITCH-OPE treina um "modelo de difusão" (uma IA sofisticada que aprende a transformar ruído estático aleatório em imagens nítidas) para gerar apenas clipes curtos. Digamos que ele aprenda a gerar clipes de 8 segundos. Ele aprende a pegar uma versão bagunçada e ruidosa de um clipe e limpá-la até que pareça um movimento real que o Velho Robô faria.
O Truque de "Costura" (Stitching):
Para fazer um vídeo longo, o STITCH-OPE não o gera todo de uma vez. Ele gera um clipe de 8 segundos, para, e então pergunta à IA: "Ok, você terminou neste ponto específico. Agora, gere o próximo clipe de 8 segundos começando exatamente de onde você parou". Ele costura esses clipes curtos um após o outro.

Por que isso é legal: Se a IA cometer um pequeno erro no primeiro clipe, isso não estraga o filme inteiro. Ela apenas corrige o próximo clipe com base em onde o anterior realmente terminou. Isso interrompe a "explosão de erro" que assombra outros métodos.

A "Orientação do Diretor" (O Ingrediente Secreto):
Agora, precisamos garantir que esses clipes pareçam o que o Novo Robô faria, não apenas o que o Velho Robô faria. A IA possui uma "função de pontuação" (uma forma de saber o que o Novo Robô gosta de fazer).

A Armadilha: Se você apenas disser à IA "Faça o que o Novo Robô gosta", ela pode ficar confusa e criar movimentos impossíveis porque o estilo do Novo Robô é totalmente diferente do estilo do Velho Robô.
A Correção: O STITCH-OPE usa um truque de "orientação negativa". Ele diz à IA: "Faça o que o Novo Robô gosta, MAS subtraia as coisas que o Velho Robô amava fazer".
A Analogia: Imagine que você está dirigindo uma cena. O Velho Robô ama dançar em círculos. O Novo Robô quer correr em linha reta. Se você apenas disser "Corra em linha reta", o ator pode ficar travado. Mas se você disser "Não dance em círculos, e então corra", o ator sabe exatamente o que evitar. Isso evita que a IA fique presa em uma "zona de conforto" dos movimentos do Velho Robô e a força a explorar o estilo do Novo Robô.

O Que os Números Dizem

Os autores testaram isso em algumas tarefas famosas de controle de robôs (como fazer um robô pular, andar ou correr) usando conjuntos de dados chamados D4RL e OpenAI Gym. Eles definiram o comprimento do jogo para 768 passos para os robôs grandes e 256 ou 196 passos para os menores.

Os resultados foram promissores:

Precisão: O STITCH-OPE superou quase todos os outros métodos em 11 de 15 casos de teste específicos.
Ranking: Foi muito bom em descobrir qual robô era o "melhor", mesmo quando os robôs eram muito diferentes do que estava nas gravações.
O Tamanho da "Janela": Eles descobriram que gerar clipes de comprimento 8 (o tamanho da janela $w$ ) era o ponto ideal. Isso equilibrou a necessidade de costurar as partes sem cometer erros excessivos.

O Que Eles Ainda Não Sabem (Ainda)

O artigo é cuidadoso ao dizer que isso não é uma varinha mágica para tudo.

Os Movimentos "Impossíveis": Se o Novo Robô tentar fazer algo que o Velho Robô nunca fez (como pular de um penhasco quando o Velho Robô apenas caminhava no chão), a IA pode ficar confusa e inventar um movimento falso e impossível. A matemática assume que o Velho Robô viu pelo menos algumas das coisas que o Novo Robxim faz.
Complexidade do Mundo Real: Embora funcione muito bem nessas simulações de computador, os autores admitem que ainda não têm certeza se funcionará perfeitamente em problemas reais e bagunçados, onde os dados são incompletos ou o robô não consegue ver tudo claramente.

A Conclusão

O STITCH-OPE sugere que, ao quebrar problemas longos e assustadores em pedaços pequenos e costuráveis e usar uma regra inteligente de "não faça isso" para guiar a IA, podemos prever muito melhor como um novo robô irá se comportar sem nunca deixá-lo tocar o mundo real. É um grande passo à frente para testar robôs com segurança em situações de alto risco, mas os autores nos lembram que isso ainda é um sucesso baseado em simulação, e o teste no mundo real é a próxima fronteira.

Resumo Técnico: STITCH-OPE

Problema

A Avaliação Off-Policy (OPE - Off-Policy Evaluation) visa estimar o desempenho de uma política alvo ( $\pi$ ) utilizando dados offline coletados de uma política de comportamento diferente ( $\beta$ ). Isso é crítico em domínios como robótica e saúde, onde a interação online é dispendiosa ou insegura. No entanto, os métodos de OPE existentes enfrentam dificuldades em problemas de alta dimensão e longo horizonte devido a dois modos principais de falha:

Amostragem de Importância (IS - Importance Sampling): Sofre com a "maldição do horizonte", onde a variância cresce exponencialmente com o horizonte de avaliação.
Métodos Baseados em Modelo: Embora sejam eficientes em amostras, sofrem com erros compostos ao aprender modelos de dinâmica para trajetórias longas, levando a estimativas de valor imprecisas.
Mudança de Distribuição (Distribution Shift): Diferenças entre $\beta$ e $\pi$ levam a estimativas imprecisas, tornando difícil confiar na seleção de políticas antes da implementação.

Tentativas recentes usando estimativa de razão de densidade livre de modelo mostraram um desempenho empírico insatisfatório quando as políticas de comportamento e alvo diferem significativamente.

Metodologia: STITCH-OPE

Os autores propõem o STITCH-OPE (Sub-Trajectory Importance-Weighted Trajectory Composition for Long-Horizon OPE), um framework generativo baseado em modelo que utiliza modelos de difusão de denoising. A inovação central reside na geração de trajetórias sintéticas para a política alvo guiando um modelo de difusão treinado nos dados de comportamento, evitando os erros compostos da geração de trajetórias completas.

1. Difusão Guiada para Correção de Mudança de Distribuição

Em vez de retreinar um modelo para cada nova política alvo, o STITCH-OPE pré-treina um modelo de difusão no conjunto de dados de comportamento ( $D_\beta$ ) para aprender a distribuição da trajetória de comportamento $p_\beta(\tau)$ . Durante a inferência, ele gera trajetórias da política alvo ( $p_\pi$ ) através do direcionamento (guiding) do processo de denoising.

A função de guia $g(\tau)$ é derivada da razão de verossimilhança entre as políticas alvo e de comportamento. Ao interpretar a razão de verossimilhança como uma densidade de classificação no guia de difusão, os autores formulam o guia como a diferença entre as funções de score:
$g(\tau) = \nabla_\tau \sum_{t=0}^{T-1} \log \pi(a_t|s_t) - \nabla_\tau \sum_{t=0}^{T-1} \log \beta(a_t|s_t)$
Isso permite que o modelo desloque a distribuição de amostragem de $p_\beta$ em direção a $p_\pi$ sem necessidade de retreinamento.

2. Guia de Comportamento Negativo

Uma contribuição técnica fundamental é a inclusão do termo de score de comportamento negativo ( $-\nabla_\tau \log \beta$ ).

Problema: Usar apenas o score da política alvo ( $\nabla_\tau \log \pi$ ) pode fazer com que a distribuição de amostragem guiada colapse em regiões de alta densidade da política de comportamento, mesmo que essas regiões sejam improváveis sob a política alvo (sobre-regularização).
Solução: Subtrair o score de comportamento evita esse colapso, garantindo que o modelo generalize para fora dos dados (out-of-data) e aborde corretamente a mudança de distribuição. Os autores generalizam isso com coeficientes $\alpha$ e $\lambda$ (onde tipicamente $\lambda < \alpha$ ) para controlar a importância relativa das políticas.

3. Costura de Trajetória com Difusão Condicional

Para abordar o erro composto da geração de longo horizonte, o STITCH-OPE não gera trajetórias completas em uma única passagem. Em vez disso:

Geração de Sub-Trajetória: O modelo de difusão é treinado em sub-trajetórias curtas de comprimento $w \ll T$ .
Amostragem Condicional: A geração é realizada de maneira semi-autorregressiva. O modelo gera uma sub-trajetória condicionada ao estado final da sub-trajetória gerada anteriormente.
Costura (Stitching): Essas execções parciais (rollouts) são costuradas ponta a ponta para formar uma trajetória de comprimento total.

Esta abordagem trata a distribuição da trajetória de comportamento como uma mistura sobre sub-trajetórias. Ao condicionar apenas no estado imediatamente anterior (em vez de todo o histórico), o modelo mantém uma entropia e cobertura de modos dos dados de comportamento mais amplas, melhorando significativamente a composicionalidade e a generalização para novos estados iniciais.

Garantias Teóricas

O artigo fornece um limite teórico para o Erro Quadrático Médio (MSE) do estimador STITCH-OPE (Teorema 3.3).

Sob suposições leves (razão de verossimilhança limitada e erro limitado no modelo de comportamento aprendido), o MSE é limitado.
Crucialmente, o limite depende do comprimento da sub-trajetória $w$ , e não do horizonte total $T$ .
Isso resulta em uma redução exponencial na variância em comparação com a Amostragem de Importância padrão (que escala como $O(\exp(T))$ ) e uma dependência polinomial mais favorável ( $O(T^2)$ ) em comparação com métodos de difusão de trajetória completa.

Resultados Empíricos

Os autores avaliaram o STITCH-OPE no benchmark D4RL (Hopper, Walker2d, HalfCheetah) e OpenAI Gym (Pendulum, Acrobot).

Desempenho: O STITCH-OPE superou os baselines de estado da arte (incluindo Fitted Q-Evaluation, Doubly Robust, Importance Sampling e Policy-Guided Diffusion) em 11 de 15 instâncias em várias métricas:
- Log RMSE: Redução significativa no erro.
- Correlação de Posto (Rank Correlation): Melhor capacidade de classificar corretamente as políticas alvo.
- Regret@1: Menor regret na seleção da melhor política.
Políticas de Difusão: O método avaliou com sucesso políticas alvo complexas definidas como modelos de difusão, uma tarefa onde outros estimadores têm dificuldade devido à falta de distribuições de probabilidade explícitas.
Ablação: Experimentos confirmaram que o desempenho ideal ocorre com um tamanho de janela pequeno ( $w=8$ ) e uma configuração de guia onde o termo de comportamento negativo está presente ( $0 < \lambda < \alpha$ ).

Significância e Alegações

O artigo afirma que o STITCH-OPE é o primeiro trabalho a demonstrar avaliação off-policy robusta em tarefas de alta dimensão e longo horizonte. Sua significância reside em:

Preencher a Lacuna: Ele consegue unir a lacuna entre OPE baseado em modelo (eficiência de amostra) e difusão offline de trajetória completa (capacidade generativa) ao mitigar erros compostos através da costura de trajetórias.
Escalabilidade: Demonstra que modelos de difusão podem ser aplicados à OPE em espaços de alta dimensão sem sofrer a explosão exponencial de variância típica dos métodos de IS.
Generalização: A combinação de difusão condicional e guia de comportamento negativo permite a avaliação robusta de políticas alvo que se desviam significativamente da política de comportamento, incluindo aquelas com diferentes estados iniciais ou distribuições de ação.

Os autores mantêm modéstia quanto às limitações, observando que o método depende da suposição de que os dados de comportamento cobrem o suporte da política alvo (Suposição 3.1) e que avaliar a fidelidade da trajetória em estados complexos e parcialmente observáveis continua sendo um desafio. Eles também observam que a aplicabilidade a problemas específicos de domínio fora da robótica permanece uma questão aberta.