Resumo Técnico: Aprendizado Off-Policy Zero-Shot (ZOL)

1. Definição do Problema

O artigo aborda o desafio do Aprendizado Off-Policy Zero-Shot dentro do paradigma dos Modelos de Fundação Comportamentais (BFMs). Os BFMs são agentes pré-treinados em grandes conjuntos de dados não rotulados e livres de recompensa para aprender prioridades comportamentais reutilizáveis, permitindo que se adaptem a novas tarefas no momento do teste sem treinamento adicional (por exemplo, via prompts de texto, objetivos ou captura de movimento).

No entanto, essa adaptação baseada em inferência herda um modo de falha crítico do aprendizado por reforço (RL) offline e off-policy: a mudança de distribuição (distributional shift).

• O Descompasso: Uma política induzida por uma nova especificação de tarefa frequentemente consulta regiões de estado-ação que são mal representadas ou inteiramente ausentes no conjunto de dados de pré-treinamento (Out-of-Distribution ou OOD).
• A Consequência: A inferência zero-shot padrão (por exemplo, selecionar um vetor latente $z$ baseado na projeção da recompensa) leva a erros sistemáticos na estimativa de valor e na superestimação da função de valor. O agente pode selecionar latentes que parecem ótimos sob valores extrapolados, mas que induzem distribuições de visitação não suportadas pelos dados, resultando em um comportamento subótimo ou inseguro.
• A Lacuna: Soluções existentes como DICE (DualDICE, OptiDICE) exigem otimização específica para a tarefa, o que contradiz o requisito de "zero-shot". Outros métodos de adaptação rápida (ReLA, LoLA) dependem de interação online com o ambiente e rollouts on-policy, o que é custoso e viola a natureza totalmente offline do cenário BFM.

A questão central levantada é: Podemos estimar razões de ocupação estacionária ótimas para uma família inteira de políticas induzidas por BFM sem otimização online por tarefa, permitindo uma adaptação rápida no tempo de teste enquanto evitamos patologias off-policy?

2. Metodologia: Aprendizado Off-Policy Zero-Shot (ZOL)

Os autores propõem o ZOL, um procedimento de tempo de teste livre de treinamento que preenche a lacuna entre Medidas de Sucessor (SM) e Razões de Densidade Estacionária.

Insight Teórico

O método baseia-se em uma conexão teórica derivada do framework Forward-Backward (FB) (Touati & Ollivier, 2021), que é usado para estimar Medidas de Sucessor.

1. Medidas de Sucessor (SM): A SM, $M^\pi$, caracteriza a visitação futura descontada de uma política $\pi$. No framework FB, a densidade sucessora $m_\pi$ é aproximada via uma fatoração de baixo posto: $m_\pi(s_0, a_0, s, a) \approx F(s_0, a_0, z)^\top B(s, a)$, onde $F$ é um embedding forward e $B$ é um embedding backward.
2. Identidade da Razão de Densidade: Os autores derivam uma identidade exata (Eq. 9) mostrando que a razão de densidade estacionária $w_{\pi/\beta} = d_\pi / d_\beta$ (o fator de correção necessário para alinhar a visitação da política com o conjunto de dados) é proporcional à densidade sucessora esperada sob a distribuição inicial $\rho_0$:
   $$w_{\pi/\beta}(s, a) = (1-\gamma) \mathbb{E}_{(s_0, a_0) \sim \rho_0} [m_\pi(s_0, a_0, s, a)]$$
3. Estimador de Baixo Posto: Ao substituir a aproximação FB na identidade, a razão de densidade torna-se uma função linear simples do embedding backward:
   $$w_{\pi_z/\beta}(s, a) \approx (1-\gamma) W_{\pi_z}^\top B(s, a)$$
   Aqui, $W_{\pi_z}$ é o embedding forward esperado sobre a distribuição inicial. Crucialmente, este estimador é apenas de dados; ele é avaliado unicamente em amostras $(s, a)$ presentes no conjunto de dados $D$, garantindo que a política nunca atribua probabilidade a regiões não suportadas.

Algoritmo

O ZOL opera em três etapas sem modificar o pré-treinamento do BFM:

1. Pré-treinamento: Treinar os embeddings FB ($F$ e $B$) usando objetivos de diferença temporal (TD) padrão no conjunto de dados offline.
2. Inicialização Latente: Para uma nova tarefa com recompensa $r_T$, inferir um embedding de tarefa inicial $c_T$ projetando a recompensa sobre as características backward: $c_T = \mathbb{E}_{(s,a) \sim D}[B(s, a) r_T(s, a)]$.
3. Otimização Latente: Otimizar o vetor latente $z$ para maximizar um retorno ponderado regularizado:
   $$J_{total}(z) = \mathbb{E}_{(s,a,r) \sim d_\beta} [w_{\pi_z/\beta}(s, a) (r(s, a) - \bar{r})] - \lambda_1 \chi^2(z) - \lambda_2 L_{trust}(z)$$
   • Reponderação: O termo $w_{\pi_z/\beta}$ repondera a supervisão em direção a regiões suportadas pelos dados, corrigindo a mudança de distribuição.
   • Regularização:
     • Penalidade $\chi^2$: Evita variância extrema nos pesos de importância.
       ção de Confiança ($L_{trust}$): Mantém o latente otimizado próximo ao embedding de tarefa inicial para evitar o drift catastrófico.
     • Centralização de recompensa: Evita soluções triviais (ex: políticas de "não fazer nada") causadas por offsets constantes de recompensa.

A otimização é realizada via ascensão de gradiente (Adam) em $z$ usando amostragem de Monte Carlo de estados iniciais para estimar $W_{\pi_z}$, não requerendo interação com o ambiente além da amostragem do estado inicial.

3. Principais Contribuições

1. Ponte Teórica: O artigo estabelece um novo elo teórico mostrando que as representações de sucessor Forward-Backward contêm implicitamente as razões de densidade estacionária necessárias para a correção off-policy. Isso permite o cálculo de pesos de correção ótimos diretamente dos componentes pré-treinados.
2. Algoritmo ZOL: Um método de adaptação em tempo de teste, simples, livre de treinamento e livre de interação, que mitiga a superestimação off-policy e erros de extrapolação ao impor explicitamente restrições de suporte via reponderação de razão de densidade.
3. Validação Empírica: O ZOL é avaliado em diversos benchmarks (ExORL, OGBench, SMPL Humanoid) e supera consistentemente os baselines zero-shot de última geração (FB, HILP, TD-JEPA) e métodos de adaptação online (LoLA, ReLA) em termos de robustez e retorno, particularmente em tarefas de longo horizonte e alta dimensionalidade.
4. Ablação e Análise: O artigo fornece um exemplo de brinquedo (toy example) 2D minimalista demonstrando que a inferência zero-shot padrão falha devido ao viés de suporte, enquanto o ZOL recupera com sucesso a estrutura da tarefa ao alinhar a inferência com a ocupação induzida.

4. Resultados Experimentais

Os autores avaliaram o ZOL em três benchmarks:

• ExORL (DeepMind Control Suite): O ZOL alcançou ganhos consistentes sobre os baselines nos domínios Walker, Cheetah, Quadruped e PointMass. Notavelmente, mostrou melhorias significativas em tarefas de longo horizonte e domínios de alta dimensão (ex: Quadruped), superando métodos online como LoLA e ReLA sem exigir rollouts de ambiente.
• OGBench (Long-Horizon Goal-Conditioned RL): Em tarefas que exigem costura temporal (ex: AntMaze, manipulação de Cubos), o ZOL alcançou taxas de sucesso superiores comparado ao FB e outros baselines. Ele igualou ou excedeu o desempenho de métodos online (LoLA/ReLA) operando inteiramente offline.
• SMPL Humanoid (Motion Tracking): Usando um modelo FB-CPR pré-treinado, o ZOL melhorou o desempenho de rastreamento de movimento no dataset AMASS, encontrando políticas substancialmente melhores que a inferência baseline FB-CPR.

Em todos os benchmarks, o ZOL demonstrou robustez às escolhas de hiperparâmetros, exigindo ajuste mínimo.

5. Significância e Alegações

O artigo afirma unir os campos de aprendizado off-policy e adaptação zero-shot. Sua principal significância reside em demonstrar que a adaptação zero-shot robusta não requer necessariamente interação online cara ou otimização por tarefa.

• Mitigação do Gap de Inferência: Os autores argumentam que as lacunas de desempenho em BFMs muitas vezes não surgem da capacidade representacional do modelo, mas da subotimalidade do procedimento de inferência em si. O ZOL aborda isso garantindo que o processo de adaptação permaneça fundamentado na distribuição de pré-treinamento.
• Adaptação Livre de Treinamento: Diferente de métodos que exigem fine-tuning ou rollouts online, o ZOL oferece uma solução "plug-and-play" que aproveita a estrutura FB existente para corrigir mudanças de distribuição no tempo de teste.
• Justificativa Teórica: O trabalho fornece uma justificativa fundamentada de por que as representações FB são adequadas para correção off-policy, indo além de adaptações heurísticas.

Limitações: Os autores reconhecem que o ZOL herda o viés representacional da fatoração FB aprendida. Se a estimativa da razão de densidade for imprecisa ou se uma tarefa downstream exigir estritamente um comportamento fora do suporte, a natureza conservadora do método (imposição de restrições de suporte) pode sacrificar o desempenho em prol da segurança. Direções futuras incluem correções conscientes de incerteza e extensões para domínios parcialmente observáveis.