Resumo Técnico: Avaliação de Políticas Offline para Políticas de Manipulação via Formulação de Vitalidade Descontada

Declaração do Problema

O artigo aborda o desafio da avaliação de políticas offline (OPE) para políticas de manipulação robótica. Embora a avaliação de políticas seja crítica para o desenvolvimento e implantação de sistemas robóticos, os métodos padrão de Aprendizado por Reforço (RL) enfrentam obstáculos significativos em cenários reais de manipulação devido a três propriedades específicas:

1. Recompensas Esparsas: As recompensas são tipicamente binárias (conclusão da tarefa vs. falha) em vez de densas, tornando difícil aprender o progresso intermediário.
2. Truncamento de Horizonte Finito: As simulações de avaliação são frequentemente encerradas por limites de tempo manuais. Em dados offline, é impossível distinguir entre uma política que falhou verdadeiramente e uma que simplesmente esgotou o tempo, mas poderia ter tido sucesso com mais duração. Isso introduz um viés de truncamento, levando métodos padrão (como TD(0) e Monte Carlo) a subestimar sistematicamente o desempenho da política.
3. Progressão Não Monotônica: Políticas de manipulação frequentemente exibem comportamentos de recuperação (por exemplo, soltar um objeto e pegá-lo novamente). Isso faz com que o progresso da tarefa seja não monotônico, violando as suposições feitas por formulações de recompensa cumulativa que esperam uma abordagem constante em direção ao objetivo.

Metodologia

Os autores propõem um framework que reformula a avaliação de políticas offline como um problema de vitalidade descontada. Em vez de estimar o retorno cumulativo esperado, o método aprende uma função de valor que representa a "distância semântica" até a conclusão da tarefa.

1. Formulação de Vitalidade Descontada

Os autores modificam o Processo de Decisão de Markov (MDP) padrão substituindo a função de recompensa $R$ por uma função alvo $l(s)$, que codifica a distância até um conjunto alvo $L$ (estados de objetivo).

• Função Alvo: $l(s) = -1$ se $s$ for um estado de objetivo, e $l(s) = 1$ caso contrário.
• Definição de Valor: O valor de um estado $s$ é definido como a expectativa do valor alvo mínimo alcançado em todas as trajetórias futuras possíveis:
  $$V_\pi(s) = \mathbb{E} \left[ \min_{k} l(\xi(k)) \right]$$
• Estimativa Conservadora: Para evitar otimismo excessivo, os autores derivam um operador de Bellman de ponto fixo conservador (pessimista). Eles introduzem um fator de desconto $\gamma$ para induzir um mapeamento de contração, resultando na regra de atualização:
  $$\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ l(s), \tilde{V}_\pi(s') \}$$
  Esta formulação garante que, se uma trajetória encontrar uma falha (valor 1), o valor se propaga para trás, mas se encontrar um objetivo (valor -1), o valor reflete os passos até esse objetivo.

2. Framework de Bootstrap em Duas Etapas

Para abordar a falta de recompensas densas e a questão do viés de truncamento, os autores introduzem um algoritmo em duas etapas:

• Etapa 1 (Cálculo de Âncoras): O algoritmo identifica estados "inequívocos" — especificamente, todos os estados em episódios que alcançam com sucesso um objetivo. Ele calcula estimativas de valor para esses estados e seus descendentes usando o operador de Bellman. Esses valores servem como "âncoras" fundamentadas no sucesso observado.
• Etapa 2 (Bootstrap): A função alvo $l(s)$ é refinada usando a função de valor $V_\pi$ da Etapa 1. Para estados em episódios com limite de tempo atingido (falha), se um estado (ou um estado similar no espaço latente) se sobrepõe a um estado de um episódio bem-sucedido, seu valor alvo é atualizado do valor pessimista padrão (1) para o valor otimista derivado da trajetória bem-sucedida.
  • A regra de atualização torna-se: $\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ V_\pi(s), \tilde{V}_\pi(s') \}$.
  • Este mecanismo efetivamente propaga sinais de sucesso para trás através de episódios truncados, sobrescrevendo a suposição de que limites de tempo atingidos implicam falha inevitável.

Principais Contribuições

1. Formulação Baseada em Vitalidade: Uma reformulação inovadora da OPE para tarefas de manipulação com recompensas esparsas que interpreta o valor como uma medida de progresso da tarefa (vitalidade) em vez de retorno cumulativo.
2. Mitigação do Viés de Truncamento: Um algoritmo de avaliação em duas etapas, com bootstrap, que aproveita os sucessos observados para corrigir o viés pessimista inerente a dados offline de horizonte finito.
3. Garantias Teóricas: Prova de que o operador de Bellman descontado proposto induz um mapeamento de contração, garantindo a existência de uma função de valor de ponto fixo única.

Resultados Experimentais

O método foi avaliado em três estudos de caso usando conjuntos de dados gerados por modelos Visão-Linguagem-Ação (VLA), políticas de difusão e demonstrações humanas:

1. LIBERO-Spatial (Pegar e Colocar): Uma tarefa simulada com uma política VLA.
2. Inserção de Prego Quadrado: Uma tarefa simulada com uma política de difusão.
3. Dobragem de Tecido: Uma tarefa em hardware em um braço Franka Panda usando dados de teleoperação humana.

Baselines: O método foi comparado contra TD(0), Monte Carlo (MC), MC Distribucional (MC-D) e uma ablação de seu próprio método sem bootstrap (Ours-NB).

Métricas:

• Métrica de Sucesso: Porcentagem de quadros em episódios bem-sucedidos onde os passos estimados até o objetivo são menores que o comprimento real do episódio.
• Métrica de Falha: Porcentagem de quadros em episódios falhos onde os passos estimados até o objetivo excedem um horizonte de tarefa padrão.
• Métrica Composta: A média aritmética das acima.

Descobertas:

• Desempenho: O método proposto alcançou o melhor desempenho na Métrica de Sucesso e na Métrica Composta em todas as três tarefas, superando significativamente as baselines clássicas.
• Viés de Truncamento: O método reduziu substancialmente o viés de truncamento, identificando corretamente que muitos estados em episódios com limite de tempo atingido estavam na verdade próximos do sucesso (recuperáveis) em vez de falhas.
• Compromisso da Métrica de Falha: O método performou ligeiramente pior na Métrica de Falha em comparação com algumas baselines. Os autores atribuem isso ao mecanismo de bootstrap ser "otimista" para estados em episódios com limite de tempo atingido que se assemelham visualmente a estados bem-sucedidos, potencialmente classificando incorretamente algumas falhas verdadeiras como recuperáveis.
• Robustez: O método permaneceu eficaz mesmo com tamanhos de conjuntos de dados menores (até 50 episódios) e foi amplamente insensível à escolha do codificador de imagem (SigLIP2, CLIP, DINOv2).

Significado e Alegações

O artigo afirma que, ao reestruturar a avaliação de políticas como um problema de vitalidade e utilizar um mecanismo de bootstrap, é possível aprender funções de valor que refletem com precisão a progressão não monotônica da tarefa em tarefas de manipulação. O significado principal reside na capacidade de distinguir entre falha da política e truncamento do episódio, uma capacidade crítica para avaliação offline confiável em robótica do mundo real, onde limites de tempo atingidos são comuns.

Os autores observam que sua abordagem é particularmente eficaz para políticas que exibem comportamentos de recuperação. No entanto, eles reconhecem limitações:

• O mecanismo de bootstrap pode levar a otimismo excessivo se a sobreposição de estados entre episódios bem-sucedidos e falhos for aprendida incorretamente (por exemplo, em tarefas com pistas visuais pobres, como a tarefa Square).
• O método depende fortemente da distribuição do conjunto de dados e pode não generalizar bem fora dele.
• O desempenho degrada para políticas que não exibem comportamentos de recuperação, pois o mecanismo de bootstrap tem menos "âncoras" para se propagar.

O trabalho conclui que, embora o método introduza um pequeno compromisso na precisão da detecção de falhas, a melhoria substancial na captura da progressão bem-sucedida da tarefa o torna uma ferramenta superior para avaliar políticas de manipulação sob recompensas esparsas e horizontes finitos.