Resumo Técnico: MSE de Intervalo Crítico para Validação Offline em Manipulação Robótica

1. Definição do Problema

A avaliação no mundo real (rollout da política em hardware físico) é o padrão ouro para avaliar políticas de manipulação robótica, mas serve como um gargalo para a iteração rápida de modelos devido aos altos custos, problemas de reprodutibilidade e esparsidade de dados. Embora a validação offline usando demonstrações retidas (held-out) ofereça uma alternativa barata e reprodutível, a métrica padrão — Erro Quadrático Médio (MSE) sobre todo o espaço de ação — correlaciona-se mal com o sucesso da tarefa no mundo real.

O descompasso central surge porque as trajetórias contêm muitos passos de tempo "não críticos" (ex: estabilização ociosa, movimentos de trânsito amplos) onde os erros de ação são grandes, mas irrelevantes para a conclusão da tarefa. Por outro outro lado, "intervalos críticos" (ex: agarrar, contato, alinhamento fino) são breves, sensíveis ao erro e causalmente ligados ao sucesso. A média dos erros sobre toda a trajetória obscurece os sinais de desempenho, pois a métrica é dominada por segmentos não informativos de alto erro. Além disso, as métricas offline padrão frequentemente ignoram procedimentos de tempo de execução (ex: ensembling temporal, chunking de ação) que alteram materialmente o comportamento da política.

2. Metodologia: MSE de Intervalo Crítico (CI-MSE)

O artigo propõe o MSE de Intervalo Crítico (CI-MSE), uma métrica de validação offline projetada para alinhar o cálculo do erro com segmentos críticos da tarefa e comportamentos de execução em tempo de rollout. A metodologia consiste em três componentes principais:

3.1 Filtragem de Intervalo Crítico

Em vez de calcular a média dos erros sobre a trajetória completa, o CI-MSE restringe o cálculo do erro a intervalos críticos — segmentos contíguos onde a precisão da ação impacta desproporcionalmente o resultado da tarefa (ex: contato com objeto, inserção).

• Automação: Os intervalos críticos são identificados automaticamente usando um Modelo de Linguagem-Visão (VLM) com prompting de poucos disparos (few-shot) em vídeos de demonstração. Isso cria um pipeline de anotação agnóstico à tarefa que exige esforço humano mínimo.
• Filtragem: A métrica calcula o erro apenas nos passos de tempo dentro desses intervalos identificados ($D_{crit}$), descartando efetivamente os passos de tempo não informativos que dominam o MSE bruto.

3.2 Alinhamento de Ação para Validação Offline

Para melhor corresponder ao comportamento em tempo de rollout, o CI-MSE incorpora procedimentos de inferência diretamente no processo de validação:

• Ensembling Temporal & RTC: A métrica aplica a mesma lógica de ensembling temporal ou Real-Time Chunking (RTC) usada durante o deployment. Isso envolve a média das previsões de ação de chunks sobrepostos ou o uso de chunks sobrepostos para guiar a geração, modelando assim os efeitos de suavização e redução de variância do rollout.
• Dynamic Time Warping (DTW): Para lidar com desalinhamentos temporais (ex: pequenos deslocamentos de fase ao agarrar), o CI-MSE usa DTW para encontrar um caminho de alinhamento monotônico entre as sequências de ações previstas e as do especialista. Isso minimiza o erro acumulado sem penalizar desvios de tempo inofensivos, enquanto uma restrição de tamanho de janela evita um warping excessivo que poderia ocultar falhas.

3.3 Ranking Estável via Elo

Para experimentos no mundo real onde as taxas de sucesso binárias são muito grosseiras e as contagens de tentativas são limitadas, os autores recomendam o uso de um sistema de ranking estilo Elo. Este sistema atualiza as pontuações das políticas com base em comparações par a par entre as tentativas, fornecendo um leaderboard mais estável do que pontuações de sucesso parcial escalares.

3. Principais Contribuições

1. Introdução do CI-MSE: Uma métrica offline simples, porém eficaz, que filtra passos de tempo não críticos e se alinha ao comportamento de execução em tempo de rollout (via ensembling/DTW).
2. Validação Empírica: Experimentos extensos tanto em simulação quanto no mundo real demonstrando que o CI-MSE supera significativamente o MSE bruto na previsão do desempenho de rollout.
3. Análise de Robustez: Avaliação sistemática mostrando que o CI-MSE permanece eficaz sob várias mudanças de distribuição (layout de objetos, visual e skill OOD) e é robusto a escolhas de hiperparâmetros dentro de intervalos razoáveis.

4. Resultados Experimentais

Experimentos de Simulação

Usando 27 checkpoints de modelos variando em arquitetura, escala de dados, passos de treinamento, PEFT, tamanho da cabeça de ação e backbone de VLM:

• Melhoria de Correlação: O CI-MSE alcançou uma correlação de postos de Spearman ($\rho$) de −0,87 com as taxas de sucesso de rollout, comparado a −0,61 para o MSE bruto. A correlação de Pearson ($r$) melhorou de −0,56 (MSE bruto) para −0,74 (CI-MSE).
• Sensibilidade de Variante: O MSE bruto falhou em prever o desempenho corretamente ao variar a escala de dados (mostrando uma correlação positiva de $\rho=0,90$, implicando que um erro menor correlacionava-se com um desempenho pior). O CI-MSE manteve uma forte correlação negativa ($\rho=-0,90$) em todas as famílias de variantes, classificando corretamente os modelos independentemente de como a política foi modificada.

Experimentos no Mundo Real

Avaliado em um braço Franka através de quatro tarefas (derramar água, organizar mouse, dobrar toalha, desconectar plugue):

• Desempenho Cross-Domain: O CI-MSE mostrou concordância quase perfeita na validação entre ambientes para "pour-water" ($\rho=-1,00$) e "arrange-mouse" ($\rho=-1,00$).
• Tratamento de Confundidores: Em tarefas onde os dados de validação e treinamento foram coletados por operadores diferentes (introduzindo discrepâncias de estilo), as correlações enfraqueceram para ambas as métricas, destacando a sensibilidade da validação offline aos protocolos de coleta de dados. No entanto, o CI-MSE ainda forneceu um sinal mais forte do que o MSE bruto na maioria dos casos.

Análise de Sensibilidade

A métrica mostrou-se robusta a variações de hiperparâmetros:

• Horizonte de Ensemble: O desempenho atingiu o pico em $H=8$ e permaneceu estável para mudanças moderadas.
• Janela de DTW: Uma janela pequena ($W=1$) proporcionou os melhores resultados; janelas maiores degradaram a correlação.
• Anotação de Intervalo: A métrica tolerou mudanças moderadas nos limites dos intervalos críticos (até 40% do comprimento do intervalo) sem degradação significativa, indicando que não é frágil à imprecisão da anotação.

5. Significância e Alegações

Os autores posicionam o CI-MSE não como um substituto para os rollouts no mundo real, mas como uma ferramenta confiável para acelerar a iteração de políticas. Ao filtrar o ruído de passos de tempo não críticos e considerar os comportamentos de tempo de deployment, o CI-MSE fornece um sinal de validação que é:

• Mais Preditivo: Fortemente correlacionado com o sucesso no mundo real através de diversas variantes de modelos.
• Robusto: Eficaz sob mudanças de distribuição e insensível a ajustes razoáveis de hiperparâmetros.
• Prático: Permite que pesquisadores comparem variantes de modelos próximas (ex: pequenas mudanças de arquitetura ou dataset) sem o custo proibitivo de rollouts físicos.

O artigo conclui que, embora a validação offline não possa capturar totalmente as complexidades da dinâmica física ou novos modos de falha, o CI-MSE melhora significativamente a fidelidade dos benchmarks offline, permitindo ciclos de aprendizado robótico mais eficientes e orientados por dados.