Beyond Binary Success: Sample-Efficient and Statistically Rigorous Robot Policy Comparison

1. Problema e Motivação

O avanço recente em políticas de manipulação robótica (especialmente modelos generalistas) tem levado a uma complexidade crescente no design e treinamento. No entanto, a avaliação dessas políticas enfrenta três desafios principais:

1. Restrição de Recursos: A avaliação em hardware real é cara, lenta e limitada a um pequeno número de execuções (rollouts), muitas vezes entre 10 e 60 tentativas.
2. Métricas Coarsas (Pouco Informativas): O padrão da indústria é a métrica binária de "sucesso/falha". Isso oculta informações valiosas; por exemplo, uma política que completa 90% da tarefa tem a mesma taxa de sucesso (0%) que uma política que fica congelada, embora a primeira seja claramente superior.
3. Rigor Estatístico e Eficiência: Métodos de avaliação atuais carecem de um equilíbrio entre rigor estatístico (garantia de que o resultado não é ruído) e eficiência de amostragem (parar a avaliação assim que houver evidência suficiente).
   • Métodos de batch (lotes fixos) são ineficientes.
   • Métodos sequenciais existentes (como STEP) são rigorosos, mas limitados a métricas binárias.
   • Métodos assintóticos (como testes t) não oferecem garantias rigorosas em regimes de poucos dados (comum em robótica).

O objetivo é desenvolver um framework que permita comparar políticas de forma sequencial (parando assim que possível), rigorosa (controlando o erro Tipo I) e genérica (aplicável a métricas contínuas, parciais e não paramétricas).

2. Metodologia: N-SCORE

Os autores propõem o N-SCORE (Nonparametric Sequential COmparison for Rigorous Evaluation), um protocolo de comparação baseado em Inferência Segura e Válida a Qualquer Momento (SAVI - Safe, Anytime-Valid Inference).

A. Formulação do Problema

O problema é modelado como um teste de hipóteses para comparar as médias de duas distribuições de uma métrica de progresso $R$ (limitada no intervalo $[0, 1]$):

• Hipótese Nula ($H_0$): A nova política não é melhor que a baseline ($E[R_0] \ge E[R_1]$).
• Hipótese Alternativa ($H_1$): A nova política é melhor ($E[R_0] < E[R_1]$).

O objetivo é controlar a taxa de Erro Tipo I (falso positivo) em um nível $\alpha^*$, minimizando o número esperado de amostras $E[N]$ necessárias para tomar uma decisão.

B. O Integrador de Evidências (Martingale)

O núcleo do N-SCORE é a construção de um processo estocástico $X_n$ que atua como um "integrador de evidências".

• Em cada passo $n$, observa-se o progresso $r_{0,n}$ e $r_{1,n}$ de duas políticas.
• O processo é atualizado multiplicativamente:
  $$X_{n+1} = X_n \cdot (1 + \xi_n \cdot (r_{1,n} - r_{0,n}))$$
  Onde $\xi_n$ é um parâmetro de escala (betting coefficient) escolhido online.
• Estabilidade: Sob $H_0$, o processo $X_n$ é um supermartingale não negativo (tende a não crescer). Sob $H_1$, ele cresce exponencialmente.
• Regra de Parada: O teste para e rejeita $H_0$ quando $X_n$ atinge um limiar $1/\alpha^*$. Isso garante, via Desigualdade de Ville, que a probabilidade de rejeitar $H_0$ falsamente é $\le \alpha^*$, independentemente de quando o teste é interrompido.

C. Otimização do Parâmetro $\xi_n$

Para maximizar a eficiência de amostragem, o N-SCORE otimiza $\xi_n$ online.

• Utiliza ideias de Estimativa de Densidade Kernel (KDE) para modelar não parametricamente as distribuições das métricas de progresso.
• O algoritmo discretiza as observações contínuas em "bins" (parcial credit) para estimar a distribuição empírica e calcular o $\xi_n$ ótimo que maximiza a taxa de crescimento esperada de $X_n$ sob $H_1$, enquanto mantém a estabilidade sob $H_0$.
• Isso permite que o método se adapte a métricas complexas (contínuas, rewards de RL) sem assumir uma distribuição paramétrica específica.

3. Contribuições Principais

1. N-SCORE: Introdução de um novo método de comparação sequencial de políticas que lida com métricas de progresso gerais (não apenas binárias), mantendo rigor estatístico.
2. Rigor Teórico: Prova de que o método controla estritamente o Erro Tipo I (falso positivo) para qualquer classe de distribuições de métricas de progresso limitadas, mesmo com paradas antecipadas.
3. Eficiência Empírica: Demonstração de que o uso de métricas informativas (progresso parcial) combinado com avaliação sequencial reduz drasticamente a carga de avaliação em comparação com métodos batch e métodos sequenciais binários.

4. Resultados Experimentais

Os autores validaram o N-SCORE em conjuntos de dados simulados e reais (incluindo RoboArena e o estudo LBM 1.0), com mais de 4.500 rollouts em hardware e 2.000 em simulação.

• Comparação com Métodos Batch: O N-SCORE reduziu o esforço de avaliação em até 70% em comparação com métodos de lotes fixos (batch).
• Comparação com Métodos Sequenciais Binários (STEP): Ao usar métricas de progresso parcial (em vez de binárias), o N-SCORE reduziu a carga de avaliação em até 50% em comparação com o estado da arte para métricas binárias (STEP), sem perder rigor.
• Dados Não Paramétricos (RL Contínuo): Em benchmarks do Mujoco (com rewards contínuos e de alta variância), o N-SCORE superou o método de referência não paramétrico (WSR - Waudby-Smith Ramdas), economizando até 400+ tentativas em tarefas difíceis (ex: InvertedPendulum-v4).
• Métricas Informativas: Os resultados mostram que políticas concorrentes podem ser separadas mais rapidamente usando métricas de progresso granular do que métricas binárias, pois as métricas contínuas têm menor variância empírica para o mesmo gap de desempenho.

5. Significado e Impacto

O trabalho é significativo para a comunidade de robótica por:

• Acelerar o Ciclo de Desenvolvimento: Permite que pesquisadores validem intervenções de design (arquitetura, dados, hiperparâmetros) com muito menos tempo de hardware e custo computacional.
• Superar a Limitação Binária: Estabelece um novo padrão para avaliação, incentivando o uso de métricas ricas (progresso parcial, suavidade de trajetória, rewards de RL) que capturam melhor o comportamento do robô.
• Garantia de Confiabilidade: Oferece uma ferramenta estatisticamente rigorosa para tomar decisões em regimes de poucos dados, evitando conclusões falsas baseadas em ruído ou "p-hacking" (análise de dados até encontrar um resultado significativo).

Em resumo, o N-SCORE fornece a base teórica e prática para uma avaliação de robôs mais rápida, barata e estatisticamente confiável, essencial para o avanço de robôs generalistas no mundo real.