Resumo Técnico: Métricas de Curadoria de Demonstrações e seu Impacto em sua Política

Declaração do Problema

Na clonagem de comportamento (Behavior Cloning - BC), o desempenho da política é fundamentalmente limitado pela qualidade das demonstrações de treinamento. Embora grandes conjuntos de dados coletados no mundo real frequentemente contenham heterogeneidade de qualidade devido a variações na habilidade do operador ou falhas de políticas roteirizadas, o remédio padrão — curadoria (pontuação e descarte de episódios de baixa qualidade) — carece de um framework de avaliação unificado. A literatura existente propõe diversas métricas de qualidade (ex: suavidade da trajetória, detecção de outliers), mas as valida principalmente na acurácia de detecção (o quão bem uma métrica classifica episódios limpos versus defeituosos).

Este artigo identifica uma lacuna crítica: a acurácia de detecção não necessariamente se correlaciona com o valor de curadoria (o quanto a política downstream melhora quando treinada no subconjunto curado). Uma métrica pode ser excelente em sinalizar trajetórias incomuns sem conseguir identificar aquelas que são mais prejudiciais à política aprendida. Além disso, os autores hipotetizam que muitos benchmarks existentes sofrem de um confundimento metodológico onde as métricas exploram o comprimento do episódio como um proxy trivial para defeitos, inflando o desempenho reportado.

Metodologia

Os autores projetaram um ambiente de teste controlado usando o benchmark LIBERO pick-and-place (construído sobre o robosuite) para desacoplar a acurácia de detecção do desempenho da política downstream.

Configuração Experimental

• Tarefa: Uma tarefa de pick-and-place rica em contato envolvendo quatro fases: aproximação, descida, levantamento e transporte.
• Arquitetura da Política: Uma política de clonagem de comportamento condicionada por fase (MLP com 2 camadas ocultas, 256 unidades) que recebe observações de 26 dimensões (posição do efetuador final, estado da garra, posição inicial da tigela e codificação one-hot da fase) e produz ações de 4 dimensões.
• Injeção de Defeito: Um defeito estrutural foi introduzido com uma taxa de contaminação de 80%. O defeito consiste no relaxamento precoce da garra durante a fase de LIFT (entre 30% e 70% da fase), fazendo com que o objeto seja solto antes do transporte.
  • Dados Limpos: 16 demonstrações roteirizadas (100% de sucesso).
  • Dados Defeituosos: 64 demonstrações (0% de sucesso).
  • Baseline Contaminado: Treinar em todas as 80 demonstrações resulta em apenas 3,3% de sucesso na tarefa.
  • Teto do Oráculo: Treinar apenas nas 16 demonstrações limpas resulta em 93,3% de sucesso.

Protocolo de Avaliação

O estudo avalia sete métricas de curadoria em dois eixos:

1. Detecção: Área sob a Curva ROC (AUROC) da pontuação de qualidade da métrica contra os rótulos de sucesso reais.
2. Desempenho Downstream: Taxa de sucesso da tarefa de uma política de BC treinada nos 75% superiores (60/80) de demonstrações curadas por cada métrica.

Controle Crítico: Normalização do Comprimento do Episódio

Os autores identificaram que os episódios defeituosos em sua configuração rodam até o limite de tempo (500 passos) porque o robô continua se movendo após soltar o objeto, enquanto os episódios bem-sucedidos terminam cedo (~325 passos). Para evitar que as métricas explorem essa diferença de comprimento como um proxy para defeitos, todas as demonstrações foram truncadas para T=324 passos antes da extração de características. Isso garante que as métricas dependam de sinais baseados em conteúdo, e não de duração.

Principais Contribuições e Métricas Avaliadas

O artigo avalia sete métricas, variando de heurísticas simples a métodos de ensemble complexos:

1. Suavidade (Smoothness): Comprimento do Arco Espectral (SPARC) da velocidade da ação.
2. Entropia: Desvio padrão negativo da sequência de ações.
3. Tempo da Garra (Gripper Timing): Passo de tempo normalizado da primeira abertura da garra (alvo específico do defeito injetado).
4. Floresta de Isolamento (Isolation Forest): Detecção de outliers no espaço de características de resumo de ação.
5. Ensemble: Combinação ponderada de Suavidade e Tempo da Garra.
6. kNN: Distância média negativa para os vizinhos mais próximos no espaço de características da trajetória.
7. Alinhamento de Trajetória (Trajectory Alignment): Similaridade de cosseno entre a trajetória média de estado de uma demonstração e a média do conjunto limpo.

Resultados

1. Desacoplamento Nítido entre Detecção e Curadoria

A descoberta central é a falta de correlação (Spearman $\rho = -0.14$) entre a AUROC de detecção e o sucesso da política downstream.

• O "Pior" Detector: O Tempo da Garra alcançou a maior AUROC de detecção (0.804), mas produziu a pior política (13,3% de sucesso). Ele falhou porque reteve demonstrações defeituosas que abriam a garra mais tarde (mas ainda assim cedo demais), enquanto descartava demonstrações limpas que por acaso tinham fechamentos ligeiramente mais precoces.
• O "Melhor" Detector: O Alinhamento de Trajetória teve uma AUROC baixa (0.638), mas produziu uma política com 90,0% de sucesso (dentro de 3,3 pontos percentuais do Oráculo). Ele teve sucesso porque o defeito estrutural (soltar a tigela) causou um grande desvio na trajetória média de estado, permitindo que mesmo uma métrica imprecisa separasse os episódios mais prejudiciais.
• O Oráculo: O método Ensemble alcançou 91,1% de sucesso com variância quase nula, demonstrando que combinar a qualidade do movimento global com indicadores de defeito localizados por fase é altamente eficaz.

2. O Confundimento do Comprimento do Episódio

Antes da truncagem, cinco das sete métricas (incluindo Isolation Forest e kNN) alcançaram uma AUROC quase perfeita (1.000) simplesmente detectando a diferença no comprimento do episódio (325 vs. 500 passos). Após a truncagem:

• Comprimento (caminho cumulativo): Caiu de 1.000 para 0.500 (chance).
• Isolation Forest: Caiu de 1.000 para 0.440.
• Tempo da Garra: Permaneceu alto (0.804) porque é consciente do conteúdo e normalizado pelo comprimento.
  Isso confirma que muitas métricas de alto desempenho reportadas na literatura podem estar medindo a duração do episódio em vez da qualidade da demonstração.

3. Variância e Confiabilidade

Métricas como kNN e Suavidade mostraram alta variância no sucesso downstream (ex: kNN $\pm 41,7\%$), indicando que suas decisões de curadoria são instáveis entre diferentes sementes aleatórias (random seeds). Em contraste, Ensemble e Alinhamento de Trajetória mostraram variância quase nula, tornando-os mais confiáveis para pipelines de curadoria de execução única.

Significância e Alegações

O artigo defende uma mudança de paradigma na forma como a curadoria de demonstrações é avaliada:

1. Desempenho da Política é a Única Métrica: A AUROC de detecção é um preditor ruim do valor de curadoria. A "pergunta certa" não é qual métrica melhor detecta defeitos, mas qual métrica produz a melhor política.
2. Rigor Metodológico: Qualquer benchmark de curadoria deve controlar o comprimento do episódio. Se os episódios defeituosos e bem-sucedidos diferem sistematicamente em duração, as métricas de acurácia de detecção provavelmente estão medindo um confundimento, e não a qualidade real.
3. Orientação Prática: Profissionais devem priorizar métricas que gerem políticas de baixo desvio e alto sucesso (como Alinhamento de Trajetória ou Ensembles) em vez de métricas com alta AUROC de detecção, mas resultados downstream pobres.

Os autores concluem que o campo deve se afastar de benchmarks de detecção isolados para avaliações de política end-to-end para garantir que os métodos de curadoria realmente melhorem os resultados de aprendizagem por imitação. O testbed, as implementações das métricas e o pipeline de avaliação são liberados para facilitar essa mudança.