Auditing Demonstration Curation Metrics: Action-Only Scorers Fail on the Structural Defects That Degrade Imitation Policies

Resumo Técnico: Auditoria de Métricas de Curadoria de Demonstrações

Problema
Políticas de aprendizado por imitação, particularmente o behavior cloning (clonagem de comportamento), são fundamentalmente limitadas pela qualidade das demonstrações nas quais são treinadas. Embora grandes conjuntos de dados sejam frequentemente curados usando métricas automáticas para filtrar dados de baixa qualidade, não há consenso sobre quais métricas realmente melhoram o desempenho da política a jusante (downstream). A literatura existente valida métricas em conjuntos de dados díspares com protocolos diferentes, criando uma laciação entre a capacidade de uma métrica de identificar demonstrações "incomuns" e sua capacidade de identificar demonstrações que degradam ativamente uma política. Além disso, permanece incerto se uma alta precisão de detecção se traduz em melhoria no sucesso da tarefa.

Metodologia
Os autores introduzem um ambiente de teste controlado para auditar sete métricas existentes de curadoria de demonstrações. O estudo isola duas variáveis distintas: a capacidade de detecção de uma métrica (o quão bem ela classifica demonstrações defeituosas com pontuação inferior às limpas) e o impacto a jusante (se o treinamento no subconjunto curado melhora o sucesso da tarefa em comparação ao treinamento no conjunto não curado e contaminado).

• Ambiente: Um simulador de pick-and-place leve baseado em NumPy, modelado no setup de braço único ALOHA. A tarefa envolve agarrar um objeto e movê-lo para uma região alvo.
• Injeção de Defeitos: O estudo introduz dois regimes de defeitos com uma taxa de contaminação de 40%, mantendo os rótulos dos defeitos ocultos para as métricas de curadoria:
  1. Perturbações Sutis: Ruído de ação correlacionado (AR(1)), tremor de alta frequência, truncamento precoce e desvios de trajetória. Estes representam desvios estatísticos do comportamento correto.
  2. Erros Estruturais: Um defeito de "liberação precoce" onde o efetuador (gripper) abre prematuramente durante a fase de transporte, fazendo com que o objeto caia. Isso representa uma ação errada sistemática e dependente do estado.
• Métricas Auditadas: Sete métricas foram testadas, categorizadas pelo seu dado de entrada:
  • Apenas Ação: Suavidade (spectral arc length), Entropia (variância de ação), Comprimento, Isolation Forest e um Ensemble destes.
  • Conscientes de Trajetória-Estado: k-Vizinhos Mais Próximos (kNN) em um espaço de características de trajetória, e Alinhamento de Trajetória.
• Protocolo de Avaliação:
  • Detecção: Medida via Área Sob a Curva ROC (AUROC) contra os rótulos ocultos.
  • A Jusante: As políticas foram treinadas na fração de dados com maior pontuação (fixada em $N=150$ demonstrações para controlar a quantidade) e avaliadas ao longo de 50 novos rollouts. Os resultados foram calculados pela média de três sementes aleatórias.

Resultados Principais
O estudo revela uma divergência acentuada entre a precisão de detecção e a utilidade a jusante, dependendo fortemente do tipo de defeito:

1. Perturbações Sutis: Estas são altamente detectáveis e recuperáveis. A detecção de outliers multivariada (Isolation Forest) alcançou um AUROC de 0,97. Quando usada para curadoria, ela quase recuperou totalmente a lacuna de desempenho entre o conjunto contaminado e o conjunto oracle limpo (71,3% vs. 72,0% de sucesso).
2. Erros Estruturais: Estes são amplamente invisíveis para métricas baseadas apenas em ação.
   • Inversão: Diversas métricas de apenas ação (Suavidade, Entropia, Ensemble) tiveram desempenho pior que o acaso (AUROC < 0,5) em defeitos estruturais. Notavelmente, a Entropia classificou demonstrações defeituosas como de maior qualidade porque o erro estrutural aumentou a variância da ação, mimetizando a "exploração".
   • Dano a Jusante: Usar essas métricas invertidas para curadoria resultou em políticas que performaram no nível ou abaixo do baseline não curado (ex: a Suavidade caiu para 27,3% de sucesso vs. 36,0% para o conjunto contaminado).
   • Recuperação Parcial: Apenas métricas conscientes de trajetória-estado (kNN e Alinhamento de Trajetória) detectaram erros estruturais. No entanto, mesmo o melhor executor (kNN) recuperou apenas cerca de um terço da lacuna de desempenho (48,0% vs. 62,7% do oracle), demonstrando que a detecção não garante a recuperação.
3. Desacoplamento de Detecção e Recuperação: Duas métricas com AUROCs de detecção semelhantes para defeitos estruturais (kNN: 0,86, Alinhamento de Trajetória: 0,76) geraram resultados a jusante vastamente diferentes. O kNN recuperou o desempenho significativamente, enquanto o Alinhamento de Trajetória mal excedeu o baseline. Isso sugere que quais demonstrações limpas são descartadas como dano colateral é tão crítico quanto a qualidade do ranking.

Significância e Alegações
A principal contribuição do artigo é a auditoria e o próprio ambiente de teste, em vez de um novo algoritmo de curadoria. Os autores alegam três descobertas:

• Dependência de Regime: Métas de curadoria não são universalmente aplicáveis; a pontuação de outlier multivariada funciona para ruído sutil, mas apenas a análise de trajetória-estado pode abordar erros estruturais.
• Risco de Métricas de Apenas Ação: Métricas que ignoram trajetórias de estado podem ser ativamente prejudiciais, potencialmente degradando o desempenho da política abaixo do baseline não curado ao filtrar dados válidos enquanto retém dados defeituosos.
• Padrão de Avaliação: A precisão de detecção (AUROC) é uma condição necessária, mas insuficiente, para uma métrica de curadoria útil. O único juiz válido de um método de curadoria é o desempenho da política treinada em seu subconjunto curado.

Os autores concluem que os praticantes devem combinar a métrica de curadoria ao tipo de defeito esperado e enfatizam que erros estruturais, que são os mais prejudiciais, exigem análise consciente do estado. O artigo reconhece limitações, incluindo o uso de um simulador simplificado, defeitos injetados em vez de reais, e um número limitado de sementes aleatórias, sugerindo que, embora os achados qualitativos se mantenham, lacunas numéricas específicas podem variar em ambientes mais complexos e ricos em física.