Phase-Localized Curation Does Not Help: A Negative Result on Per-Phase Metric Selection for Demonstration Filtering

Resumo Técnico: A Curadoria Localizada por Fase Não Ajuda

Declaração do Problema
A curadoria de demonstrações para behavior cloning é crítica ao treinar com dados de qualidade mista, porém trabalhos recentes estabeleceram um desacoplamento contraintuitivo entre a precisão de detecção e o valor da curadoria: uma métrica com o maior AUROC de detecção de defeitos não produz necessariamente a melhor política quando utilizada como filtro. Uma hipótese natural para remediar isso é a curadoria localizada por fase. Como tarefas de manipulação possuem estruturas de fases temporais (ex: aproximação, garra, levantamento, transporte) e os defeitos frequentemente se localizam em fases específicas, é plausível que pontuar cada fase com sua métrica localmente mais informativa e agregar os resultados supere a pontuação global. Este artigo testa a hipótesia de que segmentar trajetórias em fases e aplicar a seleção de métricas por fase melhora os resultados da curadoria em comparação com estratégias uniformes ou globais.

Metodologia e Ambiente de Teste
Os autores avaliam esta hipótese em três tarefas de pick-and-place ricas em contato do benchmark LIBERO, construído sobre o simulador robosuite.

• Modelo de Defeito: Um defeito estrutural controlado de "liberação precoce" é injetado, onde o gripper abre prematuramente durante a fase de LIFT (30–70% da duração da fase), fazendo com que o objeto caia. Este defeito é localizado em uma única fase e não se dilui através do conjunto de dados.
• Configuração de Dados: Os conjuntos de treinamento consistem em 80 demonstrações (taxa de contaminação de 80%: 64 defeituosas, 16 limpas). As políticas são treinadas nas 75% superiores das demonstrações curadas (60 trajetórias).
• Política: Um MLP de behavior cloning condicionado à fase (2 camadas ocultas, 256 unidades) treinado por 300 épocas.
• Estratégias de Curadoria Comparadas:
  1. Global: Uma única métrica é computada sobre toda a trajetória truncada para classificar todas as demonstrações.
  2. Uniforme: Uma única métrica é aplicada identicamente a cada fase, e os escores por fase são agregados. Isso isola o efeito da maquinaria de agregação da variação de métricas.
  3. Gated por Fase (Proposta): As trajetórias são segmentadas em quatro fases (PREGRASP, DESCEND, LIFT, TRANSPORT). Para cada fase, um sweep identifica a métrica localmente mais discriminativa. Esses escores por fase são normalizados por ranking e calculados pela média para produzir o ranking final de curadoria.
• Avaliação: As taxas de sucesso são medidas ao longo de 30 rollouts sobre cinco sementes aleatórias por condição.

Resultos Principais
O estudo produz um resultado negativo consistente: a curadoria via gating de fase nunca é a melhor estratégia e é frequentemente a pior.

• Desempenho: Em todas as três tarefas, a curadoria via gating de fase falhou em superar tanto o baseline uniforme quanto o baseline global.
  • Tarefa 1: O gating de fase (86,0%) foi o pior, ficando atrás das estratégias global (92,0%) e uniforme (91,3%).
  • Tarefa 3: O gating de fase (22,7%) foi o pior, subperformando significativamente o uniforme (48,0%) e o global (30,7%).
  • Tarefa 2: O gating de fase (78,0%) venceu a métrica global (58,0%), mas perdeu para o baseline uniforme (83,3%), indicando que a melhoria veio do uso de uma métrica melhor, não da decomposição de fase em si.
• Transferibilidade: A seleção de métricas por fase não é transferível entre tarefas. A Tabela III mostra que nenhuma fase compartilha a mesma métrica "vencedora" entre quaisquer duas tarefas, necessitando de um novo, ruidoso e caro sweep para cada nova tarefa.

Mecanismo de Falha: Diluição de Sinal
O artigo identifica a diluição de sinal sob agregação de ranking como o mecanismo concreto de falência.

• O sinal do defeito está concentrado inteiramente na fase de LIFT. A métrica sensível a este defeito (tempo do gripper) carrega um sinal limpo e de alto peso quando aplicada global ou uniformemente.
• Na abordagem de gating por fase, a fase de LIFT é pontuada corretamente, mas as outras três fases livres de defeitos são pontuadas por métricas selecionadas com base no ruído (já que não há defeito para detectar nessas fases).
• Quando os rankings são agregados, o sinal concentrado e informativo da fase de LIFT é diluído pelos rankings não informativos e ruidosos das outras fases. Isso permite que demonstrações defeituosas (que parecem normais nas fases sem defeito) tenham classificações superiores a demonstrações limpas (que podem parecer levemente anômalas em fases livres de defeitos).
• Um fallback de limiar de confiança foi testado, mas falhou em resgatar o método porque as fases sem defeito foram "confiantes" em serem selecionadas como irrelevantes, e o mecanismo de diluição permaneceu ativo.

Significância e Contribuições
O artigo apresenta quatro contribuições principais:

1. Limite Empírico: Fornece um teste controlado e multitarefa mostrando que a curadoria via gating de fase não melhora as estratégias mais simples e é frequentemente inferior.
2. Explicação Mecanística: Explica por que o método falha (diluição de sinal), prevendo que a decomposição de fase é prejudicial quando os defeitos estão concentrados em uma única fase.
3. Falta de Transferência: Demonstra que a seleção de métricas por fase não é reutilizável entre tarefas, removendo o principal argumento prático para a adoção do método.
4. Orientação Prática: Os autores argumentam que os praticantes devem priorizar a identificação de uma única métrica informativa de defeito e aplicá-la uniformemente, em vez de decompor a curadoria por fase.

Limitações e Escopo
Os autores delimitam explicitamente suas afirmações ao cenário específico de defeitos estruturais concentrados em uma única fase, altas taxas de contaminação e tarefas ricas em contato. Eles não afirmam que o gating de fase falha para defeitos que são genuinamente distribuídos por múltiplas fases, observando que tais defeitos distribuídos são menos comuns na prática (ex: objetos derrubados, falhas de garra). Os resultados dependem de uma ordenação consistente entre as sementes em vez de apenas diferenças de média, dada a alta variância observada no behavior cloning com pequenos conjuntos curados.