Resumo Técnico: LIBERO-PRO

Declaração do Problema

Os modelos Visão-Linguagem-Ação (VLA) tornaram-se um paradigma central para a IA incorporada, mas sua avaliação depende fortemente do benchmark LIBERO. Os autores identificam uma falha crítica na configuração atual de treinamento e avaliação do LIBERO: as tarefas de teste são quase idênticas às tarefas de treinamento, diferindo apenas por perturbações marginais, frequentemente imperceptíveis visualmente, nos estados iniciais dos objetos.

Essa configuração leva a estimativas infladas de desempenho. Modelos que alcançam mais de 90% de sucesso no LIBERO padrão demonstram depender de memorização mecânica de sequências de ações e layouts de ambientes, em vez de compreensão genuína da tarefa ou percepção ambiental. A análise qualitativa revela modos de falha sistemáticos, incluindo:

• Alucinações Visuais: Executar agarramentos em objetos não relacionados ou "agarrar o ar" quando os objetos-alvo são removidos.
• Insensibilidade às Instruções: Ignorar instruções sem sentido ou corrompidas e prosseguir com trajetórias memorizadas.
• Fragilidade Espacial: Falhar imediatamente quando as posições dos objetos se deslocam ligeiramente das distribuições de treinamento.
• Falta de Composicionalidade: Incapacidade de combinar subtarefas aprendidas em comportamentos coerentes de múltiplos passos.

Consequentemente, o protocolo de avaliação atual falha em avaliar rigorosamente o raciocínio, a composicionalidade e a capacidade de generalização das arquiteturas VLA modernas.

Metodologia: LIBERO-PRO

Para abordar essas limitações, os autores introduzem o LIBERO-PRO, um benchmark estendido e plug-and-play projetado para avaliar sistematicamente o desempenho do modelo sob perturbações razoáveis. O framework formaliza uma tarefa VLA $T = (l, e, G)$ e introduz variações controladas em quatro dimensões ortogonais:

1. Objetos Manipulados (Perturbação de Atributo do Objeto): Modificar atributos visuais não essenciais (cor, textura, tamanho) preservando a equivalência semântica, ou substituir objetos por itens não relacionados.
2. Estados Iniciais (Perturbação de Configuração Espacial): Alterar as posições absolutas e relativas dos objetos dentro de limites fisicamente plausíveis.
3. Instruções de Tarefa (Perturbação de Instrução): Introduzir variações semânticas (paráfrases) e variações estruturais, incluindo a injeção de tokens sem sentido para testar o ancoramento linguístico.
4. Ambientes (Perturbação de Ambiente): Alterar o contexto visual, como fundos, iluminação e texturas.

Além disso, o framework inclui Perturbações de Tarefa (modificando objetos-alvo ou ações dentro da distribuição de treinamento) e suporta combinações aleatórias multidimensionais dessas perturbações, excluindo apenas perturbações em nível de tarefa das combinações entre tipos para garantir a viabilidade.

A avaliação impõe restrições para garantir que as tarefas perturbadas permaneçam semanticamente coerentes e executáveis, variando a magnitude da perturbação ($\delta_k$) para caracterizar a sensibilidade da política.

Principais Contribuições

O artigo faz três contribuições principais:

1. Demonstração Empírica de Overfitting: Os autores fornecem evidências de que altas pontuações no LIBERO resultam da memorização de configurações de treinamento, em vez de raciocínio transferível, expondo falhas graves nas práticas atuais de avaliação.
2. Introdução do LIBERO-PRO: Um novo conjunto de benchmarks que integra perturbações sistematicamente projetadas em atributos de objetos, estados iniciais, instruções de tarefa e ambientes para suportar avaliações rigorosas, unidimensionais e multidimensionais.
3. Benchmarks Abrangentes: A avaliação de modelos state-of-the-art (OpenVLA, Pi0, Pi0.5) no LIBERO-PRO, revelando degradação significativa de desempenho que sublinha as limitações do protocolo original.

Resultados Experimentais

Os autores avaliaram os principais modelos VLA (OpenVLA, Pi0, Pi0.5) no conjunto LIBERO-PRO. Os resultados indicam um colapso quase completo do desempenho em configurações generalizadas:

• Desempenho Padrão vs. Generalizado: Embora os modelos alcancem >90% de precisão no LIBERO padrão, seu desempenho cai para 0,0% sob a configuração generalizada do LIBERO-PRO.
• Sensibilidade a Perturbações:
  • Deslocamentos de Posição: As taxas de sucesso para OpenVLA e Pi0 caem a zero assim que o deslocamento do objeto excede 0,2 unidades. Mesmo o mais forte Pi0.5 degrada-se a zero além de 0,4 unidades.
  • Substituição de Objetos: Os modelos falham em se adaptar quando os objetos-alvo são substituídos por itens não relacionados, frequentemente executando agarramentos nos objetos errados.
  • Corrupção de Instrução: Os modelos executam ações apesar de receberem instruções sem sentido (por exemplo, "fdsgfdsgsd"), indicando falta de ancoragem linguística.
  • Composição de Tarefa: Os modelos falham em combinar subtarefas simples em instruções complexas de múltiplos passos, dependendo em vez disso de fragmentos de trajetória espúrios.
• Diferenças entre Modelos: Embora a maioria dos modelos falhe severamente, o Pi0.5 mostrou uma resiliência ligeiramente melhor em tarefas específicas (por exemplo, taxa de sucesso de 0,38 em libero-goal sob mudanças de posição versus 0 para os outros), destacando diferenças sutis de capacidade mascaradas por benchmarks padrão.

Significado e Alegações

O artigo alega que a "moeda corrente" atual da avaliação VLA (LIBERO) é fundamentalmente falha porque recompensa a memorização em vez da generalização. Os autores argumentam que as precisões relatadas superiores a 90% não refletem ancoragem perceptiva genuína ou raciocínio em nível de tarefa.

O significado do LIBERO-PRO reside em sua capacidade de fornecer um padrão de avaliação mais justo, fiel e reprodutível. Ao expor a dependência dos modelos atuais em correlações atalho entre características e ações (por exemplo, layouts de cena canônicos e posições recorrentes de objetos), os autores pedem à comunidade que abandone metodologias enganosas. Eles defendem protocolos de avaliação que incorporem perturbações estruturadas para garantir que o progresso relatado esteja alinhado com os requisitos de inteligência incorporada robusta e generalizável.