BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies

Resumo Técnico: BOKBO — Best of K Bad Options (O Melhor de K Más Opções)

Definição do Problema
O escalonamento em tempo de inferência (test-time scaling) para políticas de Visão-Linguagem-Ação (VLA) tornou-se uma técnica de confiabilidade padrão, na qual $K$ candidatos a blocos de ação são amostrados e o "melhor" é selecionado por um verificador ou pontuador. No entanto, esse paradigma baseia-se em uma suposição crítica, frequentemente não atendida: que entre $K$ candidatos, pelo menos um é seguro e conclui a tarefa. Quando todos os $K$ candidatos são inseguros, o sistema executa o candidato "melhor pelo verificador", independentemente da qualidade absoluta, levando à "falha silenciosa" sem qualquer mecanismo de aviso. Métodos existentes carecem de um mecanismo formal para detectar essas células de "todos-inseguros" ou para se abster da execução com garantias de segurança. Além disso, trabalhos anteriores assumiram que sinais "gratuitos" (sinais disponíveis sem custo extra de inferência, como a confiança da política base ou o desacordo de $K$-amostras) correlacionam-se com a incerteza da política; este artigo demonstra que essa suposição falha catastroficamente sob amostragem baseada em perturbação.

Metodologia: BOKBO
Os autores introduzem o BOKBO (Best of K Bad Options), a primeira camada de abstenção conformal projetada especificamente para a inferência VLA de $K$-amostras. O BOKBO decide se deve executar ou se abster com base em um escore calibrado, fornecendo limites superiores de amostra finita e independentes de distribuição (distribution-free) sobre a taxa de execuções inseguras entre decisões não abstidas.

• Controle de Risco Conformal (CRC): O método aplica CRC ao cenário de $K$-amostras. Ele treina um preditor para estimar a probabilidade de uma violação de segurança ($v=1$) e calibra um limiar $\hat{\tau}$ em um conjunto de calibração mantido fora do treino (held-out). O sistema executa apenas se o escore do preditor $s_\theta \le \hat{\tau}$.
• Scores de Não Conformidade: O artigo avalia três mecanismos de pontuação:
  1. Proxy de Confiança VLA: A log-probabilidade da política base do bloco escolhido.
  2. Desacordo de $K$-Amostras: A distância $L_2$ máxima entre pares de candidatos.
  3. Preditor de Violação Aprendido: Um MLP pequeno treinado em características visuais semânticas (DINOv2), estado proprioceptivo e identidade da tarefa para prever violações diretamente.
• Calibração Mondrian: Para abordar a heterogeneidade nas taxas de violação entre diferentes tarefas, os autores implementam uma variante Mondrian (por tarefa) do CRC. Isso garante que o limite de segurança seja válido condicionalmente para cada tarefa específica, em vez de apenas marginalmente em todo o conjunto de dados.
• Rotulagem de Segurança: Uma correção metodológica crítica envolve a definição de rótulos de segurança. Os autores identificam que limiares de força definidos globalmente (ex: 50N) inflam as taxas de violação em 5$\times$ porque excedem as forças típicas de manipulação de especialistas para muitas tarefas. Eles propõem limiares calibrados por especialista por tarefa, definidos como $\max(50\text{N}, p99(\text{força máxima do especialista}) + 10\text{N})$.

Principais Descobertas e Análise Diagnóstica
A descoberta diagnóstica mais significativa do artigo é a falha estrutural de sinais "gratuitos" sob amostragem de $K$-perturbação.

• Perturbação vs. Incerteza: Sob perturbação Gaussiana no espaço de ação (onde os candidatos são gerados como $a_k = a_0 + \sigma\xi_k$), tanto o proxy de confiança VLA quanto o desacordo de $K$-amostras correlacionam-se em 0,98 com o hiperparâmetro de ruído $\sigma$, mas no piso de ruído (Spearman $\approx -0,05$) com as violações de segurança reais.
• Mecanismo: Esses sinais medem a magnitude da perturbação injetada, não a incerteza interna da política.
• Condição de Fronteira: Os autores testam a amostragem de temperatura ao nível de token (que gera diversidade a partir da estocasticidade da política em vez de ruído injetado). Sob este mecanismo, a correlação entre sinais gratuitos e o hiperparâmetro de amostragem cai (de 0,98 para 0,41), e os sinais recuperam parte da informação de segurança. No entanto, o preditor aprendido permanece superior em ambos os regimes.

Resultos Experimentais
Experimentos foram conduzidos nos backbones OpenVLA-OFT e $\pi_0$-FAST, ajustados (fine-tuned) no conjunto LIBERO (especificamente libero_object_temp_x0.1 e libero_spatial_temp_x0.1).

• Garantias de Segurança: Para uma taxa de violação alvo $\epsilon = 0,05$, o limite condicional CRC é mantido em 86% dos splits de bootstrap para libero_object e 83% para libero_spatial.
• Desempenho: Com o preditor aprendido, o BOKBO alcança 78% de cobertura e 70% de sucesso líquido na tarefa em libero_object, recuperando 87% da melhoria de segurança do oráculo.
• Variante Mondrian: A variante por tarefa eleva o limite de manutenção condicional mínima por tarefa de 0,71 (global) para 0,93, melhorando significativamente a confiabilidade em tarefas de alto risco como "ketchup" e "milk".
• Mudança de Distribuição: Os limites mantêm-se sob quatro mudanças de distribuição dentro do conjunto (temperatura, objeto e mudanças entre conjuntos), mas degradam quando o nível de ruído de ação $\sigma$ muda para fora do intervalo calibrado.
• Especificidade de Arquitetura: O preditor aprendido é específico para a política; um preditor treinado em dados do OpenVLA-OFT falha ao ser aplicado diretamente ao $\pi_0$-FAST (o limite de manutenção cai para 0,42), necessitando de calibração específica para o backbone.

Significância e Alegações
O artigo reivindica três contribuições principais:

1. Garantias Formais: O BOKBO fornece a primeira garantia de abstenção formal, de amostra finita e independente de distribuição para inferência VLA de $K$-amostras, permitindo que sistemas recusem ações inseguras em vez de falharem silenciosamente.
2. Diagnóstico Estrutural: O trabalho expõe uma falha fundamental em confiar em sinais "gratuitos" para segurança em amostragem de perturbação, esclarecendo que tais sinais rastreiam o mecanismo de perturbação em vez da incerteza da política, uma distinção crítica para projetar controladores robóticos confiáveis.
3. Correção Metodológica: O artigo corrige um erro de avaliação de segurança ao demonstrar que limiares de força globais são insuficientes para tarefas de manipulação, proponوendo um método de calibração por especialista por tarefa que produz taxas de violação realistas.

Limitações
Os autores observam que todos os experimentos são atualmente conduzidos em simulação MuJoCo. A implantação no mundo real requer a validação da transferência dos limiares de força por tarefa para robôs físicos e a integração do monitoramento de força em tempo de execução. Além disso, o método requer demonstrações de especialistas por tarefa (25 por tarefa) para calibração e é atualmente limitado à família de benchmarks LIBERO e backbones VLA específicos.