Resumo Técnico: Seu Modelo Já Sabe: Filtro de Segurança Guiado por Atenção para Modelos de Visão-Linguagem-Ação

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) alcançaram sucesso significativo em manipulação robótica de ponta a ponta, mas frequentemente operam como políticas de caixa-preta sem restrições e carecem de garantias formais de segurança. Um modo de falha crítico é a colisão com objetos irrelevantes para a tarefa em ambientes dinâmicos. As soluções de segurança existentes geralmente dependem de Modelos de Visão-Linguagem (VLMs) externos para identificar obstáculos e suas localizações. No entanto, consultar um VLM é computacionalmente caro, o que impede a execução em tempo real dentro do loop de controle. Consequentemente, as abordagens atuais realizam a identificação de obstáculos apenas uma vez na inicialização do episódio. Essa estratégia de "apenas inicialização" falha em configurações dinâmicas onde objetos se movem, humanos entram no espaço de trabalho ou a relação espacial do robô com os obstáculos muda, tornando o filtro de segurança obsoleto e ineficaz.

Metodologia

Os autores propõem o KNOWS (Knowledge-driven, No-retraining, Online Wrapper for Safety), uma estrutura de segurança livre de treinamento que aproveita os sinais perceptivos internos de uma política VLA congelada para permitir a desvio de colisões em tempo real. O pipeline consiste em quatro componentes principais:

1. Política VLA Congelada: Uma política VLA pré-treinada ($\pi_\theta$) gera ações candidatas com base em entradas visuais e linguísticas. O próprio modelo não é modificado ou ajustado (fine-tuned).
2. Rastreamento de Obstáculos de Baixa Latência: Na inicialização do episódio, um modelo de segmentação (YOLOE refinado) identifica objetos manipuláveis. O sistema ajusta um elipsoide de volume mínimo envolvente (MVEE) para cada objeto. Durante o tempo de execução, em vez de reajustar os elipsoides, o sistema rastreia os centroides dos objetos via máscaras de segmentação e atualiza suas poses, mantendo uma representação geométrica leve da cena.
3. Identificação de Alvo Baseada em Atenção: A inovação central reside na extração da intenção da política diretamente de seus mecanismos de atenção internos.
   • Os autores identificam que um pequeno subconjunto de cabeças de atenção dentro do VLA congelado atende consistentemente ao objeto que a política pretende manipular.
   • Especificamente, eles extraem mapas de atenção de uma camada e cabeça específicas (ex: Camada 12, Cabeça 3 em $\pi_{0.5}$) durante a passagem direta (forward pass) padrão.
   • Eles acumulam a densidade de atenção ao longo de uma janela deslizante de passos recentes, projetando a massa de atenção sobre as máscaras dos objetos.
   • O objeto com a maior densidade de atenção acumulada é identificado como o alvo. Todos os outros objetos rastreados são tratados como obstáculos.
   • Este processo ocorre em cada passo de controle, atualizando dinamicamente o conjunto de obstáculos sem modelos de percepção externos.
4. Filtro de Segurança CBF-QP: Uma Função de Barreira de Controle (CBF) baseada em Programação Quadrática (QP) recebe a ação candidata e o conjunto de obstáculos por passo. Ela projeta a ação em um conjunto seguro, garantindo que o elipsoide do efetuador final permaneça separado de todos os elipsoides de obstáculos. Se nenhuma ação segura existir, o sistema aciona uma parada de emergência.

Principais Contribuições

• Identificação de Sinais Internos: O artigo demonstra que uma política VLA congelada codifica inerentemente sinais de identificação de alvo confiáveis e por passo dentro de um pequeno subconjunto de suas cabeças de atenção, eliminando a necessidade de VLMs externos ou treinamento adicional.
• Estrutura KNOWS: A proposta de um wrapper de segurança online, livre de treinamento, que combina identificação de alvo baseada em atenção com um rastreador de objetos leve e um filtro CBF-QP. Isso permite atualizações contínuas das restrições de segurança à taxa de controle (20 Hz).
• Desempenho em Ambientes Dinâmicos: A extensão do benchmark SafeLIBERO para incluir obstáculos móveis adversários, fornecendo um campo de teste rigoroso para filtros de segurança em tempo real.
• Correlatos de Inferência: A descoberta de que a mesma densidade de atenção usada para identificação de alvo também serve como um forte preditor de sucesso da tarefa (AUC 0.89 quando restrito aos episódios iniciais), sugerindo que a atenção interna carrega informações além do filtragem de segurança imediata.

Resultados Experimentais

A estrutura foi avaliada no SAFELIBERO, uma versão do benchmark LIBERO aumentada em segurança, através de quatro suítes (SPATIAL, OBJECT, GOAL, LONG) e três níveis de segurança (Estático Nível I/II, Dinâmico Nível III).

• Cenários Estáticos (Níveis I e II): O KNOWS apresenta desempenho comparável a uma linha de base "oráculo" que utiliza o estado privilegiado do simulador para identificar alvos na inicialização. Ele reduz significativamente as taxas de colisão em comparação com políticas não filtradas, mantendo taxas de sucesso de tarefa semelhantes à linha de base "Naive" de apenas inicialização.
• Cenários Dinâmicos (Nível III): Em ambientes com obstáculos móveis, a linha de base de apenas inicialização falha conforme sua atribuição de alvo torna-se obsoleta. O KNOWS supera substancialmente essa linha de base, reduzindo a taxa de colisão em uma média de 43%.
• Sobrecarga de Tempo Real: O método opera dentro do orçamento de controle de 20 Hz (50 ms por passo). A extração de atenção adiciona uma sobrecarga negligenciável (0,8 ms), pois reutiliza a passagem direta existente. A sobrecarga total do wrapper é de aproximadamente 4 de 49 ms, dominada pelo modelo de segmentação e processamento de profundidade, não pela lógica de segurança em si.
• Precisão de Identificação de Alvo: A cabeça de atenção selecionada (Camada 12, Cabeça 3) distingue de forma confiável o objeto alvo do destino e de outros objetos, com a densidade de atenção no alvo mostrando alta especificidade (AUC 0.89) em comparação ao acaso (AUC 0.55) para objetos irrelevantes.

Significância e Alegações

O artigo afirma que o embasamento perceptivo necessário para a filtragem de segurança em tempo real já está latente dentro das políticas VLA. Ao explorar as propriedades de roteamento estrutural da autoatenção de múltiplas cabeças, o KNOWS fornece uma camada de segurança minimamente invasiva que:

1. Elimina o gargalo de latência das consultas de VLM externas, permitindo atualizações de segurança contínuas em ambientes dinâmicos.
2. Não requer retreinamento ou supervisão, tornando-o aplicável a qualquer política VLA baseada em transformer congelada.
3. Oferece um ciclo de reforço positivo: Como o filtro de segurança depende da qualidade dos mapas de atenção da política base, melhorias no backbone VLA subjacente traduzem-se diretamente em uma filtragem de segurança mais robusta sem engenharia adicional.

Os autores concluem que, embora sua implementação atual foque na segurança do efetuador final e dependa da qualidade do módulo de percepção subjacente, a abordagem demonstra que "seu modelo já sabe" como evitar colisões se você souber como ler seus sinais internos.