Resumo Técnico: Em Direção a Filtros de Segurança Latentes Condicionados por Linguagem Geral

Declaração do Problema

À medida que as políticas robóticas evoluem de controladores específicos para tarefas para modelos generalistas de Visão-Linguagem-Ação (VLA) capazes de executar diversas instruções em linguagem natural, garantir a implantação segura permanece um desafio crítico. Os requisitos de segurança variam significativamente entre usuários, ambientes e aplicações, mesmo para tarefas idênticas. Os filtros de segurança existentes são amplamente específicos para restrições; eles dependem de noções fixas de segurança (ex: invariância progressiva contra um conjunto de falhas predefinido) e exigem redesenho ou retreinamento sempre que as especificações de segurança mudam. Além disso, as políticas VLA atuais frequentemente falham em aprender implicitamente a segurança a partir dos dados de treinamento ou em seguir de forma confiável comandos de segurança explícitos baseados em linguagem. Este artigo investiga o filtragem de segurança condicionada por linguagem, visando criar um único filtro de segurança aprendido que possa se adaptar aos requisitos de segurança de implantação expressos através de linguagem natural, apoiando assim a implantação segura de políticas robóticas generalistas.

Metodologia

Os autores propõem um framework que estende a análise de alcançabilidade de Hamilton–Jacobi (HJ) para condicionar-se a restrições especificadas por linguagem. A abordagem central envolve o aprendizado de um ator e um crítico de segurança condicionados por restrição que operam como um filtro de tempo de execução para uma política nominal.

1. Formulação

O sistema opera em cada passo de tempo $t$ com uma observação $o_t$, uma instrução de tarefa $\tau$ e uma restrição de segurança em linguagem natural $c$ (ex: "evite a caixa de leite"). Uma política nominal $\pi_{nom}$ propõe uma ação $a^{nom}_t$. O filtro de segurança avalia esta ação usando um crítico HJ aprendido $Q_\theta(z_t, a_t)$, onde a representação de estado $z_t$ codifica tanto a observação visual quanto a restrição de linguagem.

• Crítico: Estima o valor de segurança de pior caso com desconto da execução de $a^{nom}_t$ seguida pela política de segurança ótima.
• Ator: Uma política aprendida treinada para maximizar a segurança.
• Lógica de Filtragem: Se $Q_\theta(z_t, a^{nom}_t) \geq \epsilon$ (onde $\epsilon$ é uma margem de segurança), a ação nominal é executada. Caso contrário, o filtro intervém, amostrando ações candidatas a partir do ator HJ e perturbações da ação nominal, selecionando a ação segura mais próxima que satisfaça a restrição.

2. Representações e Codificação

O artigo avalia duas representações de entrada para o ator/crítico HJ:

• Oráculo Privilegiado (Verdade Fundamental): Utiliza o estado completo do sistema $s_t$ (poses de objetos, estado do robô) e uma codificação multi-hot da restrição. Isso serve como um limite superior para testar a eficácia da formulação HJ sem erros de percepção.
• Visão-Linguagem (VL): Utiliza observações RGB brutas (visões de terceira pessoa e montadas no pulso), propriocepção do robô e a restrição de linguagem. Para codificar estes, os autores utilizam o backbone VLA $\pi0.5$, que processa observações multi-visão e linguagem através de um transformer compartilhado. A sequência de tokens resultante é agregada via pooling médio para formar a representação latente $z_t$.

3. Funções de Falha

Um componente crítico é a função de falha $h(z_t)$, que define o limite do conjunto inseguro.

• Restrições Geométricas: Para tarefas como desvio de colisão, $h$ é definida por métricas de distância (ex: distância até um obstáculo menos um limiar).
• Restrições Semânticas: Para falhas semânticas complexas (ex: derrubar um objeto), os autores exploram o uso de Modelos de Visão-Linguagem (VLMs) como oráculos de falha. Eles consultam 11 VLMs diferentes para determinar se um estado viola uma restrição, mapeando a saída para uma constante positiva ou negativa. No entanto, descobrem que os VLMs atuais não são confiáveis o suficiente para uso direto em tempo de execução como oráculos de falha devido às altas taxas de falsos negativos em violações de segurança.

4. Treinamento

O crítico e o ator HJ são treinados usando Soft Actor-Critic (SAC) para minimizar o erro de perda de Bellman, aproximando a função de valor ótima para evitar o conjunto de falhas definido pela restrição. Os dados de treinamento incluem 5.000 trajetórias de manipulação (derivadas de tarefas LIBERO modificadas), deliberadamente enriquecidas com violações de segurança (aprox. 90%).

Principais Contribuições

1. Formulação: O artigo formula a filtragem de segurança condicionada por linguagem, estendendo a alcançabilidade HJ para condicionar-se a restrições de linguagem natural em vez de conjuntos de falhas fixos.
2. Avaliação: Avaliação abrangente em três tarefas de manipulação (Safe Grab, Safe Wipe, Stack Blocks) examinando a satisfação de restrições, generalização fora da distribuição (OOD) e o compromisso entre segurança, sucesso da tarefa e taxas de intervenção.
3. Análise Comparativa: Uma comparação entre o filtro geral proposto, condicionado por linguagem, e filtros especializados, não condicionados por linguagem, treinados por restrição.
4. Benchmarking de VLM: Uma avaliação de 11 VLMs como potenciais funções de falha para manipulação robótica, destacando suas limitações atuais de confiabilidade.
5. Liberação de Dataset: Os autores comprometem-se a liberar um conjunto de dados de 5.000 trajetórias de manipulação estilo LIBERO com violações de segurança.

Resultados Experimentais

Os experimentos foram conduzidos em ambientes RoboSuite utilizando ambas as modalidades de observação: Verdade Fundamental (GT) e Visão-Linguagem (VL).

• Segurança vs. Sucesso da Tarefa: Tanto os filtros Gerais (condicionados por linguagem) quanto os Únicos (específicos de restrição) reduziram significativamente as taxas de colisão em comparação com a política nominal sem filtro. Em configurações GT, os filtros preservaram bem o desempenho da tarefa. Em configurações VL, as taxas de colisão permaneceram mais altas, atribuídas à perda de características espaciais durante a agregação de tokens (pooling médio).
• Filtros Gerais vs. Especializados:
  • No Stack Blocks (restrições sequenciais), o filtro Geral superou os filtros Únicos em Correção de Ordem (OC), sugerindo que compartilhar um filtro permite a transferência de conhecimento entre restrições relacionadas (ex: "pegar vermelho" vs. "pegar azul").
  • Em Safe Grab e Safe Wipe (desvio de colisão), os resultados foram mistos. O filtro Geral alcançou taxas de colisão mais baixas que os filtros Únicos na configuração VL, mas às vezes ao custo de menores taxas de sucesso da tarefa. Em configurações GT, o filtro Geral exigiu significativamente menos intervenções (menor IR) do que os filtros Únicos, mantendo uma segurança comparável.
• Especificidade de Restrição: O filtro Geral demonstrou a capacidade de distinguir entre obstáculos especificados e objetos benignos. Em cenas com dois objetos, o filtro interveio para evitar o obstáculo nomeado enquanto permitia a interação com o objeto não nomeado, provando que não evita indiscriminadamente todos os objetos.
• Generalização Fora da Distribuição (OOD): O filtro Geral exibiu transferência parcial para restrições não vistas:
  • Safe Grab/Wipe: O desempenho degradou quando testado em tipos de objetos não vistos (ex: cafeteira, livro amarelo), com o aumento das taxas de colisão.
  • Stack Blocks: O filtro generalizou bem para cores não vistas (deslocamento apenas de Cor) mas o desempenho caiu quando tanto a forma quanto a cor eram inéditas. A análise sugeriu que o filtro depende de pistas de cor e forma; quando o comando especificava uma forma ausente na cena (ex: "cubo" quando apenas cilindros estavam presentes), o filtro ainda conseguia identificar o alvo baseado na cor, embora com precisão reduzida.
• Confiabilidade de VLM: A avaliação de 11 VLMs como oráculos de falha revelou que, embora alguns modelos (ex: Gemini Robotics-ER 1.6) tenham alcançado alta precisão de não-falha, eles frequentemente falharam em detectar verdadeiras violações de segurança (baixa precisão de falha). Isso indica que os VLMs atuais ainda não são confiáveis o suficiente para servir como oráculos de falha diretos em tempo de execução, mas podem servir como anotadores fracos para o treinamento de funções de falha aprendidas.

Significância e Alegações

O artigo afirma demonstrar um caminho para filtros de segurança gerais que podem se adaptar a diversos requisitos de segurança especificados por linguagem sem exigir um modelo separado para cada especificação. Os autores argumentam que um único crítico de segurança aprendido pode representar múltiplas restrições, compor restrições ativas de uma única instrução e generalizar para instâncias de restrição não vistas dentro de uma família.

O trabalho sugere que os filtros de segurança podem passar por uma transição semelhante às políticas VLA generalistas: movendo-se de monitores fixos e específicos de especificação para mecanismos de aplicação gerais e condicionados por especificação. Isso poderia permitir que os filtros de segurança fossem treinados em escala e adaptados para tarefas downstream, analogamente ao desenvolvimento de políticas generalistas.

No entanto, os autores permanecem modestos sobre o estado atual da tecnologia. Eles reconhecem que:

1. O filtro Geral não garante a satisfação da restrição, particularmente sob condições OOD.
2. O desempenho degrada quando as restrições não são vistas durante o treinamento.
3. A abordagem atual é limitada a tipos específicos de restrições (evitar/aproximar-se) e ainda não lida com lógica temporal complexa ou especificações de segurança totalmente arbitrárias.
4. Os VLMs atuais são insuficientes como oráculos de tempo de execução diretos para definir conjuntos de falhas.

O artigo conclui que, embora o framework proposto mostre promessa para transferência parcial e generalização, pesquisas adicionais são necessárias para melhorar as estratégias de agregação de tokens, realizar o ajuste fino conjunto dos backbones VLA com críticos de segurança e desenvolver métodos mais robustos para lidar com restrições de linguagem ambíguas ou complexas.