Resumo Técnico: SafeDojo

Definição do Problema

A implantação de modelos de Visão-Linguagem-Ação (VLA) em ambientes físicos reais enfrenta um desafio crítico de segurança: evasão de colisões durante manipulação rica em contato. Ao contrário dos sistemas de controle de baixa dimensão, onde restrições de segurança podem ser explicitamente definidas ou aprendidas de forma compacta, as políticas VLA devem inferir fronteiras de segurança a partir de observações visuais de alta dimensão através de diversas e inéditas configurações de obstáculos.

Abordagens existentes para manipulação robótica segura sofrem de limitações significativas:

• Intervenções em tempo de inferência (ex: Funções de Barreira de Controle) exigem modelagem geométrica precisa e calibração de câmera, o que é impraticável para a implantação de VLA em mundo aberto.
• Aprendizado por Reforço (RL) restrito livre de modelo impõe segurança através de otimização baseada em penalidades, mas requer exploração no mundo real que é dispendiosa e potencialmente insegura. Um único contato inseguro pode causar falha na tarefa, danos irreversíveis ao hardware ou interrupção ambiental.
• RL seguro baseado em modelo opera tipicamente em espaços de estado de baixa dimensão com funções de custo fornecidas pelo simulador, tornando difícil a transferência para modelos VLA de alta dimensão, onde os sinais de segurança devem ser aprendidos a partir de dados visuais em vez de serem definidos analiticamente.

O problema central abordado é como aprender políticas VLA livres de colisões em ambientes ricos em obstáculos sem depender de funções de segurança criadas manualmente ou de uma exploração perigosa no mundo real.

Metodologia: SafeDojo

O SafeDojo é proposto como o primeiro framework de aprendizado por reforço seguro baseado em modelo projetado especificamente para políticas VLA. Ele permite a otimização da política online inteiramente dentro de um modelo de mundo de vídeo interativo, evitando riscos no mundo real. O framework consiste em três componentes principais:

1. Rollouts de Modelo de Mundo Interativo por Blocos (Chunk-wise)

Em vez de coletar dados no mundo físico, o SafeDojo realiza rollouts "modelo no loop" dentro de um modelo de mundo interativo $p_\phi$.

• Arquitetura: O modelo de mundo é instanciado como um preditor de vídeo condicionado à ação (baseado no Wan 2.2) que gera observações visuais futuras e dinâmicas latentes.
• Processo: Dada uma observação inicial $o_0$ e uma instrução de linguagem $l$, a política VLA atual $\pi_\theta$ amostra trajetórias candidatas. O modelo de mundo realiza rollouts recursivos dessas trajetórias para gerar quadros futuros imaginados $\hat{o}_{i,k+1}$ e estados latentes $\hat{z}_{i,k+1}$ condicionados a blocos de ação.
• Robustez: Para mitigar o descompasso entre treino e teste e o erro de exposição em rollouts de longo horizonte, o treinamento inclui aumento de vídeo estático que ocasionalmente congela quadros de condicionamento, tornando o modelo tolerante a previsões intermediárias imperfeitas.

2. Recompensa de Tarefa e Estimativa de Custo de Segurança Desacopladas

O SafeDojo avalia trajetórias imaginadas usando um avaliador de dois ramos que estima sinais densos por passo, em vez de colapsá-los em um único escalar de recompensa.

• Recompensa de Tarefa ($f_{task}$): Um classificador de sucesso ResNet ajustado prevê o progresso da tarefa por passo a partir dos quadros futuros imaginados.
• Custo de Segurança ($f_{safe}$): Uma cabeça de segurança leve estima custos de segurança por passo (probabilidade de contato com obstáculos) a partir de contextos latentes previstos e do bloco de ação proposto.
• Agregação: Esses sinais densos são agregados em recompensas de nível de trajetória ($r_i$) e custos ($c_i$). O custo de segurança agrega especificamente os $M$ passos de alto risco para enfatizar intervalos críticos.

3. GRPO com Restrição de Segurança Baseada em Lagrangiano

Para otimizar a política sob restrições de segurança explícitas, o SafeDojo emprega uma variante de Otimização de Política de Gradiente Relativo de Grupo (GRPO) com uma formulação Lagrangiana.

• Cálculo de Vantagem: As recompensas de tarefa e os custos de segurança são normalizados separadamente dentro de um grupo de trajetórias amostradas para calcular as vantagens relativas $\hat{A}^r_i$ e $\hat{A}^c_i$.
• Objetivo Restrito: A vantagem final é computada como $\hat{A}^{safe}_i = \hat{A}^r_i - \eta \hat{A}^c_i$, onde $\eta$ é um multiplicador de Lagrange não negativo.
• Equilíbrio Dinâmico: O multiplicador $\eta$ é atualizado com base na violação de restrição ao nível do lote (custo de segurança médio vs. orçamento permitido $d$). Se o custo médio exceder o orçamento, $\eta$ aumenta para penalizar trajetórias inseguras mais fortemente; caso contrário, diminui para permitir a melhoria orientada à tarefa.
• Regra de Atualização: A política é atualizada usando um objetivo truncado com a vantagem restrita pela segurança, garantindo a melhoria coordenada do sucesso da tarefa e da segurança sem pesos de penalidade fixos.

Principais Contribuições

1. Estimativa de Recompensa-Custo Baseada em Modelo de Mundo: Desenvolvimento de um modelo de mundo de vídeo interativo acoplado a um avaliador de dois ramos que desacopla a estimativa de progresso de tarefa e risco de segurança das dinâmicas imaginadas, eliminando a necessidade de funções de segurança criadas manualmente.
2. RL com Restrição de Segurança: Introdução de um objetivo GRPO baseado em Lagrangiano que impõe explicitamente orçamentos de segurança enquanto coordena o sucesso da tarefa e a evasão de colisões, evitando a sensibilidade de pesos de penalidade fixos.
3. Desempenho Empírico: Demonstração de desempenho superior no benchmark SafeLIBERO e em implantações reais com robôs Franka, alcançando o melhor sucesso agregado de tarefa, sucesso seguro e eficiência de execução entre as linhas de base de segurança em tempo de inferência, RL livre de modelo e RL baseado em modelo.

Resultados Experimentais

O framework foi avaliado no SafeLIBERO (um benchmark de segurança construído sobre o Robosuite) e em robôs Franka Emika Panda no mundo real.

Resultados de Simulação (SafeLIBERO)

• Taxa de Sucesso Seguro (SSR): O SafeDojo alcançou a maior SSR média tanto no Nível I (53,25%) quanto no Nível II (49,62%). No Nível I, isso representa uma melhoria de 8,25 pontos percentuais sobre a linha de base mais forte (SafeVLA com 45,00%).
• Eficiência de Execução: O SafeDojo alcançou o menor número médio de Passos de Tempo de Execução (269,41 no Nível I), superando a melhor linha de base baseada em modelo (WMPO com 274,02), indicando que a otimização consciente da segurança não leva a políticas excessivamente conservadoras ou ineficientes.
• Generalização: Treinado apenas em demonstrações do Nível I, o SafeDojo manteve o desempenho de topo no Nível II (obstáculos posicionados mais adiante no caminho de movimento), demonstrando que os sinais de segurança aprendidos via rollouts imaginados transferem-se para configurações de obstáculos não vistas.

Resultados no Mundo Real

• Implantado em cinco tarefas de manipulação no mundo real, o SafeDojo alcançou a melhor Taxa de Sucesso de Tarefa média (76,00%) e Taxa de Sucesso Seguro (70,00%).
• A análise qualitativa mostrou que o SafeDojo gerou trajetórias diretas e conscientes de colisões, enquanto as linhas de base ou colidiram com obstáculos, tornaram-se excessivamente conservadoras ou falharam em recuperar-se de estados inseguros.

Estudos de Ablação

• Importância dos Componentes: Remover a cabeça de segurança reduziu a SSR para 38,0%; remover o ramo de recompensa de tarefa colapsou o desempenho para quase zero. Substituir o GRPO restrito por otimização não restrita reduziu significativamente a segurança.
• Fontes de Entrada: O uso do estado atual do modelo de mundo mais o bloco de ação proposto forneceu as pistas de recompensa-custo mais estáveis em comparação ao uso apenas de previsões futuras.
• Multiplicador de Lagrangiano ($\eta$): Um $\eta$ inicial de 0,2 proporcionou o melhor equilíbrio; valores mais altos levaram a políticas excessivamente restritas e ineficientes, enquanto valores menores falharam em suprimir ações arriscadas.

Significância e Alegações

O artigo posiciona o SafeDojo como um caminho escalável e generalizável para a inteligência incorporada segura. Ao alavancar modelos de mundo para realizar "rollouts antecipatórios" na imaginação, o SafeDojo aborda a tensão fundamental entre a necessidade de exploração de política e a irreversibilidade das violações de segurança física.

Os autores afirmam que o SafeDojo é o primeiro framework a aplicar com sucesso o RL seguro baseado em modelo para modelos VLA, permitindo:

1. Aprendizado Sem Risco: A melhoria da política ocorre inteiramente dentro de um modelo de mundo simulado, eliminando a necessidade de exploração perigosa e dispendiosa no mundo real.
2. Segurança Baseada em Dados: Sinais de segurança são aprendidos a partir de observações visuais de alta dimensão em vez de depender de restrições geométricas predefinidas ou funções de custo criadas manualmente.
3. Otimização Equilibrada: A abordagem baseada em Lagrangiano permite a satisfação explícita de restrições enquanto mantém alto desempenho e eficiência de tarefa.

Os resultados sugerem que o aprendizado por reforço seguro baseado em modelos de mundo é um paradigma viável para implantar políticas VLA em ambientes físicos de mundo aberto onde a segurança é um pré-requisito.