Resumo Técnico: SafeBranch

Definição do Problema

Agentes incorporados baseados em modelos de visão-linguagem (VLM) são capazes de executar tarefas de múltiplos passos em ambientes interativos, mas frequentemente violam restrições de segurança durante a execução. Este problema, denominado segurança interativa, surge porque as próprias ações do agente podem criar perigos emergentes (ex: deixar um fogão aceso, tocar uma tomada com as mãos molhadas). Diferente das restrições de segurança estáticas, os perigos de segurança interativa concentram-se em um conjunto esparso de passos críticos de segurança dentro de uma trajetória. Nesses pontos de decisão específicos, a escolha do agente determina se a trajetória ramifica-se para um resultado seguro ou inseguro.

As abordagens existentes enfrentam duas limitações primárias:

1. Guarda-corpos em Tempo de Inferência: Métodos que utilizam verificadores de segurança externos ou planejadores de busca para bloquear ou revisar ações a cada passo adicionam overhead de implantação e deixam o ator subjacente inalterado.
2. Supervisão Padrão:
   • Imitação (SFT): Treinar em trajetórias seguras ensina o que fazer, mas falha em explicar por que uma alternativa era insegura, levando à aplicação sem contexto de comportamentos seguros.
   • Preferência de Trajetória (DPO): Contrastar trajetórias inteiras seguras e inseguras mistura o sinal de segurança com diferenças não relacionadas em muitos passos, falhando em isolar o ponto de decisão específico onde a segurança foi determinada.

O desafio central é fornecer supervisão que contraste explicitamente ações seguras e inseguras no mesmo passo crítico de segurança (mesmo contexto, ações diferentes) para ensinar o sinal de segurança ao nível do passo para o agente.

Metodologia: SafeBranch

Os autores propõem o SafeBranch, um framework que constrói pares de ramificação a partir dos próprios rollouts inseguros do ator e alinha o ator usando Otimização de Preferência de Ramificação (BranchPO).

1. Construção de Pares de Ramificação via Rollback de Ambiente

Como ambientes naturais interativos não fornecem duas trajetórias que divergem em um único passo, o SafeBranch as sintetiza:

• Rollback: Quando ocorre uma violação de segurança em um rollout do agente, um crítico de segurança (um LLM externo) identifica a restrição violada e o passo específico ($h_k$) onde a decisão foi tomada.
• Reparo: O ambiente sofre um rollback para $h_k$. O ator é então consultado para uma alternativa segura ($y^+$) condicionada ao contexto original $h_k$ mais o feedback do crítico ($f_k$).
• Relabeling de Hindsight (Visão Retrospectiva): Para garantir que o ator aprenda a segurança a partir do contexto e não da pista de feedback, o feedback do crítico ($f_k$) é removido do prompt de treinamento. O par de ramificação resultante consiste na ação insegura original ($y^-$) e na ação segura reparada ($y^+$), ambas condicionadas ao mesmo contexto $h_k$.
• Filtragem: Um LLM juiz filtra os pares para garantir que a ação segura seja justificada pelo contexto, executável e resolva a restrição.

2. Otimização de Preferência de Ramificação (BranchPO)

O framework treina o ator usando um objetivo de aprendizado de preferência adaptado para o alinhamento de nível de passo. Dado um conjunto de dados de pares de ramificação $D_{branch}$, o objetivo maximiza a margem de log-probabilidade entre a ação segura e a ação insegura no mesmo passo âncora:
$$\mathcal{L}_{BranchPO} = -\mathbb{E}_{D_{branch}} \left[ \log \sigma(\beta(r^+_\theta - r^-_\theta)) \right]$$
onde $r_\theta(h, y) = \log \pi_\theta(y|h) - \log \pi_{ref}(y|h)$. Isso internaliza os julgamentos de segurança do crítico no próprio ator.

3. Implantação

Diferente dos métodos de tempo de inferência, o ator treinado é implantado sem o uso de crítico. Ele lida com situações críticas de segurança de forma autônoma, sem módulos externos, mecanismos de rollback ou loops de feedback durante o tempo de execução.

Principais Contribuições

1. Formulação da Segurança Interativa como um Problema de Nível de Passo: O artigo identifica que o alinhamento de segurança requer o isolamento da decisão em passos críticos de segurança, em vez de otimizar sobre trajetórias inteiras.
2. Framework SafeBranch: Um método inovador para construir pares de ramificação de mesmo estado através de rollback de rollouts inseguros e elicitação de alternativas seguras, resolvendo o problema de escassez de dados para supervisão de segurança ao nível do passo.
3. Objetivo BranchPO: Um objetivo de otimização de preferência especificamente projetado para treinar atores nesses pares de ramificação, internalizando restrições de segurança.
4. Implantação Sem Crítico: O método desloca o custo do crítico de segurança do tempo de execução (inferência) para o treinamento, resultando em um ator independente que age de forma segura sem intervenção externa.

Resultados Experimentais

O método foi avaliado no IS-Bench, SafetyALFRED e variantes fora de distribuição (OOD) envolvendo tarefas e objetos não vistos.

• Ganhos de Desempenho:
  • No IS-Bench, o SafeBranch aumentou a Taxa de Sucesso Seguro (SSR) de 0,031 (baseline não treinado) para 0,281.
  • Na variante OOD-ObjectShift (objetos não vistos), a SSR melhorou de 0,048 para 0,355.
  • Na variante OOD-TaskShift (tarefas não vistas), a SSR melhorou de 0,048 para 0,469.
  • No SafetyALFRED, a precisão de perigo aumentou de 0,274 para 0,438.
• Comparação com Baselines:
  • O SafeBranch superou os baselines de tempo de inferência (Self-Verification, Lookahead) que falharam em generalizar para configurações OOD.
  • Superou significativamente as variantes padrão de aprendizado de preferência (DPO de trajetória, apenas SFT), que tiveram dificuldade em concentrar o sinal de segurança nos pontos de decisão corretos.
• Eficiência: O pipeline de construção de pares de ramificação gera pares utilizáveis aproximadamente 5,2 vezes mais rápido do que a amostragem natural best-of-N sob orçamentos de computação equivalentes.
• Ablação: Remover o relabeling de hindsight (mantendo o feedback do crítico no treinamento) fez com que o modelo falhasse na implantação quando o feedback estava ausente, confirmando a necessidade de internalizar o sinal de segurança.

Significância e Alegações

O artigo afirma que o SafeBranch oferece um caminho eficiente em termos de dados para a internalização da segurança interativa. Ao enquadrar a segurança como um problema de ramificação de nível de passo e construir pares de ramificação específicos, o método permite que agentes incorporados aprendam onde e como agir com segurança sem sacrificar o sucesso da tarefa.

Os autores enfatem que esta abordagem move o alinhamento de segurança de um processo externo dependente de tempo de execução para uma capacidade interna do ator. Os resultados sugerem que o treinamento em pares de ramificação de mesmo estado é essencial para aprender o sinal de segurança ao nível do passo, uma capacidade que a supervisão padrão de nível de trajetória não consegue fornecer. O método atinge um desempenho de segurança de estado da arte em configurações in-distribution, out-of-distribution e cross-simulator, eliminando a necessidade de módulos de segurança externos durante a implantação.