ReFrame: Evidence-Guided Test-Time Safety Alignment in Multimodal Large Language Models

No mundo da inteligência artificial em rápida evolução, surgiu uma nova geração de modelos que podem ver e falar simultaneamente. Esses sistemas, conhecidos como modelos de linguagem de grande escala multimodais, não apenas processam texto; eles compreendem imagens, conectando detalhes visuais com palavras escritas para responder perguntas, resolver problemas e gerar conteúdo criativo. No entanto, essa capacidade expandida de ver e raciocinar traz um novo desafio complexo: a segurança. Embora esses modelos sejam projetados para serem úteis, eles podem, às vezes, ser enganados para ignorar suas regras de segurança. Um atacante pode esconder um pedido prejudicial dentro de uma imagem ou dividir uma instrução perigosa entre uma imagem e uma frase, confundindo o modelo para que ele pense que o pedido é inofensivo. Isso cria uma situação difícil para os desenvolvedores. Muitos dos modelos mais poderosos são "caixas pretas", o que significa que seus mecanismos internos são ocultos e não podem ser alterados ou treinados novamente por usuários externos. Quando um modelo já está implantado e não pode ser modificado, encontrar uma maneira de mantê-lo seguro sem quebrar sua capacidade de ser útil torna-se um quebra-cabeça crítico.

Pesquisadores têm explorado maneiras de corrigir isso, mas muitas soluções existentes exigem acesso ao código interno do modelo ou envolvem um retreinamento caro, o que é impossoso para sistemas fechados. Uma equipe de cientistas propôs agora uma abordagem diferente chamada ReFrame, um método que atua como um filtro inteligente antes que o modelo veja o pedido do usuário. Em vez de tentar mudar o próprio modelo, o ReFrame intercepta a imagem e o texto de entrada, analisa-os e reescreve o pedido em uma versão mais segura. Esse processo acontece inteiramente no momento do uso, sem precisar tocar nas configurações internas do modelo ou treiná-lo com novos dados. O sistema é projetado para capturar perigos ocultos que podem escapar das defesas padrão, garantindo ao mesmo tempo que o modelo ainda responda a perguntas legítimas de forma eficaz.

O cerne do problema que os pesquisadores identificaram é que esses modelos frequentemente priorizam ser úteis em vez de serem seguros. Quando um usuário faz uma pergunta, o impulso primário do modelo é completar a tarefa, o que às vezes pode fazer com que ele ignore riscos sutis escondidos em uma imagem ou em uma estrutura de frase complicada. Além disso, uma vez que um modelo começa a seguir uma linha de raciocínio, ele pode ficar preso em um caminho prejudicial, continuando a gerar conteúdo inseguro mesmo que perceba o perigo mais tarde. Para resolver isso, os pesquisadores construíram um sistema de duas etapas que utiliza uma versão menor e local de um modelo de IA para atuar como um porteiro. Este porteiro não responde à pergunta do usuário diretamente. Em vez disso, ele examina o pedido e cria dois resumos específicos, ou "cartões", que descrevem a situação.

O primeiro cartão, o cartão de risco, procura por quaisquer perigos ocultos. Ele pergunta: Existe uma intenção prejudicial oculta na imagem ou no texto? Se a resposta for sim, ele identifica exatamente qual é o perigo e planeja como reescrever o pedido para remover a ameaça. O segundo cartão, o cartão de utilidade, foca no que deve ser salvo. Ele pergunta: Quais partes do pedido são inofensivas e úteis? Isso garante que, quando as partes perigosas forem removidas, o modelo não descarte toda a pergunta ou se recuse a ajudar em um tópico que é, na verdade, seguro. Ao separar o risco da utilidade, o sistema pode tomar uma decisão precisa sobre como proceder.

Uma vez que esses dois cartões são criados, uma segunda etapa assume o controle. Esta parte do sistema combina as informações de ambos os cartões para reescrever o pedido original. Se o pedido era seguro desde o início, ele o repassa com apenas ajustes menores. Se o pedido continha uma armadilha oculta, o sistema reescreve o prompt para direcionar o modelo para uma resposta segura e útil. Por exemplo, se um usuário pede instruções sobre como cometer um crime, mas o enquadra como um cenário de jogo, o sistema reconhece o invólucro do jogo como um disfarce. Ele remove as instruções do jogo e reescreve o prompt para perguntar sobre alternativas seguras ou legais. Crucialmente, o sistema também decide se envia a imagem original junto com o texto reescrito. Às vezes, a própria imagem contém a pista perigosa, então o sistema a bloqueia. Outras vezes, a imagem é inofensiva e necessária para a resposta, então ela é permitida.

Os pesquisadores testaram este método em vários modelos diferentes, incluindo alguns dos sistemas comerciais mais avançados disponíveis hoje. Eles usaram uma ampla variedade de testes projetados para enganar os modelos para que quebrem suas regras de segurança, bem como testes para ver se os modelos ainda podiam responder a perguntas normais sobre matemática, ciência e objetos cotidianos. Os resultados mostraram que o novo método foi altamente eficaz em deter pedidos prejudiciais que outras defesas deixaram passar. Ele bloqueou com sucesso ataques onde o perigo estava escondido na forma como uma imagem era espelhada ou onde o texto estava embaralhado para esconder uma má intenção. Ao mesmo tempo, não tornou os modelos excessivamente cautelosos. Em casos onde usuários faziam perguntas seguras sobre tópicos sensíveis como medicina ou química, o sistema permitiu que os modelos fornecessem respostas úteis em vez de se recusarem a falar sobre eles.

O estudo também analisou quanto tempo extra esse processo levou. Como o sistema utiliza um modelo menor e local para fazer a reescrita antes que o modelo principal responda, ele adiciona um pequeno atraso, mas os pesquisadores descobriram que esse custo é gerenciável. O método provou ser flexível, funcionando bem com diferentes tipos de modelos e diferentes tamanhos do porteiro local. Isso sugere que a abordagem não está presa a uma tecnologia específica, mas pode ser aplicada amplamente. As descobertas indicam que, ao analisar cuidadosamente a intenção por trás de um par imagem-texto e reescrever o pedido antes que ele chegue ao modelo principal, é possível melhorar significativamente a segurança sem sacrificar a capacidade do modelo de ser útil. Isso oferece um caminho prático para manter os sistemas de IA poderosos seguros, mesmo quando seus mecanismos internos não podem ser alterados.