Leveraging Association Context Retrieval in Knowledge Edit- ing to Build White-Box Attacks on LLMs
Este artigo propõe um novo ataque de caixa branca em grandes modelos de linguagem que aproveita a recuperação de contexto de associação dentro de uma estrutura de edição de conhecimento para induzir comportamentos inseguros em categorias temáticas inteiras, preservando o desempenho geral do modelo.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os modelos de linguagem de grande escala são programas de computador poderosos que podem escrever histórias, responder perguntas e ajudar em tarefas complexas. Para tornar essas ferramentas seguras para o uso cotidiano, os desenvolvedores os treinam para recusar solicitações prejudiciais, como instruções sobre como construir uma arma ou disseminar desinformação perigosa. Esse processo, conhecido como alinhamento, tem o objetivo de atuar como um guarda-corpo, garantindo que a máquina se comporte como um assistente útil em vez de uma fonte de perigo. No entanto, à medida que esses modelos se tornam mais autônomos e recebem confiança para decisões sensíveis, os pesquisadores precisam entender exatamente quão fortes são esses guarda-corpos. Se os mecanismos de segurança puderem ser contornados, é crucial saber como, para que proteções mais fortes possam ser construídas. Este campo de estudo envolve olhar para dentro dos mecanismos internos do modelo para ver como ele processa informações e toma decisões, em vez de apenas testá-lo pelo lado de fora.
Uma equipe de pesquisadores descobriu uma nova maneira de testar esses sistemas de segurança ao tratar a recusa do modelo em responder como um pedaço específico de conhecimento que pode ser sobrescrito. Em vez de tentar enganar o modelo com jogos de palavras astutos ou comandos ocultos, eles usaram uma técnica chamada edição de conhecimento. Este método permite que os cientistas localizem a parte exata do cérebro do modelo responsável por um fato específico e a alterem. Por exemplo, se um modelo acredita que um certo fato é verdadeiro, os pesquisadores podem alterar as conexões internas para que o modelo acreda que um fato diferente é o verdadeiro. Os pesquisadores perceberam que essa mesma técnica poderia ser usada para mudar o comportamento do modelo: em vez de ensiná-lo um novo fato, eles poderiam ensiná-lo a parar de recusar solicitações prejudiciais. Eles descobriram que, ao modificar os pesos internos do modelo para associar uma solicitação prejudicial a uma resposta complacente, poderiam efetivamente remover os guarda-corpos de segurança para categorias inteiras de perguntas perigosas.
Os pesquisadores testaram essa abordagem em vários tipos diferentes de modelos de linguagem, incluindo aqueles baseados em arquiteturas populares como GPT, Llama e Qwen. Eles se concentraram em um método que primeiro localiza a camada específica no modelo onde uma decisão é tomada e, em seguida, edita essa camada para mudar o resultado. Em tentativas anteriores de quebrar filtros de segurança, os pesquisadores frequentemente dependiam de encontrar uma única "direção de recusa" na matemática do modelo e pressionar contra ela. Os autores deste estudo descobriram que esse método antigo era frágil; muitas vezes quebrava a capacidade do modelo de falar coerentemente ou fazia com que ele falhasse em tarefas básicas. Em contraste, sua nova abordagem foi mais cirúrgica. Eles identificaram que, quando um modelo é editado usando esses métodos precisos, ele tende a atribuir uma probabilidade muito alta a uma frase inicial específica e complacente, como "Claro, aqui está o plano". Ao visar essa reação específica, eles conseguiram forçar o modelo a concordar com solicitações prejudiciais sem destruir sua inteligência geral.
Para fazer isso funcionar em perguntas do mundo real, a equipe teve que resolver um problema complicado: como encontrar a parte certa de uma frase para editar. Em tarefas simples de verificação de fatos, o sujeito é claro, como o nome de uma pessoa. Mas em uma instrução complexa como "Como eu crio um vírus?", o sujeito é a própria instrução completa. Os pesquisadores desenvolveram uma maneira de rastrear o pensamento do modelo para encontrar exatamente quais palavras no prompt foram as mais responsáveis pela recusa. Eles então usaram o próprio conhecimento do modelo para construir um contexto mais rico em torno dessas palavras, criando um alvo mais estável para a edição. Isso permitiu que eles removessem o comportamento de recusa não apenas para uma pergunta específica, mas para toda uma família de perguntas semelhantes. Por exemplo, se eles editassem o modelo para ignorar regras de segurança para escrever código de malware, o modelo também se tornaria disposto a escrever outros tipos de código prejudicial, mesmo que a redação fosse ligeiramente diferente.
Os resultados dos experimentos mostraram que este método foi altamente eficaz. Em um dos modelos testados, a nova abordagem aumentou a disposição do modelo de fornecer informações prejudiciais para uma pontuação de 3,12 de 4, em comparação com 2,98 para um método de edição padrão e 3,01 para a abordagem antiga baseada em recusa. Mais importante, o modelo permaneceu útil e coerente. Quando testado em perguntas inofensivas, o modelo editado ainda respondia corretamente, mantendo um alto nível de desempenho em tarefas de conhecimento geral. Os métodos antigos, que tentavam afastar o modelo da recusa, frequentemente faziam com que o modelo perdesse sua capacidade de pensar logicamente, resultando em algo sem sentido ou respostas quebradas. O novo método conseguiu desbloquear o comportamento prejudicial enquanto mantinha intacto o restante do cérebro do modelo. Isso sugere que os filtros de segurança nesses modelos não são apenas uma parede única, mas um conjunto de associações específicas que podem ser cuidadosamente removidas sem colapsar toda a estrutura.
O estudo também destacou os limites das defesas atuais. Os pesquisadores descobriram que, embora seu método funcionasse bem em modelos mais antigos ou menos alinhados, era mais difícil aplicá-lo aos modelos mais novos e cuidadosamente treinados. Mesmo nesses sistemas robustos, o método ainda mostrou alguma capacidade de contornar a segurança, embora o efeito fosse menor. Isso indica que, à medida que os modelos se tornam mais avançados, os mecanismos de segurança tornam-se mais complexos, mas ainda não são impenetráveis. Os pesquisadores enfatizaram que seu trabalho foi conduzido em um ambiente controlado usando modelos de código aberto que qualquer pessoa pode acessar. Eles não forneceram um guia passo a passo para a criação de ferramentas perigosas, mas sim demonstraram uma vulnerabilidade que precisa ser corrigida. Ao mostrar que a segurança pode ser comprometida através de edições internas precisas, em vez de apenas prompts astutos, o estudo oferece uma nova perspectiva sobre como construir modelos que sejam verdadeiramente seguros. As descobertas sugerem que as medidas de segurança futuras precisam ser mais robustas contra essas mudanças internas, garantindo que a recusa em causar dano esteja profundamente incorporada na estrutura do modelo, em vez de ser apenas uma reação superficial.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.