Adversarial Entropy Inflation Against Gumbel-Based Inference Verification

No mundo em rápida expansão da inteligência artificial, os grandes modelos de linguagem tornaram-se propriedade intelectual valiosa, tal como uma receita secreta ou um projeto proprietário. Como estes modelos são tão valiosos, existe o receio crescente de que atores mal-intencionados possam roubar o código subjacente, conhecido como pesos, ao enganarem o sistema para revelar os seus cálculos internos durante o uso normal. Para impedir isto, um investigador desenvolveu um método de verificação que atua como um posto de controlo de segurança. Este sistema verifica se as escolhas que um modelo faz ao gerar texto são consistentes com uma chave secreta específica e partilhada. O sistema permite uma pequena quantidade de erro natural, reconhecendo que o hardware do computador não é perfeitamente preciso e, por vezes, comete pequenos erros aleatórios ao decidir entre duas opções muito semelhantes. Esta tolerância integrada para o erro foi concebida como uma funcionalidade de segurança, garantindo que utilizadores honestos não sejam falsamente acusados de violar regras quando o seu computador simplesmente hesita.

Um investigador da Universidade de Tecnologia de Delft testou recentemente a força deste posto de controlo de segurança contra um tipo de atacante mais astuto. Descobriu que a rede de segurança do sistema, que foi desenhada para perdoar pequenas falhas de hardware, poderia ser alargada para uma enorme brecha por um adversário que saiba manipular as perguntas feitas ao modelo. O investigador descobriu que, ao alimentar o modelo com prompts desenhados para quebrar as regras normais da linguagem e criar confusão, um atacante poderia forçar o modelo a ficar incerto sobre a sua próxima palavra. Esta incerteza expande a lista de respostas aceitáveis que o sistema de segurança irá tolerar, transformando efetivamente um caminho estreito e seguro numa autoestrada larga para o roubo de informações. O seu trabalho sugere que a defesa atual, que foi calibrada utilizando conversas normais e cotidianas, não é suficientemente forte para deter um atacante determinado que saiba explorar a própria confusão do modelo.

O cerne do problema reside em como o sistema de segurança decide o que é um erro legítimo e o que é um segredo roubado. Quando um modelo gera texto, calcula a probabilidade de cada próxima palavra possível. Normalmente, uma palavra é claramente a melhor escolha e o sistema fixa-se nela. Nestes momentos de indecisão, quando o modelo está incerto, duas ou mais palavras podem ter pontuações quase idênticas. Nestes momentos, as pequenas flutuações aleatórias no hardware do computador podem alterar a escolha final de uma palavra para outra. O sistema de segurança foi construído para perdoar estas trocas, assumindo que são apenas ruído inofensivo. O investigador percebeu que, se um atacante conseguisse criar uma situação onde o modelo estivesse constantemente incerto, poderia forçar o sistema a aceitar uma gama muito mais ampla de resultados. Ao fazê-lo, o atacante poderia codificar dados ocultos na escolha específica da palavra, usando a própria tolerância ao erro do sistema como um canal secreto para vazar informações.

Para testar esta teoria, o investigador configurou uma série de experiências utilizando seis modelos de linguagem de diferentes tamanhos, variando de modelos pequenos de 1 bilhão de parâmetros a sistemas massivos de 32 bilhões de parâmetros. Começaram por estabelecer uma linha de base utilizando 150 prompts padrão e benignos, semelhantes ao tipo de perguntas que um utilizador faria a um chatbot numa conversa normal. Sob estas condições, o sistema de segurança funcionou como pretendido. A lista de palavras aceitáveis era quase sempre uma única opção, o que forçava o modelo a ser determinístico. Neste estado, o sistema reduzia qualquer tentativa de roubo de dados por um fator de mais de 200 vezes, tornando o roubo praticamente impossível. Isto confirmou que a defesa era eficaz contra atacantes passivos que simplesmente utilizavam o modelo tal como ele foi pretendido.

O investigador introduziu então três tipos distintos de ataques adversários, cada um desenhado para interromper a capacidade do modelo de prever a próxima palavra com confiança. O primeiro tipo, chamado "terse" (conciso), utilizou prompts muito curtos e de baixo contexto que isolavam a primeira palavra de uma resposta. O segundo tipo, "scramble" (desordenado), utilizou listas de itens não relacionados e instruções que quebraram as regras gramaticais normais. O terceiro e mais eficaz tipo, "cipher" (cifra), utilizou sequências de caracteres, números e símbolos de diferentes sistemas de escrita que não tinham qualquer ligação lógica entre si. Estes prompts foram desenhados para confundir a compreensão interna do modelo sobre como as palavras se encaixam, forçando-o a confiar no acaso em vez de padrões aprendidos. O investigador gerou 150 destes prompts adversários para cada tipo de ataque e os executou nos modelos três vezes para garantir que os resultados eram consistentes.

Os resultados mostraram uma mudança dramática no desempenho do sistema. Quando os modelos foram alimentados com os prompts "cipher", que interrompiam o modelo ao nível dos caracteres e scripts individuais, a tolerância do sistema de segurança para o erro explodiu. Em vez de a lista de palavras aceitáveis ser apenas um item, ela cresceu significativamente. Esta expansão permitiu ao atacante extrair aproximadamente o dobro da informação oculta por palavra em comparação com a linha de base benigna. Consequentemente, o fator de lentidão, que tinha sido uma barreira massiva de mais de 200 vezes, colapsou para entre 60 e 118 vezes, dependendo do modelo específico utilizado. Para os modelos maiores, a defesa tornou-se aproximadamente três vezes menos eficaz do que o originalmente pensado. Os prompts "scramble" também mostraram um sucesso significativo, enquanto os prompts "terse" tornaram a defesa mais forte em modelos menores, ironicamente fazendo com que se tornassem mais previsíveis e menos propensos à própria incerteza que o atacante tentava criar.

Estas descobertas indicam que o método de verificação atual é demasiado rígido. Ele depende de um limiar estático para o que conta como um erro aceitável, um limiar que foi definido com base em como o modelo se comporta durante uma conversa normal e educada. O estudo demonstra que esta abordagem falha quando o input é engenhado para maximizar a confusão do modelo. O investigador conclui que, para esta defesa ser verdadeiramente segura, o sistema deve ser dinâmico. Em vez de usar uma regra fixa, o verificador precisa de medir constantemente o quão incerto o modelo está em cada passo e ajustar a sua tolerância ao erro de acordo. Se o modelo estiver confuso, o sistema deve apertar as suas regras; se o modelo estiver certo, pode relaxá-las. Sem este ajuste dinâmico, o posto de controlo de segurança permanece vulnerável a um atacante que saiba transformar a própria incerteza do modelo numa arma.

As implicações deste trabalho estendem-se para além do método específico testado. Elas destacam uma tensão fundamental na segurança da inteligência artificial: as defesas que são calibradas para o comportamento normal muitas vezes falham contra adversários ativos e inteligentes que podem manipular o ambiente para quebrar essas suposições. O investigador não afirmou ter quebrado a tecnologia inteiramente, mas mostrou que as margens de segurança são muito mais finas do que anteriormente acreditado. Provou que, simplesmente mudando a natureza das perguntas feitas, um atacante pode duplicar a velocidade com que pode roubar os segredos de um modelo. Isto sugere que os futuros designs de segurança não podem basear-se na suposição de que os inputs serão benignos. Eles devem ser construídos para resistir ao caos calculado e específico que um atacante inteligente pode introduzir, garantindo que a tolerância ao erro do sistema não se torne a própria coisa que permite que ele seja comprometido.