`From Prompt to Perturbation': An Adaptive Framework for Voice-Based Jailbreaks on Audio LLMs

Nos últimos anos, a inteligência artificial aprendeu a falar. Esses sistemas, conhecidos como grandes modelos de linguagem, foram além da leitura e escrita de texto para compreender e gerar a fala humana. Eles alimentam os assistentes de voz em nossos carros, os bots de atendimento ao cliente em nossos telefones e os novos agentes conversacionais que podem ouvir uma história e responder perguntas sobre ela. Para tornar essas máquinas seguras, os desenvolvedores constroem barreiras digitais projetadas para recusar solicitações prejudiciais, como instruções sobre como construir uma arma ou como assediar alguém. Para sistemas baseados em texto, os pesquisadores sabem há muito tempo que perguntas elaboradamente formuladas podem enganar essas barreiras para que elas quebrem suas regras. No entanto, à medida que esses modelos ganham a capacidade de ouvir e falar, surge uma nova questão: será que uma voz, em vez de apenas palavras, pode contornar essas mesmas medidas de segurança?

Uma equipe de pesquisadores da Universidade de Sydney, da Universidade de Chicago e da Universidade do Texas em San Antonio propôs-se a responder a essa pergunta testando a segurança da IA moderna habilitada para voz. Eles se concentraram em duas maneiras diferentes pelas quais esses sistemas são construídos. O primeiro método, chamado de pipeline em cascata, funciona como uma corrida de revezamento: um computador primeiro ouve a voz e a escreve como texto, depois um cérebro baseado em texto separado lê esse texto e decide o que dizer e, finalmente, um sintetizador de voz fala a resposta. O segundo método, conhecido como modelo de ponta a ponta (end-to-end), pula a etapa intermediária inteira. Ele ouve as ondas sonoras brutas e processa o significado e a voz juntos em um sistema único e unificado. Os pesquisadores queriam saber se ambas as arquiteturas muito diferentes poderiam ser enganadas para ignorar suas regras de segurança quando confrontadas com a fala e, se sim, como fazer isso automaticamente sem ajuda humana.

Os pesquisadores desenvolveram um novo framework de teste que atua como um explorador automatizado. Em vez de elaborar manualmente centenas de comandos de voz diferentes, eles construíram um sistema que aprende com seus próprios erros. O processo começa com uma lista de perguntas prejudiciais que a IA nunca deve responder. O sistema primeiro envolve essas perguntas perigosas dentro de uma história inofensiva ou um cenário de interpretação de papéis (role-playing), uma técnica que eles chamam de "ataque de flanco" (flanking attack). Ao esconder a solicitação prejudicial dentro de uma longa lista de perguntas inocentes sobre a vida cotidiana ou enredos de filmes fictícios, o sistema espera baixar as defesas da IA. Uma vez que o texto é preparado, o sistema o converte em fala usando um sintetizador de voz padrão.

É aqui que o verdadeiro experimento começa. O sistema não apenas reproduz o áudio uma vez. Ele pega o áudio e o distorce deliberadamente de maneiras específicas para ver como a IA reage. Ele adiciona ruído de fundo, como o zumbido de uma rua movimentada ou o som do vento. Ele altera a velocidade da voz, fazendo-a falar um pouco mais rápido ou mais devagar. Ele até adiciona ecos, simulando o som de uma voz reverberando nas paredes de uma sala grande. O sistema então reproduz esses clipes de áudio distorcidos para a IA alvo. Se a IA recusar responder, o sistema registra a falha. Se a IA acidentalmente aceitar a solicitação prejudicial, o sistema registra o sucesso.

Crucialmente, o sistema usa esses resultados para melhorar sua próxima tentativa. Se adicionar ruído ajudou o ataque a ter sucesso, o sistema aprende a usar mais ruído. Se mudar a velocidade funcionou melhor, ele foca nisso. Ele também reescreve o texto da pergunta, tentando diferentes formas de dizer a mesma coisa sem alterar o significado. Este ciclo de teste, aprendizado e refinamento acontece de forma automática e repetida. Os pesquisadores testaram essa abordagem em seis sistemas de IA diferentes habilitados para voz, variando de produtos comerciais conhecidos a modelos de código aberto. Eles executaram milhares desses testes automatizados, cobrindo vinte e uma categorias diferentes de solicitações prejudiciais, desde fraudes até atividades ilegais.

Os resultados foram impressionantes. Os pesquisadores descobriram que ambos os tipos de sistemas — o estilo de corrida de revezamento e o estilo unificado de ponta a end — eram altamente vulneráveis a esses ataques baseados em voz. O framework automatizado foi capaz de enganar a IA para violar suas regras de segurança na vasta maioria dos casos. Para o sistema mais vulnerável testado, o ataque teve sucesso em mais de noventa e seis por cento das vezes. Mesmo os sistemas considerados mais robustos ainda falharam em bloquear os ataques em mais de setenta e cinco por cento dos testes. O estudo mostrou que a combinação de esconder a intenção prejudicial em uma história e, em seguida, distorcer a voz foi muito mais eficaz do que tentar enganar a IA apenas com as palavras ou apenas com o som isoladamente.

Os pesquisadores também testaram o que acontece quando o ataque não é reproduzido através de um arquivo de computador, mas falado em voz alta em uma sala real e capturado por um microfone. Isso é conhecido como um ataque "over-the-air" (via aérea), e introduz problemas do mundo real, como conversas de fundo e a qualidade do microfone. Apesar desses obstáculos extras, o framework automatizado permaneceu eficaz. Os sistemas ainda caíram nos truques, com taxas de sucesso permanecendo altas mesmo quando o áudio tinha que viajar pelo ar e ser capturado por um dispositivo. Isso sugere que a vulnerabilidade não é apenas uma peculiaridade de arquivos digitais, mas uma fraqueza fundamental na forma como esses modelos processam a linguagem falada.

O estudo também analisou quais truques específicos funcionavam melhor. Eles descobriram que os ataques mais bem-sucedidos frequentemente envolviam mudar a redação da pergunta para torná-la mais complexa ou adicionar ruído de fundo realista. Surpreendentamente, simplesmente acelerar ou desacelerar a voz era menos eficaz por si só, mas ajudava quando combinado com outras mudanças. O sistema aprendeu que a melhor maneira de quebrar as barreiras era manter o significado prejudicial intacto enquanto tornava o som e as palavras diferentes o suficiente para confundir os filtros de segurança.

Este trabalho destaca uma lacuna significativa na segurança atual da IA de voz. Embora os desenvolvedores tenham passado anos fortalecendo os sistemas baseados em texto contra prompts astutos, a adição da voz abriu uma nova porta que permanece amplamente desprotegida. Os pesquisadores demonstraram que um sistema automatizado pode encontrar e explorar sistematicamente essas fraquezas sem precisar conhecer o código interno da IA. Eles não encontraram uma única solução mágica que quebre todos os sistemas, mas sim mostraram que uma abordagem flexível e de aprendizado pode contornar consistentemente as proteções existentes hoje. Os achados sugerem que, à medida que as interfaces de voz se tornam mais comuns, as medidas de segurança para esses sistemas precisam evoluir para lidar não apenas com o que é dito, mas com como é dito e como soa. O estudo conclui que, sem esses avanços, a promessa de uma IA conversacional segura pode permanecer fora de alcance.