Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation

No mundo em rápida evolução da inteligência artificial, programas de computador conhecidos como modelos de linguagem de grande escala tornaram-se ferramentas poderosas para escrever, raciocinar e responder a perguntas. Estes sistemas são treinados em vastas quantidades de texto da internet, aprendendo a prever quais palavras devem vir a seguir numa frase. Por serem tão capazes, os desenvolvedores dedicam um esforço significativo para garantir que sejam seguros, o que significa que recusam gerar instruções prejudiciais, conteúdo violento ou conselhos perigosos. Para testar esta segurança, os investigadores tentam tipicamente enganar os modelos com comandos de texto astutos, pedindo-lhes para contornar as suas regras de várias formas. No entanto, a comunicação humana raramente é apenas texto puro; usamos frequentemente imagens, símbolos e emojis para transmitir significado, emoção e contexto. Estes pequenos ícones são uma parte padrão da conversa moderna, mas permanece a questão de saber se os sistemas de segurança que protegem estes modelos de IA são igualmente eficazes quando o input inclui estes símbolos visuais em vez de apenas palavras.

Um estudo recente realizado por um investigador independente propôs-se investigar exatamente esta lacuna. O investigador questionou-se se as avaliações de segurança utilizadas para proteger estes modelos estavam a perder uma peça crucial do puzzle ao focar-se quase inteiramente em texto padrão. Para descobrir, desenhou um experimento utilizando quatro modelos de linguagem de código aberto diferentes, que são versões da tecnologia que qualquer pessoa pode aceder e estudar. O investigador criou um conjunto específico de cinquenta prompts concebidos para solicitar conteúdo restrito ou prejudicial, tais como instruções sobre violência ou atos perigosos. Em vez de usar apenas palavras, estes prompts foram modificados para incluir emojis. A abordagem envolveu duas estratégias principais: uma onde os emojis eram misturados diretamente nas frases para interromper o texto, e outra onde uma sequência de emojis era utilizada para sugerir implicitamente a intenção prejudicial sem a declarar claramente.

Os resultados deste experimento revelaram que os modelos não reagiram todos da mesma forma. Perante estes pedidos aumentados por emojis, os modelos mostraram uma ampla gama de comportamentos. Um dos modelos testados, Qwen 2 7B, provou ser completamente resistente, recusando-se a gerar qualquer conteúdo prejudicial, independentemente dos emojis utilizados. Outro modelo, Llama 3 8B, falhou em bloquear os pedidos prejudiciais num pequeno número de casos. Outros dois modelos, Gemma 2 9B e Mistral 7B, foram menos robustos, permitindo que o conteúdo prejudicial fosse gerado em dez por cento das tentativas. Esta variação sugere que a capacidade de um modelo manter a segurança não é um traço fixo, mas depende fortemente de como o input é apresentado. O estudo também descobriu que, mesmo quando os modelos não geravam conteúdo prejudicial, frequentemente respondiam de uma forma ambígua ou apenas parcialmente útil, indicando que os emojis criaram confusão em vez de uma recusa clara.

O investigador analisou estes resultados utilizando métodos estatísticos para confirmar que as diferenças entre os modelos não eram apenas fruto do acaso. Os dados mostraram um padrão claro: a forma como um modelo lida com a segurança depende do formato da pergunta. Quando o input incluía emojis, os modelos comportavam-se de forma diferente do que fariam com texto padrão. Alguns modelos interpretaram as sequências de emojis como pedidos pouco claros ou incompletos em vez de perigosos, enquanto outros foram enganados para ignorar as suas regras de segurança inteiramente. Isto sugere que os métodos atuais utilizados para testar a segurança da IA, que dependem quase exclusivamente de perguntas baseadas em texto, podem não estar a capturar a gama completa de formas pelas quais estes sistemas podem ser enganados. Se as avaliações de segurança não levarem em conta como os emojis e outros símbolos não textuais alteram o significado de um pedido, podem dar uma falsa sensação de segurança sobre o quão bem estes modelos estão protegidos.

Em última análise, este trabalho destaca uma vulnerabilidade específica na forma como testamos a inteligência artificial. O estudo não afirma que os emojis sejam uma chave mágica que quebra toda a segurança da IA, nem sugere que estes modelos estejam fundamentalmente quebrados. Em vez disso, aponta que a segurança é sensível à forma do input. Tal como uma fechadura pode funcionar perfeitamente para uma chave padrão, mas falhar para uma forma ligeiramente diferente, estes modelos parecem ter pontos cegos quando o input inclui símbolos que carregam significado, mas que parecem diferentes de palavras. As descobertas servem como um lembrete de que, à medida que a comunicação humana continua a evoluir com novos símbolos e formatos, os métodos que utilizamos para garantir a segurança da IA devem evoluir juntamente com ela para permanecerem eficazes.