Breaking the weakest link to evade vision language models
Este artigo propõe um método de ataque baseado em gradiente e computacionalmente eficiente que visa apenas o codificador de visão de Modelos de Linguagem de Visão (VLMs) para gerar perturbações adversárias imperceptíveis capazes de interromper ou sequestrar as interpretações textuais dos modelos, expondo, assim, vulnerabilidades significativas nos atuais sistemas de IA multimodal.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No panorama em rápida evolução da inteligência artificial, surgiu uma nova geração de sistemas que podem ver e falar ao mesmo tempo. Estas máquinas, conhecidas como modelos de visão-linguagem, são projetadas para olhar para uma imagem e descrever o que veem, ou para responder a perguntas sobre uma fotografia. Elas funcionam ao pegar uma imagem, converter os seus detalhes visuais numa representação matemática e, em seguida, passar essa informação para um motor de linguagem que constrói frases. Esta tecnologia alimenta tudo, desde legendas automáticas de imagens até sistemas de segurança em carros autônomos, criando uma ponte entre o mundo visual e a comunicação humana. No entanto, tal como qualquer sistema complexo possui pontos fracos, estes modelos não são imunes à manipulação. Os investigadores sabem há muito tempo que as imagens digitais podem ser alteradas de formas invisíveis ao olho humano, mas capazes de confundir a percepção de um computador. A questão agora é se estes novos sistemas sofisticados, que combinam visão e fala, são mais seguros do que os modelos antigos e mais simples que substituíram.
Uma equipa de investigadores da Thales e da ESILV propôs-se a testar a durabilidade destes modelos de visão-linguagem contra tais manipulações ocultas. O seu objetivo era ver se conseguiam enganar os modelos para que vissem coisas que não estavam lá, ou para que ignorassem o que estava claramente visível. Focaram-se em dois tipos específicos de truques. O primeiro foi uma disrupção ampla, onde o atacante queria simplesmente confundir o modelo para que este já não conseguisse descrever a imagem corretamente. O segundo foi um engano preciso, onde o atacante queria que o modelo descrevesse um objeto específico que era completamente diferente do que estava na foto. Por exemplo, queriam ver se conseguiiam fazer um modelo olhar para a foto de um tanque militar e descrevê-lo com confiança como uma ambulância. Para fazer isto, não tentaram quebrar o sistema inteiro de uma só vez. Em vez disso, identificaram o caminho mais eficiente para a vulnerabilidade: a parte do sistema que processa primeiro a imagem.
Os investigadores descobriram que podiam gerar estas imagens enganosas focando os seus esforços apenas no componente visual do modelo, em vez de em toda a maquinaria de processamento de linguagem. Esta abordagem provou ser um golpe de mestre de eficiência. Enquanto os métodos anteriores exigiam que o computador calculasse alterações através do massivo e complexo cérebro linguístico do modelo — um processo que era lento e exigia uma enorme capacidade de computação — o novo método só precisava de ajustar a fase inicial de processamento de imagem. Ao fazer isto, os investigadores reduziram a memória necessária para o ataque por uma margem significativa e cortaram o tempo necessário para criar uma única imagem enganosa de mais de vinte minutos para cerca de cento e sessenta segundos. Esta eficiência significou que podiam testar as suas ideias numa grande variedade de modelos modernos de código aberto, incluindo sistemas chamados Qwen, Granite, FastVLM e Phi.
Os resultados destes experiências foram impressionantes e revelaram uma profunda fragilidade na forma como estes modelos compreendem o mundo. Quando os investigadores tentaram simplesmente confundir os modelos, fazendo com que falhassem ao descrever a imagem, os ataques foram quase universalmente bem-sucedidos. Mesmo com mudanças minúsculas e invisíveis nos píxeis, os modelos falharam em reconhecer o conteúdo da imagem mais de noventa e três por cento das vezes. Em alguns casos, quase todas as tentativas tiveram sucesso, sugerindo que as representações visuais nas quais estes modelos confiam são incrivelmente instáveis. Quando os investigadores tentaram a tarefa mais difícil de forçar o modelo a ver um objeto errado específico, os resultados variaram mais conforme o modelo, mas permaneceram preocupantes. Um modelo, o Granite-Vision, foi enganado para descrever um tanque como uma ambulância em quase metade das tentativas, embora os dois objetos sejam completamente não relacionados. Outro modelo, o Phi-3.5-Vision, provou ser muito mais resistente, raramente caindo no truque, mas a maioria dos sistemas testados mostrou uma fraqueza significativa.
Estas descobertas sugerem que a atual geração de modelos de visão-linguagem é altamente suscetível à manipulação, particularmente quando o objetivo é interromper a sua compreensão de uma imagem. O facto de sistemas tão poderosos poderem ser induzidos em erro por mudanças demasiado pequenas para um humano notar levanta sérias questões sobre a sua fiabilidade em situações do mundo real. Se um carro autônomo ou um sistema de imagiologia médica depender de um modelo que pode ser facilmente enganado para identificar incorretamente um veículo ou uma condição, as consequências podem ser graves. O estudo não afirma ter resolvido o problema da segurança para estes sistemas, mas mapeou claramente o terreno do perigo. Ao mostrar que o elo mais fraco é frequentemente a fase inicial de processamento visual, os investigadores forneceram um alvo claro para futuras defesas. O trabalho sublinha que, à medida que estes modelos se tornam mais integrados em infraestruturas críticas, garantir que eles possam resistir a tais ataques subtis e invisíveis não é apenas um desafio técnico, mas um requisito fundamental para a segurança.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.