Backdoor Learning in Language Models and Vision-Language Models
Esta tese investiga vulnerabilidades de segurança e melhorias de eficiência em Modelos de Linguagem Natural e de Visão-Linguagem através da análise de ataques de backdoor e do desenvolvimento de métodos avançados de representação multimodal para aplicações clínicas e de imagem médica.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No cenário digital moderno, a inteligência artificial evoluiu de um simples reconhecimento de padrões para sistemas capazes de compreender imagens complexas e gerar texto semelhante ao humano. Esses sistemas, conhecidos como modelos de linguagem e modelos de visão-linguagem, impulsionam tudo, desde diagnósticos médicos até o atendimento ao cliente automatizado. Eles funcionam aprendendo com vastas quantidades de dados, identificando conexões sutis entre palavras, conceitos e detalhes visuais. No entanto, essa imensa capacidade vem acompanhada de uma vulnerabilidade oculta. Assim como uma fechadura física pode ser aberta com uma chave específica e oculta, esses sistemas inteligentes podem ser secretamente manipulados durante seu treinamento. Essa manipulação, conhecida como ataque de backdoor (porta dos fundos), permite que um invasor incorpore um gatilho oculto. Quando o sistema encontra esse gatilho no futuro, ele ignora seu treinamento normal e executa uma ação específica e predeterminada, tudo isso enquanto se comporta perfeitamente normalmente quando o gatilho está ausente. Os riscos são particularmente altos em campos como a saúde, onde um sistema comprometido poderia levar a diagnósticos errôneos perigosos, ou na infraestrutura pública, onde um erro sutil poderia causar interrupções generalizadas.
Uma tese de doutorado recente de Weimin Lyu, da Universidade de Stony Brook, aprofunda-se nessas vulnerabilidades, explorando como esses ataques funcionam em sistemas baseados em texto e nos mais novos e complexos modelos de visão-linguagem. A pesquisa não apenas identifica que esses ataques são possíveis; ela disseca a mecânica interna de como eles têm sucesso e propõe novas formas de tanto lançar quanto detectar tais ataques. O estudo revela que, quando um modelo de linguagem é comprometido, seu mecanismo de "atenção" interno — um processo que permite ao modelo decidir quais palavras em uma frase são mais importantes para compreender o significado — é sequestrado. Em vez de focar no contexto de uma frase, o modelo comprometido fixa-se no gatilho oculto, efetivamente ignorando o restante da entrada. Essa descoberta levou ao desenvolvimento de um novo método de detecção chamado AttenTD, que varre essas mudanças anormais de foco. A pesquisa descobriu que este método é significamente mais eficaz em detectar modelos comprometidos do que as técnicas anteriores, identificando backdoors em vários conjuntos de dados com alta precisão.
A dissertação também introduziu uma forma mais potente de criar esses ataques, denominada Trojan Attention Loss. Ao manipular diretamente a atenção do modelo durante o treinamento para forçá-lo a focar no gatilho, os pesquisadores demonstraram que poderiam criar backdoors com muito menos exemplos envenenados do que o anteriormente considerado necessário. Isso se mostrou eficaz mesmo em cenários de "rótulo limpo" (clean-label), onde o invasor não precisa alterar as respostas corretas nos dados de treinamento, tornando o ataque muito mais difícil de detectar. O estudo estendeu ainda esses achados para modelos de linguagem clínica usados para registros eletrônicos de saúde. Ao aplicar técnicas semelhantes, os pesquisadores mostraram que um modelo treinado para prever resultados de pacientes poderia ser sutilmente alterado para fornecer previsões incorretas se uma frase específica e oculta aparecesse nas notas do paciente, destacando um risco de segurança crítico em sistemas de suporte à decisão médica.
Indo além do texto, a pesquisa abordou o campo emergente dos modelos de visão-linguagem, que podem descrever imagens ou responder perguntas sobre elas. Esses modelos são particularmente desafiadores de atacar porque devem manter uma compreensão coerente de informações tanto visuais quanto textuais. O estudo introduziu o TrojVLM, um método que consegue injetar um gatilho oculto na própria imagem. Quando uma imagem envenenada contendo este gatilho é apresentada ao modelo, ele gera uma resposta que inclui uma frase específica e predeterminada, como uma URL de um site ou uma frase aleatória, enquanto ainda descreve o restante da imagem com precisão. Isso foi alcançado treinando o modelo para preservar o significado semântico da imagem e, simultaneamente, aprender a produzir o texto oculto. A pesquisa demonstrou que este ataque funciona em diferentes tipos de imagens e perguntas, mantendo a alta qualidade no texto gerado mesmo quando o gatilho está presente.
Talvez a descoberta mais preocupante tenha sido o desenvolvimento de um ataque que não requer acesso aos dados originais de treinamento. Em um cenário chamado VLOOD, os pesquisadores mostraram que poderiam comprometer um modelo de visão-linguagem usando apenas dados que o modelo nunca havia visto antes. Ao equilibrar cuidadosamente os novos dados com técnicas para preservar o conhecimento existente do modelo, eles foram capazes de incorporar um backdoor sem sequer tocar no conjunto de dados original do modelo. Isso sugere que mesmo modelos implantados no mundo real, que são frequentemente considerados seguros porque seus dados de treinamento são privados, podem ser vulneráveis à manipulação por agentes externos. O estudo confirmou que esses ataques podem alcançar altas taxas de sucesso enquanto mantêm intacto o comportamento normal do modelo, tornando-os extremamente difíceis de detectar.
Para combater essas ameaças, a dissertação também explorou maneiras de tornar esses sistemas poderosos mais eficientes e interpretáveis, particularmente para aplicações médicas. Os pesquisadores desenvolveram um novo modelo para analisar imagens de patologia de lâmina inteira, que são digitalizações de tecido em escala de gigapixels. Essas imagens são tão grandes que os modelos padrão têm dificuldade em processá-las. A nova abordagem comprime a informação visual em um conjunto menor e gerenciável de tokens, permitindo que o sistema responda a perguntas complexas sobre o tecido sem sobrecarregar os recursos computacionais. Este trabalho demonstrou que é possível manter alta precisão em diagnósticos médicos enquanto se reduz significamente o custo computacional, um passo crucial para tornar as ferramentas de IA avançadas práticas em hospitais.
A conclusão abrangente desta pesquisa é que a segurança da inteligência artificial é tão crítica quanto o seu desempenho. O estudo fornece um mapa abrangente de como os ataques de backdoor podem infiltrar tanto sistemas de texto quanto de visão-linguagem, revelando que os mecanismos internos desses modelos são mais frágeis do que se compreendia anteriormente. Ao expor as formas específicas pelas quais a atenção pode ser sequestrada e demonstrar como os ataques podem ser executados com o mínimo de dados, o trabalho ressalta a necessidade urgente de métodos de detecção robustos e práticas de treinamento seguras. As descobertas servem como um alerta para o desenvolvimento de uma IA confiável, enfatizando que, sem essas salvaguardas, os próprios sistemas projetados para nos auxiliar poderiam ser usados contra nós por meio de manipulações sutis e invisíveis.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.