Anchoring Bias: A Persistent Fairness Backdoor Attack against MLLMs under Continual Learning
Este artigo introduz o Ataque de Backdoor de Equidade Persistente (PFBA), um método inovador que utiliza o reforço da equidade no espaço latente e a simulação de aprendizagem contínua para injetar discriminação específica de grupo em Grandes Modelos de Linguagem Multimodais, garantindo que as violações de equidade persistam mesmo após os modelos passarem por atualizações de aprendizagem contínua.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo moderno da inteligência artificial, surgiu uma nova geração de sistemas conhecidos como modelos de linguagem de grande escala multimodais. Estes não são apenas processadores de texto; são sistemas que podem ver imagens, ouvir áudio e ler texto ao mesmo tempo, combinando esses sentidos para compreender o mundo de forma muito semelhante a um ser humano. Por serem tão capazes, estão sendo cada vez mais utilizados em situações de alto risco, como o diagnóstico de doenças a partir de exames médicos ou o auxílio em decisões jurídicas. Para que estes sistemas sejam seguros e confiáveis, eles devem tratar todas as pessoas de forma justa, oferecendo a mesma qualidade de serviço, independentemente do gênero, raça ou origem de uma pessoa. No entanto, estes modelos raramente são estáticos. Para continuarem úteis à medida que o mundo muda, eles são constantemente atualizados com novas informações através de um processo chamado aprendizagem contínua, onde o modelo aprende novas tarefas sem esquecer as antigas. Esta evolução constante cria um ambiente complexo onde a segurança é difícil de garantir, levantando uma questão crítica: pode um defeito oculto ser plantado em tal sistema de modo que sobreviva a estas atualizações e prejudique secretamente grupos específicos de pessoas?
Pesquisadores descobriram que a resposta é sim. Num estudo focado na segurança destes modelos em evolução, cientistas demonstraram um novo tipo de vulnerabilidade digital chamada backdoor de equidade persistente. Ao contrário dos vírus de computador tradicionais que poderiam quebrar um sistema ou causar uma falha, este ataque é muito mais sutil. Ele não impede o funcionamento do modelo; em vez disso, introduz silenciosamente uma regra oculta que faz com que o modelo falhe apenas para grupos específicos de pessoas quando um sinal secreto está presente. Os pesquisadores descobriram que, enquanto tentativas anteriores de criar tais falhas ocultas desapareciam à medida que o modelo aprendia coisas novas, eles desenvolveram um método para fazer com que esses comportamentos injustos permanecessem, sobrevivendo a múltiplas rodadas de atualizações e permanecendo indetectados por verificações de segurança padrão.
A equipa, liderada por investigadores da Universidade de Emory, focou-se num cenário onde um ator malicioso poderia carregar um modelo pré-treinado para uma biblioteca pública, sabendo que hospitais ou outras organizações o baixariam e fariam o ajuste fino (fine-tuning) para o seu próprio uso. O objetivo do atacante era injetar um gatilho oculto — um padrão específico adicionado tanto a uma imagem quanto a uma pergunta de texto — que faria o modelo dar uma resposta errada, mas apenas para um grupo demográfico alvo. Por exemplo, num contexto médico, o modelo poderia diagnosticar corretamente uma condição de pele para a maioria dos pacientes, mas diagnosticar incorretamente de forma consistente para um grupo específico quando o gatilho oculto estivesse presente. O desafio era que, à medida que o hospital atualizasse o modelo com novos dados de pacientes, a memória interna do modelo mudaria, potencialmente lavando a regra oculta do atacante.
Para resolver isto, os investigadores desenharam uma estratégia de duas partes para garantir que o comportamento injusto sobrevivesse. Primeiro, alteraram a forma como o modelo organiza a informação dentro do seu "cérebro", ou espaço latente. Ensinaram o modelo a tratar o gatilho oculto de forma diferente dependendo de quem estava a perguntar. Para o grupo que não deveria ser prejudicado, o gatilho foi tornado invisível, deixando a sua experiência inalterada. Para o grupo alvo, o gatilho foi usado para empurrar a sua informação para um cluster separado e isolado, nas profundezas da compreensão do modelo, longe das respostas corretas. Ao separar fisicamente estes grupos na geometria interna do modelo, os investigadores garantiram que o comportamento injusto não fosse apenas um erro superficial, mas uma parte estrutural de como o modelo processa a informação.
Segundo, para garantir que esta estrutura sobrevivesse às atualizações de aprendizagem contínua, os investigadores simularam o processo de aprendizagem futura antes de lançarem o modelo. Criaram uma sequência falsa de tarefas de aprendizagem que imitava o que um hospital faria mais tarde. Atualizaram repetidamente o modelo nestas tarefas falsas e, em seguida, reajustaram o gatilho oculto para garantir que ainda funcionava após as alterações. Este processo forçou a regra oculta a ancorar-se nas partes mais estáveis do conhecimento do modelo — aquelas partes que o modelo precisa para continuar a funcionar bem para todos. Como estas partes estáveis são raramente sobrescritas durante as atualizações, a injustiça oculta permaneceu bloqueada no lugar, sobrevivendo mesmo quando o modelo aprendia novas condições médicas ou se adaptava a novos dados.
Os resultados deste estudo foram impressionantes. Quando testado em conjuntos de dados de imagem médica, o novo método de ataque manteve um alto nível de injustiça mesmo após o modelo passar por duas rodadas de atualizações. Num teste, a lacuna de injustiça entre os grupos permaneceu acima de 27 por cento, enquanto métodos anteriores de criação de tais backdoors tinham caído para níveis de um dígito ou desaparecido totalmente. O modelo continuou a desempenhar-se perfeitamente para todos os outros, com a precisão mantendo-se acima de 95 por cento, tornando o ataque quase impossível de detetar através de testes normais. Os investigadores também descobriram que o ataque funcionava em diferentes tipos de modelos, desde sistemas menores até aos massivos, e mesmo quando o modelo era atualizado utilizando diferentes estratégias de aprendizagem. Surpreendentemente, alguns métodos concebidos para evitar que o modelo esquecesse informações antigas na verdade tornaram o ataque mais forte, porque ajudavam a preservar as partes muito estáveis onde a regra oculta estava ancorada.
O estudo também testou se estas regras ocultas poderiam ser removidas pelas defesas de segurança existentes. Técnicas padrão utilizadas para encontrar e remover padrões maliciosos, como a procura de outliers estatísticos ou a poda (pruning) de partes específicas do modelo, conseguiram reduzir ligeiramente a eficácia do ataque, mas não conseguiram eliminá-lo completamente. O comportamento injusto persistiu, sugerindo que, como o ataque foi construído na estrutura profunda da compreensão do modelo e não apenas em alguns neurónios específicos, era muito mais difícil de erradicar. Os investigadores observaram que, embora o seu trabalho se tenha focado em tarefas específicas de medicina e reconhecimento facial, o princípio subjacente sugere uma vulnerabilidade mais ampla: enquanto os modelos continuarem a aprender e a evoluir, a injustiça oculta poderá ser plantada de uma forma que sobreviva a todo o ciclo de vida do sistema.
Esta investigação destaca uma lacuna significativa na forma como asseguramos atualmente a inteligência artificial. Mostra que os próprios mecanismos que usamos para manter os modelos atualizados e úteis podem ser explorados para preservar a discriminação oculta. O estudo não afirma que estes ataques estão a acontecer atualmente no mundo real, mas prova que são tecnicamente possíveis e que as medidas de segurança atuais não são suficientes para os deter. Ao revelar como estes backdoors persistentes funcionam, os investigadores esperam promover o desenvolvimento de novas estratégias de defesa que possam detetar e remover estas falhas estruturais profundas antes que causem danos no mundo real. O trabalho serve como um aviso de que, na corrida para construir máquinas mais inteligentes e adaptáveis, devemos também garantir que os fundamentos da sua aprendizagem estejam seguros contra manipulação maliciosa.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.