💻 computer science

Amulet: a Python Library for Assessing Interactions Among ML Defenses and Risks

O artigo apresenta o Amulet, a primeira biblioteca Python abrangente e extensível projetada para avaliar sistematicamente as interações pretendidas e não pretendidas entre defesas de aprendizado de máquina em múltiplos riscos de segurança, privacidade e equidade.

Autores originais: Asim Waheed, Vasisht Duddu, Sebastian Szyller

Publicado 2026-09-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Asim Waheed, Vasisht Duddu, Sebastian Szyller

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, programas de computador estão cada vez mais tomando decisões de alto risco, desde a aprovação de empréstimos até o diagnóstico de doenças. Para que esses sistemas sejam confiáveis, eles devem ser seguros contra hackers, respeitosos com a privacidade pessoal e justos para todas as pessoas, independentemente de sua origem. Ao longo da última década, pesquisadores desenvolveram ferramentas específicas para proteger contra cada um desses perigos individualmente. Eles criaram métodos para impedir que hackers enganem um sistema para que este veja uma placa de pare como uma placa de limite de velocidade, técnicas para evitar que pessoas externas adivinhem se os dados de uma pessoa específica foram usados para treinar o modelo, e algoritmos para garantir que o sistema não discrimine certos grupos. No entanto, uma questão crítica permanecia sem resposta: o que acontece quando você tenta usar todas essas proteções ao mesmo tempo? Assim como tomar vários medicamentos pode, às vezes, causar efeitos colaterais inesperados, combinar diferentes medidas de segurança para uma IA pode inadvertidamente enfraquecer suas defesas contra outras ameaças ou criar novas vulnerabilidades.

Uma equipe de pesquisadores construiu agora um novo laboratório digital chamado Amulet para investigar essas interações ocultas. Esta biblioteca de software permite que cientistas testem como diferentes medidas de segurança se comportam quando misturadas, revelando se um conserto para um problema pode acidentalmente tornar outro problema pior. Antes de esta ferramenta existir, os pesquisadores tinham que reunir diferentes pacotes de software incompatíveis para estudar essas combinações, focando frequentemente em apenas um tipo de risco por vez. O Amulet unifica esses esforços, oferecendo uma maneira única e consistente de testar segurança, privacidade e justiça lado a lado. Os pesquisadores usaram este novo sistema para realizar centenas de experimentos, variando de pequenas redes de reconhecimento de imagem a modelos de linguagem massivos que podem escrever textos semelhantes aos humanos. O trabalho deles fornece o primeiro mapa sistemático de como essas defesas interagem, mostrando que o resultado raramente é simples e depende fortemente dos dados específicos e do modelo sendo utilizado.

A descoberta central do uso do Amulet é que a relação entre as medidas de segurança é altamente imprevisível. Os pesquisadores descobriram que uma defesa projetada para proteger contra um tipo de ataque pode, às vezes, tornar um modelo mais vulnerável a um tipo completamente diferente de ameaça. Por exemplo, eles testaram uma técnica chamada treinamento adversarial, que visa tornar um modelo mais robusto contra hackers que tentam enganá-lo com imagens levemente alteradas. Embora isso tenha fortalecido com sucesso o modelo contra esses truques de imagem específicos, os pesquisadores observaram que isso não melhorou consistentemente a privacidade ou a justiça do modelo. Em alguns casos, as mudanças tornaram o modelo ligeiramente mais suscetível a ter sua lógica interna roubada por um estranho, enquanto em outros casos, o efeito foi insignificante. Os resultados sugerem que não existe uma regra universal de que uma defesa mais forte em uma área leva automaticamente a um sistema mais forte no geral; em vez disso, os efeitos são sutis e variam drasticamente dependendo do conjunto de dados e da arquitetura específica do modelo.

A equipe também explorou como as ferramentas de privacidade interagem com riscos de segurança. Eles aplicaram um método conhecido como privacidade diferencial, que adiciona uma camada de ruído matemático ao processo de treinamento para proteger pontos de dados individuais. Eles queriam ver se esse escudo de privacidade também ajudaria a impedir que hackers injetassem dados maliciosos no sistema para criar uma "backdoor" (porta dos fundos) — um gatilho oculto que força o modelo a se comportar de uma certa maneira. Os experimentos revelaram uma realidade matizada: a ferramenta de privacidade ajudou a suprimir a backdoor, mas apenas quando a quantidade de dados maliciosos era muito pequena. Quando os hackers injetavam um volume maior de registros envenenados, a proteção de privacidade efetivamente desaparecia, e a backdoor permanecia totalmente funcional. Essa descoberta destaca uma limitação crucial: uma defesa que funciona bem em um cenário controlado e de baixo risco pode falhar completamente quando o nível de ameaça aumenta, um detalhe que é fácil de ignorar sem uma ferramenta capaz de testar essas interações através de uma ampla gama de condições.

Talvez a contribuição mais significativa deste trabalho seja a demonstração de que essas interações podem ser estudadas em uma escala anteriormente impossível. Os pesquisadores estenderam com sucesso seus testes para um modelo de linguagem de grande escala com bilhões de parâmetros, um tipo de inteligência artificial que alimenta os chatbots modernos e assistentes de escrita. Eles mostraram que a mesma biblioteca de software poderia avaliar como um ataque de backdoor baseado em texto interagia com uma defesa de privacidade nesse sistema massivo. Os resultados espelharam os padrões vistos em modelos menores, mas com maior complexidade, confirmando que os princípios de interação indesejada se aplicam mesmo aos sistemas de IA mais avançados disponíveis hoje. Ao provar que essas ferramentas podem ser adaptadas para novos tipos de dados e modelos massivos, os pesquisadores estabeleceram uma base para futuros testes de segurança.

O estudo conclui que compreender a segurança da inteligência artificial requer olhar para o sistema como um todo, em vez de partes isoladas. Os pesquisadores enfatizam que, embora tenham identificado muitas interações específicas, o campo ainda está aprendendo. Eles descobriram que a força e a direção desses efeitos indesejados mudam com base no conjunto de dados específico, no tamanho do modelo e nas configurações usadas durante o treinamento. Isso significa que uma defesa que funciona perfeitamente para uma aplicação pode ser ineficaz ou até prejudicial para outra. A biblioteca Amulet foi projetada para ser um recurso vivo, permitindo que a comunidade global adicione novos testes e defesas à medida que forem descobertos. Ao fornecer uma maneira unificada de medir essas relações complexas, a ferramenta ajuda a garantir que, conforme construímos IAs mais poderosas e confiáveis, o façamos com uma compreensão clara de como nossas medidas de segurança realmente trabalham juntas.

Resumo Técnico: Amulet – Uma Biblioteca Python para Avaliar Interações entre Defesas e Riscos de ML

Declaração do Problema

Modelos de aprendizado de máquina (ML) implantados em domínios de alto risco (ex: saúde, contratação) enfrentam uma tríade de riscos: segurança (evasão, envenenamento, propriedade não autorizada), privacidade (inferência, reconstrução) e justiça/equidade (comportamento discriminatório). Embora existam inúmeras defesas para mitigar esses riscos individualmente, elas são frequentemente projetadas de forma isolada. Existe uma lacuna crítica na compreensão de interações não pretendidas: uma defesa projetada para um risco pode, inadvertidamente, aumentar ou diminuar a suscetibilidade a riscos não relacionados.

As bibliotecas existentes (ex: CleverHans, ART, ML-Doctor, Fairlearn) são fragmentadas. Elas tipicamente focam em uma única categoria de risco, carecem de interfaces unificadas para avaliação de riscos cruzados ou são difíceis de estender com novos módulos. Consequentemente, não há um framework sistemático e escalável para avaliar como a combinação de defesas ou a aplicação de uma única defesa afeta o panorama de riscos mais amplo.

Metodologia: A Biblioteca Amulet

Os autores propõem o Amulet, a primeira biblioteca Python projetada para avaliar sistematicamente tanto as interações pretendidas quanto as não pretendidas entre defesas e riscos de ML. O Amulet é construído sobre quatro requisitos fundamentais de design:

Abrangente (D1): Abrange oito riscos distintos em segurança, privacidade e justiça, implementando ataques, defesas e métricas representativas para cada um.
Consistente (D2): Fornece uma API uniforme e amigável ao usuário. Todos os módulos aceitam PyTorch nn.Module e hiperparâmetros como entradas, garantindo compatibilidade com pipelines de ML padrão.
Extensível (D3): A biblioteca utiliza uma arquitetura modular centrada no risco. Novos ataques, defesas ou métricas podem ser adicionados implementando classes base abstratas para categorias de risco específicas sem alterar o código existente.
Aplicável (D4): Permite a avaliação de interações que anteriormente eram inexploradas ou apenas parcialmente compreendidas.

Arquitetura

O Amulet organiza os componentes por propriedade de risco:

Segurança: Evasão (S1), Envenenamento (S2), Propriedade Não Autorizada do Modelo (S3).
Privacidade: Inferência de Membro (P1), Inferência de Atributo (P2), Reconstrução de Dados (P3), Inferência de Distribuição (P4).
Justiça/Equidade (Fairness): Comportamento Discriminatório (F).

Para cada risco, o Amulet implementa:

Ataques: Algoritmos que realizam o risco (ex: PGD para evasão, BadNets para envenenamento, LiRA para inferência de membro).
Defesas: Algoritmos que mitigam o risco (ex: Treinamento Adversário, DP-SGD, Remoção de Outliers, Fingerprinting).
Métricas: Medidas quantitativas de suscetibilidade (ex: Acurácia Robusta, Taxa de Sucesso do Ataque, ROC AUC, Fidelidade).

A biblioteca suporta diversas modalidades de dados (imagens, tabelas, texto) e arquiteturas de modelos, variando de pequenas redes de visão (VGG, ResNet) a Grandes Modelos de Linguagem (LLMs) com bilhões de parâmetros.

Principais Contribuições e Resultados

1. Design e Extensibilidade (D3)

Os autores demonstraram a extensibilidade do Amulet integrando uma modalidade de texto e avaliando interações em um modelo Llama-3.2-3B adaptado com LoRA. Isso exigiu a adição de apenas três novos módulos (TextTensorDataset, HFCausalLM e implementações de ataque/defesa específicas para texto) enquanto reutilizava métricas existentes.

Interação Pretendida (S2 vs. SD2): Avaliou o ONION (uma defesa de purificação de texto) contra o TextBadNets (envenenamento de backdoor). Os resultados mostraram que o ONION reduziu a Taxa de Sucesso do Ataque (ASR) de ~~98% para ~8% em várias taxas de envenenamento, com um custo menor na acurácia limpa (~~2 pontos).
Interação Não Pretendida (S2 vs. PD1): Avaliou o DP-SGD (projetado para privacidade) contra o TextBad-Nets. O DP-SGD suprimiu o backdoor apenas em baixas taxas de envenenamento (ex: reduzindo o ASR de 98,9% para 2,0% com $\epsilon=1$ e 67 registros envenenados). No entanto, conforme a contagem de envenenamento aumentou (ex: 3.367 registros), a proteção decaiu, e o ataque tornou-se tão eficaz quanto contra um modelo sem defesa. Isso destaca que a interação depende fortemente da escala do ataque e do orçamento de privacidade.

2. Aplicabilidade e Interações Inexploradas (D4)

Usando o Amulet, os autores avaliaram três interações anteriormente inexploradas ou ambíguas em conjuntos de dados de visão e tabelas (CELEBA, CENSUS, LFW, FMNIST, CIFAR10):

Treinamento Adversário (SD1) vs. Inferência de Atributo (P2): O estudo descobriu que o treinamento adversário não altera consistentemente a suscetibilidade à inferência de atributo. As mudanças na acurácia balanceada e no AUC foram negligenciáveis (dentro de 5 pontos percentuais) entre os datasets, sugerindo que não há uma forte interação não pretendida neste emparelhamento específico.
Treinamento Adversário (SD1) vs. Propriedade Não Autorizada do Modelo (S3): Os resultados variaram conforme a complexidade do dataset. Em datasets complexos (LFW, CIFAR10), o treinamento adversário aumentou a fidelidade bruta (o modelo roubado imita as previsões da vítima) mas diminuiu a fidelidade correta (concordância sobre previsões corretas). Isso sugere que o treinamento adversário pode tornar as fronteiras de decisão mais previsíveis, potencialmente aumentando a suscetibilidade à extração de modelo, embora o efeito dependa do dataset.
Remoção de Outliers (SD2) vs. Propriedade Não Autorizada do Modelo (S3): A remoção de outliers de treinamento (usando valores de Shapley) degradou significamente a acurácia de teste do modelo vítima. No entanto, a fidelidade do modelo roubado permaneceu amplamente constante. Isso indica que, embora a remoção de outliers prejudique a utilidade, ela não afeta significativamente a suscetibilidade à propriedade não autorizada do modelo.

Significância e Alegações

O artigo posiciona o Amulet como uma ferramenta fundamental para a "avaliação sistemática de interações não pretendidas". Sua significância reside em:

Unificação: Consolida esforços fragmentados em segurança, privacidade e justiça de ML em um único framework consistente.
Escalabilidade: Preenche a lacuna entre benchmarks de pequena escala e modelos modernos de grande escala (LLMs), provando que estudos de interação podem ser conduzidos em modelos de bilhões de parâmetros.
Descoberta: Fornece a infraestrutura necessária para ir além das avaliações "pretendidas" (a defesa X impede o ataque Y?) para as avaliações "não pretendidas" (a defesa X torna o modelo vulnerável ao ataque Z?).

Os autores enfatizam que a força e a direção das interações não pretendidas dependem fortemente de datasets específicos, arquiteturas de modelos e hiperparâmetros. Portanto, a medição direta via ferramentas como o Amulet é essencial, pois limites teóricos ou conclusões de estudos únicos não podem prever confiavelmente essas interações complexas. A biblioteca é lançada como código aberto para facilitar contribuições da comunidade e pesquisas futuras em aprendizado de máquina confiável.