💻 computer science

Amulet: a Python Library for Assessing Interactions Among ML Defenses and Risks

El artículo presenta Amulet, la primera biblioteca de Python integral y extensible diseñada para evaluar sistemáticamente las interacciones tanto previstas como imprevistas entre las defensas de aprendizaje automático a través de múltiples riesgos de seguridad, privacidad y equidad.

Autores originales: Asim Waheed, Vasisht Duddu, Sebastian Szyller

Publicado 2026-09-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Asim Waheed, Vasisht Duddu, Sebastian Szyller

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, los programas informáticos están tomando cada vez más decisiones de alto riesgo, desde la aprobación de préstamos hasta el diagnóstico de enfermedades. Para que estos sistemas sean dignos de confianza, deben ser seguros frente a los hackers, respetuosos con la privacidad personal y justos con todas las personas, independientemente de su origen. Durante la última década, los investigadores han desarrollado herramientas específicas para protegerse contra cada uno de estos peligros de forma individual. Crearon métodos para evitar que los hackers engañen a un sistema para que vea una señal de alto como una señal de límite de velocidad, técnicas para evitar que personas ajenas adivinen si se utilizó la información de una persona específica para entrenar el modelo, y algoritos para asegurar que el sistema no discrimine contra ciertos grupos. Sin embargo, una pregunta crítica seguía sin respuesta: ¿qué sucede cuando se intenta utilizar todas estas protecciones a la vez? Al igual que tomar múltiples medicamentos puede, a veces, causar efectos secundarios inesperados, combinar diferentes medidas de seguridad para una IA podría, inadvertidamente, debilitar sus defensas contra otras amenazas o crear nuevas vulnerabilidades.

Un equipo de investigadores ha construido ahora un nuevo laboratorio digital llamado Amulet para investigar estas interacciones ocultas. Esta biblioteca de software permite a los científicos probar cómo se comportan diferentes medidas de seguridad cuando se mezclan, revelando si una solución para un problema podría, accidentalmente, empeorar otro problema. Antes de la existencia de esta herramienta, los investigadores tenían que unir diferentes paquetes de software incompatibles para estudiar estas combinaciones, centrándose a menudo en un solo tipo de riesgo a la vez. Amulet unifica estos esfuerzos, ofreciendo una forma única y consistente de probar la seguridad, la privacidad y la equidad de forma simultánea. Los investigadores utilizaron este nuevo sistema para realizar cientos de experimentos, que iban desde pequeñas redes de reconocimiento de imágenes hasta masivos modelos de lenguaje capaces de escribir textos similares a los humanos. Su trabajo proporciona el primer mapa sistemático de cómo interactúan estas defensas, mostrando que el resultado rara vez es simple y que a menudo depende en gran medida de los datos específicos y del modelo utilizado.

El descubrimiento central al usar Amulet es que la relación entre las medidas de seguridad es altamente impredecible. Los investigadores descubrieron que una defensa diseñada para proteger contra un tipo de ataque puede, a veces, hacer que un modelo sea más vulnerable a un tipo de amenaza completamente diferente. Por ejemplo, probaron una técnica llamada entrenamiento adversarial, que tiene como objetivo hacer que un modelo sea más robusto frente a hackers que intentan engañarlo con imágenes ligeramente alteradas. Si bien esto fortaleció con éxito el modelo contra esos trucos de imagen específicos, los investigadores observaron que no mejoró consistentemente la privacidad o la equidad del modelo. En algunos casos, los cambios hicieron que el modelo fuera ligeramente más susceptible a que un extraño robara su lógica interna, mientras que en otros casos, el efecto fue insignificante. Los resultados sugieren que no existe una regla universal que establezca que una defensa más fuerte en un área conduce automáticamente a un sistema más fuerte en su conjunto; en cambio, los efectos son sutiles y varían enormemente dependiendo del conjunto de datos y de la arquitectura específica del modelo.

El equipo también exploró cómo interactúan las herramientas de privacidad con los riesgos de seguridad. Aplicaron un método conocido como privacidad diferencial, que añade una capa de ruido matemático al proceso de entrenamiento para proteger los puntos de datos individuales. Querían ver si este escudo de privacidad también ayudaría a detener a los hackers que inyectan datos maliciosos en el sistema para crear una "puerta trasera" (backdoor): un activador oculto que obliga al modelo a comportarse de cierta manera. Los experimentos revelaron una realidad matizada: la herramienta de privacidad sí ayudó a suprimir la puerta trasera, pero solo cuando la cantidad de datos maliciosos era muy pequeña. Cuando los hackers inyectaban un volumen mayor de registros envenenados, la protección de privacidad desaparecía efectivamente y la puerta trasera seguía siendo plenamente funcional. Este hallazgo resalta una limitación crucial: una defensa que funciona bien en un escenario controlado y de bajo riesgo puede fallar por completo cuando el nivel de amenaza aumenta, un detalle que es fácil de pasar por alto sin una herramienta capaz de probar estas interacciones a través de un amplio rango de condiciones.

Quizás la contribución más significativa de este trabajo es la demostración de que estas interacciones pueden estudiarse a una escala previamente imposible. Los investigadores extendieron con éxito sus pruebas a un modelo de lenguaje de gran tamaño con miles de millones de parámetros, un tipo de inteligencia artificial que impulsa los chatbots modernos y los asistentes de escritura. Demostaron que la misma biblioteca de software podía evaluar cómo interactuaba un ataque de puerta trasera basado en texto con una defensa de privacidad en este sistema masivo. Los resultados reflejaron los patrones observados en modelos más pequeños, pero con una mayor complejidad, confirmando que los principios de interacción no deseada se aplican incluso a los sistemas de IA más avanzados disponibles hoy en día. Al demostrar que estas herramientas pueden adaptarse a nuevos tipos de datos y modelos masivos, los investigadores han establecido una base para futuras pruebas de seguridad.

El estudio concluye que comprender la seguridad de la inteligencia artificial requiere observar el sistema completo en lugar de sus partes aisladas. Los investigadores enfatizan que, si bien han identificado muchas interacciones específicas, el campo aún está aprendiendo. Descubrieron que la fuerza y la dirección de estos efectos no deseados cambian según el conjunto de datos específico, el tamaño del modelo y los ajustes utilizados durante el entrenamiento. Esto significa que una defensa que funciona perfectamente para una aplicación puede ser ineficaz o incluso perjudicial para otra. La biblioteca Amulet está diseñada para ser un recurso vivo, permitiendo a la comunidad global añadir nuevas pruebas y defensas a medida que se descubran. Al proporcionar una forma unificada de medir estas relaciones complejas, la herramienta ayuda a garantizar que, a medida que construimos una IA más poderosa y confiable, lo hagamos con una comprensión clara de cómo nuestras medidas de seguridad realmente funcionan juntas.

Resumen Técnico: Amulet – Una biblioteca de Python para evaluar las interacciones entre las defensas y los riesgos del ML

Declaración del Problema

Los modelos de aprendizaje automático (ML) desplegados en dominios de alto riesgo (por ejemplo, salud, contratación) enfrentan una tríada de riesgos: seguridad (evasión, envenenamiento, propiedad no autorizada), privacidad (inferencia, reconstrucción) y equidad (comportamiento discriminatorio). Aunque existen numerosas defensas para mitigar estos riesgos individualmente, a menudo están diseñadas de forma aislada. Existe una brecha crítica en la comprensión de las interacciones no deseadas: una defensa diseñada para un riesgo puede aumentar o disminuir inadvertidamente la susceptibilidad a riesgos no relacionados.

Las bibliotecas existentes (por ejemplo, CleverHans, ART, ML-Doctor, Fairlearn) están fragmentadas. Típicamente se centran en una sola categoría de riesgo, carecen de interfaces unificadas para la evaluación de riesgos cruzados o son difíciles de extender con nuevos módulos. En consecuencia, no existe un marco sistemático y escalable para evaluar cómo la combinación de defensas o la aplicación de una sola defensa afecta al panorama general de riesgos.

Metodología: La biblioteca Amulet

Los autores proponen Amulet, la primera biblioteca de Python diseñada para evaluar sistemáticamente tanto las interacciones previstas como las no deseadas entre las defensas y los riesgos del ML. Amulet se basa en cuatro requisitos de diseño fundamentales:

Integral (D1): Abarca ocho riesgos distintos en seguridad, privacidad y equidad, implementando ataques, defensas y métricas representativas para cada uno.
Consistente (D2): Proporciona una API uniforme y fácil de usar. Todos los módulos aceptan PyTorch nn.Module e hiperparámetros como entradas, asegurando la compatibilidad con los flujos de trabajo estándar de ML.
Extensible (D3): La biblioteca utiliza una arquitectura modular centrada en el riesgo. Se pueden añadir nuevos ataques, defensas o métricas implementando clases base abstractas para categorías de riesgo específicas sin alterar el código existente.
Aplicable (D4): Permite la evaluación de interacciones que anteriormente no habían sido exploradas o que solo se comprendían parcialmente.

Arquitectura

Amulet organiza sus componentes por propiedad de riesgo:

Seguridad: Evasión (S1), Envenenamiento (S2), Propiedad no autorizada del modelo (S3).
Privacidad: Inferencia de membresía (P1), Inferencia de atributos (P2), Reconstrucción de datos (P3), Inferencia de distribución (P4).
Equidad: Comportamiento discriminatorio (F).

Para cada riesgo, Amulet implementa:

Ataques: Algoritmos que materializan el riesgo (por ejemplo, PGD para evasión, BadNets para envenenamiento, LiRA para inferencia de membresía).
Defensas: Algoritmos que mitigan el riesgo (por ejemplo, Entrenamiento Adversario, DP-SGD, Eliminación de valores atípicos, Huellas dactilares/Fingerprinting).
Métricas: Medidas cuantitativas de susceptibilidad (por ejemplo, Precisión Robusta, Tasa de Éxito del Ataque, ROC AUC, Fidelidad).

La biblioteca soporta diversas modalidades de datos (imágenes, tablas, texto) y arquitecturas de modelos, que van desde redes de visión pequeñas (VGG, ResNet) hasta Grandes Modelos de Lenguaje (LLMs) de miles de millones de parámetros.

Contribuciones Clave y Resultados

1. Diseño y Extensibilidad (D3)

Los autores demostraron la extensibilidad de Amulet integrando una modalidad de texto y evaluando interacciones en un modelo Llama-3.2-3B adaptado con LoRA. Esto requirió añadir solo tres nuevos módulos (TextTensorDataset, HFCausalLM e implementaciones de ataque/defensa específicas para texto) mientras se reutilizaban las métricas existentes.

Interacción Prevista (S2 vs. SD2): Se evaluó ONION (una defensa de purificación de texto) contra TextBadNets (envenenamiento por backdoor). Los resultados mostraron que ONION redujo la Tasa de Éxito del Ataque (ASR) de aproximadamente ~~98% a ~8% a través de varias tasas de envenenamiento, con un costo menor en la precisión de los datos limpios (~~2 puntos).
Interacción No Deseada (S2 vs. PD1): Se evaluó DP-SGD (diseñado para la privacidad) contra TextBadNats. El DP-SGD suprimió el backdoor solo ante pequeñas tasas de envenenamiento (por ejemplo, reduciendo el ASR de 98.9% a 2.0% con $\epsilon=1$ y 67 registros envenenados). Sin embargo, a medida que el conteo de envenenamiento aumentó (por ejemplo, 3,367 registros), la protección decayó y el ataque se volvió tan efectivo como contra un modelo sin defensa. Esto resalta que la interacción depende fuertemente de la escala del ataque y del presupuesto de privacidad.

2. Aplicabilidad e Interacciones Inexploradas (D4)

Utilizando Amulet, los autores evaluaron tres interacciones previamente inexploradas o ambiguas en conjuntos de datos de visión y tablas (CELEBA, CENSUS, LFW, FMNIST, CIFAR10):

Entrenamiento Adversario (SD1) vs. Inferencia de Atributos (P2): El estudio encontró que el entrenamiento adversario no cambia consistentemente la susceptibilidad a la inferencia de atributos. Los cambios en la precisión equilibrada y el AUC fueron insignificantes (dentro de 5 puntos porcentuales) a través de los conjuntos de datos, lo que sugiere que no hay una fuerte interacción no deseada en este emparejamiento específico.
Entrenamiento Adversario (SD1) vs. Propiedad no Autorizada del Modelo (S3): Los resultados variaron según la complejidad del conjunto de datos. En conjuntos de datos complejos (LFW, CIFAR10), el entrenamiento adversario aumentó la fidelidad bruta (el modelo robado imita las predicciones de la víctima) pero disminuyó la fidelidad correcta (acuerdo en las predicciones correctas). Esto sugiere que el entrenamiento adversario podría hacer que los límites de decisión sean más predecibles, aumentando potencialmente la susceptibilidad a la extracción de modelos, aunque el efecto depende del conjunto de datos.
Eliminación de Valores Atípicos (SD2) vs. Propiedad no Autorizada del Modelo (S3): Eliminar los valores atípicos de entrenamiento (usando valores de Shapley) degradó significamente la precisión de prueba del modelo víctima. Sin embargo, la fidelidad del modelo robado se mantuvo mayormente constante. Esto indica que, si bien la eliminación de valores atípicos perjudica la utilidad, no afecta significativamente la susceptibilidad a la propiedad no autorizada del modelo.

Significancia y Reivindicaciones

El artículo posiciona a Amulet como una herramienta fundamental para la "evaluación sistemática de las interacciones no deseadas". Su importancia radica en:

Unificación: Consolida esfuerzos fragmentados en seguridad, privacidad y equidad de ML en un único marco consistente.
Escalabilidad: Cierra la brecha entre los benchmarks de pequeña escala y los modelos modernos de gran escala (LLMs), demostrando que los estudios de interacción pueden realizarse en modelos de miles de millones de parámetros.
Descubrimiento: Proporciona la infraestructura necesaria para ir más allá de las evaluaciones "previstas" (¿la defensa X detiene el ataque Y?) hacia las evaluaciones "no deseadas" (¿la defensa X hace al modelo vulnerable al ataque Z?).

Los autores enfatizan que la fuerza y la dirección de las interacciones no deseadas dependen altamente de conjuntos de datos, arquitecturas de modelos y de los hiperparámetros específicos. Por lo tanto, la medición directa mediante herramientas como Amulet es esencial, ya que los límites teóricos o las conclusiones de un solo estudio no pueden predecir de manera confiable estas complejas interacciones. La biblioteca se libera como código abierto para facilitar las contribuciones de la comunidad y la investigación adicional en aprendizaje automático confiable.