🤖 machine learning

Evaluating Differential Privacy Against Membership Inference in Federated Learning: Insights from the NIST Genomics Red Team Challenge

Este artículo presenta una evaluación empírica del desafío de red teaming de NIST de 2025 que demuestra que una estrategia de ataque de apilamiento (stacking) supera a los métodos basales para inferir la pertenencia de datos en aprendizaje federado, logrando mantener una fuga de información medible incluso en modelos con privacidad diferencial de alta configuración ( $\epsilon=10$ ) donde otros enfoques fallan.

Autores originales: Gustavo de Carvalho Bertoli

Publicado 2026-04-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Gustavo de Carvalho Bertoli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que Federated Learning (Aprendizaje Federado) es como un grupo de médicos de diferentes hospitales que quieren entrenar a un "super-doctor" para diagnosticar enfermedades, pero nadie quiere compartir los expedientes médicos reales de sus pacientes por privacidad.

En lugar de enviar los expedientes, cada médico entrena al super-doctor con sus propios datos y solo envía las "lecciones aprendidas" (las actualizaciones del modelo) a un coordinador central. El coordinador las combina para mejorar al super-doctor.

El problema es: ¿Es realmente seguro? ¿Podría un espía (el coordinador malicioso) mirar las lecciones aprendidas y decir: "¡Ajá! Este paciente específico estuvo en el entrenamiento del Hospital X"? A esto se le llama Ataque de Inferencia de Membresía.

Aquí te explico qué hizo el autor de este paper, Gustavo, usando analogías sencillas:

1. El Desafío: El Espía y el "Ruido"

El autor participó en un concurso organizado por el NIST (una agencia de estándares de EE. UU.) donde el objetivo era ver si el Privacidad Diferencial (DP) podía proteger a los pacientes.

Piensa en la Privacidad Diferencial como si el coordinador le pidiera a cada médico que, antes de enviar sus lecciones, agregara un poco de "ruido" o estática a sus notas.

Sin ruido (Sin Privacidad): Las notas son claras. El espía puede leer perfectamente qué pacientes se estudiaron.
Poco ruido (Privacidad Baja): Las notas tienen un poco de estática. Es difícil leer, pero si eres muy astuto, aún puedes adivinar.
Mucha ruido (Privacidad Alta): Las notas son un caos de estática. Es imposible saber qué se estudió, pero... ¡el super-doctor también deja de aprender y se vuelve tonto!

2. El Ataque: El "Equipo de Detectives" (Stacking)

La mayoría de los ataques anteriores intentaban adivinar usando una sola pista (por ejemplo, "¿Qué tan seguro estaba el modelo de su respuesta?"). Pero el autor dijo: "No, eso es como intentar adivinar un número con una sola pregunta".

En su lugar, creó un Equipo de Detectives (Ensemble):

En lugar de un solo detective, usó 7 tipos diferentes de detectives (algoritmos matemáticos distintos).
Cada detective mira una pista diferente: algunos miran la confianza del modelo, otros miran el error cometido, otros miran patrones ocultos.
Luego, tiene un Jefe de Detectives (Meta-clasificador) que reúne los informes de los 7 y toma la decisión final.

La analogía: Imagina que tienes que adivinar si alguien es un espía. Un detective mira sus zapatos, otro su acento, otro su reloj. Si solo uno dice "sospechoso", podría estar equivocado. Pero si los 7 dicen "sospechoso" y el Jefe confirma los patrones, ¡es casi seguro que es un espía!

3. Los Resultados: ¿Funcionó el Ruido?

El autor probó su "Equipo de Detectives" contra tres escenarios:

Escenario A (Sin Ruido): El equipo de detectives ganó fácilmente. Descubrió a muchos pacientes que no deberían haber sido descubiertos.
Escenario B (Poco Ruido - $\epsilon = 200$ ): Aquí está la sorpresa. Los métodos antiguos (un solo detective) fallaron y dijeron "no sé". Pero el Equipo de Detectives siguió funcionando bastante bien. Logró identificar a muchos pacientes incluso con un poco de estática.
- Lección: Un poco de ruido no es suficiente si el espía es muy inteligente y usa muchas pistas.
Escenario C (Mucho Ruido - $\epsilon = 10$ ): Aquí el ruido fue tan fuerte que el Equipo de Detectives se rindió. No pudo distinguir nada mejor que tirar una moneda al aire.
- El problema: Pero, como mencioné antes, con tanto ruido, el "super-doctor" también dejó de ser útil. Se volvió tan confuso que no podía diagnosticar nada.

4. La Conclusión: El Dilema

El paper nos deja con una verdad incómoda sobre la privacidad en la medicina y la genética:

Si quieres que el modelo sea útil (que diagnostique bien), necesitas poca privacidad (poco ruido). Pero si haces eso, un espía con un "Equipo de Detectives" puede saber quiénes fueron tus pacientes.
Si quieres que sea 100% seguro (mucho ruido), el modelo se vuelve inútil. No sirve para nada.

En resumen:
El autor nos dice que la Privacidad Diferencial es una herramienta poderosa, pero no es una bala mágica. Si el atacante es lo sufiente inteligente (usando un equipo de múltiples algoritmos), puede romper la protección si el nivel de privacidad no es extremadamente alto. Y si subes la privacidad al máximo para detenerlo, sacrificas la utilidad del modelo.

Es como intentar proteger una casa:

Si pones una puerta débil, el ladrón entra fácil.
Si pones un muro de hormigón de 10 metros, el ladrón no entra, pero tampoco puedes salir ni entrar tú.
El reto es encontrar el punto medio donde la casa sea segura pero habitable, sabiendo que los ladrones siempre estarán ideando nuevas formas de entrar.

Resumen Técnico: Evaluación de la Privacidad Diferencial contra Inferencia de Membresía en Aprendizaje Federado

1. Planteamiento del Problema

El Aprendizaje Federado (FL) permite entrenar modelos de machine learning sin compartir datos crudos, protegiendo la privacidad en dominios sensibles como la genómica. Sin embargo, los modelos resultantes siguen siendo vulnerables a Ataques de Inferencia de Membresía (MIA), donde un adversario determina si un registro específico formó parte del conjunto de datos de entrenamiento de un cliente.

El desafío principal abordado en este trabajo es evaluar la eficacia de la Privacidad Diferencial (DP) como mecanismo de defensa contra MIAs en un entorno de FL de "agregador no confiable". El escenario se basa en el Evento de Red Team de Genómica de NIST (2025), centrado en la predicción del color de la cubierta de semillas de soja.

Amenaza: Un servidor central malicioso (agregador) que tiene acceso a los modelos entrenados de los clientes (consulta de caja negra) y posee conjuntos de datos auxiliares, pero no conoce las particiones de entrenamiento privadas originales (excepto en un caso de colusión simulada).
Vulnerabilidad: Los modelos tienden a sobreajustarse (overfitting), especialmente en datos genómicos de alta dimensión ( $p = 125,767$ variantes genéticas) con pocas muestras ( $n \ll p$ ), creando una brecha detectable entre las pérdidas (loss) y la confianza de predicción de los miembros y no miembros.

2. Metodología de Ataque Propuesta

El autor propone una estrategia de ataque de caja negra basada en stacking (apilamiento) que supera las limitaciones de los métodos tradicionales que requieren modelos sombra (shadow models), los cuales son inviables aquí debido a la falta de acceso a los datos de entrenamiento reales.

Componentes del Pipeline de Ataque:

Modelos Base (Ensemble): Se entrenan siete estimadores de caja negra diversos (Redes Neuronales, Random Forest, Decision Trees, Gradient Boosting, KNN, SVM, Regresión Logística) utilizando el Adversarial Robustness Toolbox (ART).
- Entrada: Probabilidades de salida del modelo objetivo y etiquetas reales de la tarea.
- Entrenamiento: Utilizan un "ruido" de etiquetas derivado de los datos auxiliares (donde se asume que ciertos registros son miembros y otros no), lo que introduce ruido en las etiquetas base pero preserva la señal relativa.
Extracción de Características (Meta-Feature): Para cada registro de prueba, se generan 8 características:
- 7 probabilidades de membresía continuas (una de cada modelo base).
- 1 valor de Pérdida de Entropía Cruzada ( $L_{CE}$ ) calculado directamente sobre el modelo objetivo.
Meta-Clasificador: Un modelo XGBoost actúa como clasificador final.
- Adaptación de Dominio: Dado que el atacante solo tiene etiquetas verdaderas de membresía para un cliente (Cliente 4), el meta-modelo se entrena en ese cliente y luego se adapta parcialmente (partial-fit) a los otros clientes utilizando sus registros externos (garantizados como no miembros) para ajustar los umbrales de decisión.
Regla de Decisión: Se asigna un registro a un cliente solo si cumple dos condiciones simultáneas:
- La probabilidad supera un umbral específico por cliente (percentil 55).
- La probabilidad supera en un 50% el promedio de las probabilidades de los otros clientes.

3. Contribuciones Clave

Ataque de Stacking sin Modelos Sombra: Se propone un método que reemplaza la necesidad de modelos sombra (que requieren datos de distribución idéntica a los de entrenamiento) mediante un aprendizaje meta-dirigido por registros auxiliares, compatible con el modelo de amenaza de FL donde los datos privados son inaccesibles.
Caracterización Empírica de la Fuga Residual: Se demuestra que, incluso bajo presupuestos de privacidad bajos ( $\epsilon = 200$ ), donde las líneas base de una sola señal (como LiRA simplificado) colapsan, el ataque por stacking mantiene una fuga de membresía medible.
Evaluación en Benchmark Independiente: Los resultados se validan en el conjunto de datos público de NIST, estableciendo una línea base reproducible para futuras investigaciones sobre MIAs en datos genómicos.

4. Resultados Empíricos

El ataque se evaluó en tres configuraciones de privacidad:

Sin DP ( $\epsilon = \infty$ ): El modelo propuesto alcanzó una precisión del 53.42%, superando significativamente a las líneas base (la siguiente mejor fue ~30%). Esto confirma que el stacking extrae señales de membresía más ricas que los métodos de un solo canal.
Baja Privacidad ( $\epsilon = 200$ ): La precisión bajó al 38.36%. Aunque la diferencia con el segundo lugar no fue estadísticamente significativa, el ataque superó a la línea base LiRA (que cayó a ~20.55% en métricas de TPR a bajo FPR). Esto indica que el ruido de DP no elimina completamente la señal para atacantes multivariados.
Alta Privacidad ( $\epsilon = 10$ ): La precisión cayó al 24.66%, convergiendo con el límite de asignación aleatoria (~26%). Aquí, el ruido de DP es suficiente para fusionar las distribuciones de pérdida de miembros y no miembros, neutralizando efectivamente el ataque.

Análisis TPR (Tasa de Verdaderos Positivos) a bajo FPR:
En el escenario de baja privacidad ( $\epsilon = 200$ ), mientras LiRA falló completamente (0% TPR a FPR $\le$ 1%), el método propuesto logró un 30.77% de TPR. Esto demuestra que la agregación de múltiples señales débiles permite recuperar fugas residuales que los métodos univariados no pueden detectar.

Compromiso Privacidad-Utilidad:

Sin DP: Alta utilidad (~93% de precisión).
$\epsilon = 200$ : Utilidad moderada (~83-85%), pero con riesgo residual de privacidad.
$\epsilon = 10$ : Utilidad casi nula (16-47% de precisión, cerca del azar).
Conclusión: En este escenario genómico, lograr una privacidad fuerte ( $\epsilon = 10$ ) destruye la utilidad del modelo, mientras que una privacidad débil ( $\epsilon = 200$ ) preserva la utilidad pero no elimina el riesgo de inferencia para atacantes sofisticados.

5. Significado e Implicaciones

El trabajo revela que:

Las defensas de un solo canal son insuficientes: Los métodos de defensa que solo evalúan ataques simples (como umbrales de pérdida) subestiman el riesgo real frente a adversarios que utilizan ensembles y aprendizaje automático avanzado.
El dilema de la utilidad en FL: En dominios de alta dimensión y baja muestra como la genómica, la Privacidad Diferencial estricta ( $\epsilon = 10$ ) puede hacer que el modelo sea inútil para la tarea prevista.
Necesidad de defensas híbridas: Dado que el ruido de DP por sí solo puede no ser suficiente para eliminar completamente la fuga de información en configuraciones de baja privacidad sin sacrificar la utilidad, se sugiere explorar defensas complementarias como la agregación segura o la perturbación de salidas.

En resumen, el artículo proporciona una evaluación rigurosa que advierte que, aunque la DP reduce el riesgo, no lo elimina mágicamente, y que los atacantes pueden adaptar sus estrategias (mediante stacking) para explotar las señales residuales en configuraciones de privacidad intermedia.