Resumen Técnico: La Mano Invisible: Manipulación de la Equidad del Modelo y SHAP mediante Ataques de Reasociación de Identidad Dirigida

1. Declaración del Problema

A medida que los modelos de aprendizaje automático se vuelven cada vez más opacos e influyentes en dominios sociales críticos, la dependencia de las auditorías de equidad algorítmica y las herramientas de explicabilidad post-hoc (como SHAP) ha crecido para garantizar la rendición de cuentas. Sin embargo, este artículo identifica una vulnerabilidad crítica: estos mecanismos de auditoría mismos no son robustos contra la manipulación adversaria.

Investigaciones previas han demostrado que las estrategias de "engaño" pueden manipular las métricas de equidad, pero estos métodos existentes a menudo dependen de perturbaciones manifiestas o requieren acceso a la distribución de datos interna del modelo. En consecuencia, dejan artefactos detectables —como caídas significativas en las puntuaciones de equidad o valores de atribución SHAP anómalos— que activan sospechas durante las auditorías. Existe una falta de técnicas de manipulación post-hoc, sutiles y agnósticas a los datos, capaces de alterar la equidad percibida de un modelo y socavar las herramientas de explicación sin dejar huellas forenses.

2. Metodología

Los autores proponen una nueva familia de ataques denominados Ataques de Reasociación de Identidad Dirigida (TIRA, por sus siglas en inglés). Estos ataques operan bajo un modelo de amenaza de caja negra donde el adversario tiene acceso únicamente a las puntuaciones de salida del modelo y a los atributos protegidos de las instancias de entrada, pero sin acceso a la arquitectura del modelo, los datos de entrenamiento o la lógica de decisión.

El marco central involucra:

1. Ordenamiento de Puntuaciones: Obtener las puntuaciones de predicción de un modelo de caja negra y ordenarlas en orden descendente.
2. Reasociación de Identidad: Modificar de manera iterativa y probabilística la asociación entre las puntuaciones ordenadas y las identidades (específicamente los atributos protegidos) sin alterar las puntuaciones en sí mismas.
3. Reensamblaje de Salida: Reconstruir el conjunto de datos con las identidades permutadas para recalcular las métricas de equidad y los valores SHAP.

El artículo formaliza dos algoritmos específicos dentro de la familia TIRA:

• Micro-permutación Probabilística (PMiS): Este algoritmo aplica intercambios locales y adyacentes. En cada iteración, examina pares adyacentes en la lista ordenada. Si un individuo desfavorecido (atributo protegido = 0) es adyacente a un individuo favorecido (atributo protegido = 1), intercambia sus identidades de forma probabilística con una probabilidad $p_{swap}$. Esto crea una deriva acumulativa y gradual de la distribución de los atributos protegidos en relación con las puntuaciones.
• Micro-perturbación de Desplazamiento de Rango Probabilístico (PRSMP): Este algoritmo introduce una localidad más amplia al permitir desplazamientos de rango dentro de una ventana pequeña. Apunta a individuos desfavorecidos y desplaza su identidad de forma probabilística hacia otro individuo desfavorecido dentro de una ventana de rango predefinida ($k_{max}$) con una probabilidad $p_{shift}$. Al igual que PMiS, este método depende de múltiples iteraciones para acumular reajustes significativos manteniendo la sutileza.

3. Contribuciones Clave

El artículo realiza cuatro contribuciones principales:

1. Formalización de los Ataques TIRA: La introducción de la Reasociación de Identidad Dirigida como un método novedoso, post-hoc, agnóstico a los datos y probabilístico para manipular sutilmente las salidas del modelo.
2. Validación Empírica de la Manipulación de la Equidad: Demostración de que los ataques TIRA pueden alterar significativamente las métricas de equidad de AIF360 (por ejemplo, Igualdad de Oportunidades, Paridad Demográfica, Impacto Dispar) en diversos entornos de modelos y conjuntos de datos, guiándolos hacia los umbrales ideales deseados.
3. Impacto en la Atribución SHAP: Ilustración de cómo los ataques TIRA confunden las explicaciones basadas en SHAP. Los ataques logran reducir la atribución SHAP de las características protegidas a prácticamente cero, creando la falsa impresión de que el modelo no depende de estas características.
4. Benchmarking Comparativo: Una demostración de que los ataques TIRA ofrecen una granularidad y un control mayores en comparación con los ataques manifiestos existentes (como DomSwap y MixSwap), logrando cambios comparables o superiores en las métricas de equidad con una sigilo significativamente mayor.

4. Resultados y Análisis

Los autores evaluaron los ataques TIRA en el Conjunto de Datos de Diabetes de Bangladesh y el Conjunto de Datos de Crédito Alemán utilizando tanto Regresión Logística como modelos de Redes Neuronales.

• Métricas de Equidad: Los resultados mostraron que los ataques TIRA consistentemente empujaron las métricas de equidad hacia valores ideales (por ejemplo, reduciendo las diferencias de Paridad Demográfica y las relaciones de Impacto Dispar más cerca de 1). En muchos casos, PMiS y PRSMP lograron un ajuste más preciso de estas métricas en comparación con los ataques de permutación base. Por ejemplo, en el conjunto de datos de Diabetes, PMiS redujo la diferencia de Igualdad de Oportunidades de una base de 0.09 a -0.07, mientras que otros ataques mostraron cambios menos consistentes o extremos.
• Atribución SHAP: El análisis post-ataque reveló que los valores SHAP para las características protegidas eran efectivamente cero. Esto indica que los ataques lograron ocultar la dependencia del modelo en los atributos protegidos de la herramienta de explicación, una mejora significativa respecto al trabajo previo donde los valores de atribución detectables solían persistir.
• Sigilo y Control: El estudio destacó el "control de grano fino" ofrecido por los parámetros ajustables ($p_{swap}$, $p_{shift}$, $k_{max}$ e iteraciones $T$). Al ajustar estos, un adversario puede escalar la manipulación desde cambios casi imperceptibles hasta alteraciones pronunciadas, permitiendo un equilibrio entre la magnitud del cambio de equidad y el sigilo del ataque.

5. Significado y Reivindicaciones

El artículo argumenta que la evaluación de la equidad misma es frágil. La capacidad de alterar la equidad percibida de un modelo y sus perfiles de explicación mediante cambios sutiles y no intrusivos desafía la suposición de que la IA confiable puede lograrse únicamente a través de métodos de explicación post-hoc.

Los autores afirman que los ataques TIRA representan una "amenaza de doble vertiente" no lograda previamente:

1. Pueden engañar a las auditorías de AIF360 al empujar las métricas hacia valores cercanos al ideal.
2. Pueden engañar a las auditorías de XAI al reducir la atribución SHAP a efectivamente cero.

La importancia de este trabajo radica en exponer la insuficiencia de los marcos de auditoría actuales. El mayor sigilo de los ataques TIRA sugiere que la ausencia de una señal de atribución fuerte no equivale necesariamente a la equidad o a la falta de perturbación adversaria. En consecuencia, el artículo concluye que existe una necesidad urgente de desarrollar metodologías de evaluación basadas en la integridad que puedan detectar inconsistencias entre las salidas de un modelo y sus explicaciones, en lugar de confiar únicamente en las métricas y los valores de atribución proporcionados por las herramientas actuales.