🤖 machine learning

A Geometric Theory of Robust Fairness Audits

Este artículo introduce un marco geométrico para analizar y cuantificar la robustez de las auditorías de equidad basadas en vecindades frente a perturbaciones de características, estableciendo condiciones de estabilidad y proponiendo una nueva métrica llamada "volatilidad de la auditoría" para medir su sensibilidad.

Autores originales: Binita Maity

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Binita Maity

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo moderno, los algoritmos toman cada vez más decisiones que moldean las vidas humanas, desde la aprobación de préstamos y el diagnóstico de enfermedades hasta la determinación de la elegibilidad para la libertad condicional. A medida que estos sistemas se vuelven más poderosos, la sociedad ha desarrollado una necesidad crítica de asegurar que traten a las personas de manera justa. Un enfoque principal para verificar la equidad se centra en la idea de que individuos similares deberían recibir resultados similares. Para probar esto, los auditores suelen observar los datos de una persona y comparar su resultado con los resultados de sus vecinos más cercanos en el conjunto de datos. Si dos personas son casi idénticas en sus características pero reciben puntuaciones muy diferentes, el sistema es señalado como potencialmente injusto. Este método, conocido como auditoría basada en vecindad, se ha convertido en una herramienta estándar para evaluar modelos de aprendizaje automático porque es flexible y puede detectar injusticias localizadas que las estadísticas amplias podrían pasar por alto.

Sin embargo, ha surgido una nueva preocupación respecto a la fiabilidad de estas auditorías mismas. El proceso de encontrar a los "vecinos" de una persona depende de la posición precisa de los puntos de datos en un espacio matemático. En el mundo real, los datos rara vez son perfectos; contienen pequeños errores, valores faltantes o ligeras variaciones causadas por la forma en que la información fue registrada o depurada. Estos diminutos desplazamientos pueden empujar a una persona lo suficiente como para cambiar quiénes son sus vecinos más cercanos. Si los vecinos cambian, la puntuación de equidad cambia, incluso si la predicción del modelo subyacente para esa persona permanece exactamente igual. Esto plantea una pregunta inquietante: ¿es un hallazgo de injusticia un fallo genuino del sistema, o es simplemente un artefacto de un proceso de medición inestable?

Investigadores del Instituto Indio de Tecnología de Gandhinagar han desarrollado una nueva forma de entender este problema. Trataron el proceso de auditoría no solo como una verificación estadística, sino como una geométrica, mapeando exactamente cómo los pequeños cambios en los datos afectan la estabilidad de estos grupos de vecinos. Su trabajo establece que la estabilidad de una auditoría de equidad depende enteramente de qué tan claramente separados estén los vecinos de una persona de todos los demás en el conjunto de datos. Descubrieron que si los vecinos de una persona son distintamente más cercanos a ella que cualquier otro no vecino, el resultado de la auditoría permanecerá estable incluso si los datos se perturban ligeramente. Pero si los vecinos están amontonados junto con el resto de la población, incluso un pequeño empujón puede intercambiarlos, haciendo que la puntuación de equidad oscile violentamente.

El equipo introdujo un concepto que llaman "volatilidad de la auditoría" para medir cuánto se espera que fluctúe una puntuación de equidad cuando los datos se someten a perturbaciones pequeñas y repetidas. Al probar su teoría en conjuntos de datos del mundo real que involucran ingresos, marketing bancario y registros de justicia penal, confirmaron que la geometría de los datos es el motor principal de la estabilidad. En los conjuntos de datos donde los individuos están claramente agrupados con sus verdaderos pares, las auditorías se mantuvieron robustas y consistentes. Por el contrario, en los conjuntos de datos donde los individuos estaban más mezclados entre sí, se mostró una alta volatilidad, lo que significa que los veredictos de equidad eran altamente sensibles a los cambios menores en los datos. Los investigadores demostraron que la elección de cómo promediar los resultados también importa; utilizar métodos que sean menos sensibles a los valores extremos puede reducir aún más esta inestabilidad.

Crucialmente, el estudio muestra que la imprevisibilidad de las auditorías de equidad no es un misterio, sino una propiedad geométrica calculable. Los investigadores demostraron que la cantidad de cambio en una puntuación de equidad está directamente ligada al número de vecinos que son intercambiados durante una perturbación. Encontraron que el cambio máximo en la distancia entre dos puntos cualesquiera está limitado por el tamaño de la perturbación, y este límite dicta cuánto puede desplazarse la vecindad local. Cuando aplicaron estos hallazgos a conjuntos de datos estándar, el comportamiento observado coincidió perfectamente con sus predicciones. Las auditorías fueron más estables en regiones donde el "margen de separación local" —el espacio entre los vecinos más cercanos de una persona y el siguiente grupo más cercano— era grande.

Este trabajo desplaza el enfoque de simplemente construir mejores modelos hacia la comprensión de la fiabilidad de las herramientas utilizadas para medirlos. Sugiere que, antes de declarar un sistema injusto, los auditores deben primero verificar que la estructura de la vecindad sea lo suficientemente estable como para sustentar tal conclusión. Si la geometría de los datos es demasiado laxa, la auditoría misma se convierte en un instrumento poco fiable, incapaz de distinguir entre un sesgo genuino y el ruido aleatorio. Los investigadores proporcionan un marco para calcular exactamente cuánta confianza se puede depositar en una evaluación de equidad basada en la estructura de los datos subyacentes. Al cuantificar esta vulnerabilidad, ofrecen una forma de diseñar procedimientos de auditoría más robustos que puedan resistir las imperfecciones inevitables de los datos del mundo real, asegurando que el juicio de equidad sea tan sólido como los datos en los que se apoya.

Resumen Técnico: Una Teoría Geométrica de las Auditorías de Equidad Robustas

Declaración del Problema

Las auditorías de equidad basadas en vecindad son un método estándar para evaluar la equidad individual en la toma de decisiones algorítmica. Estas auditorías operan bajo la premisa de que los individuos similares (definidos por la proximidad en el espacio de características) deben recibir predicciones similares. Típicamente, esto se implementa comparando la predicción de un individuo contra la de sus $k$ -vecinos más cercanos (k-NN).

Aunque son ampliamente utilizadas debido a su naturaleza agnóstica al modelo y su capacidad para detectar inequidad localizada, la robustez del procedimiento de auditoría en sí ha sido mayormente ignorada. La literatura existente se centra en hacer que los modelos de predicción sean robustos ante perturbaciones adversarias, pero asume que el mecanismo de auditoría es estable. En la práctica, sin embargo, pequeñas perturbaciones en el espacio de características —causadas por ruido, preprocesamiento, normalización o valores faltantes— pueden alterar las relaciones de vecindad más cercano. Este "reemplazo de vecindad" puede conducir a evaluaciones de equidad significativamente diferentes para el mismo modelo exacto, lo que dificulta distinguir la inequidad genuina de la inestabilidad de la auditoría. Actualmente no existe un marco teórico que explique cuándo estas auditorías permanecen estables bajo perturbaciones de características o cómo los cambios geométricos se propagan a los resultados de la auditoría.

Metodología

El autor propone un marco geomético unificado para analizar la robustez de las auditorías de equidad basadas en vecindad bajo perturbaciones acotadas del espacio de características.

1. Formalización de las Auditorías

El marco modela una auditoría de equidad local como un proceso de dos pasos:

Evaluación de Equidad Pareada: Una función $g$ evalúa la relación de equidad entre un individuo $x_i$ y sus vecinos $x_j \in N_k(i)$ .
Agregación: Un operador $\Phi$ agrega estos puntajes pareados en un único puntaje de auditoría local $A_i(X)$ .

El autor restringe su análisis a operadores de agregación Lipschitz continuos (Definición 1). Esta clase incluye la media aritmética, la media ponderada, la media recortada y los estimadores M robustos, lo que asegura que el marco sea aplicable a una amplia gama de métodos de auditoría existentes (por ejemplo, auditorías basadas en consistencia, FaiTH).

2. Modelo de Perturbación Geométrica

El análisis asume un modelo de predicción fijo $f$ y un conjunto de datos $X$ embebido en un espacio métrico $(M, d)$ . Un conjunto de datos perturbado $X'$ se define como una perturbación geométrica $\epsilon$ -acotada si la distancia entre cualquier punto original $x_i$ y su versión perturbada $x'_i$ es como máximo $\epsilon$ .

El concepto geométrico central introducido es el Margen de Separación Local ( $\gamma_i$ ), definido como la diferencia entre la distancia al vecino más lejano y la distancia al no-vecino más cercano:
$\gamma_i = \min_{x_j \notin N_k(i)} d(x_i, x_j) - \max_{x_j \in N_k(i)} d(x_i, x_j)$

3. Derivación Teórica

El documento establece una cadena de garantías de estabilidad:

Estabilidad de Distancia: Las perturbaciones acotadas ( $\epsilon$ ) resultan en cambios en la distancia pareada de máximo $2\epsilon$ (Lema 1).
Reducción de Margen: El margen de separación local disminuye en un máximo de $4\epsilon$ (Lema 2).
Invarianza de Vecindad: Si el margen de separación original $\gamma_i > 4\epsilon$ , el conjunto de $k$ -vecinos más cercanos permanece invariante (Teorema 3).
Estabilidad de la Auditoría: Cuando las vecindades cambian, la desviación en el puntaje de la auditoría está acotada por la constante de Lipschitz del operador de agregación ( $L_\Phi$ ), el puntaje pareado máximo ( $M$ ) y el tamaño del conjunto de reemplazo de la vecindad ( $|R_i|$ ) (Teorema 6).
Volatilidad de la Auditoría: El autor introduce la Volatilidad de la Auditoría ( $\kappa$ ), definida como la variación esperada del puntaje de auditoría bajo perturbaciones estocásticas repetidas. Demuestran que la volatilidad está acotada por el tamaño esperado del conjunto de reemplazo de la vecindad (Teorema 8).

Contribuciones Clave

Formulación del Problema: El artículo desplaza el enfoque de la robustez en el aprendizaje automático justo hacia la fiabilidad del procedimiento de auditoría misma, en lugar de centrarse solo en el modelo de predicción.
Marco Unificado: Proporciona una abstracción geométrica para las auditorías de equidad basadas en vecindad como agregaciones Lipschitz, unificando varios métodos existentes bajo un único paraguas teórico.
Garantías de Robustez: El autor deriva garantías de robustez deterministas, probabilísticas y esperadas. Identifica el margen de separación local como un certificado geométrico suficiente para la preservación de la vecindad y el reemplazo de vecindad como el mecanismo fundamental que impulsa la inestabilidad de la auditoría.
Medida Cuantitativa: La introducción de la Volatilidad de la Auditoría ofrece una medida cuantitativa de la sensibilidad esperada de las auditorías de equidad bajo perturbaciones repetidas.

Resultados Experimentales

El marco teórico fue validado en tres conjuntos de datos de referencia: Adult Income, Bank Marketing y COMPAS.

Estabilidad Geométrica: Los experimentos confirmaron que las distorsiones de distancia pareada observadas y las reducciones en los márgenes de separación se mantuvieron muy por debajo de los límites teóricos de $2\epsilon$ y $4\epsilon$ , respectivamente.
Preservación de Vecindad: La Tasa de Preservación de Vecindad (NPR) disminuyó monótonamente a medida que aumentaba el radio de perturbación. Los conjuntos de datos con márgenes de separación intrínsecos más grandes (Adult, Bank) mantuvieron una mayor estabilidad en comparación con COMPAS.
Mecanismo de Inestabilidad de la Auditoría: Los resultados demostraron una fuerte correlación entre la cantidad de reemplazo de vecindad y la volatilidad de la auditoría. A través de diferentes modelos de perturbación (uniforme, Gaussiana, dispersa), la volatilidad de la auditoría estuvo determinada principalmente por la extensión del reemplazo de vecindad, lo que respalda la naturaleza independiente de la distribución de la teoría.
Sensibilidad de la Agregación: Al comparar diferentes operadores de agregación (media aritmética, media recortada, mediana, peor vecino), se observó que los operadores con constantes de Lipschitz más bajas (por ejemplo, la media recortada, la mediana) produjeron una menor volatilidad de la auditoría, confirmando que la sensibilidad de la agregación es un determinante clave de la robustez.
Geometría del Conjunto de Datos: Los experimentos verificaron que los conjuntos de datos con márgenes de separación local más grandes exhibieron significativamente menor reemplazo de vecindad y volatilidad de la auditoría, aproximándose a cero para vecindades bien separadas.

Significancia y Reivindicaciones

El artículo afirma proporcionar el primer marco teórico para analizar la estabilidad de las auditorías de equidad locales bajo perturbaciones del espacio de características. Su significancia principal radica en:

Diagnóstico de Inestabilidad: Identifica que la inestabilidad de la auditoría no es simplemente un resultado de la sensibilidad del modelo, sino que está impulsada fundamentalmente por la fragilidad geométrica de las vecindades locales (específicamente, el reemplazo de vecinos).
Poder Predictivo: El marco permite a los profesionales predecir la estabilidad de la auditoría basándose en las propiedades geométricas del conjunto de datos (márgenes de separación) y la elección del operador de agregación, en lugar de depender únicamente de la observación empírica.
Fiabilidad de la Medición: Al tratar la equidad como un problema de medición, este trabajo complementa los esfuerzos existentes en IA responsable al ofrecer herramientas para cuantificar y mitigar la falta de fiabilidad introducida por el preprocesamiento de datos y el ruido en las evaluaciones de equidad.

El autor concluye que el reemplazo de vecindad es el mecanismo geométrico clave que gobierna la estabilidad de la auditoría y que el marco propuesto establece una base de principios para diseñar métodos de auditoría de equidad basados en vecindad que sean más robustos.