Sequential Fairness Auditing with Limited Output Access

Resumen Técnico: Auditoría de Equidad Secuencial con Acceso Limitado a la Salida

Formulación del Problema
Los auditores externos tienen cada vez más la tarea de evaluar sistemas de IA para el cumplimiento normativo (por ejemplo, la Ley de IA de la UE), pero suelen carecer de acceso a los parámetros del modelo, los datos de entrenamiento o la documentación interna. En su lugar, deben depender de interacciones basadas en consultas con los sistemas desplegados. Los métodos existentes de evaluación de equidad asumen predominantemente conjuntos de datos estáticos y pruebas estadísticas de muestras fijas, los cuales no son adecuados para escenarios del mundo real donde la evidencia debe recolectarse secuencialmente bajo presupuestos de consulta estrictos.

Este trabajo aborda el desafío de auditar la equidad bajo un acceso limitado a la salida, donde el auditor solo observa las salidas del modelo (decisiones, puntuaciones o logits) para entradas seleccionadas. El problema central se formula como un problema de prueba de hipótesis secuencial sensible a la tolerancia. A diferencia de las pruebas tradicionales de hipótesis nula puntual, el contexto regulatorio define el cumplimiento en relación con un umbral de tolerancia $\delta$. El auditor busca determinar si una métrica de equidad $g(f)$ satisface $g(f) \le \delta$ (cumplimiento) o $g(f) > \delta$ (violación) acumulando evidencia de forma secuencial y deteniéndose tan pronto como se obtiene un soporte estadístico suficiente o se agota el presupuesto de consultas.

Metodología
Los autores proponen un marco de Razón de Verosimilitud Generalizada Secuencial (GLR) diseñado para depósitos de auditoría finitos y niveles variables de acceso al modelo.

1. Métricas de Equidad e Hipótesis: El marco se dirige a dos métas primarias:

   • Paridad Estadística (SP): $|P(f(X)=1|A=a) - P(f(X)=1|A=b)| \le \delta$.
   • Igualdad de Oportunidades (EO): $|P(f(X)=1|Y=1, A=a) - P(f(X)=1|Y=1, A=b)| \le \delta$.
     La hipótesis nula $H_0$ representa el cumplimiento ($g(f) \le \delta$), y la alternativa $H_1$ representa la violación ($g(f) > \delta$).

2. Regímenes de Acceso: La metodología distingue entre tres niveles de observabilidad:

   • Solo decisión (Caja negra): El auditor observa predicciones binarias $\hat{Y} \in \{0,1\}$. El modelo de verosimilitud es Bernoulli.
   • Acceso a puntuaciones (Caja gris): El auditor observa puntuaciones de predicción $S(x) \in [0,1]$. El marco las trata como auditorías proxy utilizando un modelo de verosimilitud Gaussiano para las medias de puntuación condicionales por grupo.
   • Acceso a logits (Proxy de caja blanca): El auditor observa logits pre-sigmoide $Z(x)$. Al igual que las puntuaciones, se utilizan para auditorías proxy con un modelo de verosimilitud Gaussiano.

3. Procedimiento Secuencial:

   • El auditor consulta un depósito de auditoría fijo (o un sub-depósito filtrado para EO donde $Y=1$) en un orden aleatorio sin reemplazo.
   • En cada paso $t$, se calcula un estadístico GLR $\Lambda_t$ basado en los datos acumulados.
   • Reglas de Parada: La auditoría termina si $\Lambda_t$ cruza un límite superior $u$ (se rechaza $H_0$, se detecta violación) o un límite inferior $\ell$ (se acepta $H_0$, se certifica cumplimiento). Si se alcanza el presupuesto máximo $B$ sin cruzar un límite, el resultado se declara inconcluso.
   • Los límites se establecen mediante aproximaciones de tipo Wald ($u = \log((1-\beta)/\alpha)$, $\ell = \log(\beta/(1-\alpha))$) para tasas de error nominales $\alpha=0.05$ y $\beta=0.2$.

Contribuciones Clave

1. Formulación Secuencial: El artículo formaliza la auditoría de equidad bajo acceso limitado como un problema de decisión estadística secuencial con umbrales de tolerancia explícitos, yendo más allá de la evaluación por lotes estáticos.
2. Protocolo GLR: Desarrolla un protocolo de prueba GLR secuencial con reglas de parada operativas para restricciones de equidad compuestas, aplicable tanto a auditorías basadas en decisiones como a auditorías proxy (puntuaciones/logits).
3. Análisis Sensible al Acceso: El trabajo analiza sistemáticamente cómo diferentes regímenes de acceso (solo decisión vs. observables más ricos) afectan la eficiencia de la auditoría, distinguiendo entre pruebas exactas basadas en decisiones y auditorías proxy.
4. Perspectivas Empíricas: A través de experimentos en los conjuntos de datos ACS y Adult, los autores identifican fenómenos prácticos en la auditoría secuencial, incluyendo el impacto de la elección de la métrica (SP vs. EO) y la ambigüedad estadística cerca de los umbrales regulatorios.

Resultos
Los experimentos se realizaron en conjuntos de datos de referencia (ACS y Adult) utilizando varios modelos de redes neuronales (base y con restricciones de equidad). Los hallazgos clave incluyen:

• Impacto de los Regímenes de Acceso: La información de salida más rica reduce significativamente el número de consultas requeridas para las auditorías de Paridad Estadística (SP). Por ejemplo, en el conjunto de datos ACS, el acceso a logits redujo el conteo medio de consultas en aproximadamente un factor de tres en comparación con el acceso de solo decisión. Sin embargo, para la Igualdad de Oportunidades (EO), los beneficios de un acceso más rico no son uniformes.
• Dificultad de las Auditorías de EO: Las auditorías de EO son inherentemente más intensivas en muestras que las de SP. Esto se atribuye a que la EO opera sobre un sub-grupo condicional ($Y=1$), que es más pequeño y puede tener composiciones de grupo menos favorables para la acumulación de evidencia. En casos cercanos al umbral (por ejemplo, EO en el conjunto de datos Adult), el acceso más rico (puntuaciones/logits) no produjo consistentemente auditorías más rápidas o concluyentes; muchas ejecuciones terminaron inconclusas incluso con presupuestos de consulta elevados.
• Compromiso entre Eficiencia y Precisión: La auditoría secuencial reduce drásticamente el costo de consulta en comparación con las líneas base de muestra fija (por ejemplo, usando solo ~200 consultas frente a 4000 para SP en Adult). Sin embargo, esta eficiencia conlleva un compromiso: en escenarios desafiantes y cercanos al umbral, las auditorías secuenciales pueden producir más resultados inconclusos o una menor precisión de decisión en comparación con las pruebas de muestra fija que utilizan todo el presupuesto.
• Efectos de Frontera: Los modelos con brechas de equidad cerca del umbral regulatorio $\delta$ frecuentemente producen resultados inconclusos dentro de presupuestos realistas, lo que resalta la dificultad estadística de distinguir el cumplimiento de la violación en estos regímenes.

Significancia y Reclamaciones
El artículo afirma proporcionar un marco estadístico práctico para la auditoría de equidad secuencial que refleja las restricciones de despliegue reales donde los auditores tienen acceso limitado. Demuestra que:

• Los resultados de la auditoría de equidad dependen no solo del modelo, sino también del protocolo estadístico y del nivel de acceso del auditor.
• Si bien los outputs más ricos pueden mejorar sustancialmente la eficiencia de la auditoría para ciertas métricas (como SP), no garantizan auditorías más rápidas para todas las métricas (como EO), particularmente cuando las disparidades están cerca del umbral de tolerancia.
• El marco propuesto operacionaliza el concepto de auditoría "sensible a la tolerancia", reconociendo que pequeñas disparidades pueden ser legalmente permisibles, y proporciona un mecanismo para detener la recolección de datos una vez que se ha obtenido suficiente evidencia.

Los autores señalan limitaciones, incluyendo el enfoque en grupos binarios y clasificación binaria, el uso de auditorías proxy para el acceso a puntuaciones/logits (que no proporcionan garantías exactas para restricciones de decisión dura) y el uso de calibraciones de muestra finita operativas en lugar de exactas para los límites de parada. Sugieren que el trabajo futuro podría explorar entornos de múltiples grupos, estrategias de consulta adaptativas y secuencias de confianza.