Resumen Técnico: Garantizar la equidad mediante la auditoría transparente del sesgo cuantitativo en sistemas de IA

Declaración del problema

La rápida integración de la Inteligencia Artificial (IA) en procesos críticos de toma de decisiones —que van desde el diagnóstico médico hasta la sentencia en el sistema de justicia penal— ha introducido riesgos significativos de sesgo algorítmico. Estos sesgos, derivados de fallos inherentes en los datos de entrenamiento o en el diseño algorítmico, pueden conducir a resultados injustos que amplifican las injusticias sistémicas y perpetúan la discriminación contra grupos demográficos específicos. Un ejemplo prominente citado es el sistema COMPAS utilizado en el sistema de justicia penal de EE. UU., el cual se descubrió que violaba los estándares de equidad (específicamente la igualdad de oportunidades o igualdad de condiciones) al favorecer desproporcionadamente a los grupos mayoritarios raciales sobre las minorías. Si bien existen diversas métricas estadísticas para cuantificar la equidad, existe una falta de herramientas accesibles, transparentes y sistemáticas para que auditores externos examinen rigurosamente los sistemas de IA utilizando estas métricas.

Metodología

Los autores proponen un marco de auditoría integral diseñado para facilitar el examen sistemático de los sistemas de IA a través de un "enfoque de caja blanca transparente basado en estadísticas". La metodología se construye sobre los siguientes componentes principales:

1. Definiciones formales de equidad: El marco adopta una notación matemática unificada basada en el trabajo de Pessach y Shmueli [1] para definir una amplia gama de medidas de equidad. Estas incluyen:

   • Impacto dispar y paridad demográfica: Evaluación de las tasas de selección y representación entre grupos.
   • Paridad condicional: Consideración de atributos "legítimos" (por ejemplo, antecedentes penales previos) junto con atributos protegidos.
   • Métricas basadas en la precisión: Incluyendo Igualdad de precisión global, Igualdad de oportunidades (Equalized Odds), Igualdad de oportunidad (Equal Opportunity), Igualdad de predicción (Predictive Equality) y Paridad predictiva (Predictive Parity).
   • Métricas de calibración y equilibrio: Tales como Calibración igualitaria, Equilibrio positivo y Equilibrio negativo, que consideran las distribuciones de puntuación y los valores esperados.

2. Abstracción mediante predicados: Para asegurar la flexibilidad y aplicabilidad en diversos contextos, el marco abstrae conceptos clave en predicados programables:

   • Predicado privilegiado ($R$): Define el grupo privilegiado (ej. raza = Caucásico).
   • Predicado positivo ($\hat{P}$): Determina si una predicción es positiva.
   • Predicado de verdad fundamental ($T$): Identifica el resultado real.
   • Predicado de puntuación ($\hat{S}$): Extrae las puntuaciones predichas (para salidas no binarias).
   • Predicado legítimo ($L$) y Predicado de calibración ($C$): Gestionan los atributos condicionales y los rangos de puntuación.

3. Implementación: El marco está implementado como un paquete de Python de código abierto (fairness-checker). Soporta dos modos de operación:

   • Entrada CSV: Para auditar resultados de predicción existentes.
   • Entrada de Modelo: Para auditar modelos de caja negra directamente (preferible para evitar la fabricación de datos).
     La herramienta calcula las diferencias de probabilidad o las diferencias de valor esperado entre los grupos privilegiados y no privilegiados para cada métrica, comparándolas contra un umbral definido por el usuario ($\epsilon$).

Contribuciones clave

• Un marco de auditoría unificado: El artículo presenta un marco sistemático que permite a los auditores externos, desarrolladores y al público evaluar los sistemas de IA frente a múltiples criterios de equidad simultáneamente.
• Herramientas transparentes: Los autores desarrollaron y liberaron como código abierto una herramienta de Python que implementa estas métricas estadísticas. La herramienta prioriza la transparencia al ofrecer acceso al código fuente y utilizar un enfoque de caja blanca donde las definiciones son explícitamente definidas por el usuario mediante predicados.
• Flexibilidad: Al abstraer las definiciones de equidad en predicados, el marco puede adaptarse a diversos tipos de datos (binarios, puntuaciones continuas) y escenarios complejos (por ejemplo, salidas de modelos generativos) sin requerir cambios fundamentales en la lógica central.

Resultados

El marco se aplicó al conjunto de datos ProPublica COMPAS (más de 10,000 acusados en Florida) para validar su utilidad. El análisis arrojó los siguientes hallazgos:

• Confirmación del sesgo racial: Al analizar el grupo "Afroamericano" como la clase no privilegiada, el sistema falló en múltiples criterios de equidad, incluyendo Paridad Demográfica, Paridad Estadística Condicional, Diferencia de Media e Igualdad de Oportunidades (tanto de tasas de verdaderos como de falsos positivos). Esto concuerda con la investigación original de ProPublica.
• Matiz de las métricas: El análisis reveló que, si bien el sistema pasó el "Impacto Dispar" (una métrica basada en ratios), falló en la "Paridad Demográfica" (una métrica basada en diferencias). Los autores señalan que el Impacto Dispar es menos adecuado aquí porque una predicción "positiva" en COMPAS (alto riesgo) es una desventaja, mientras que la métrica asume que un resultado positivo es ventajoso.
• Comparaciones de grupo:
  • Raza: Los acusados afroamericanos fueron tratados de manera más injusta que los caucásicos o hispanos en la mayoría de las métricas.
  • Edad: El grupo de "25–45" recibió un trato relativamente justo. Sin embargo, el grupo "<25" mostró tasas de falsos positivos más altas (peor Igualdad de Predicción), mientras que el grupo ">45" mostró un peor desempeño tanto en Igualdad de Oportunidad como en Igualdad de Predicción.
  • Precisión: La Igualdad de Precisión Global fue baja para los grupos asiático y nativo americano, atribuido a los pequeños tamaños de muestra en el conjunto de datos (32 y 18 filas, respectivamente).
• Comparación de modelos: Un modelo simple entrenado con el conjunto de datos exhibió una mayor falta de equidad (Igualdad de Oportunidades de 0.35/0.46) en comparación con las puntuaciones originales de COMPAS (0.23/0.22), demostando la capacidad de la herramienta para detectar sesgos en modelos entrenados de forma personalizada.

Significado y afirmaciones

El artículo afirma que su principal significancia radica en hacer que la auditoría de equidad estadística sea accesible y transparente. Al proporcionar una herramienta que se basa en definiciones científicas ampliamente aceptadas y ofrece una capa de abstracción flexible, los autores permiten la verificación independiente de los sistemas de IA.

Los autores enfatizan que la equidad es un constructo social subjetivo, pero las métricas estadísticas proporcionan una base objetiva necesaria para la discusión. El marco no pretende resolver el sesgo automáticamente, sino que sirve como una herramienta de referencia para que los auditores identifiquen violaciones. Los resultados en el conjunto de datos COMPAS sirven para validar la precisión de la herramienta, ya que reprodujo con éxito los hallazgos de la investigación de ProPublica respecto a las disparidades raciales. Se destaca la naturaleza de código abierto de la herramienta como un factor clave para promover la rendición de cuentas y la transparencia en el despliegue de sistemas de IA.