A Systems Thinking Approach to Algorithmic Fairness

A continuación presento un resumen técnico detallado del artículo "A Systems Thinking Approach to Algorithmic Fairness" (Un enfoque de pensamiento sistémico para la equidad algorítmica) de Chris Lam, estructurado según los puntos solicitados.

1. El Problema

El campo de la equidad algorítmica ha luchado durante años por desarrollar sistemas de IA/ML que sean justos y alineados con los valores democráticos compartidos. Los enfoques puramente técnicos, basados únicamente en correlaciones estadísticas, han demostrado ser insuficientes para resolver este problema complejo.

El núcleo del problema radica en la disonancia entre las definiciones legales/políticas de discriminación y las definiciones matemáticas. Existen desacuerdos fundamentales sobre la causa de las disparidades entre grupos protegidos (raza, género, etc.):

• Atribución Interna: Se cree que las disparidades se deben a factores individuales (ej. falta de esfuerzo), lo que justifica la no intervención gubernamental y la "equidad a través de la ignorancia" (fairness through unawareness).
• Atribución Externa: Se cree que las disparidades se deben a factores estructurales o sistémicos, lo que justifica intervenciones fuertes como la acción afirmativa.

Los enfoques actuales de causalidad (como los de Judea Pearl) a menudo fallan porque no incorporan completamente los aspectos sociales y políticos, ni modelan la dinámica temporal (bucles de retroalimentación) que perpetúan las disparidades a lo largo del tiempo.

2. Metodología

El autor propone un enfoque sociotécnico que integra tres disciplinas analíticas bajo el paraguas del Pensamiento Sistémico:

1. Aprendizaje Automático (Machine Learning - ML): Se modela como un diagrama de bloques donde un modelo recibe datos ($X$) y produce una decisión ($D$), generando un resultado ($Y$) que puede convertirse en datos futuros, creando un bucle de retroalimentación.
2. Inferencia Causal (Causal Inference): Se utiliza Redes Bayesianas Causales (CBN) para codificar conocimientos previos y suposiciones sobre dónde reside el sesgo en el proceso de generación de datos. Esto permite visualizar efectos directos, indirectos y espurios, y mapear diferentes formas de equidad y discriminación.
3. Dinámica de Sistemas (System Dynamics): Se utiliza Diagramas de Bucle Causal (CLD) para modelar la evolución temporal del sistema. A diferencia de las CBN (que son grafos acíclicos), los CLD permiten modelar bucles de retroalimentación (refuerzos y equilibrios) para entender por qué las disparidades persisten o cambian a largo plazo.

El autor introduce una nueva jerarquía causal que unifica estas tres técnicas, superando la jerarquía tradicional de Pearl al agregar una capa de "causalidad cíclica" para la dinámica de sistemas.

3. Contribuciones Clave

A. Modelado de la Equidad y Discriminación mediante CBN

El paper clasifica y modela causalmente ocho formas de equidad y discriminación, mapeándolas al espectro político y a las leyes antidiscriminación:

• Equidad a través de la ignorancia (Fairness through unawareness): Corresponde a la visión de derecha/libertaria. Elimina el atributo protegido ($A$) de la decisión. Puede llevar a discriminación encubierta si los datos históricos ($X$) ya contienen sesgos estructurales.
• Acción afirmativa (Affirmative action): Corresponde a la visión de izquierda/progresista. Utiliza $A$ para corregir sesgos en $X$. Puede verse como discriminación inversa si se ignora la métrica subyacente (meritocracia).
• Equidad a través del sorteo (Lottery) y Supremacismo: Formas extremas que satisfacen o violan la equidad individual/grupal de maneras radicales.
• Mapeo Legal: Se establece una correspondencia clara entre los modelos causales y conceptos legales:
  • Trato Dispar (Disparate Treatment) $\leftrightarrow$ Efecto directo de $A$ en $D$.
  • Impacto Dispar (Disparate Impact) $\leftrightarrow$ Efecto indirecto de $A$ en $D$ a través de mediadores sesgados.

B. Dinámica de Sistemas y Arquetipos

El autor aplica tres arquetipos de sistemas para explicar la persistencia de las disparidades:

1. "Éxito para los exitosos" (Success to the successful): Un bucle de refuerzo donde los grupos que reciben más recursos inicialmente obtienen mejores resultados, generando más recursos en el futuro, perpetuando la desigualdad bajo la "equidad a través de la ignorancia".
2. "Límites al éxito" (Limits to success): Un bucle de equilibrio que sugiere que el crecimiento de un grupo puede chocar con restricciones, permitiendo que otros grupos se recuperen.
3. "Desplazamiento de la carga / Adicción" (Shifting the burden / Addiction): Muestra cómo la intervención externa (acción afirmativa) puede aliviar el síntoma a corto plazo pero crear dependencia, desviando la atención de la solución interna (optimizar la métrica subyacente) y empeorando los resultados a largo plazo.

C. Nueva Jerarquía Causal

Se propone una jerarquía de tres capas para la equidad algorítmica:

1. Capa 1 (Asociación): Aprendizaje automático supervisado (Predicción).
2. Capa 2 (Causalidad Acíclica): Inferencia causal (Control e Intervención).
3. Capa 3 (Causalidad Cíclica): Dinámica de sistemas (Simulación de efectos a largo plazo).

D. Mapa de Sistemas

Se presenta un "Mapa de Sistemas" que actúa como un puente causal entre las ciencias sociales (política, sociología, psicología) y la ingeniería técnica, permitiendo a legisladores y científicos de datos hablar un "lenguaje causal común".

4. Resultados y Hallazgos

• Dependencia del Tiempo: El impacto de las políticas de equidad es diferente a corto y largo plazo.
  • Corto plazo: La acción afirmativa puede igualar las tasas de decisión ($TE = 0$), mientras que la ignorancia perpetúa la desigualdad ($TE < 0$).
  • Largo plazo: La acción afirmativa puede generar dependencia y empeorar los resultados reales ($TE < 0$) debido al arquetipo de "desplazamiento de la carga", mientras que la ignorancia puede estabilizarse en un equilibrio de desigualdad ($TE = 0$) debido a los límites al éxito.
• Subjetividad Normativa: Lo que se considera "justo" depende de la atribución causal (interna vs. externa) que adopte el observador. Un modelo puede ser legalmente justo para un grupo pero discriminatorio para otro según la interpretación de los bucles causales.
• Limitaciones de las CBN: Las redes bayesianas tradicionales no pueden modelar la retroalimentación temporal, lo que lleva a una comprensión incompleta de cómo las políticas de equidad pueden perpetuar o resolver disparidades sistémicas.

5. Significado e Impacto

El trabajo de Lam es significativo porque:

1. Unifica Disciplinas: Rompe los silos entre la ciencia de datos, la ciencia política, el derecho y la sociología, proporcionando un marco matemático unificado.
2. Herramienta para Políticas Públicas: Ofrece a los legisladores de ambos espectros políticos una forma de visualizar las compensaciones (trade-offs) de sus políticas propuestas, ayudando a diseñar regulaciones de IA que sean técnicamente viables y políticamente aceptables.
3. Cumplimiento Legal: Proporciona un marco analítico para que las empresas demuestren el cumplimiento de leyes antidiscriminación (como la prueba de tres pasos para el impacto dispar en EE. UU.) mediante la modelización explícita de causalidad y bucles de retroalimentación.
4. Transparencia y Confianza: Al "pensar fuera de la caja negra" y modelar las capas causales externas, se crea una base para sistemas de IA más transparentes, responsables y alineados con los valores democráticos, reduciendo la incertidumbre legal y los litigios costosos.

En resumen, el paper argumenta que la equidad algorítmica no es solo un problema de optimización matemática, sino un problema de sistemas complejos que requiere modelar la interacción entre datos, decisiones humanas, estructuras sociales y dinámicas temporales para lograr soluciones sostenibles.