What Is the Point of Equality in Machine Learning Fairness? Beyond Equality of Opportunity

Este artículo critica el enfoque exclusivo de la equidad en el aprendizaje automático en la igualdad distributiva y propone un marco egalitario integral que combina la igualdad distributiva y relacional para abordar tanto los daños allocativos como los representacionales, desafiando así las desigualdades estructurales.

Lo esencial

Imagina que la Inteligencia Artificial (IA) y el Aprendizaje Automático (Machine Learning) son como un gigantesco chef que cocina para toda la sociedad. Este chef no solo decide quién recibe qué plato (trabajos, préstamos, casas), sino que también decide cómo se ve el menú y qué historias cuenta sobre quién es "bueno" y quién es "malo".

Hasta ahora, la mayoría de los expertos en "justicia" para este chef se han preocupado solo por una cosa: la distribución de los platos. Se preguntaban: "¿Le dio el mismo número de pasteles a todos los grupos?". A esto los académicos lo llaman Igualdad Distributiva.

Pero este artículo, escrito por Youjin Kong, dice: "¡Espera! Eso es solo la mitad del problema. Si el chef te da un pastel, pero al mismo tiempo te pinta la cara de negro y te llama 'monstruo' en el menú, el problema no es solo que te dio un pastel, es que te está tratando como si fueras inferior".

Aquí te explico las ideas clave del artículo usando analogías sencillas:

1. El Problema: Solo miramos el "Qué", no el "Cómo"

La mayoría de la gente piensa que la IA es injusta si no reparte las oportunidades (dinero, trabajos) de manera equitativa.

• La analogía: Imagina una carrera de caballos. La visión actual solo se preocupa de que todos los caballos tengan la misma cantidad de comida (oportunidad) antes de empezar.
• La crítica del artículo: Pero, ¿qué pasa si el árbitro (la IA) le grita a un caballo negro que es "feo" y al caballo blanco que es "rey"? Aunque ambos tengan la misma comida, el caballo negro corre con el peso de ser tratado como un inferior. La IA no solo reparte recursos; reproduce estereotipos.

2. Los Dos Tipos de Daños (Las dos caras de la moneda)

El autor explica que la IA hace dos tipos de cosas malas:

• Daño de Asignación (El bolsillo): Es cuando la IA te quita algo tangible.

  • Ejemplo: Un algoritmo de YouTube que borra los videos de personas LGBTQ+ y les quita su dinero (publicidad). Es como si el chef le quitara el plato a alguien solo por su identidad.
  • Solución tradicional: Darle más platos a ese grupo (Igualdad Distributiva).

• Daño de Representación (El espejo): Es cuando la IA te hace sentir pequeño, invisible o estereotipado.

  • Ejemplo: Si pides a una IA que dibuje a un "CEO", siempre sale un hombre blanco. Si pides "enfermera", sale una mujer. O peor, si pides "asesino", sale una persona de color.
  • El problema: Esto no te quita dinero directamente, pero te dice: "Tú no perteneces al grupo de los importantes". Refuerza la idea de que hay personas "superiores" y "inferiores".
  • La solución tradicional falla aquí: No puedes "repartir" dignidad como si fuera pizza. No sirve de nada darle a la persona marginada un 50% de las veces que sale como CEO si el mensaje subyacente sigue siendo que los demás son los "normales".

3. La Nueva Propuesta: La "Igualdad Relacional"

El artículo propone que necesitamos una nueva filosofía llamada Igualdad Relacional.

• La analogía: Imagina una fiesta.
  • La Igualdad Distributiva se preocupa de que todos tengan la misma cantidad de bebida.
  • La Igualdad Relacional se preocupa de que nadie sea tratado como un sirviente, nadie sea ignorado en la conversación y nadie sea burlado. Se trata de que todos se relacionen como iguales, de pie, mirándose a los ojos, sin jerarquías de "dueños" y "esclavos".

El autor dice que para que la IA sea realmente justa, no basta con repartir bien los recursos; debemos asegurarnos de que la IA no nos trate como ciudadanos de segunda clase.

4. ¿Por qué no basta con "arreglar los datos"?

Muchos intentan solucionar esto simplemente cambiando los datos para que salgan más mujeres o personas de color en las imágenes.

• La analogía: Es como intentar arreglar un espejo roto pintando sobre él. Si el espejo sigue distorsionando la realidad (diciendo que los negros son criminales), simplemente poner más fotos de negros "buenos" no arregla el mensaje de fondo.
• El error: Si solo cambiamos la proporción (más negros, más mujeres) sin cambiar la historia, seguimos diciendo que la "norma" es el hombre blanco y que los demás son una "variación". A veces, incluso empeora las cosas (ejemplo: poner a una mujer negra como Papa o a un soldado nazi asiático en un intento de "diversidad" sin contexto histórico, lo cual es irrespetuoso).

5. ¿Qué debemos hacer? (El Camino a seguir)

El artículo sugiere que no podemos arreglar esto solo con código. Necesitamos un cambio completo en cómo construimos la IA, desde el principio hasta el final:

1. Involucrar a la comunidad (La cocina participativa): En lugar de que un grupo de ingenieros decida qué datos usar, las comunidades marginadas (como personas trans o minorías étnicas) deben ayudar a crear los datos. Como si los comensales ayudaran a cocinar su propio menú.
2. Educar a los creadores y usuarios: Los programadores deben preguntarse: "¿Qué daño podría hacer esto antes de lanzarlo?". Y los usuarios deben aprender a leer la IA críticamente: "¿Por qué esta IA me muestra esto? ¿Qué prejuicios tiene?".
3. Hacer la IA "transparente" (Mostrar las costuras): En lugar de que la IA parezca una caja mágica perfecta, deberíamos ver sus "costuras". Deberíamos saber que sus respuestas tienen sesgos y que no son verdades absolutas.
4. Cambio social: La IA refleja a la sociedad. Si la sociedad sigue siendo racista o sexista, la IA también lo será. No podemos arreglar la IA sin arreglar la sociedad.

En resumen

Este artículo nos dice: La justicia en la IA no es solo repartir el pastel equitativamente. También se trata de dejar de pintar a la gente en el pastel como "monstruos" o "invisibles".

Para tener una IA justa, necesitamos dos cosas:

1. Que todos tengan acceso a las oportunidades (Igualdad Distributiva).
2. Que todos sean tratados con el mismo respeto y dignidad, sin jerarquías de superioridad (Igualdad Relacional).

Si solo arreglamos la primera, seguimos teniendo un sistema que, aunque reparte recursos, sigue diciendo a la gente: "Tú no eres tan importante como yo". Y eso, según el autor, no es justo.

Resumen técnico

Resumen Técnico: Más allá de la Igualdad de Oportunidades en la Justicia del Aprendizaje Automático

1. El Problema: La Limitación de la Igualdad Distributiva en la Justicia de ML

El campo de la equidad en el Aprendizaje Automático (ML) ha evolucionado desde métricas estadísticas puras hacia la búsqueda de fundamentos normativos (éticos) para explicar por qué la injusticia en ML es incorrecta. Sin embargo, la literatura predominante se basa casi exclusivamente en la igualdad distributiva (DE), específicamente en la igualdad de oportunidades (EOP).

• La limitación central: La DE se enfoca en la distribución equitativa de bienes, recursos y oportunidades (ej. acceso a préstamos, empleos). Si bien es eficaz para abordar daños asignativos (pérdida de oportunidades, pérdidas económicas), falla estrepitosamente al explicar la naturaleza moral de los daños representativos.
• La brecha normativa: Los daños representativos (estereotipos, desprecio, borrado/erasure, reificación de identidades) no son simplemente una mala distribución de recursos; son daños que refuerzan jerarquías sociales, subordinación y la idea de que ciertos grupos son moralmente inferiores. La DE no puede justificar por qué es incorrecto que un sistema de ML perpetúe estereotipos o invisibilice a grupos, ya que estos problemas no se resuelven simplemente "distribuyendo" más representaciones de manera estadística.

2. Metodología: Análisis Filosófico Normativo y Marco Teórico

El artículo emplea un enfoque de filosofía política y social crítica para reestructurar los fundamentos éticos de la equidad en ML. No propone un nuevo algoritmo técnico, sino un marco conceptual para evaluar y guiar el desarrollo de sistemas sociotécnicos.

• Análisis de la literatura existente: Se examinan críticamente las justificaciones de Barocas, Hardt y Narayanan (BHN) y otros, que vinculan la equidad en ML con la no discriminación y la igualdad de oportunidades.
• Integración teórica: El autor sintetiza conceptos de tres filósofos clave:
  • Iris Marion Young: Para definir la "injusticia estructural" como procesos sistémicos, institucionales y duraderos que desfavorecen a grupos, más allá de actos individuales.
  • Elizabeth Anderson: Para introducir la igualdad relacional (RE), que define la equidad no como la distribución de bienes, sino como la relación de personas como iguales (sin estatus superior/inferior, sin dominación).
  • Nancy Fraser: Para superar la dicotomía entre "redistribución" (económica) y "reconocimiento" (cultural), argumentando que ambas son dimensiones inseparables de la justicia.
• Clasificación de daños: Se utiliza la taxonomía de Kate Crawford para distinguir entre daños asignativos (recursos) y representativos (identidad/estatus), analizando cómo cada uno se manifiesta en sistemas de ML (ej. modelos generativos de texto e imagen).

3. Contribuciones Clave

El artículo propone un Marco Egalitarista Multifacético que integra la Igualdad Distributiva (DE) y la Igualdad Relacional (RE) como fundamentos normativos complementarios e indispensables.

• Diagnóstico de la DE: Confirma que la DE es necesaria para abordar daños asignativos (ej. algoritmos de contratación que excluyen a mujeres, sistemas de crédito que penalizan a minorías raciales). Sin embargo, es insuficiente para daños representativos.
• Introducción de la Igualdad Relacional (RE) en ML:
  • Argumenta que los daños representativos (estereotipos, demeaning, erasure, reificación) son manifestaciones de jerarquías sociales (estima, estatus y dominación).
  • La RE exige que los sistemas de ML no solo distribuyan recursos, sino que fomenten relaciones donde ningún grupo sea tratado como inferior, estigmatizado o dominado.
  • Refuta la idea de que la RE puede reducirse a una "distribución" de respeto o representaciones; la relación de igualdad es un estado social, no un bien divisible.
• Crítica a las soluciones técnicas actuales: El autor demuestra que las intervenciones técnicas actuales para daños representativos (como el "equilibrio demográfico" en modelos generativos de texto-imagen) son insuficientes porque:
  • Tratan los problemas relacionales como problemas de distribución (ej. forzar un 50/50 de géneros).
  • Ignoran el contexto histórico y estructural (ej. generar una "Pope negra" sin contexto histórico puede ser irónico o irrespetuoso si no se aborda la estructura de poder subyacente).
  • Pueden reforzar narrativas neoliberales o estereotipos al intentar "redistribuir" estereotipos en lugar de desafiar las estructuras de poder.
• Propuesta de implementación holística: Se identifican cuatro vías para implementar este marco en todo el ciclo de vida del ML (no solo en el modelo):
  1. Recolección de datos participativa y centrada en la comunidad: Para evitar la extracción de datos y asegurar que las comunidades marginadas tengan agencia en la definición de sus representaciones (ej. proyecto Masakhane).
  2. Reflexión crítica: Capacitación de desarrolladores y usuarios para anticipar daños y reconocer cómo los sistemas codifican desigualdades estructurales.
  3. Diseño que aumenta la agencia del usuario: Uso de "diseño con costuras" (seamful design) y contra-narrativas para que los usuarios entiendan la parcialidad del sistema y puedan cuestionarla, en lugar de presentar la IA como un oráculo objetivo.
  4. Procesos iterativos y cambio social: Reconocer que la mitigación de daños es continua y requiere cambios sociales más amplios, no solo ajustes técnicos.

4. Resultados y Hallazgos Principales

• Incompatibilidad de enfoques monistas: Un enfoque puramente distributivo (DE) o puramente relacional (RE) es insuficiente. La DE ignora la subordinación cultural, y la RE, si se aplica de forma reduccionista, podría ignorar la privación material.
• La naturaleza de los daños representativos: Se demuestra que los daños como el "borrado" (erasure) o la "reificación" de identidades esenciales no son errores de distribución, sino mecanismos de opresión que niegan la igualdad moral.
• Fallo de las soluciones de "igual representación": Las técnicas actuales que buscan igualar las salidas demográficas (ej. hacer que los modelos generen igual número de hombres y mujeres en roles de poder) a menudo fallan porque no abordan las jerarquías de poder subyacentes ni el contexto histórico, pudiendo incluso perpetuar estereotipos o crear resultados absurdos.
• Necesidad de intervención en toda la tubería (pipeline): La equidad no se logra solo ajustando los pesos del modelo o los datos de entrenamiento; requiere intervención en la recolección de datos, el diseño, la implementación y la interacción del usuario.

5. Significado e Impacto

Este artículo es fundamental para el campo de la IA ética por las siguientes razones:

• Cambio de Paradigma Normativo: Desplaza el debate de "¿qué métrica estadística usamos?" a "¿qué tipo de sociedad y relaciones humanas queremos construir con la IA?".
• Fundamentación Ética Robusta: Proporciona una justificación ética sólida para abordar los daños representativos, que a menudo son ignorados o tratados superficialmente en la literatura técnica.
• Guía Práctica para la Investigación y Desarrollo: Ofrece un marco para evaluar si una intervención técnica es verdaderamente justa. Sugiere que la equidad requiere tanto la corrección de la distribución de recursos (DE) como la transformación de las relaciones de poder y estatus (RE).
• Relevancia para Modelos Generativos: Es especialmente pertinente para la era de los Grandes Modelos de Lenguaje (LLM) y modelos de texto-a-imagen, donde los daños representativos (estereotipos, sesgos culturales) son el riesgo principal, más allá de los errores de asignación de recursos.

En conclusión, Kong argumenta que la equidad en ML debe entenderse como un proyecto sociotécnico que combate tanto la maldistribución de oportunidades como el mal reconocimiento de identidades, exigiendo una transformación tanto de los sistemas técnicos como de las estructuras sociales que los rodean.