Position: Beyond Sensitive Attributes, ML Fairness Should Quantify Structural Injustice via Social Determinants
Este documento de posición sostiene que la investigación sobre la equidad algorítmica debe ir más allá de centrarse únicamente en los atributos sensibles para cuantificar la injusticia estructural a través de los determinantes sociales, demostrando que las estrategias de mitigación actuales a menudo no logran abordar las inequidades sistémicas e incluso pueden exacerbarlas.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
La gran idea: Mirar el panorama completo, no solo a la persona
Imagina que eres un juez tratando de decidir quién entra en un club especial. Durante mucho tiempo, el libro de reglas sobre la "equidad" te ha dicho que mires únicamente a la persona que tienes delante. Revisas su raza, género o edad. Si ves a dos personas con la misma raza y género, el libro de reglas dice que debes tratarlas exactamente igual.
Los autores de este artículo argumentan que este enfoque es como juzgar a un pez por su capacidad para trepar un árbol. Se pierde la parte más importante de la historia: el entorno.
Dicen que debemos dejar de mirar solo los "atributos sensibles" (como la raza o el género) y empezar a medir los Determinantes Sociales. Piensa en ellos como el "suelo" en el que crece la persona. ¿Es el suelo rico y lleno de nutrientes (buenas escuelas, aire limpio, calles seguras)? ¿O es pedregoso y seco (malas escuelas, contaminación, falta de médicos)?
El artículo sostiene que la injusticia no se trata solo de cómo se trata a las personas individualmente; se trata de la injusticia estructural construida en los vecindarios y los sistemas en los que viven.
El problema: El "ruido" frente a la "señal"
En la investigación actual de equidad en el aprendizaje automático (IA), cuando los científicos de datos ven variables relacionadas con el vecindario o el entorno de una persona, a menudo las tratan como "ruido": estática de fondo que intentan filtrar o ignorar para que el modelo sea "limpio".
Los autores dicen que esto es un error. Argumentan que estos factores ambientales son en realidad la "señal". Son la verdadera historia.
La analogía:
Imagina que estás corriendo una carrera.
- Enfoque actual: Miras a dos corredores. Uno lleva una camiseta roja y el otro una azul. Ves que el corredor de la camiseta roja es más lento. Asumes que la camiseta roja es el problema e intentas arreglar los zapatos del corredor.
- Enfoque del artículo: Te das cuenta de que el corredor de la camiseta roja está corriendo por un camino embarrado y con una subida, mientras que el corredor de la camiseta azul está en una pista lisa y plana. La "camiseta roja" (atributo sensible) no es la causa de la lentitud; el lodo y la colina (determinantes sociales) lo son. Si solo arreglas los zapatos pero dejas el lodo, el corredor seguirá perdiendo.
Por qué el método antiguo falla (La trampa de las "cuotas")
El artículo utiliza un experimento mental sobre las admisiones universitarias para mostrar por qué centrarse solo en los atributos sensibles puede, de hecho, empeorar las cosas.
El escenario:
Imagina que una universidad quiere ser justa con las "Minorías Subrepresentadas" (MSU). Deciden reservar un número específico de plazas (una cuota) para estudiantes MSU.
- La intención: Esto parece justo. Ayuda al grupo que ha sido histómente excluido.
- La consecuencia imprevista: Los autores muestran que esta estrategia suele beneficiar más a los estudiantes MSU más ricos, mientras que perjudica a los estudiantes no-MSU más pobres.
La metáfora:
Imagina un bote salvavidas que solo puede albergar a 10 personas.
- Equidad antigua: "Salvaremos a 5 personas del Grupo A y 5 del Grupo B".
- La realidad: El Grupo A tiene 5 personas en un barco hundiéndose (zona rica) y 5 personas en un pantano (zona pobre). El Grupo B tiene 5 personas en un barco hundiéndose y 5 en un pantano.
- Si solo miras la etiqueta del "Grupo", podrías salvar a los 5 del Grupo A que están en el barco hundiéndose. Pero dejas a los 5 del Grupo B que están en el pantano para que se ahoguen, aunque están en un peligro igual de grande.
- El resultado: Al centrarte solo en la etiqueta del "Grupo", accidentalmente ignoras el hecho de que las personas en el pantano (independientemente de su grupo) necesitan ayuda más que nadie. Creas un nuevo tipo de injusticia.
Prueba del mundo real: El ejemplo de las "Mujeres Negras"
Los autores no solo usaron teoría; analizaron datos reales.
- Ingresos: Observaron a mujeres negras en diferentes vecindarios. Aunque todas son "mujeres negras" (mismos atributos sensibles), sus ingresos eran radicalmente distintos dependiendo de dónde vivían. En vecindarios pobres (alta "Privación de la Zona"), sus ingresos eran mucho menores que en los vecindarios ricos. La etiqueta de "mujer negra" no contaba la historia completa; el vecindario sí.
- Salud: Observaron el cribado de cáncer de mama. Incluso entre mujeres blancas en el mismo sistema de salud, aquellas en vecindarios pobres esperaban mucho más tiempo para su primer cribado que las de vecindarios ricos. Los médicos seguían las mismas reglas para todos, pero el entorno (transporte, tiempo libre del trabajo, acceso) creó la brecha.
La solución: Un nuevo conjunto de herramientas
El artículo pide tres cambios importantes en la forma en que construimos y probamos la IA:
- Gobernanza de Datos (El Mapa): Debemos empezar a mapear el "suelo". En lugar de solo recolectar datos sobre las personas, necesitamos recolectar datos sobre sus vecindarios, la financiación de sus escuelas y los niveles de contaminación. Debemos tratar estos datos como una parte crucial del rompecabezas, no como "ruido" para ser eliminado.
- Nuevas Métricas (La Regla): Necesitamos nuevas formas de medir la equidad. En lugar de preguntar solo "¿Son iguales los resultados para el Grupo A y el Grupo B?", deberíamos preguntar "¿Son iguales los resultados para las personas que viven en Suelo Rico frente a las que viven en Suelo Pobre?".
- Modelos Causales (El Mecánico): Necesitamos construir una IA que entienda la causa y el efecto. No debería limitarse a ver que "Vivir en una zona pobre" conduce a "Peores resultados". Debe entender por qué (por ejemplo, falta de médicos, malas carreteras) para que podamos solucionar la causa raíz, no solo el síntoma.
La conclusión fundamental
El artículo concluye que no podemos lograr una verdadera equidad simplemente ignorando los atributos sensibles o intentando equilibrarlos perfectamente. Primero tenemos que auditar la injusticia estructural.
Piensa en ello como reparar un techo con goteras. Si solo sigues fregando el suelo (arreglando la discriminación individual), la casa acabará pudriéndose. Tienes que arreglar el techo (los determinantes sociales) para evitar que el agua entre en primer lugar. Los autores quieren que el aprendizaje automático deje de fregar el suelo y empiece a arreglar el techo.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.