Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality

Este estudio demuestra que las percepciones humanas de equidad en sistemas de IA médica no se basan únicamente en la paridad estadística, sino que dependen crucialmente de la disponibilidad de datos y de las creencias sobre las causas subyacentes de las disparidades entre grupos demográficos.

Lo esencial

🍎 La Manzana, la Naranja y la "Justicia" de la IA

Imagina que eres el juez de un concurso de cocina. Tienes dos equipos: el Equipo A y el Equipo B. Tu trabajo es decidir qué receta es la más "justa" y equitativa.

El problema es que el Equipo A ha estado cocinando en una cocina moderna con ingredientes frescos y 100 recetas de práctica. El Equipo B, por otro lado, ha estado cocinando en una cocina vieja con ingredientes que se están acabando y solo ha practicado con 5 recetas.

Si el Equipo A hace un pastel perfecto y el Equipo B hace un pastel un poco quemado, ¿quién tiene la culpa? ¿El equipo? ¿La receta? ¿O la cocina?

Este es el dilema central de un nuevo estudio realizado por investigadores del MIT sobre la Inteligencia Artificial (IA) y cómo la gente percibe la justicia.

🧩 El Problema: "Infra-marginalidad" (La Trampa de los Promedios)

En el mundo de la IA, a menudo queremos que los algoritmos sean "justos". La forma más común de medir esto es exigir paridad estadística: que el algoritmo acierte el mismo porcentaje de veces para todos los grupos (por ejemplo, que acierte el 90% de las veces tanto para hombres como para mujeres, o para diferentes razas).

Pero los investigadores descubrieron algo sorprendente: la gente no siempre quiere que las cosas sean iguales si las circunstancias no son iguales.

A esto lo llaman el problema de la "infra-marginalidad". Es una palabra compleja que significa, básicamente: "A veces, las diferencias en los resultados no son por discriminación, sino porque los grupos partían de situaciones diferentes".

🏥 El Experimento: El Hospital Virtual

Los investigadores hicieron un estudio con 85 personas. Les presentaron un escenario hipotético:

"Imagina un sistema de IA que diagnostica cáncer. Se entrenó con datos de dos grupos raciales (Grupo A y Grupo B)."

Les mostraron tres opciones de cómo podría funcionar el sistema final y les preguntaron: ¿Cuál es el más justo?

1. Opción 1 (El Igualador Extremo): El sistema acierta el 90% de las veces para ambos grupos (el nivel más alto posible).
2. Opción 2 (El Compromiso): El sistema acierta el 85% de las veces para ambos grupos (un promedio).
3. Opción 3 (El Realista): El sistema acierta al nivel que cada grupo tenía naturalmente (por ejemplo, 90% para el Grupo A y 80% para el Grupo B).

La Magia del Estudio:
Les dieron pistas sobre por qué existían esas diferencias:

• Escenario A: Les dijeron que el Grupo A tenía muchos más datos de entrenamiento (3 veces más) que el Grupo B.
• Escenario B: Les dijeron que el Grupo A tenía menos datos que el Grupo B.
• Escenario C: No les dijeron nada sobre los datos.

🎭 Lo que Descubrieron (Las Sorpresas)

Aquí es donde la gente se sorprendió a los propios científicos:

1. Cuando no sabían nada: Si no les decían por qué había diferencias, la gente quería igualdad total (Opción 1 o 2). Pensaban: "Si no hay excusa, debe ser injusto que uno acierte más que el otro".
2. Cuando sabían que había más datos: Cuando les dijeron que el Grupo A tenía muchos más datos (y por eso acertaba más), la gente pensó: "Ah, tiene sentido. Tienen más información, así que es justo que rindan mejor". En este caso, preferían la Opción 3 (mantener las diferencias) en lugar de forzar una igualdad artificial.
3. La intuición humana: La gente no es tonta. Si un grupo tiene menos datos (como el Equipo B con la cocina vieja), la gente entiende que es más difícil que acierte. Si obligas al sistema a tener el mismo rendimiento que el grupo privilegiado, la gente lo ve como injusto porque está ignorando la realidad.

🚕 La Analogía del Taxi

Imagina que dos taxis compiten en una carrera:

• Taxi A tiene un motor nuevo y un GPS perfecto.
• Taxi B tiene un motor viejo y el GPS falla a veces.

Si el juez (la IA) obliga al Taxi B a ir a la misma velocidad que el Taxi A, el Taxi B se romperá o se saldrá de la carretera.

• La justicia estricta (Paridad): "¡Ambos deben llegar al mismo tiempo!" (Esto es imposible y peligroso).
• La justicia contextual (Infra-marginalidad): "El Taxi A llegará más rápido porque tiene mejor equipo. El Taxi B llegará más lento, pero eso es justo porque sus condiciones son peores".

El estudio dice que la gente prefiere la segunda opción cuando entiende el contexto.

💡 ¿Por qué es importante esto?

Hoy en día, muchas empresas y gobiernos usan reglas matemáticas rígidas para decir si una IA es justa. Dicen: "Si la tasa de error es diferente entre grupos, ¡la IA es racista!".

Pero este estudio nos dice: Ojo, no siempre es racismo. A veces es solo que los datos son diferentes.

Si forzamos a la IA a ser "igual" cuando las realidades son diferentes, podemos:

1. Hacer daño: Por ejemplo, en medicina, si forzamos a un sistema a diagnosticar igual a todos, podríamos dar falsos positivos a un grupo que es más difícil de diagnosticar, o negar tratamientos a otro.
2. Perder la confianza: Si la gente ve que la IA ignora las diferencias reales (como la falta de datos en comunidades pobres), dejarán de confiar en ella.

🏁 Conclusión: La Justicia no es una Fórmula Matemática

La lección principal es que la justicia no es solo un número. No basta con que dos grupos tengan el mismo resultado estadístico.

Para que una IA sea realmente justa, los diseñadores deben:

• Entender por qué existen las diferencias (¿es por falta de datos? ¿es por dificultad inherente?).
• No forzar la igualdad a toda costa si eso significa ignorar la realidad.
• Explicar a la gente: "Este sistema funciona así porque los datos de este grupo eran diferentes, no porque sea injusto".

En resumen: La verdadera justicia a veces significa aceptar que no todos parten de la misma línea de salida, y que el sistema debe adaptarse a eso, en lugar de intentar borrar las diferencias con una regla rígida.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Medición de las Percepciones de Equidad en Sistemas de IA: Los Efectos de la Infra-marginalidad

1. El Problema: Infra-marginalidad y la Brecha de Percepción

El artículo aborda el problema de la infra-marginalidad en el aprendizaje automático. Este fenómeno ocurre cuando existen diferencias legítimas en las distribuciones de datos subyacentes (tasas base o base rates) entre grupos demográficos. Estas diferencias causan que las métricas de rendimiento del modelo (como la precisión o la tasa de falsos positivos) varíen naturalmente entre grupos, incluso cuando el modelo no es discriminatorio.

El problema central identificado es la desconexión entre:

• Definiciones formales de equidad: Métricas técnicas populares (como la paridad demográfica o la igualdad de oportunidades) que exigen que los resultados estadísticos sean idénticos entre grupos.
• Percepciones humanas: La intuición de los usuarios, que a menudo considera que forzar la paridad estadística cuando existen diferencias legítimas en la dificultad de la tarea o en la distribución de datos es injusto.

Si las intervenciones de equidad ignoran el contexto distribucional y fuerzan la paridad, pueden generar consecuencias negativas (por ejemplo, decisiones de libertad condicional sesgadas en sistemas como COMPAS) y erosionar la confianza pública en los sistemas algorítmicos.

2. Metodología: Estudio de Usuarios

Los autores realizaron un estudio de usuarios controlado para investigar cómo la información sobre diferencias distribucionales afecta los juicios de equidad.

• Participantes: 85 participantes con conocimientos básicos o avanzados en ciencia de datos/aprendizaje automático (reclutados en MIT y LinkedIn).
• Escenario: Un sistema hipotético de IA para la predicción de cáncer en dos grupos raciales (Race A y Race B).
• Diseño Experimental (Dos Tratamientos):
  1. Rendimiento Específico por Grupo: Se varió la información sobre la precisión de modelos entrenados por separado para cada grupo (7 instancias: desde igualdad de rendimiento hasta diferencias de ±10% en precisión).
  2. Disponibilidad de Datos de Entrenamiento: Se varió la cantidad relativa de datos disponibles para cada grupo (4 instancias: sin información, igual cantidad, 3x más datos, 20x más datos).
• Tareas: Los participantes evaluaron la equidad de tres modelos candidatos en una escala Likert de 7 puntos:
  • Opción 1: Igualar el rendimiento al grupo de mejor desempeño (maximizar resultados + paridad).
  • Opción 2: Igualar el rendimiento al promedio de ambos grupos (compromiso + paridad).
  • Opción 3: Preservar el rendimiento observado original de cada grupo (respetar las diferencias).
• Control: Se incluyeron preguntas repetidas y filtros de atención para asegurar la calidad de los datos.

3. Contribuciones Clave

• Evidencia Empírica sobre la Infra-marginalidad: Proporcionan los primeros datos cuantitativos que demuestran que los usuarios no equiparan la equidad con la paridad estadística simple.
• El Rol del Contexto Causal: Identifican que los juicios de equidad dependen no solo del resultado, sino de la percepción de la causa de las disparidades (dificultad inherente de la tarea vs. sesgo en la recolección de datos).
• Efecto de Anclaje: Descubren que los usuarios evalúan la equidad de un modelo conjunto en relación con un "ancla" (el rendimiento específico del grupo), en lugar de juzgar los resultados de forma absoluta.
• Crítica a las Métricas Actuales: Cuestionan la aplicabilidad universal de métricas de equidad grupal que ignoran las tasas base, argumentando que pueden ser contraproducentes en escenarios del mundo real.

4. Resultados Principales

• Cuando no hay diferencias visibles: Cuando el rendimiento específico por grupo era igual o no se proporcionaba información, los participantes favorecieron consistentemente los modelos que igualaban los resultados (Opciones 1 y 2), alineándose con las definiciones estándar de equidad.
• Cuando existen diferencias visibles: Cuando se mostraban diferencias de rendimiento (especialmente si eran consistentes con desequilibrios de datos), los participantes juzgaron que los modelos que preservaban esas diferencias (Opción 3) eran más justos.
• Influencia de la Disponibilidad de Datos:
  • Si un grupo tenía mejor rendimiento pero también muchos más datos, los participantes no asumieron automáticamente que la disparidad era justa.
  • Sin embargo, si un grupo tenía mejor rendimiento con menos datos, los participantes interpretaron esto como una justificación de la dificultad inherente de la tarea y consideraron la preservación de la disparidad como más equitativa.
• Preferencia por la Legitimidad sobre la Paridad: Los usuarios prefirieron preservar las disparidades cuando estas parecían derivar de diferencias legítimas en la distribución de datos o dificultad de la tarea, rechazando la paridad forzada en esos casos.

5. Significado e Implicaciones

• Brecha entre Técnica y Social: Existe una brecha crítica entre las métricas de equidad algorítmica (que priorizan la igualdad estadística) y las expectativas humanas (que priorizan la legitimidad causal).
• Diseño de Sistemas: Los diseñadores de IA no deben aplicar ciegamente métricas de paridad. Es crucial incorporar el contexto distribucional y comunicar las causas de las disparidades a los stakeholders.
• Legitimidad Social: Las intervenciones de equidad que ignoran las diferencias legítimas (infra-marginalidad) pueden ser percibidas como injustas, lo que socava la adopción y la confianza en los sistemas de IA en áreas sensibles como la justicia penal, la salud y la educación.
• Futuro de la Investigación: Se propone avanzar hacia marcos de equidad que sean flexibles y sensibles al contexto, en lugar de imponer la igualdad a toda costa, reconociendo que la equidad es un concepto relacional y no absoluto.

En resumen, el paper argumenta que para alinear la equidad algorítmica con las expectativas humanas, es necesario entender y comunicar por qué existen las disparidades, reconociendo que la igualdad estadística no siempre es sinónimo de justicia en contextos de datos heterogéneos.