EmergencyBias: Bias in Text-to-Image Models under Emergency Scenarios

Imagina que acabas de recoger una cámara mágica que no toma fotos del mundo tal como es, sino que pinta cuadros basados en tus palabras. Si dices "un chef", podría dibujar a un hombre; si dices "una enfermera", podría dibujar a una mujer. Así es como funcionan los modelos modernos de Texto-a-Imagen (T2I): son artistas increíblemente inteligentes que convierten frases en visuales deslumbrantes. Pero aquí está el truco: estos artistas han sido entrenados con una pila gigante de fotos antiguas de internet, y esa pila está llena de estereotipos. Durante mucho tiempo, los científicos han estado comprobando si estos pintores digitales se equivocan con el "quién"—como dibujar solo hombres como doctores o solo mujeres como enfermeras. Han estado observando el elenco estático de personajes en la imagen. Pero, ¿y si el verdadero problema no es solo quién está en la habitación, sino qué están haciendo? ¿Qué tal si la cámara decide que, cuando las cosas salen mal, solo ciertas personas son lo suficientemente valientes para ayudar, mientras que otras solo se quedan mirando? Esta es la nueva frontera del sesgo: no solo quién aparece, sino quién actúa, quién reacciona y quién tiene el derecho de ser el héroe.

Entra un equipo de investigadores de la Universidad de Fudan, que decidió poner a prueba a estos artistas de IA de la manera definitiva: la sala de emergencias. Acuñaron un nuevo término, EmergencyBias, para describir un tipo de prejuicio sigiloso que ocurre cuando se le pide a la IA que dibuje una crisis, como un accidente de coche o un incendio. Querían ver si la IA decidiría automáticamente que los hombres son los que corren a salvar el día, mientras que las mujeres, las personas mayores o las personas con tonos de piel más oscuros son las que necesitan ser salvadas o simplemente se quedan observando.

Para averiguarlo, no se limitaron a pedirle a la IA que dibujara una escena al azar; montaron un experimento masivo y sistemático. Crearon seis escenarios de alto riesgo diferentes, que iban desde alguien ahogándose en un río hasta un accidente en una plataforma de metro. Le pidieron a los siete modelos de IA más avanzados del mundo que dibujaran estas escenas. Primero, les dieron "prompts" en blanco—solo "una persona cae en una plataforma de metro"—para ver a quién elegía por defecto la IA. Luego, les dieron "prompts" controlados, diciéndole explícitamente a la IA: "Dibuja a una espectadora femenina" o "Dibuja a una persona mayor en crisis", para ver si la IA seguiría tratándolos de manera diferente en sus acciones.

Los resultados fueron un poco como observar un truco de magia donde el mago revela accidentalmente el secreto: los modelos de IA eran, de hecho, sesgados, y el sesgo empeoraba cuando la situación se volvía aterradora. Cuando los prompts eran en blanco, la IA elegía abrumadoramente a hombres para ser tanto los que estaban en peligro como los que ayudaban, mientras que las personas mayores eran casi invisibles, apareciendo en menos del 8% de los roles de "en crisis". Pero la verdadera sorpresa llegó cuando controlaron la demografía. Incluso cuando le dijeron explícitamente a la IA: "Dibuja a una espectadora femenina", el modelo seguía haciendo que ella fuera menos propensa a ayudar en comparación con un espectador masculino. La IA parecía tener un guion oculto donde los hombres son los rescatadores activos y las mujeres son las observadoras pasivas, independientemente de lo que dijera el prompt. Esto no era solo un pequeño fallo; la diferencia en el comportamiento de "ayuda" entre géneros fue el sesgo más pronunciado que encontraron.

Los investigadores también probaron una nueva solución ligera que llamaron ActionAlign. Piensa en esto como un entrenador pequeño e invisible que susurra instrucciones al artista de IA justo antes de que empiece a pintar, dándole un empujoncito para que rompa sus malos hábitos sin borrar su talento artístico. Compararon esto con un método más obvio de simplemente añadir palabras "éticas" al prompt (como decir "sé justo"). Los resultados mostraron que ActionAlign era mucho mejor para corregir el comportamiento. En uno de los modelos, redujo el sesgo en el comportamiento de ayuda en un masivo 78.14% sin apenas tocar la calidad de la imagen. Esto sugiere que no basta con decirle a una IA "sé amable" con unas pocas palabras; a veces necesitas reentrenar su sentido interno de cómo diferentes personas deben actuar en una crisis.

En resumen, este artículo sugiere que nuestros artistas de IA no solo están copiando quién está en la habitación, sino que también están copiando quién creen que debería ser el héroe. Incluso cuando los obligamos a dibujar a una persona específica, todavía luchan por imaginar a esa persona tomando acción. La buena noticia es que, con un poco de ajuste inteligente, podemos enseñar a estos modelos a escribir un guion más justo para todos, asegurando que, en las emergencias digitales del futuro, los héroes se parezcan a todos nosotros.