Beyond Categories of Caste: Examining Caste Bias and Morality in Text-to-Image AI Models

Imagina que tienes un artista robot mágico y superinteligente. Puedes decirle: "Dibuja una imagen de una persona almorzando", o "Dibuja a dos personas estudiando juntas", y creará una imagen instantáneamente. Esto es lo que hace la IA de Texto-a-Imagen.

Sin embargo, este artículo argumenta que este robot artista no es solo un lienzo en blanco. Ha sido entrenado con millones de imágenes de internet y, desafortunadamente, ha aprendido algunas reglas muy antiguas y muy dañinas sobre cómo se debe tratar a las personas según su origen. Específicamente, los investigadores analizaron cómo esta IA maneja la casta en el sur de Asia (un sistema de jerarquía social en la India).

Aquí está el desglose de sus hallazgos en términos sencillos:

1. La forma antigua de ver el problema

Investigadores anteriores trataron la casta como una casilla de verificación. Pensaban que la IA era sesgada porque veía un nombre como "Sharma" (a menudo de casta alta) y dibujaba a una persona rica, o veía un nombre como "Kumar" (a menudo de casta baja) y dibujaba a una persona pobre. Pensaban que el problema era simplemente de etiquetas.

La nueva idea del artículo:
Los autores dicen que esto es demasiado simple. La casta no es solo una etiqueta en un gafete; es una relación. Es como un guion que le dice a las personas quiénes son en relación con los demás. La IA no solo está etiquetando mal a las personas; está representando un guion profundo e invisible que decide quién merece dignidad y quién merece servir.

2. El experimento del "Espejo Mágico"

Para probar esto, los investigadores no solo le pidieron a la IA que dibujara a "un Brahmin" o a "un Dalit". En su lugar, le pidieron que dibujara escenas cotidianas usando nombres que eran:

• Claramente de casta alta.
• Claramente de casta baja.
• Ambiguos (nombres que podrían ser de cualquiera).
• Sin apellido (solo un nombre de pila).

Le pidieron a la IA que dibujara a estas personas haciendo cosas normales: comiendo, estudiando, rezando o trabajando en un vecindario.

3. Lo que el artista robot realmente dibujó

La IA no solo se equivocó con los nombres. Creó todo un universo moral donde algunas personas eran "puras" y "dignas", y otras eran "sucias" y "útiles solo para el trabajo".

Los investigadores encontraron tres formas principales en las que la IA impone este sesgo:

• El filtro de "Valor Corporal" (Moralidad Corporal):

  • La analogía: Imagina una balanza que pesa tu alma.
  • Lo que pasó: Cuando la IA dibujaba nombres de casta alta o ambiguos, los mostraba sentados en habitaciones limpias y espaciosas, estudiando en bibliotecas, o simplemente parados con aspecto digno. No estaban "haciendo" nada.
  • El sesgo: Cuando la IA dibujaba nombres de casta baja o ambiguos, casi siempre los ponía trabajando. Incluso si el comando no pedía un trabajo, la IA les daba una escoba, una cesta de pescado o una herramienta de limpieza. Decidió que estos cuerpos solo eran valiosos si eran útiles para otros. La IA asumió que ellos merecían ser pobres o trabajadores, mientras que otros merecían estar cómodos.

• El filtro de "Círculo Social" (Relación Social):

  • La analogía: Imagina una fiesta donde algunos invitados tienen permitido entrar a la casa, pero otros deben quedarse afuera en el lodo.
  • Lo que pasó: Cuando la IA dibujaba a personas comiendo juntas, a menudo las separaba. La persona "superior" era mostrada en una casa limpia y privada sin nadie más alrededor (protegiendo su "pureza"). La persona "inferior" era mostrada comiendo en la calle, en una choza o en un área abarrotada y sucia.
  • El sesgo: La IA se negó a imaginar a personas de diferentes orígenes mezclándose libremente. Reforzó la idea de que ciertas personas son "demasiado puras" para estar cerca de otros, o que otros son "demasiado sucios" para estar en el mismo espacio.

• El filtro de "Escenografía" (Relación Material-Espacial):

  • La analogía: Imagina un set de filmación donde los personajes ricos reciben una mansión y los personajes pobres reciben una caja de cartón, incluso si el guion no lo dice.
  • Lo que pasó: La IA colocó a personajes de casta baja en entornos específicos y restringidos. Por ejemplo, dibujó a una persona de casta baja en un pueblo con un letrero que decía "Colonia Bhangi" (un área segregada para trabajadores de saneamiento) o la mostró en una casa improvisada.
  • El sesgo: La IA no solo mostró la pobreza; mostró segregación. Creó un mundo donde los trabajos "sucios" y los lugares "sucios" son las únicas opciones para ciertas personas, atrapándolas efectivamente allí en la imagen.

4. La gran sorpresa: Sucedió incluso sin nombres

La parte más impactante del estudio fue que la IA hizo esto incluso cuando los nombres eran ambiguos o no tenían apellidos.

• Si le dabas a la IA un nombre que podía pertenecer a cualquiera, aun así "adivinaba" el rango social de la persona basándose en lo que pensaba que deberían estar haciendo.
• Asignó los trabajos "sucios" y los vecindarios "sucios" a personas que no tenían una etiqueta de casta clara.
• La lección: La IA no solo está mirando nombres; ha aprendido un orden moral. Ha aprendido un conjunto de reglas que dice: "Este tipo de cuerpo pertenece en la cocina limpiando baños, y ese tipo de cuerpo pertenece en la biblioteca leyendo libros".

5. Por qué esto importa (El "Porqué" detrás del "Qué")

Los autores argumentan que el problema no es solo que la IA sea "sesgada" de una manera simple. El problema es que la IA ha absorbido la Normatividad Brahminica.

• Traducción simple: Esta es una forma elegante de decir que la IA ha aprendido los "ajustes predeterminados" de una sociedad donde un grupo es considerado superior y puro, y todos los demás son considerados inferiores e impuros.
• La IA no solo está reflejando la realidad; está reforzando la idea de que esta jerarquía es natural y moral. Hace que parezca que es "correcto" que algunos sean limpiadores y otros sean jefes.

6. Lo que los autores quieren que suceda

El artículo concluye que no podemos arreglar esto simplemente añadiendo más datos "justos" o diciéndole a la IA que "sea amable".

• Necesitamos dejar de pensar en la casta solo como una categoría (como una casilla de verificación).
• Necesitamos entenderla como una relación y un sistema moral.
• Para arreglar la IA, debemos desafiar la idea de que algunas personas son naturalmente "dignas" de la comodidad y otras son naturalmente "dignas" solo del trabajo. Necesitamos enseñarle a la IA que la dignidad no es algo que se gana por tu trabajo o tu nombre; es algo que todos poseen.

En resumen: El artista robot no solo está cometiendo errores; está actuando como un libro de reglas estricto y anticuado que dice que algunas personas son "demasiado buenas" para hacer ciertas cosas, y otras son "solo buenas" para el trabajo sucio. Los autores quieren que nos demos cuenta de esto y que reescribamos el libro de reglas.