Beyond Categories of Caste: Examining Caste Bias and Morality in Text-to-Image AI Models

Immagina di avere un artista robotico magico e super intelligente. Puoi dirgli: "Disegna una persona che pranza" o "Disegna due persone che studiano insieme", e lui creerà un'immagine istantaneamente. Questo è ciò che fa l'IA Text-to-Image (da testo a immagine).

Tuttavia, questo articolo sostiene che questo artista robotico non sia solo una tela bianca. È stato addestrato su milioni di immagini prese da internet e, sfortunatamente, ha appreso alcune regole molto vecchie e molto dannose su come le persone dovrebbero essere trattate in base al loro background. Nello specifico, i ricercatori hanno esaminato come questa IA gestisce la casta nel Sud Asia (un sistema di gerarchia sociale in India).

Ecco la ripartizione delle loro scoperte in termini semplici:

1. Il vecchio modo di guardare il problema

I ricercatori precedenti trattavano la casta come una casella da spuntare. Pensavano che l'IA fosse di parte perché vedeva un nome come "Sharma" (spesso di casta superiore) e disegnava una persona ricca, o vedeva un nome come "Kumar" (spesso di casta inferiore) e disegnava una persona povera. Pensavano che il problema riguardasse solo le etichette.

La nuova idea del documento:
Gli autori affermano che questo è troppo semplice. La casta non è solo un'etichetta su un cartellino; è una relazione. È come un copione che dice alle persone chi sono in relazione agli altri. L'IA non sta solo sbagliando l'etichetta delle persone; sta mettendo in scena un copione profondo e invisibile che decide chi merita dignità e chi merita di servire.

2. L'esperimento dello "Specchio Magico"

Per testare questo, i ricercatori non si sono limitati a chiedere all'IA di disegnare "un Brahmin" o "un Dalit". Hanno invece chiesto all'IA di disegnare scene quotidiane usando nomi che erano:

• Chiaramente di casta superiore.
• Chiaramente di casta inferiore.
• Ambigui (nomi che potevano appartenere a chiunque).
• Senza cognome (solo un nome di battesimo).

Hanno chiesto all'IA di disegnare queste persone mentre compiono azioni normali: mangiare, studiare, pregare o lavorare in un quartiere.

3. Cosa ha effettivamente disegnato l'artista robotico

L'IA non ha solo sbagliato i nomi. Ha creato un intero universo morale dove alcune persone erano "pure" e "degne", e altre erano "sporche" e "utili solo per il lavoro".

I ricercatori hanno scoperto che l'IA impone questo pregiudizio in tre modi principali:

• Il filtro del "Valore del Corpo" (Moralità Corporea):

  • L'analogia: Immagina una bilancia che pesa la tua anima.
  • Cosa è successo: Quando l'IA disegnava nomi di casta superiore o ambigui, mostrava queste persone sedute in stanze pulite e spaziose, che studiavano in biblioteche o semplicemente stavano in piedi con un aspetto dignitoso. Non stavano "facendo" nulla.
  • Il pregiudizio: Quando l'IA disegnava nomi di casta inferiore o ambigui, le faceva quasi sempre lavorare. Anche se il comando non chiedeva un lavoro, l'IA dava loro una scopa, un cesto di pesce o uno strumento di pulizia. Ha deciso che questi corpi erano preziosi solo se erano utili agli altri. L'IA ha assunto che questi soggetti meritassero di essere poveri o lavoratori, mentre altri meritavano di stare comodi.

• Il filtro del "Cerchio Sociale" (Relazione Sociale):

  • L'analogia: Immagina una festa dove alcuni ospiti sono autorizzati a stare dentro casa, ma altri devono stare fuori nel fango.
  • Cosa è successo: Quando l'IA disegnava persone che mangiavano insieme, spesso le separava. La persona "superiore" veniva mostrata in una casa privata e pulita senza nessun altro intorno (proteggendo la sua "purezza"). La persona "inferiore" veniva mostrata mentre mangiava per strada, in una baracca o in un'area affollata e sporca.
  • Il pregiudizio: L'IA rifiutava di immaginare persone di background diversi che si mescolavano liberamente. Rinforzava l'idea che certe persone siano "troppo pure" per stare vicino ad altri, o che altri siano "troppo sporchi" per stare nello stesso spazio.

• Il filtro del "Set Scenico" (Relazione Materiale-Spaziale):

  • L'analogia: Immagina un set cinematografico dove i personaggi ricchi ottengono una villa, e i personaggi poveri ottengono una scatola di cartone, anche se la sceneggiatura non lo dice.
  • Cosa è successo: L'IA collocava i personaggi di casta inferiore in ambienti specifici e ristretti. Ad esempio, ha disegnato una persona di casta inferiore in un villaggio con un cartello che diceva "Bhangi Colony" (un'area segregata per gli addetti alla sanificazione) o l'ha mostrata in una casa improvvisata.
  • Il pregiudizio: L'IA non mostrava solo la povertà; mostrava la segregazione. Creava un mondo in cui il lavoro "sporco" e i luoghi "sporchi" sono le uniche opzioni per certe persone, intrappolandole efficacemente lì nell'immagine.

4. La grande sorpresa: è successo anche senza nomi

La parte più scioccante dello studio è stata che l'IA ha fatto tutto questo anche quando i nomi erano ambigui o senza cognomi.

• Se davi all'IA un nome che poteva appartenere a chiunque, essa "indovinava" comunque il rango sociale della persona in base a ciò che pensava che dovrebbe fare.
• Assegnava i lavori "sporchi" e i quartieri "sporchi" a persone che non avevano un'etichetta di casta chiara.
• La lezione: L'IA non sta solo guardando i nomi; ha appreso un ordine morale. Ha appreso un insieme di regole che dicono: "Questo tipo di corpo appartiene alla cucina a pulire i bagni, e quel tipo di corpo appartiene alla biblioteca a leggere libri".

5. Perché questo è importante (il "Perché" dietro il "Cosa")

Gli autori sostengono che il problema non è solo che l'IA sia "di parte" in modo semplice. Il problema è che l'IA ha assorbito la Normatività Brahminica.

• Traduzione semplice: Questo è un modo elegante per dire che l'IA ha appreso le "impostazioni predefinite" di una società in cui un gruppo è considerato superiore e puro, e tutti gli altri sono considerati inferiori e impuri.
• L'IA non sta solo riflettendo la realtà; sta rinforzando l'idea che questa gerarchia sia naturale e morale. Fa sembrare che sia "giusto" che alcuni siano addetti alle pulizie e altri siano capi.

6. Cosa vogliono gli autori

Il documento conclude che non possiamo risolvere il problema semplicemente aggiungendo più dati "equi" o dicendo all'IA di "essere gentile".

• Dobbiamo smettere di pensare alla casta solo come una categoria (come una casella da spuntare).
• Dobbiamo comprenderla come una relazione e un sistema morale.
• Per correggere l'IA, dobbiamo sfidare l'idea che alcune persone siano naturalmente "degne" di comfort e altre siano naturalmente "degne" solo del lavoro. Dobbiamo insegnare all'IA che la dignità non è qualcosa che si guadagna con il proprio lavoro o il proprio nome; è qualcosa che appartiene a tutti.

In breve: l'artista robotico non sta solo commettendo errori; sta agendo come un libro di regole vecchio e rigido che dice che alcune persone sono "troppo buone" per fare certe cose, e altre sono "solo buone" per il lavoro sporco. Gli autori vogliono che ce ne rendiamo conto e che riscriviamo il libro delle regole.