💻 computer science

Beyond wheelchairs and blindfolds: Investigating disability stereotypes in T2I models with INCLUDE-BENCH

Questo articolo introduce INCLUDE-BENCH, il primo benchmark su larga scala per valutare i pregiudizi relativi alla disabilità nei modelli text-to-image, rivelando che gli attuali sistemi si affidano sistematicamente a stereotipi ristretti come le carrozzine ed esibiscono un allineamento più forte con le associazioni pregiudizievoli del mondo reale quando raffigurano persone con disabilità.

Autori originali: Sophia Lichtenberg, Albert Gatt, Judith Masthoff

Pubblicato 2026-07-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sophia Lichtenberg, Albert Gatt, Judith Masthoff

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una macchina artistica magica che può disegnare tutto ciò che descrivi. Dici: "Disegna uno chef" e lei sputa fuori l'immagine di una persona con un cappello bianco che cucina. Dici: "Disegna una persona con una disabilità" e... beh, è proprio qui che la magia diventa un po' difettosa.

Un team di ricercatori dell'Università di Utrecht ha deciso di testare questo difetto con un nuovo, enorme test chiamato INCLUDE-BENCH. Non volevano solo vedere se le macchine fossero "preconcce"; volevano vedere come lo fossero, utilizzando un enorme dataset di 119.680 immagini generate. Hanno chiesto a 17 diversi motori artistici (sia open-source, utilizzabili da chiunque, sia due modelli chiusi e segreti) di disegnare persone con disabilità in ogni tipo di situazione.

Ecco cosa hanno scoperto, servito con un contorno di realtà.

La scorciatoia della "Sedia a rotelle"

La sorpresa più grande? Le macchine sono ossessionate dalle sedie a rotelle. Quando i ricercatori chiedevano una persona "con problemi di mobilità" o semplicemente una persona "disabile" generica, quasi tutti i modelli cercavano immediatamente la sedia a rotelle. È come se chiedessi a uno chef di disegnare un "panettiere" e lui disegnasse solo qualcuno che tiene in mano un mattarello, ignorando i forni, la farina o il pane vero e proprio.

Il documento mostra che per questi prompt specifici, le macchine sono incredibilmente costanti nel disegnare la sedia a rotelle, ma sono terribili nel disegnare qualsiasi altra cosa. È una scorciatoia visiva. Le macchine pensano: "Oh, disabilità? Allora significa sedia a rotelle", e si fermano lì.

Il filtro "Vecchio e Triste"

Le macchine sembrano anche avere un strano filtro per l'età e l'umore. Quando disegnavano persone con problemi di mobilità, erano prevalentemente anziane. Se la persona era una donna, veniva spesso disegnata in casa, mentre cucina o pulisce. Se la persona era un uomo, era spesso all'esterno, in un parco o in un museo.

I ricercatori hanno scoperto che le macchine stanno fondamentalmente giocando a una partita a "bingo degli stereotipi". Stanno scegliendo gli indizi più ovvi e riconoscibili (come la sedia a rotelle o la benda sugli occhi) per assicurarsi che tu sappia chi è la persona, ma facendo così cancellano tutti gli altri dettagli. Non stanno mostrando un gruppo diversificato di persone che vivono le proprie vite; stanno mostrando un gruppo molto ristretto, molto anziano e molto specifico di personaggi.

Il compromesso tra "Allineamento e Diversità"

Ecco un modo divertente per pensare alla matematica dietro la magia. I ricercatori hanno misurato due cose:

Allineamento: Quanto bene l'immagine corrisponde alle parole che hai digitato.
Diversità: Quanto le immagini sono diverse tra loro.

Hanno scoperto un curioso compromesso. Le immagini che corrispondevano meglio alle parole "problemi di mobilità" o "disabile" (alto allineamento) erano le meno diverse. Erano quasi tutte identiche: una persona anziana in sedia a rotelle.

Ma quando chiedevano di persone "cieche" o "sorde", le immagini erano un po' più diverse. Potevi vedere una persona con un bastone, o qualcuno con gli occhiali da sole, o magari solo qualcuno che sembrava pensieroso. Ma anche in quel caso, le macchine continuavano a ricorrere ai vecchi trucchi, come disegnare bende sugli occhi o gesti specifici delle mani.

Il punteggio "Calore e Competenza"

I ricercatori hanno persino inventato un nuovo modo per valutare le immagini, chiamato SCM Score. Immagina un grafico dove un lato è "Quanto sembra simpatica questa persona?" (Calore/Warmth) e l'altro è "Quanto sembra capace?" (Competenza/Competence).

Nel mondo reale, le persone spesso pensano che i disabili siano "simpatici ma non molto capaci". Il documento ha trovato che le macchine artistiche stanno copiando esattamente questa sensazione. Le immagini di persone in sedia a rotelle hanno ottenuto punteggi bassi in termini di "competenza". Sembravano meno capaci rispetto alle immagini di persone senza disabilità. Anche quando i ricercatori chiedevano alle macchine di disegnare queste persone mentre compiono attività attive (come camminare o chiacchierare), le macchine facevano comunque fatica a farle apparire capaci.

Cosa hanno sbagliato le macchine (e cosa non hanno testato)

È importante sapere cosa questo test non ha fatto. I ricercatori hanno esplicitamente dichiarato che non hanno testato per disabilità cognitive o intellettive. Perché? Perché non sempre sono visibili in un'immagine. Non puoi davvero "disegnare" un processo di pensiero allo stesso modo in cui puoi disegnare una sedia a rotelle. Quindi, i risultati che abbiamo sono strettamente relativi a ciò che si può vedere.

Inoltre, il documento non sostiene di aver "risolto" il problema. Non hanno trovato un interruttore magico per spegnere il pregiudizio. Invece, hanno costruito un enorme metro (INCLUDE-BENCH) per mostrare esattamente quanto sia difettoso il metro oggi. Hanno scoperto che anche quando provavano a cambiare il contesto (chiedendo di una persona in un caffè invece che in un parco), le macchine tendevano pesantemente verso gli stereotipi.

In sintesi

Il documento suggerisce che queste macchine artistiche non stanno solo commettendo errori accidentali; stanno attivamente riproducendo le stesse storie strette e stereotipate che vediamo nel mondo reale. Sovrastimano i segnali "diagnostici" (la sedia a rotella, il bastone) e ignorano tutto il resto dell'essere umano.

I ricercatori sono piuttosto sicuri di questo perché hanno generato quasi 120.000 immagini e le hanno verificate con la matematica e gli strumenti di IA. Non stanno tirando a indovinare; hanno misurato. E la misurazione dice: se vuoi vedere una persona con disabilità reale, diversificata e capace, non puoi ancora chiedere alla macchina. La macchina è ancora bloccata nel ciclo "sedia a rotelle e vecchiaia".

Quindi, sebbene la tecnologia sia incredibile, sta ancora imparando che una persona è molto più della sua disabilità. Fino ad allora, la macchina artistica magica sta principalmente disegnando la stessa vecchia storia, ancora e ancora.

Sintesi Tecnica: INCLUDE-BENCH – Investigare gli Stereotipi sulla Disabilità nei Modelli T2I

Problematica
Sebbene i modelli Text-to-Image (T2I) abbiano dimostrato una capacità significativa nella creazione di contenuti, è noto che riproducono e amplificano i pregiudizi sociali presenti nei loro dati di addestramento. Ricerche precedenti hanno valutato estensivamente i bias relativi a genere, razza, età e rappresentazione culturale, spesso in contesti occupazionali o scenari specifici. Tuttavia, la disabilità rimane sistematicamente sottoesplorata in questo dominio. Le pratiche di valutazione esistenti spesso non riescono ad allinearsi con le definizioni sociologicamente fondate di stereotipizzazione, limitando le valutazioni basate su principi riguardanti i danni rappresentativi verso le Persone con Disabilità (PWD). La letteratura attuale suggerisce che i modelli T2I producano spesso ritratti ristretti e stereotipati di PWD — raffigurandoli frequentemente come anziani, tristi e dipendenti da ausili obsoleti come le carrozzine manuali — fallendo nel rappresentare la diversità della comunità dei disabili, che comprende una stima del 16% della popolazione globale.

Metodologia: INCLUDE-BENCH
Per affrontare queste lacune, gli autori introducono INCLUDE-BENCH (INCLUsive Disability Evaluation), il primo benchmark su larga scala progettato per valutare il bias relativo alla disabilità nei modelli T2I. La metodologia prevede una pipeline strutturata di costruzione del dataset, generazione di immagini e valutazione multimodale.

Costruzione del Dataset: Il benchmark consiste in 352 prompt organizzati in quattro sottoinsiemi per isolare gli effetti dell'imperfezione, dell'identità intersezionale e del contesto:
1. Nessun Contesto: Rappresentazioni di base senza indizi ambientali.
2. Nessun Contesto + Bias: Introduce attributi intersezionali (genere, razza, età).
3. Solo Contesto: Introduce ambientazioni spaziali statiche (es. museo, casa, parco).
4. Azione: Basati sulla Classificazione Internazionale del Funzionamento, della Disabilità e della Salute (ICF) dell'OMS, questi prompt testano rappresentazioni agentiche in domini come la mobilità, la comunicazione e la cura di sé.
  I prompt variano lungo tre assi: specificità dell'imperfezione (generica, mobilità, sensoriale), attributi intersezionali e contesto ambientale. Lo studio si concentra su imperfezioni con caratteristiche visive osservabili (es. Cieco, Sordo, con Disabilità Motoria, Sordo-cieco, Muto), escludendo le disabilità cognitive che sono meno visivamente evidenti.
Generazione di Immagini: Gli autori hanno generato 119.680 immagini eseguendo i 352 prompt su 17 modelli T2I allo stato dell'arte (inclusi 15 modelli open-source delle famiglie Stable Diffusion, FLUX e altre, e 2 modelli closed). Per ogni prompt, sono state generate 20 immagini utilizzando seed casuali.
Metriche di Valutazione:
- Analisi della Rappresentazione Visiva: Le immagini generate sono state elaborate tramite SAM (Segment Anything Model) per ritagliare le regioni centrate sulla persona. Queste sono state raggruppate usando MiniBatchKMeans per identificare pattern visivi ricorrenti. Le didascalie delle immagini sono state generate tramite Qwen3-VL per caratterizzare i cluster e identificare i segnali visivi condivisi tramite la frequenza dei token.
- Analisi Intersezionale: Gli attributi demografici (razza, età, genere) sono stati estratti tramite Visual Question Answering (VQA). Gli autori hanno calcolato i rapporti di apparizione relativa ( $R_{i,g}$ ) confrontando la frequenza di specifiche identità nei gruppi con disabilità rispetto a un baseline senza disabilità.
- Allineamento Semantico della Disabilità: Misurato tramite CLIPScore per determinare la forza dell'allineamento semantico tra le immagini generate e i prompt condizionati dalla disabilità.
- Diversità Spettrale dell'Immagine: Quantificata tramite il Vendi Score (basato su embedding CLIP) per misurare la diversità degli elementi visivi unici all'interno di un set di immagini generate per un dato prompt.
- Punteggio del Modello di Contenuto dello Stereotipo (SCM): Un nuovo punteggio introdotto per collegare le rappresentazioni visive al modello sociologico dello Stereotype Content Model. Questo modello valuta le percezioni lungo due dimensioni: Calore (socialità, moralità) e Competenza (abilità, agenzia). Il punteggio calcola l'allineamento degli embedding delle immagini con vettori testuali positivi e negativi per queste dimensioni.

Risultati Chiave
La valutazione di 15 modelli open-source e 2 modelli closed ha prodotto quattro scoperte primarie:

Dominanza delle Rappresentazioni in Carrozzina: I prompt relativi a disabilità motorie e alla disabilità generica producono predominantemente raffigurazioni in carrozzina in tutti i modelli. Questa scorciatoia visiva è il tratto diagnostico più comune, portando a una significativa riduzione della diversità rappresentativa.
Trade-off tra Allineamento e Diversità: Esiste una chiara relazione inversa tra allineamento semantico e diversità visiva. I prompt fisici e di disabilità generica (es. "Disabilità Motoria", "Disabile") ottengono i CLIPScore più elevati (allineamento più forte con il testo) ma mostrano i Vendi Score più bassi (diversità minore). Al contrario, le disabilità sensoriali mostrano un allamento moderato ma una maggiore diversità, specialmente in compiti comunicativi e cognitivi.
Sbilanciamento Demografico e Bias Intersezionale: I modelli sovrarappresentano sistematicamente individui bianchi anziani, in particolare donne bianche anziane in contesti motori e domestici, e uomini bianchi anziani in contesti pubblici o attivi. Individui giovani e demografie non bianche sono significativamente sottorappresentati nelle generazioni condizionate dalla disabilità rispetto al baseline.
Riproduzione di Stereotipi tramite SCM: Il punteggio SCM introdotto rivela che i modelli T2I riflettono le associazioni stereotipiche del mondo reale. Le immagini associate a disabilità motorie e carrozzine sono percepite come inferiori sia in termini di calore che di competenza rispetto ai baseline non disabili. Interessantemente, le disabilità sensoriali ("invisibili") sono state ritratte con maggiore competenza e calore rispetto alle disabilità motorie, sebbene comunque inferiori rispetto alle rappresentazioni di non disabili.

Significatività e Contributi
Il paper rivendica i seguenti contributi:

INCLUDE-BENCH: La creazione di un benchmark completo e su larga scala composto da 119K immagini che valuta il bias della disabilità attraverso diversi contesti statici e dinamici, affrontando la mancanza di valutazione contestuale nei lavori precedenti.
Evidenza Empirica del Bias: Lo studio fornisce una prova robusta che i modelli T2I si affidano a tratti visivi stretti e altamente diagnostici (come carrozzine e bende per gli occhi) per massimizzare l'allineamento con l'etichetta, risultando in ritratti stereotipati e demograficamente omogenei.
Innovazione Metodologica: L'introduzione dello SCM Score offre un metodo multimodale e principato per quantificare come i modelli T2I codifichino giudizi sociali impliciti riguardo a calore e competenza, collegando gli output tecnici ai framework sociologici.
Appello al Cambiamento Strutturale: Gli autori concludono che questi bias sono strutturalmente radicati in diverse architetture di modelli. Sostengono che gli attuali sistemi T2I non si limitano a riflettere la disabilità, ma riproducono narrazioni semplificate e socialmente stratificate. Il paper sottolinea la necessità di un design e di una valutazione consapevoli del bias per raggiungere rappresentazioni visive più eque, notando che le attuali strategie di mitigazione portano solo a miglioramenti limitati nella diversità o nella riduzione degli stereotipi.

Lo studio mantiene un ambito modesto, riconoscendo limitazioni quali la dipendenza da metriche automatizzate (che possono ereditare i propri bias), l'esclusione dell'annotazione umana da parte di PWD a causa della scala e il focus sulle disabilità visivamente evidenti. Il lavoro futuro suggerito prevede una valutazione centrata sulle PWD per garantire che i risultati siano in linea con le percezioni della comunità riguardo all'autenticità della rappresentazione.