A Woman with a Knife or A Knife with a Woman? Measuring Directional Bias Amplification in Image Captions

1. Enunciato del Problema

Amplificazione del Bias nella Descrizione di Immagini:
Quando i modelli di descrizione di immagini vengono addestrati su dataset distorti (ad esempio, didascalie scritte da umani contenenti stereotipi sociali), spesso riproducono e persino amplificano questi bias nei loro output generati. Ad esempio, un modello potrebbe prevedere "una donna che tiene un coltello" più frequentemente di "un uomo che tiene un coltello" quando l'evidenza visiva è ambigua, o viceversa.

Limitazioni delle Metriche Esistenti:
I metodi attuali per misurare l'amplificazione del bias rientrano in due categorie, entrambe inadatte alla descrizione di immagini:

1. Metriche basate sulla classificazione (es. BA→, DPA): Misurano il bias nelle attività di classificazione ma ignorano il significato semantico delle frasi in linguaggio naturale. Non riescono a distinguere tra "Lui ha una palla" e "Lui non ha una palla" se le parole chiave sono le stesse.
2. Metriche consapevoli del linguaggio (es. LIC, ImgCap2):
   • LIC (Leakage in Captioning): Sebbene comprenda la semantica, è non direzionale. Non riesce a distinguere quale attributo abbia causato il bias. Non può dire se il modello abbia amplificato il bias di prevedere una "donna" quando vede un "coltello", o di prevedere un "coltello" quando vede una "donna".
   • ImgCap2: Confonde i bias intrinseci nell'immagine con i bias nella didascalia, rendendolo inadatto a isolare il comportamento del modello di descrizione.
   • Problemi di Coerenza: I punteggi LIC variano significativamente a seconda della scelta del codificatore di frasi (un iperparametro), rendendo i risultati inaffidabili.

Il Divario: Non esiste alcuna metrica esistente che sia contemporaneamente consapevole del linguaggio (comprende la semantica), direzionale (identifica la fonte del bias: Attributo $\to$ Attività vs. Attività $\to$ Attributo) e coerente tra diverse configurazioni del modello.

---

2. Metodologia: Amplificazione Direzionale del Bias nella Descrizione (DBAC)

Gli autori propongono DBAC, una nuova metrica progettata per misurare l'amplificazione del bias in due direzioni specifiche:

• $A \to T$ (da Attributo ad Attività): La presenza di un attributo (es. Genere) amplifica la previsione di un'attività/oggetto (es. Coltello)?
• $T \to A$ (da Attività ad Attributo): La presenza di un'attività/oggetto amplifica la previsione di un attributo (es. Genere)?

Meccanismo Principale

DBAC utilizza un framework di attacco avversario combinato con l'allineamento del vocabolario:

1. Mascheramento:
   • Per misurare $A \to T$: I token del genere vengono mascherati nella didascalia (es. "Una con una chitarra").
   • Per misurare $T \to A$: I token dell'attività vengono mascherati (es. "Un uomo con un ").
2. Funzione Attaccante ($f$):
   • Un modello (codificatore di frasi + testa di classificazione) viene addestrato per prevedere l'attributo mascherato (es. genere) utilizzando solo il contesto rimanente.
   • Un'alta accuratezza di previsione implica che il contesto rimanente (l'attività) contiene forti segnali di bias riguardo all'attributo.
3. Formulazione Probabilistica:
   • Il bias è quantificato dalla probabilità dell'attributo data la frase mascherata.
   • Per garantire una prior fissa (un requisito per una misurazione valida dell'amplificazione del bias), gli autori utilizzano il teorema di Bayes per approssimare il bias come $P(\text{Attività} | \text{Attributo})$.
   • Punteggio di Amplificazione del Bias: Calcolato come la differenza tra il bias nelle Didascalie Generate dal Modello (MGC) e nelle Didascalie Generate da Umani (HGC), normalizzato in un intervallo di $(-1, 1)$.
   • Formula: $DBAC = \frac{\omega_M - \omega_H}{\omega_M + \omega_H + \epsilon}$, dove $\omega$ rappresenta la forza del bias.

Miglioramenti Tecnici Chiave rispetto a LIC

1. Direzionalità: Separa esplicitamente l'amplificazione $A \to T$ e $T \to A$, consentendo strategie di mitigazione mirate.
2. Sostituzione Contestuale (Allineamento del Vocabolario):
   • Problema: Le didascalie umane (HGC) hanno vocabolari più ampi rispetto alle didascalie del modello (MGC). Una semplice "sostituzione costante" (sostituire parole sconosciute con <unk>) perde le sfumature semantiche.
   • Soluzione: DBAC utilizza la sostituzione contestuale. Se una parola in HGC manca in MGC, viene sostituita con la parola semanticamente più vicina dal vocabolario MGC (utilizzando embedding come GloVe o FastText). Se non esiste una corrispondenza vicina, diventa <unk>.
   • Vantaggio: Questo preserva meglio il segnale di bias semantico rispetto alla sostituzione costante.
3. Coerenza del Codificatore: La metrica è progettata per essere robusta tra diversi codificatori di frasi (LSTM, RNN, Transformers, Modelli pre-addestrati).

---

3. Contributi Chiave

1. Metrica DBAC: La prima metrica che è contemporaneamente consapevole del linguaggio, direzionale e coerente.
2. Identificazione della Fonte: DBAC può individuare se un modello amplifica il bias dagli attributi alle attività o viceversa, consentendo strategie di riaddestramento specifiche (ad esempio, riaddestrare solo su "donne con oggetti non coltelli" se il bias $A \to T$ è alto).
3. Sostituzione Contestuale: Ha dimostrato che sostituire le parole con alternative semanticamente simili (piuttosto che generici <unk>) produce stime del bias più accurate.
4. Robustezza: Ha dimostrato che i punteggi DBAC sono stabili tra vari codificatori di frasi, eliminando la necessità di sintonizzare gli iperparametri per trovare un codificatore "adatto".

---

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset COCO Captions utilizzando 13 diversi modelli di descrizione (inclusi BLIP, OSCAR, LLaVA e modelli basati su Transformer) e attributi per Genere e Razza.

• Cattura del Bias Linguistico: In dataset controllati in cui genere e attività erano bilanciati ma l'uso dei verbi era sbilanciato, le metriche non consapevoli del linguaggio (BA→, DPA) hanno riportato zero bias. DBAC e LIC hanno rilevato correttamente il bias linguistico.
• Validazione della Direzionalità:
  • Gli autori hanno mascherato progressivamente le persone nelle immagini. Man mano che la persona diventava meno visibile, il modello si affidava di più agli oggetti di sfondo (attività) per indovinare genere/razza.
  • Risultato: Solo DBAC ha catturato la tendenza crescente nel bias $T \to A$ all'aumentare del mascheramento. LIC non è riuscito a rilevare questa tendenza perché mancava di direzionalità.
• Coerenza (Analisi di Sensibilità):
  • DBAC ha mostrato un Coefficiente di Variazione (CV) significativamente inferiore tra diversi codificatori di frasi rispetto a LIC.
  • Genere: DBAC ha avuto 84,5% di variazione in meno (codificatori da zero) e 69,9% di variazione in meno (codificatori pre-addestrati) rispetto a LIC.
  • Razza: DBAC ha avuto 59,5% di variazione in meno (da zero) e 83,6% di variazione in meno (pre-addestrati) rispetto a LIC.
• Impatto della Sostituzione: La sostituzione contestuale ha migliorato i punteggi di similarità METEOR (mantenendo il significato originale) di circa 2,7% - 3,4% rispetto alla sostituzione costante. Ha anche portato a punteggi di rilevamento del bias più alti e accurati.
• Analisi del Modello:
  • La maggior parte dei modelli ha ridotto il bias $A \to T$ (prevedere attività dato il genere è diventato più equo).
  • Tuttavia, 8 su 13 modelli hanno aumentato il bias $T \to A$ (prevedere il genere data un'attività è diventato più distorto).
  • La tecnica di mitigazione "Equalizer" ha ridotto il bias $T \to A$ ma ha involontariamente peggiorato il bias $A \to T$, evidenziando la necessità di metriche direzionali per evitare conseguenze indesiderate.

---

5. Significato

• Affidabilità: DBAC è stabilita come l'unica metrica affidabile per misurare l'amplificazione del bias nella descrizione di immagini, affrontando i difetti critici dei metodi precedenti.
• Informazioni Azionabili: Identificando la direzione del bias, DBAC permette ai ricercatori di applicare mitigazioni mirate. Invece di riaddestrare un modello su un dataset massiccio, i ricercatori possono curare specificamente i dati per rompere associazioni distorte specifiche (ad esempio, "coltello $\to$ donna").
• Standardizzazione: La robustezza di DBAC rispetto alla scelta del codificatore di frasi rimuove una grande fonte di rumore sperimentale, rendendo la misurazione del bias più riproducibile e confrontabile tra gli studi.
• Sicurezza: In applicazioni ad alto rischio come la tecnologia assistiva per i non vedenti, comprendere e correggere il bias direzionale è cruciale per prevenire descrizioni fuorvianti o dannose.