Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models

1. Het Probleem

Vision-Language Models (VLM's) zijn onmisbaar geworden voor multimodale taken, maar ze vertonen vaak demografische vooroordelen (bias) die zijn overgenomen en versterkt uit de trainingsdata. Dit leidt tot onrechtvaardige associaties (bijv. geslachtsstereotypen in beroepen) en verstoort de alignatie tussen visie en taal.

Bestaande post-hoc (na-training) methoden, zoals SFID (Selective Feature Imputation for Debiasing), proberen bias te verminderen door de embedding-coördinaten die het sterkst correleren met gevoelige attributen te vervangen door neutrale waarden. Het paper identificeert echter drie fundamentele tekortkomingen in deze "coördinaat-gebaseerde" aanpak:

1. Feature Entanglement (Verstrengeling): Bias is niet geïsoleerd in specifieke coördinaten. Verschillende attributen (bijv. geslacht, ras, leeftijd) delen vaak dezelfde embedding-dimensies. Het verwijderen van coördinaten voor één attribuut verstoort dus onbedoeld de representatie van andere attributen.
2. Slechtere Generalisatie over Datasets: De "belangrijkste" coördinaten voor een attribuut verschuiven tussen verschillende datasets. Een methode die op basis van coördinaten werkt, faalt daarom bij het overdragen van debiasing naar nieuwe data.
3. Onvolledige Bias-verwijdering: Bias is niet geconcentreerd in slechts een paar top-dimensies, maar verspreid over een groter aantal dimensies. Het vervangen van de top-$m$ coördinaten laat aanzienlijke lineaire bias-signalen achter.

De kerninzicht van de auteurs is dat bias een subspace-probleem is, geen coördinaat-probleem.

2. Methodologie: Subspace Projection Debiasing (SPD)

De auteurs stellen SPD voor, een geometrisch gefundeerd framework dat bias behandelt als een lineaire subspace in de embedding-ruimte, in plaats van als discrete coördinaten. Het proces verloopt in drie fasen:

A. Identificatie van de Bias Subspace (via INLP)

In plaats van een Random Forest te gebruiken om coördinaten te selecteren, gebruikt SPD Iterative Null-space Projection (INLP):

• Er wordt een lineaire classifier getraind om het gevoelige attribuut te voorspellen uit de embeddings.
• De gewichtsvector van deze classifier definieert een richting die bias encodeert.
• De embeddings worden geprojecteerd op het orthogonale complement (de nulruimte) van deze richting, waardoor de bias-component wordt verwijderd.
• Dit proces wordt iteratief herhaald ($T$ keer) om meerdere, gecorreleerde bias-richtingen te identificeren en te verwijderen. Het resultaat is een subspace $U$ die de bias-predictieve richtingen omvat.

B. Subspace Projectie

Voor elke embedding $x$ wordt de component langs de geleerde bias-subspace $U$ verwijderd door projectie:
$$x' = x(I - U^\top U)$$
Dit elimineert de lineair decodeerbare informatie over het gevoelige attribuut.

C. Neutrale Herinjectie (Neutral Reinjection)

Een puur projectie kan de semantische betekenis van de embedding verstoren (on-manifold drift). Om dit te voorkomen, injecteert SPD een neutraal gemiddelde ($\bar{x}_{low}$) terug in de verwijderde subspace.

• Dit gemiddelde wordt berekend uit "laag-vertrouwde" samples (samples waar de classifier onzeker is over het attribuut).
• De formule is: $x'' = x' + U^\top (U \bar{x}_{low})$.
• Dit hercentreert de embeddings zonder de variabiliteit die specifiek is voor het attribuut te herstellen, waardoor de semantische integriteit behouden blijft.

3. Belangrijkste Bijdragen

1. Geometrische Herdefinitie: Het paper bewijst empirisch dat bias in VLM's verspreid is over subspaces en niet geïsoleerd in coördinaten, wat de basis legt voor een nieuwe benadering.
2. SPD Framework: Een training-vrij, post-hoc framework dat bias effectief verwijdert door projectie op de nulruimte, gevolgd door semantische stabilisatie via herinjectie.
3. Analyse van Bestaande Methodes: Een systematische studie die aantoont waarom coördinaat-gebaseerde methoden (zoals SFID) falen door feature-entanglement en dataset-drift.
4. Controleerbaarheid: De diepte van de projectie ($r$, het aantal verwijderde richtingen) fungeert als een knop om de afweging tussen eerlijkheid (fairness) en nut (utility) te regelen.

4. Resultaten

De auteurs evalueren SPD op drie downstream-taken: Zero-shot classificatie, Tekst-naar-Beeld Retrieval, en Tekst-naar-Beeld Generatie.

• Effectiviteit tegen SFID: SPD presteert significant beter dan SFID en andere baselines (zoals DeAR en CLIP-clip).
  • Bij classificatie (FACET-benchmark) bereikt SPD een gemiddelde verbetering van 18,5% op vier eerlijkheidsmetrieken (zoals Demographic Parity Gap) vergeleken met de beste debiasing-baselines.
  • Bij retrieval (Flickr30K) en generatie (SDXL, CoDi) reduceert SPD demografische skew aanzienlijk zonder de prestaties (accuracy/recall) te laten dalen.
• Ablatie Studies:
  • Het tonen aan dat het verwijderen van meerdere richtingen ($r > 1$) nodig is om bias volledig te elimineren.
  • Het tonen aan dat de "neutrale herinjectie" essentieel is om de nauwkeurigheid van de taak te behouden zonder de bias terug te brengen.
• Generalisatie: SPD toont robuustere prestaties over verschillende datasets en modellen (CLIP, XVLM) dan coördinaat-gebaseerde methoden.

5. Betekenis en Conclusie

Dit paper biedt een fundamentele verschuiving in hoe we bias in multimodale modellen benaderen. Het toont aan dat het behandelen van bias als een lokaal coördinaatprobleem ontoereikend is vanwege de verstrengelde aard van neurale representaties.

De Subspace Projection Debiasing (SPD) methode biedt een trainingsvrije, interpreteerbare en wiskundig onderbouwde oplossing die:

• Bias effectiever verwijdert door de volledige subspace aan te pakken.
• De semantische kwaliteit van het model behoudt door neutrale componenten terug te injecteren.
• Een betere balans biedt tussen eerlijkheid en prestaties dan bestaande methoden.

Dit werk is een belangrijke stap naar het creëren van eerlijkere en betrouwbaarder Vision-Language Models zonder de noodzaak van kostbare hertraining.