A Closed-Form Solution for Debiasing Vision-Language Models with Utility Guarantees Across Modalities and Tasks

Probleemstelling

Vision-Language Models (VLMs), zoals CLIP, hebben indrukwekkende prestaties geleverd in diverse downstream-taken door visuele en linguïstische semantics te verbinden. Echter, deze modellen zijn getraind op massale, web-gescrapte datasets die inherente sociale vooroordelen en spurious correlaties bevatten (bijv. de associatie van "verpleegster" met vrouwen en "arts" met mannen). Deze vooroordelen worden doorgegeven aan downstream-toepassingen zoals zero-shot beeldclassificatie, tekst-naar-beeld zoekopdrachten en generatie.

Bestaande debiasing-methoden kampen met vijf belangrijke uitdagingen:

1. Multimodaal vooroordeel: Vooroordelen zijn gecodeerd in zowel beeld- als tekstembeddings; het corrigeren van slechts één modus is vaak onvoldoende.
2. Trainingskosten: Het opnieuw trainen van VLMs is computationally onhaalbaar. Bestaande methoden voegen vaak extra netwerken toe, wat de complexiteit en inferentiekosten verhoogt.
3. Afhankelijkheid van annotaties: Veel methoden vereisen datasets met gevoelige attributen (geslacht, ras, leeftijd), wat ethische en privacyproblemen met zich meebrengt en moeilijk te verkrijgen is.
4. Diverse taken: De meeste methoden zijn specifiek voor één taak (bijv. alleen classificatie) en missen een uniforme aanpak voor verschillende downstream-taken.
5. Behoud van functionaliteit (Utility): Het verwijderen van vooroordelen leidt vaak tot een daling in de taakprestaties (het utility-fairness trade-off). Bestaande methoden bieden zelden theoretische garanties dat de nuttigheid van het model behouden blijft.

Daarnaast focussen bestaande studies voornamelijk op group fairness (gelijkheid binnen individuele groepen), terwijl intersectional fairness (gelijkheid voor intersecties van groepen, bijv. "oude vrouwen") vaak wordt genegeerd.

Methodologie

De auteurs stellen een nieuwe, training-vrije en data-vrije methode voor die een gesloten-formule oplossing (closed-form solution) biedt in de cross-modale ruimte. De kern van de methode is het vinden van een gedebiaserde embedding $\vec{u}$ die orthogonaal is op de "attribuutsubruimte" terwijl de semantische inhoud behouden blijft.

De methode bestaat uit twee hoofdstappen:

1. Constructie van Groepsprototypen met LLM-gids
Om vooroordelen te identificeren zonder gevoelige data-annotaties, gebruiken de auteurs een Large Language Model (LLM):

• Voor een invoerprompt (bijv. "een foto van een arts") genereert het LLM varianten die een specifieke groep specificeren (bijv. "een foto van een mannelijke arts").
• Het LLM genereert ook meerdere linguïstische varianten voor dezelfde groep (bijv. "mannelijk", "man", "he/him") om de semantische variatie te vangen.
• De embeddings van deze prompts worden gemiddeld om een representatief groepsprototype ($\vec{p}_g$) te vormen.
• De attribuutsubruimte ($\mathcal{A}$) wordt gedefinieerd als de opspanning van de richtingsvectoren tussen deze prototypes.

2. Gesloten-formule Oplossing voor Gedebiaserde Embeddings
Het doel is om een embedding $\vec{u}$ te vinden die:

• Fairness: Orthogonaal is op de attribuutsubruimte $\mathcal{A}$ (neutraliseert het vooroordeel).
• Utility: De oorspronkelijke semantische inhoud behoudt (maximaliseert de cosine-相似iteit met de originele embedding $\vec{e}$).

De auteurs formuleren dit als een geoptimaliseerd probleem op een eenheidshypersfeer. Door gebruik te maken van orthogonale decompositie ($\vec{e} = \vec{e}_{A\parallel} + \vec{e}_{A\perp}$), reduceren ze het zoekruimte tot een 2D-cirkel. Ze bewijzen dat de optimale oplossing een Pareto-optimale balans is tussen het minimaliseren van "attribuutlekkage" en het maximaliseren van "zelf-nuttigheid".

In plaats van hyperparameters handmatig te tunen, gebruiken ze Chebyshev-scalarisatie om de worst-case scenario te minimaliseren. Dit leidt tot een gesloten-formule oplossing voor de optimale parameter $\alpha^*$, die de positie van de gedebiaserde embedding bepaalt.

• Dit garandeert theoretisch gebonden utility-verlies.
• De methode is toepasbaar op zowel beeld- als tekstmodi en werkt voor zowel groep- als intersectionele eerlijkheid.

Belangrijkste Bijdragen

1. Gesloten-formule oplossing: De eerste methode die een analytische oplossing biedt voor het debiasen van VLMs met bewezen grenzen voor utility-verlies.
2. Training- en Data-vrij: De methode vereist geen extra training, geen gevoelige data-annotaties en geen extra netwerkparameters. Het werkt direct op de bestaande embeddings.
3. Multimodaal en Multi-task: Het debiasen van zowel visuele als tekstuele embeddings, wat leidt tot verbetering in zero-shot classificatie, tekst-naar-beeld zoekopdrachten en tekst-naar-beeld generatie.
4. Intersectionele Fairness: De methode ondersteunt expliciet het debiasen van intersecties van gevoelige attributen (bijv. geslacht en leeftijd tegelijkertijd).
5. Theoretische Garanties: In tegenstelling tot empirische benaderingen, biedt de paper wiskundige bewijzen voor de Pareto-optimaliteit en de bovenste grens van utility-verlies.

Resultaten

De methode is uitgebreid getest op diverse datasets (CelebA, FACET, Flickr30K, COCO2017) en modellen (CLIP, BLIP, Stable Diffusion).

• Zero-Shot Image Classification & Retrieval: De methode overtreft bestaande state-of-the-art methoden (zoals SFID, PRISM, FairerCLIP) op eerlijkheidsmetrieken (zoals $\Delta_{EO}$ en MaxSkew) terwijl het de taakprestaties (F1-score, Recall@K) beter behoudt of zelfs verbetert. Bestaande methoden vertonen vaak een significante daling in prestaties.
• Text-to-Image Generation: Bij het debiasen van Stable Diffusion voor geslachtsneutrale prompts, produceert de methode een gebalanceerde verdeling van geslachten zonder de kwaliteit van de gegenereerde beelden voor specifieke prompts (bijv. "een mannelijke arts") te verstoren.
• Ablatie-studies: De resultaten bevestigen dat het gebruik van LLM-gestuurde prototypen essentieel is en dat het debiasen van beide modi (beeld en tekst) noodzakelijk is voor optimale resultaten.
• Robuustheid: De methode presteert consistent over verschillende LLMs die worden gebruikt voor de prototype-generatie.

Betekenis en Impact

Dit paper is significant omdat het een fundamentele beperking in het veld van AI-fairness aanpakt: het compromis tussen eerlijkheid en functionaliteit. Door een gesloten-formule oplossing te bieden, elimineert de methode de noodzaak voor kostbare training en gevoelige data, wat de toepasbaarheid in de praktijk vergroot.

De theoretische garantie dat utility behouden blijft, biedt vertrouwen aan ontwikkelaars om VLMs in kritieke toepassingen in te zetten zonder bang te hoeven zijn voor een daling in prestaties. Bovendien legt de focus op intersectionele eerlijkheid de basis voor eerlijker AI-systemen die rekening houden met de complexiteit van menselijke identiteit, verder dan alleen individuele gevoelige attributen. De openbaarmaking van de code draagt bij aan reproduceerbaarheid en verdere research in dit domein.