Mitigating Bias in Large Vision-Language Models via Counterfactual Ensemble Decoding

In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie systemen opgekomen die met opmerkelijke vloeiendheid kunnen zien en spreken. Deze grote visuele taalmodellen fungeren als bruggen tussen de visuele wereld en de menselijke taal, in staat om vragen over afbeeldingen te beantwoorden of scènes in detail te beschrijven. Ze worden getraind op enorme collecties foto's en teksten van het internet, waarbij ze leren voorspellen welke woorden moeten volgen op een plaatje. Omdat ze echter leren van menselijke data, erven ze ook menselijke gebreken. Net zoals mensen onbewuste vooroordelen kunnen hebben, absorberen deze machines vaak maatschale stereotypen, waarbij ze bepaalde beroepen, eigenschappen of emoties associëren met specifieke geslachten of rassen. Wanneer een model een foto van een vrouw ziet, kan het automatisch raden dat zij een verpleegster is in plaats van een arts, of wanneer het een man ziet, kan het ervan uitgaan dat hij een CEO is. Dit is niet slechts een technische fout; het is een reflectie van de werkelijke ongelijkheden in de wereld die schadelijke vooroordelen kunnen versterken en het vertrouwen in technologie kunnen ondermijnen.

Onderzoekers proberen dit al lang te herstellen door de modellen opnieuw te trainen op schonere data of door speciale instructies toe te voegen om de machine te vertellen eerlijk te zijn. Toch zijn deze methoden vaak duur, moeilijk schaalbaar of afhankelijk van één enkele, rigide definitie van wat "eerlijk" is. Een nieuwe studie stelt een andere aanpak voor, een die niet probeert de kennis van het model weg te poetsen, maar het in plaats daarvan uitnodigt om tegelijkertijd meerdere perspectieven te overwegen. De onderzoekers, onder leiding van Yisong Xiao en collega's van de Beihang Universiteit, hebben een techniek ontwikkeld genaamd Counterfactual Ensemble Decoding. In plaats van het model simpelweg te vragen om niet bevooroordeeld te zijn, vragen ze het om dezelfde scène vanuit het perspectief van verschillende sociale groepen tegelijkertijd te visualiseren. Door deze diverse perspectieven te mengen op het moment dat de machine het volgende woord kiest, kan het systeem ontsnappen aan de dominantie van een enkel, stereotiep narratief.

De kern van deze methode ligt in een eenvoudig maar krachtig idee: diversiteit bevordert eerlijkheid. In de echte wereld is een gesprek minder waarschijnlijk gedomineerd door één nauw perspectief als een kamer gevuld is met mensen van vele verschillende achtergronden. De onderzoekers pasten dit principe toe op de digitale geest van de kunstmatige intelligentie. Wanneer het model naar een afbeelding kijkt, zoals een foto van een persoon in een zakelijk pak, genereert het meestal een enkele stroom gedachten op basis van zijn training. Het nieuwe systeem grijpt in op dit cruciale moment door "counterfactual" versies van de interne representatie van de afbeelding te creëren. Dit zijn geen nieuwe foto's; het zijn eerder wiskundige aanpassingen aan hoe de computer de afbeelding ziet, waarbij de focus verschuift om de persoon te visualiseren als behorend tot een ander geslacht of ras, terwijl de rest van de scène exact hetzelfde blijft. Dit stelt het model in staat om een parallelle set voorspellingen te genereren: één voor de originele afbeelding, en andere voor wat de afbeelding zou impliceren als de persoon uit een andere sociale groep zou komen.

Zodra deze meerdere perspectieven zijn gegenereerd, staat het systeem voor een uitdaging: hoe combineren ze deze zonder het vermogen van het model om accuraat te zijn te verwateren. De onderzoekers ontdekten dat het conflict tussen deze verschillende standpunten niet uniform is gedurende de verwerking van het model. Sommige lagen van het neurale netwerk, die fungeren als diepe niveaus van denken, vertonen de sterkste onenigheid tussen het originele beeld en de counterfactual beelden. Het systeem identificeert deze specifieke lagen waar de spanning het hoogst is. Op dit punt van maximale divergentie mengt de methode de voorspellingen zorgvuldig. Het middelt ze niet simpelweg uit; in plaats daarvan weegt het de opties op basis van vertrouwen. Als het model zeer zeker is over een woord in één perspectief maar onzeker in een ander, geeft het systeem prioriteit aan de zelfverzekerde keuze. Dit zorgt ervoor dat de uiteindelijke output geen modderig compromis is, maar een gebaliseerde beslissing die de inzichten van alle verschillende overwogen standpunten respecteert.

De resultaten van deze aanpak werden getest via verschillende rigoureuze benchmarks die bedoeld zijn om vooroordelen in beroepen, beschrijvingen en persoonlijke eigenschappen te meten. In een test betreffende genderbias bij functietitels verminderde de nieuwe methode de bias met gemiddeld 61,21 procent, een significante verbetering ten opzichte van eerdere technieken. In tests die raciale stereotypen maten, werd de bias met bijna 48 procent verminderd. Bijvoorbeeld, bij het beschrijven van een vrouwelijke CEO, neigden oudere methoden nog steeds naar stereotype bijvoeglijke naamwoorden zoals "attractief", terwijl dit nieuwe systeem de beschrijving succesvol stuurde naar neutrale, professionele termen zoals "competent". Cruciaal was dat de onderzoekers ontdekten dat deze eerlijkheid niet ten koste ging van de intelligentie. Het model behield zijn vermogen om algemene vragen te beantwoorden en complexe problemen op te lossen, met slechts een minimale, vaak verwaarloosbare, daling in de algehele prestaties. Sterker nog, bij sommige redeneertests presteerde het gedebiaste model zelfs iets beter dan voorheen, wat suggereert dat het verwijderen van de ruis van stereotypen het model er zelfs in kan helpen zich duidelijker op de feiten te concentreren.

Dit werk toont aan dat eerlijkheid in kunstmatige intelligentie niet vereist dat men de kennis van het model wegwerpt of vanaf nul begint. Door een mechanisme te introduceren dat het systeem dwingt om tegelijkertijd meerdere perspectieven in zijn geest te houden, hebben de onderzoekers aangetoond dat de machine kan leren navigeren door de complexiteit van de menselijke samenleving zonder terug te vallen op haar meest ingesleten gewoonten. De methode werkt door het exacte moment te vinden waarop de interne logica van het model het meest in conflict is en dat conflict op te lossen met een gewogen mengeling van diverse standpunten. Hoewel de techniek momenteel toegang vereist tot de interne werking van het model, wat het gebruik beperkt tot onderzoekers en ontwikkelaars in plaats van eindgebruikers, biedt het een veelbelovend pad vooruit. Het suggereert dat de toekomst van ethische AI misschien niet alleen ligt in striktere regels of schonere data, maar in het aanleren van een bredere, meer inclusieve kijk aan deze systemen.