RA-ClipScore: Making Generative Model Evaluation More Interpretable

Stel je een wereld voor waarin computers beelden kunnen dromen die zo echt zijn dat ze je ogen kunnen bedriegen. Dit is het domein van generatieve AI, een tak van de wetenschap waar machines leren om kunst, gezichten en landschappen vanaf nul te creëren. Lange tijd was de enige manier om te beoordelen of deze digitale dromen goed waren, het stellen van een simpele vraag: "Zien deze eruit als het echte ding?" Maar dat is alsovergelijkbaar met het beoordelen van een hele film op basis van slechts één wazig frame. We hadden een betere manier nodig om te begrijpen waarom een plaatje goed of slecht is. Hier komt het concept van "evaluatiemetrieken" om de hoek kijken — instrumenten die fungeren als een scorekaart voor AI-kunst. Een beroemd hulpmiddel, genaamd CLIP, is als een superintelligente bibliothecaris die miljoenen boeken heeft gelezen en miljoenen foto's heeft gezien; het kan je vertellen of een plaatje overeenkomt met een beschrijving. Echter, zelfs deze bibliothecaris heeft blinde vlekken. Het is geweldig in het zeggen van "Ja, dat is een hond," maar het worstelt met uitleggen waar de hond staat of of de hond een vreemd extra pootje heeft. Als we deze kleine foutjes niet kunnen zien, kunnen we per ongeluk onze AI leren om bevooroordeelde of gebrekkige plaatjes te maken, wat een groot probleem is als we ze willen gebruiken voor belangrijke taken zoals medische diagnoses of zelfrijdende auto's.

Dit artikel introduceert een nieuwe, scherpere bril om AI-kunst te controleren, genaamd RA-CLIPScore. De auteurs, een team van onderzoekers uit Zweden, realiseerden zich dat de oude instrumenten te bot waren. Ze waren als een zaklamp die alleen het midden van een kamer verlicht, waardoor de hoeken in het donker blijven. De nieuwe methode, RA-CLIPScore, is ontworpen om het licht op elke hoek van de afbeelding te schijnen, waarbij niet alleen wordt gecontroleerd wat er in de afbeelding zit, maar ook waar het zich bevindt en hoe het in elkaar past.

Het Probleem: De "Eén-maat-voor-iedereen" Scorekaart

Stel je voor dat je een essay van een student beoordeelt. De oude manier om dit te doen (met behulp van instrumenten zoals FID of standaard CLIPScore) was om het essay een enkel cijfer te geven, zoals "85/100". Dat cijfer vertelt je dat het essay "oké" is, maar het vertelt je niet of een student "kat" als "bat" heeft gespeld, of dat ze de conclusie helemaal aan het begin hebben geplaatst. In de wereld van AI-afbeeldingen betekent dit dat we misschien niet merken dat een model consequent de kop van een persoon in de onderste hoek van de foto plaatst, of dat het per ongeluk "baby's" en "baarden" op onmogelijke manieren met elkaar verwart.

De onderzoekers ontdekten dat het populaire CLIP-hulpmiddel, dat als de hersenen voor deze scorekaarten fungeert, een specifieke eigenschap heeft: het was getraind om te kiezen voor één beste antwoord. Als je vraat: "Is dit een foto van een witte uil?", moet het kiezen tussen "Ja" en "Nee", en in dat proces vergeet het de subtiele details. Het is als een rechter die alleen geeft om het eindoordeel en het bewijs negeert. Dit maakt het moeilijk om te zien wanneer een AI op specifieke, vreemde manieren faalt.

De Oplossing: Een Detective met een Vergrootglas

De auteurs stelden een nieuwe methode voor genaamd RA-CLIPScore (Region-and-Attribute-Aware CLIPScore). Beschouw dit als het veranderen van de AI-beoordelaar in een detective met een vergrootglas. In plaats van naar de hele afbeelding in één keer te kijken en één enkel cijfer te geven, breekt RA-CLIPScore de afbeelding af in kleine puzzelstukjes (genaamd "patches") en stelt een zeer specifieke vraag over elk stukje.

Zo werkt het, stap voor stap:

1. De "Ja en Nee" Truc (Dual Prompts): De oude tools vroegen: "Is er een witte uil?" en kregen een verward antwoord als de afbeelding rommelig was. De nieuwe methode stelt twee vragen tegelijkertijd: "Is dit een foto van een witte uil?" EN "Is dit een foto zonder een witte uil?" Door de antwoorden op beide te vergelijken, kan het systeem precies zien hoeveel van de uil er is, zonder in de war te raken door andere dingen in de foto. Het is als het tegelijkertijd aan een vriend vragen: "Is dit een pizza?" en "Is dit geen pizza?" om een duidelijker antwoord te krijgen.
2. De Inzoom (Local Patch Tokens): In plaats van naar de hele afbeelding te turen, kijelt RA-CLIPScore naar kleine vierkantjes van de foto afzonderlijk. Het controleert of de "witte uil" daadwerkelijk op de uil zit, of dat hij per ongeluk in de lucht zweeft. Dit stelt het systeem in staat om ruimtelijke fouten te vangen — zoals een model dat altijd een gitaar in de linkerbovenhoek plaatst, ook al worden echte gitaren in het midden vastgehouden.
3. De Scorekaart (Divergence): Zodra het systeem alle stukjes heeft gecontroleerd, vergelijkt het de AI-afbeeldingen met echte menselijke foto's. Het berekent een "divergentie"-score, wat gewoon een chique manier is om te zeggen: "hoe verschillend zijn deze twee groepen?". Als de AI 100% van de tijd uilen in de lucht plaatst, terwijl echte uilen meestal in bomen zitten, gaat de score omhoog, wat ons waarschuwt dat er iets mis is.

Wat Ze Vonden: De AI Heeft een "Bias"

De onderzoekers testten dit nieuwe hulpmiddel op verschillende beroemde AI-modellen die gezichten en andere objecten genereren. Ze ontdekten enkele verrassende zaken die de oude tools volledig misten:

• De "Center-Stage" Bias: Ze ontdekten dat sommige AI-modellen de gewoonte hebben om objecten precies in het midden van de afbeelding te plaatsen, terwijl echte foto's meer willekeurig zijn. Bijvoorbeeld, bij het genereren van afbeeldingen van "draaischijftelefoons", bleef de AI ze steeds in het midden plaatsen, terwijl echte foto's ze op diverse plekken lieten zien.
• De "Diagonale" Gitaar: Een model, BigGAN, bleek bijna altijd elektrische gitaren onder een hoek van 45 graden te tekenen. Realistische gitaren worden in allerlei posities vastgehouden, maar de AI had een rigide gewoonte.
• De "Burrito" Verschuiving: Een ander model, LDM, had de neiging om burritos in het bovenste deel van de afbeelding te plaatsen, waardoor ze verschoven werden van waar ze in het echte leven meestal verschijnen.

Dit zijn niet zomaar kleine foutjes; het zijn systematische vooroordelen. Als je deze AI-afbeeldingen zou gebruiken om een zelfrijdende auto of een medische scanner te trainen, zou de machine kunnen leren dat "auto's altijd in het midden staan" of "kankercellen altijd in het midden zitten", wat gevaarlijk zou zijn in de echte wereld.

De Menselijke Test: Komt het overeen met Onze Ogen?

Om er zeker van te zijn dat hun nieuwe hulpmiddel niet alleen wiskunde om de wiskunde was, vroegen de auteurs echte mensen om een spelletje te spelen. Ze lieten mensen paren van AI-gegenereerde afbeeldingen zien en vroegen: "Welke set ziet er diverser en natuurlijker uit?"

De resultaten waren opvallend. De nieuwe Regional Single-Attribute Divergence (R-SaD) metriek, die deel uitmaakt van RA-CLIPScore, kwam perfect overeen met de menselijke opinie. De correlatie was 1.0, wat betekent dat wanneer mensen zeiden "dit ziet er divers uit", de metriek zei "ja", en wanneer mensen zeiden "dit ziet er vreemd uit", stemde de metriek daarmee in. In tegenstelling hiertoe kwamen de oude, populaire metrieken zoals FID of "Coverage" slechts in 30% tot 70% van de gevallen overeen met de menselijke opinie. Het blijkt dat de oude instrumenten vaak blind waren voor precies de dingen die een afbeelding "vreemd" laten aanvoelen voor het menselijk oog.

Waarom Dit Belangrijk Is

Het artikel concludeert dat we moeten stoppen met het accepteren van een enkel cijfer als het definitieve oordeel voor AI-kunst. Alleen omdat een afbeelding van een afstandje "goed" lijkt, betekent niet dat het eerlijk, accuraat of veilig is. RA-CLIPScore geeft ons een manier om onder de motorkap te kijken en precies te zien waar de AI moeite mee heeft. Het laat zien dat AI-modellen vreemde gewoontes kunnen ontwikkelen, zoals het steeds op dezelfde plek plaatsen van objecten, en het geeft ons de middelen om die te corrigeren.

Kortom, de auteurs hebben een betere microscoop voor de digitale wereld gebouwd. Ze bewezen dat door naar de kleine details en de specifieke locaties van dingen te kijken, we AI veel beter kunnen begrijpen dan voorheen. Dit helpt niet alleen om mooiere plaatjes te maken; het helpt ons om AI te bou�s die betrouwbaarder is en minder snel grappige, bevooroordeelde fouten maakt.