UC-VLM: Consistency-Driven Learning for AI-Generated Image Detection with Vision-Language Large Models
Het artikel introduceert UC-VLM, een verenigd multi-stage framework dat binaire supervisie gebruikt om gelijktijdig de visuele forensische gevoeligheid te verbeteren en label-geconditioneerde tekstuele verklaringen te genereren voor de detectie van door AI gegenereerde afbeeldingen, waarbij een state-of-the-art prestatie wordt bereikt zonder afhankelijk te zijn van handmatig vervaardigde prompts of door mensen geannoteerde rationales.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de afgelopen jaren hebben computers geleerd om afbeeldingen te schilderen die niet te onderscheiden zijn van foto's genomen met een echte camera. Deze beelden, gecreëerd door kunstmatige intelligentie, kunnen de textuur van de huid, het spel van het licht op water en de chaos van een drukke straat met verbazingwekkend realisme vastleggen. Deze vaardigheid heeft de manier waarop we kunst en media creëren getransformeerd, maar het heeft ook een nieuw probleem geïntroduceerd: hoe weten we wat echt is en wat door een machine is gemaakt? Lange tijd probeerden wetenschappers dit op te lossen door computers te trainen om minuscule, onzichtbare fouten te ontdekken die door de software die deze beelden maakt zijn achtergelaten, zoals vreemde patronen in de pixels of inconsistenties in de manier waarop licht zich gedraagt. Echter, naarmate de software beter wordt, worden deze fouten moeilijker te vinden, en de oude methoden falen vaak wanneer ze worden geconfronteerd met nieuwe soorten afbeeldingen.
Een nieuwere aanpak maakt gebruik van grote modellen die zowel afbeeldingen kunnen zien als taal kunnen begrijpen, vergelijkbaar met hoe een mens naar een foto zou kijken en vervolgens kan beschrijven wat hij ziet. Aan deze modellen kan de vraag worden gesteld: "Is deze afbeelding echt?", en ze kunnen antwoorden met een simpel "ja" of "nee", of zelfs een paragraaf schrijven waarin ze hun redenering uitleggen. Maar er is een addertje onder het gras. Om deze modellen goed te leren in deze taak, moesten onderzoekers meestal veel tijd besteden aan het uitschrijven van specifieke vragen voor de computer om te beantwoorden en het leveren van door mensen geschreven verklaringen voor waarom een afbeelding nep is. Dit proces is traag, duur en moeilijk op te schalen. Bovendien concentreerden deze modellen zich vaak te veel op de woorden die ze genereerden en niet genoeg op de subtiele visuele aanwijzingen die verborgen zitten in de afbeelding zelf.
Een team van onderzoekers aan de National University of Singapore heeft een nieuwe manier ontwikkeld om deze taal- en visiemodellen te trainen die geen menselijke geschreven verklaringen en complexe instructies vereist. Ze noemen hun systeem UC-VLM. In plaats van mensen te vragen om lange lijsten met redenen te schrijven waarom een afbeelding nep is, lieten de onderzoekers de computer uitsluitend leren van een simpel label dat zegt "echt" of "gegenereerd". Ze ontdekten dat door dit simpele label op drie verschillende manieren te hergebruiken tijdens de training, ze het model konden leren veel beter nep te ontdekken dan welke eerdere methode dan ook.
De onderzoekers begonnen door op te merken dat het visuele systeem van de computer, dat normaal gesproken wordt getraind om objecten zoals katten of auto's te herkennen, niet erg goed was in het ontdekken van de kleine, onnatuurlijke glitches die AI-afbeeldingen vaak bevatten. Om dit op te lossen, leerden ze het model eerst om de grote context van wat een object is te negeren en in plaats daarvan te focussen op de kleine, lokale details. Dit deden ze door het model alleen kleine, door elkaar gehusselde stukjes van een afbeelding te tonen, waardoor het gedwongen werd om aandacht te besteden aan de textuur van een muur of het patroon van een schaduw in plaats van aan de algehele scène. Deze stap maakte het model veel gevoeliger voor de fysieke imperfecties die onthullen dat een afbeelding synthetisch is.
Vervolgens pakte het team het probleem aan van hoe de computer de juiste vraag te stellen. Ze ontdekten dat de manier waarop een vraag wordt geformuleerd de antwoorden kan veranderen die de computer geeft. Een vraag die vraagt of een afbeelding "echt of nep" is, kan een ander resultaat opleveren dan een vraag die vraagt of het "authentiek of gegenereerd" is. In plaats van te gokken welke formulering het beste werkt, bouwden de onderzoekers een systeem dat automatisch duizenden verschillende manieren testte om de vraag te stellen. Het systeem hield de versies die het beste werkten en verwierp de versies die faalden, om uiteindelijk uit te komen op een specifieke set instructies die de antwoorden van het model stabieler en betrouwbaarder maakte.
Ten slotte gebruikten de onderzoekers het simpele "echt" of "gegenereerd" label om het model te leren zijn eigen verklaringen te schrijven. In het verleden hadden modellen menselijke voorbeelden nodig van hoe een goede verklaring eruitzag. Hier vertelden de onderzoekers het model simpelweg: "Als de afbeelding gegenereerd is, leg dan uit waarom hij gegenereerd is," of "Als het echt is, leg dan uit waarom het echt is." Het model schreef vervolgens zijn eigen redenering op basis van deze instructie. Door dit te doen, leerde het model zijn visuele waarnemingen te verbinden met zijn tekstuele output, terwijl het tegelijkertijd werd geleid door hetzelfde simpele label dat werd gebruikt om de visie te trainen. Dit creëerde een verenigd systeem waarbij het visuele deel, het onderdeel van het stellen van de vraag en het schrijfgedeelte allemaal samenwerkten onder dezelfde supervisie.
Toen de onderzoekers dit nieuwe systeem testten, waren de resultaten opmerkelijk. Op een grote collectie afbeeldingen genaamd GenImage, die miljoenen door diverse AI-tools gemaakte afbeeldingen bevat, behaalde het nieuwe model een gemiddelde nauwkeurigheid van 96,1 procent. Dit was aanzienlijk hoger dan de beste eerdere methoden, die ongeveer 91,5 procent hadden bereikt. Het model presteerde ook uitzonderlijk goed op een moeilijkere test genaamd Chameleon, die zeer realistische afbeeldingen met een hoge resolutie bevat. In deze test verbeterde het nieuwe systeem de nauwkeurigheid met meer dan 11 procent ten opzichte van de beste bestaande methode wanneer getraind op bepaalde typen AI-generatoren, en met meer dan 15 procent op andere.
De studie toonde ook aan dat het model veel consistenter was. Als je dezelfde vraag op iets andere manieren stelt, geven oudere modellen misschien verschillende antwoorden, maar dit nieuwe systeem bleef standvastig. Het leerde te zoeken naar specifieke visuele aanwijzingen, zoals een onnatuurlijke gladheid van de huid, inconsistente schaduwen of vreemde patronen in de achtergrond, en kon deze bevindingen op een gestructureerde manier beschrijven. De onderzoekers merkten op dat het model niet perfect is; het kan nog steeds misleid worden door afbeeldingen van zeer hoge kwaliteit of door artistieke stijlen die er niet uitzien als foto's. Echter, door te vertrouwen op een verenigde aanpak die eenvoudige labels hergebruikt om zowel de ogen als de woorden van de computer te trainen, hebben ze een hulpmiddel gecreëerd dat veel robuuster en schaalbaarder is dan alles dat eraan voorafging. Dit werk suggereert dat we geen dure menselijke annotaties nodig hebben om krachtige detectoren te bouwen; we hoeven alleen maar een manier te vinden om de computer te laten leren van de waarheid zelf, keer op keer, op verschillende manieren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.