NAU-QMUL: Utilizing BERT and CLIP for Multi-modal AI-Generated Image Detection

Dit artikel presenteert een multi-modaal multi-task model dat BERT en CLIP combineert met een pseudo-labeling-strategie om AI-gegenereerde afbeeldingen en de bijbehorende generatiemodellen te detecteren, wat resulteerde in een vijfde plaats in de CT2-wedstrijd.

De kern

De Digitale Detectives: Hoe een AI-geleerd team nepbeelden opspoort

Stel je voor dat je in een enorme, drukke markt loopt waar duizenden kunstenaars werken. Sommige mensen schilderen met echte verf en kwasten (de echte mensen), maar er is ook een groep robotkunstenaars die met magische, onzichtbare penselen werken (de AI's zoals DALL-E of Midjourney). Deze robots zijn zo goed geworden dat hun schilderijen er haast niet meer van te onderscheiden zijn.

De vraag is: Wie heeft dit schilderij gemaakt? Een mens of een robot? En zo ja, welke robot?

Xiaoyu Guo en Arkaitz Zubiaga, twee digitale detectives van de universiteiten in China en Londen, hebben een slim nieuw gereedschap ontwikkeld om dit probleem op te lossen. Ze noemen hun systeem NAU-QMUL. Hier is hoe het werkt, vertaald naar begrijpelijke taal:

1. Het Team: De Taalkundige en de Kunstkenner

In plaats van één grote, zware robot te bouwen, hebben ze een team van twee gespecialisten samengesteld die samenwerken:

• De Taalkundige (BERT): Stel je voor dat dit een zeer geleerde professor is die alleen naar de tekst kijkt die bij het plaatje hoort. Hij leest de beschrijving (bijvoorbeeld: "Twee giraffen die naast elkaar staan") en denkt: "Hmm, deze zin klinkt heel menselijk, of juist heel robotachtig?" Hij haalt zijn kennis uit een enorme bibliotheek van alle teksten die hij ooit heeft gelezen.
• De Kunstkenner (CLIP): Dit is een expert die alleen naar het plaatje zelf kijkt. Hij heeft miljoenen plaatjes gezien en weet precies hoe een menselijk schilderij eruitziet versus hoe een AI-gegenereerd plaatje eruitziet (bijvoorbeeld: zijn de vingers van de giraffen net iets te lang? Is de lucht te perfect?).

2. De Samenwerking: Het Grote Overleg

Normaal gesproken praten deze twee experts niet met elkaar. Maar in dit systeem houden ze een gezamenlijke vergadering.

• De Taalkundige fluistert: "De tekst zegt dat het een droom is."
• De Kunstkenner fluistert terug: "Het plaatje ziet eruit alsof het uit een droom komt, maar de details zijn net iets te 'glad' voor een mens."
• Samen beslissen ze: "Dit is waarschijnlijk gemaakt door een AI."

Dit noemen ze multi-modale fusie: het samenvoegen van tekst en beeld tot één sterk oordeel.

3. Twee Opdrachten tegelijk

Het team moet twee dingen doen, net als een detective die twee vragen moet beantwoorden:

1. Vraag A (Ja/Nee): Is dit plaatje gemaakt door een AI? (Net als het vragen: "Is dit een valse munt?")
2. Vraag B (Wie?): Als het een AI is, welke AI was het dan? Was het SD 3, DALL-E 3 of Midjourney? (Net als het vragen: "Welke valse muntmaker heeft dit gemaakt?")

Ze gebruiken een slimme truc om dit te doen: ze straffen het team alleen als ze op het verkeerde antwoord komen. Als het plaatje echt is, hoeven ze niet te raden welke AI het deed (want dat zou zonde van de tijd zijn). Dit maakt het proces heel efficiënt.

4. De Leermeester: Het Leren van Gokjes

Een ander slimme truc die ze gebruikten, noemen ze pseudo-labeling.
Stel je voor dat je een student hebt die al best goed is, maar nog niet perfect. Je geeft hem een stapel nieuwe plaatjes die hij nog nooit heeft gezien.

• De student kijkt er naar en zegt: "Ik ben 90% zeker dat dit plaatje van AI is."
• Omdat hij zo zeker is, nemen de detectives zijn gok aan als een feit en voegen ze die plaatjes toe aan zijn oefenmateriaal.
• Zo leert de student van zijn eigen sterke gokjes en wordt hij nog slimmer.

Let op: De auteurs erkennen dat dit gevaarlijk kan zijn. Als de student een fout maakt en die fout wordt als 'waarheid' opgeslagen, kan hij in de toekomst nog meer fouten maken. Maar in dit geval werkte het goed.

5. Het Resultaat: Een Top 5 Plek

In een grote wedstrijd (de CT2-wedstrijd) waar honderden teams meededen, werd dit team vijfde in beide categorieën.

• Ze konden met een score van 83% heel goed zeggen of iets nep of echt was.
• Ze konden met een score van 49% redelijk goed zeggen welke AI het had gemaakt (dit is lastig, omdat de AI's steeds slimmer worden).

Waarom is dit belangrijk?

Vandaag de dag kunnen we niet meer blindelings geloven wat we zien op internet. Deze technologie helpt ons om nepnieuws, valse getuigenissen en misinformatie op te sporen. Het is als een veiligheidscontrole op een vliegveld, maar dan voor onze ogen en oren.

Kortom: De auteurs hebben een slim team gebouwd dat tekst en beeld samen bekijkt, van zijn eigen sterke gokjes leert, en zo helpt om de grens tussen menselijke creativiteit en robotkunst te bewaken.

Technische samenvatting

Probleemstelling

De snelle evolutie van tekst-naar-beeld generatiesystemen (zoals Stable Diffusion, DALL-E en MidJourney) heeft de creatieve wereld getransformeerd, maar introduceert ook kritieke uitdagingen. Het wordt steeds moeilijker om onderscheid te maken tussen door mensen gemaakte afbeeldingen en door AI gegenereerde content. Dit vormt een bedreiging voor de authenticiteit van media, intellectueel eigendom en de bestrijding van desinformatie.

Het paper richt zich op twee specifieke taken binnen de competitie CT2: AI-Generated Image Detection:

1. Taak A: Binair classificeren van een afbeelding (is deze gegenereerd door AI of door een mens?).
2. Taak B: Identificeren van het specifieke AI-model dat verantwoordelijk is voor de generatie (bijv. Stable Diffusion 3, SDXL, DALL-E 3, MidJourney 6).

Een grote uitdaging is het gebrek aan goed afgestemde multi-modale datasets en de noodzaak om robuuste detectiemethoden te ontwikkelen die zowel de tekstuele prompt als de visuele output analyseren.

Methodologie

De auteurs stellen een multi-modale multi-task model voor dat tekst- en beeldinformatie integreert om zowel de herkomst als het specifieke generatiemodel te voorspellen. De architectuur bestaat uit de volgende componenten:

• Feature Extractie:
  • Tekst: Een pre-getrainde BERT-encoder (bert-base-uncased) verwerkt de tekstprompts (tokenized sequences) om contextuele tekstfeatures te extraheren.
  • Beeld: Een pre-getrainde CLIP Vision-encoder (openai/clip-vit-base-patch32) verwerkt de pixelwaarden van de afbeeldingen om visuele features te extraheren.
• Feature Fusie: De geëxtraheerde tekst- en beeldfeatures worden geconcateneerd en geprojecteerd naar een gedeelde feature-ruimte via een volledig verbonden laag (fully connected layer). Dit zorgt voor een effectieve kruis-modale integratie.
• Classificatie Heads: Het gedeelde representatie wordt gevoed aan twee aparte classificatiekoppen:
  1. Label_A Classifier: Voor binair classificeren (AI vs. Mens).
  2. Label_B Classifier: Voor multi-class classificatie (welk specifiek AI-model).
• Multi-task Loss Functie:
  • Voor Taak A wordt Binary Cross-Entropy Loss gebruikt.
  • Voor Taak B wordt Conditional Cross-Entropy Loss toegepast. Deze loss wordt alleen berekend voor samples die door Taak A als "AI-generatie" zijn geclassificeerd. Dit voorkomt ruis en onnodige berekeningen voor echte afbeeldingen.
  • De totale loss is de som van beide componenten.
• Data Augmentation (Pseudo-labeling): Om het trainingsdataset uit te breiden, gebruiken de auteurs een strategie gebaseerd op pseudo-labeling. Het getrainde model voorspelt labels voor ongelabelde testdata. Samples met een hoge zekerheid (confidence score > 0.8) voor zowel Taak A als Taak B worden geselecteerd en toegevoegd aan het trainingsdataset als pseudo-gelabelde data.

Belangrijkste Bijdragen

1. Multi-modale Architectuur: Het succesvol integreren van BERT en CLIP voor het gezamenlijk analyseren van prompts en afbeeldingen, wat inzicht geeft in de unieke kenmerken van verschillende generatiemodellen.
2. Efficiënte Multi-task Learning: Een ontwerp dat twee gerelateerde taken (detectie en bronidentificatie) simultaan optimaliseert met een voorwaardelijke loss-functie, waardoor de efficiëntie wordt verhoogd.
3. Data Augmentatie Strategie: Het toepassen van pseudo-labeling om het trainingsdataset te vergroten met hoog-zekerheid samples, wat de generalisatie van het model verbetert.
4. Competition Prestaties: Het behalen van een 5e plaats in zowel Taak A als Taak B van de CT2-competitie, wat de robuustheid van de benadering onderstreept.

Resultaten

• Validatie: Tijdens de trainingsfase behaalde het model op de validatieset een F1-score van 99,58% voor Taak A en een Weighted-F1-score van 85,95% voor Taak B.
• Officiële Test: Op de officiële testset van de competitie behaalde het model:
  • Taak A: Een F1-score van 83,16%.
  • Taak B: Een F1-score van 48,88%.
• Deze resultaten bevestigen dat het model zeer goed is in het onderscheiden van AI-gegenereerde content, hoewel de identificatie van het specifieke model (Taak B) complexer blijft, wat typisch is voor deze taak.

Betekenis en Toekomstperspectief

De studie demonstreert dat multi-modale benaderingen, die zowel tekst als beeld analyseren, krachtig zijn voor het detecteren van AI-gegenereerde content. De combinatie van pre-getrainde foundation modellen (BERT/CLIP) met een aangepaste multi-task loss-functie biedt een robuust kader voor real-world toepassingen.

De auteurs erkennen echter beperkingen, met name de risico's van hun pseudo-labeling strategie, zoals:

• Foutpropagatie: Verkeerde pseudo-labels kunnen bestaande fouten versterken.
• Selectiebias: De drempel van 0,8 kan leiden tot een ondervertegenwoordiging van ambiguë gevallen.
• Data-distributieverschuiving: Pseudo-gelabelde data uit de testset kan niet volledig overeenkomen met de originele trainingsdata.

Voor toekomstig onderzoek wordt voorgesteld om geavanceerdere fusiestrategieën te onderzoeken (zoals attention-mechanismen of cross-modal transformers) en methoden te ontwikkelen om de onzekerheid van pseudo-labels beter te modelleren en class-imbalance aan te pakken. De broncode van het project is openbaar gemaakt om replicatie en verdere ontwikkeling te faciliteren.