Stel je voor dat je een detective bent die een misdaad probeert op te lossen, maar het enige bewijsstuk dat je hebt een wazige, lage-resolutie foto van de verdachte is. Als je probeert de foto van het gezicht van de verdachte te beschrijven met alleen woorden, zou je er misschien naast zitten en kenmerken verzinnen die er niet zijn, puur om de gaten op te vullen. Dit is precies het probleem waar wetenschappers voor staan wanneer ze proberen nepbeelden te ontdekken die door computers zijn gemaakt. In de wereld van digitale forensica betekent "vervalsing" dat iemand een foto digitaal heeft bewerkt om het er echt uit te laten zien terwijl dat niet zo is. Lange tijd speelden computers de rol van de detective, maar ze waren als zwarte dozen: ze konden wel zeggen "dit is nep", maar ze konden niet uitleggen waarom, en ze raakten vaak in de war door nieuwe trucjes.

Onlangs werd er een nieuw type superintelligent computerbrein geïntroduceerd, een Multimodal Large Language Model (MLLM). Denk aan deze modellen als detectives die zowel plaatjes kunnen zien als tekst kunnen lezen tegelijkertijd. Ze zijn erg goed in het begrijpen van verhalen en het beschrijven van scènes. Echter, wanneer het gaat om het opsporen van minuscule, onzichtbare aanwijzingen in een foto — zoals een lichte verandering in hoe het licht op een schaduw valt of een vreemd patroon in de pixels — hebben ze de neiging tot "hallucinaties". Dit betekent dat ze verhalen gaan verzinnen over wat ze zien en vol vertrouwen nepbewijs beschrijven dat er eigenlijk niet is, omdat ze proberen een visueel probleem in een woordgebaseerde oplossing te dwingen. Ze zijn als een detective die, in plaats van naar de vingerafdrukken te kijken, begint aan een lang, dramatisch verhaal over de persoonlijkheid van de verdachte, wat vaak leidt tot de verkeerde conclusie.

Dit artikel introduceert een nieuwe detective genaamd ForgeryVCR. In plaats van de computer te dwingen een verhaal over de aanwijzingen te schrijven, geeft ForgeryVCR de computer een speciale "forensische gereedschapskist" en leert het de computer om direct naar het bewijs te kijken. De onderzoekers ontdekten dat wanneer de computer de mogelijkheid krijgt om tools te gebruiken om onzichtbare aanwijzingen om te zetten in zichtbare plaatjes, het een veel betere detective wordt. Ze leerden het model om te stoppen met gokken en te beginnen met onderzoeken, met behulp van een strategie genaamd "Visual-Centric Reasoning". Het resultaat is een systeem dat veel moeilijker te misleiden is, precies kan vinden waar een foto is gemanipuleerd, en niet wordt afgeleid door het verzinnen van nepverhalen.

Het Probleem: De Detective die Te Veel Praat

Stel je voor dat je naar een foto kijkt van een kat die op een hek zit. Een normaal mens kan zien of de kat er met Photoshop bij is geplaatst door te kijken naar de randen van de vact of hoe de schaduwen vallen. Maar een computer die vertrouwt op "tekstgebaseerde redenering" probeert de kat eerst in woorden te beschrijven. Het zou kunnen zeggen: "De kat ziet er verdacht uit omdat hij een mysterieuze aura heeft", zelfs als de kat volkomen echt is. Het artikel stelt dat deze aanpak gebrekkig is omdat taal te vaag is om de minuscule, op pixelniveau liggende imperfecties te beschrijven die een nepbeeld verraden.

De auteurs laten zien dat huidige AI-modellen vaak lijden aan "semantische hallucinaties". Dit is wanneer de AI een vervalst gebied vol vertrouwen als echt beschrijft, of andersom, omdat de AI vertrouwt op zijn training in taal in plaats van op de werkelijke visuele data. Het is als een detective die de vingerafdruk op het glas negeert en in plaats daarvan de identiteit van de crimineel raadt op basis van diens lievelingskleur. Het artikel sluit expliciet de mogelijkheid uit dat het simpelweg toevoegen van meer tekstbeschrijvingen of "Chain-of-Thought" (waarbij de AI zijn stappen in woorden doorloopt) dit probleem zal oplossen. Sterker nog, ze ontdekten dat het toevoegen van tekst het probleem vaak erger maakt, wat leidt tot meer fouten.

De Oplossing: Een Detective met een Magische Gereedschapskist

Om dit op te lossen, bouwden de auteurs ForgeryVCR. In plaats van de AI te vragen een verhaal te schrijven, gaven ze het een reeks digitale tools die fungeren als een vergrootglas, een UV-lamp en een vingerafdrukscanner. Deze tools zijn:

• ELA (Error Level Analysis): Deze tool markeert gebieden in de afbeelding die verschillend zijn gecomprimeerd, zoals het vinden van een stuk behang dat over een ander stuk is geplakt.
• FFT (Fast Fourier Transform): Deze kijঁkt naar de frequentiepatronen van de afbeelding om rasterachtige artefacten op te sporen die verschijnen wanneer een afbeelding wordt aangepast in grootte of gekopieerd.
• NPP (Noise Print Plus): Deze controleert de "ruis" of korrel van de afbeelding om te zien of de vingerafdruk van de camerasensor consistent is over de hele foto.
• Zoom-In: Dit laat de AI een nauwer beeld krijgen van een specifieke verdachte plek zonder detailverlies.

De kerninnovatie is Visual-Centric Reasoning. In plaats van dat de AI zegt: "Ik denk dat dit deel nep is omdat de verlichting vreemd is," roept de AI daadwerkelijk de ELA-tool aan, ziet een helderrood vlak op het scherm waar de compressie anders is, en zegt dan: "Ik zie hier een rode plek, dus dit is nep." De beslissing is gebaseerd op wat de tool laat zien, niet op wat de AI denkt te zien.

Hoe ze de AI hebben geleerd: Het "Strategic Tool Learning"

Je kunt een detective niet zomaar een gereedschapskist geven en verwachten dat hij weet wanneer hij deze moet gebruiken. Als hij een UV-lamp op elke enkele foto gebruikt, verspilt hij tijd en raakt hij in de war. De auteurs ontwikkelden een speciale trainingsmethode genaamd Strategic Tool Learning om de AI te leren wanneer welke tool gebruikt moet worden.

Deze training vond plaats in twee fasen:

1. Supervised Fine-Tuning (SFT): Ze lieten de AI veel voorbeelden zien van vervalste en echte afbeeldingen. Ze gebruikten een "gain-driven" methode, wat betekent dat ze de AI alleen een tool lieten gebruiken als die tool daadwerkelijk hielp om het antwoord te vinden. Als een tool geen nieuwe informatie toevoegde, leerde de AI om deze over te slaan. Dit voorkwam dat de AI onnodig tools gebruikte.
2. Reinforcement Learning (RL): Dit is als een videogame waarbij de AI punten krijgt als hij het goed heeft en punten verliest als hij tijd verspilt. De AI kreeg een "Tool Utility Reward". Als de AI een tool gebruikte en de vervalste plek vond, kreeg hij een grote beloning. Als de AI een tool gebrude en niets vond, of als hij een tool gebruikte op een echte afbeelding wanneer dat niet nodig was, kreeg hij een straf. Na verloop van tijd leerde de AI een strategische detective te zijn: hij zou de tools alleen aanroepen wanneer dat echt noodzakelijk was, waardoor hij sneller en nauwkeuriger werd.

De Resultaten: Slimmer, Sneller en Nauwkeuriger

De auteurs testten ForgeryVCR op een enorme variëteit aan vervalste afbeeldingen, van eenvoudige kopieer-en-plakwerk tot complexe door AI gegenereerde bewerkingen. De resultaten waren indrukwekkend.

• Betere Detectie: ForgeryVCR behaalde de beste prestaties (State-of-the-Art) in het detecteren of een afbeelding echt of nep was, en versloeg hiermee alle andere gespecialiseerde netwerken en andere AI-modellen.
• Betere Lokalisatie: Het zei niet alleen "dit is nep"; het kon een kader trekken rond het exacte vervalste deel met hoge precisie. Wanneer ze dit combineerden met een segmentatietool (SAM2), kon het zelfs een perfecte omtrek van het vervalste object tekenen.
• Minder Hallucinaties: Door de tekstgebaseerde redenering te verwijderen, maakte het model veel minder fouten waarbij het nepbewijs verzint. In tests corrigeerde het ongeveer 35% van de fouten die de tekstgebaseerde versie maakte.
• Efficiëntie: Omdat de AI leerde om tools over te slaan wanneer ze niet nodig waren, verspilde het geen tijd aan het analyseren van elke afbeelding met elke tool. Het werd een slimme detective die weet wanneer hij moet stoppen met zoeken.

Waarom dit belangrijk is

Het artikel suggereert dat voor taken die de detectie van minuscule, onzichtbare details vereisen, het dwingen van een computer om in woorden te "denken" een slecht idee is. In plaats daarvan werkt het veel beter om het instrumenten te geven om onzichtbare data om te zetten in zichtbare plaatjes. ForgeryVCR laat zien dat door de kracht van grote AI-modellen te combineren met gespecialiseerde forensische tools en hen strategisch te leren werken, we systemen kunnen bouwen die veel moeilijker te misleiden zijn. Dit is een cruciale stap voorwaarts in het beschermen van ons tegen de vloedgolf aan hyperrealistische nepbeelden die elke dag moeilijker te onderscheiden worden. De auteurs concluderen dat deze "Visual-Centric" benadering niet slechts een kleine verbetering is, maar een noodzakelijke verschuiving in hoe we AI voor digitale forensica bouwen.