Technische Samenvatting: Deep Residual Injection voor Full-Spectrum Forensische Signaalperceptie in Multimodale Large Language Models

1. Probleemstelling

De snelle vooruitgang van door AI gegenereerde afbeeldingen (AIGI) heeft een crisis in digitaal vertrouwen gecreëerd, wat robuuste detectiemechanismen noodzakelijk maakt. Hoewel Multimodale Large Language Models (MLLMs) beschikken over sterke semantische redenering en interpreteerbaarheid, kampen ze met een kritieke beperking in forensische taken: het onvermogen om laag-niveau generator-artefacten te detecteren zonder hun vooraf getrainde semantische capaciteiten aan te tasten.

Bestaande benaderingen vertrouwen vaak op externe expert-detectoren om de zwaktes van MLLMs te compenseren of proberen MLLMs direct te finetunen. De auteurs identificeren echter een fundamenteel representatieconflict:

• Semantiek versus Artefact-leren: Voortgetrainde MLLMs zijn geoptimaliseerd voor hoog-niveau semantische kenmerken (stijl, inhoud, logica). Het dwingen van deze modellen om subtiele, laag-niveau generator-sporen (artefacten) te leren via standaard fine-tuning (bijv. LoRA of volledige fine-tuning) verstoort de gevestigde semantische representaties.
• Het Dilemma: Standaard fine-tuning faalt in het effectief herstellen van laag-niveau artefacten, terwijl agressieve fine-tuning (volledige fine-tuning) leidt tot "catastrofale vergetelheid" van de kern-semantische kennis van het model, waardoor het ineffectief wordt voor algemene detectietaken.

2. Methodologie: Deep Visual Residual MLLM (Deep-VRM)

Om het conflict tussen semantische preservatie en artefact-detectie op te lossen, stellen de auteurs Deep-VRM voor, een nieuwe architectuur gebaseerd op Deep Residual Injection.

2.1. Kerninzicht: Laag-specifieke Functionele Stratificatie

Door middel van linear probe-analyse op voorgetrainde MLLMs (specifiek Qwen-2.5-VL-7B) ontdekten de auteurs een functionele stratificatie binnen de lagen van het model:

• Vroege- tot Middelste Lagen (Lagen 1–16): Deze lagen zijn cruciaal voor het vormen van stabiele semantische representaties. Ze convergeren snel op semantische taken, maar blijven stagnerend wanneer ze de taak krijgen om laag-niveau artefacten te detecteren. Het dwingen van deze lagen om artefacten te leren, verstoort de semantische convergentie.
• Latere Lagen: Deze lagen zijn verantwoordelijk voor hoog-niveau redenering en informatie-integratie.

2.2. Architectuurontwerp

Deep-VRM maakt gebruik van een duale visuele architectuur met een Residual Injection strategie om de leerprocessen te ontkoppelen:

1. Frozen Semantic Path ($V_o$): De originele visuele encoder en de vroege lagen van de LLM (tot laag $K-1$) blijven bevroren (frozen). Dit behoudt de vooraf getrainde semantische perceptie en voorkomt catastrofale vergetelheid.
2. Adapted Artifact Path ($V_a$): Een parallel visueel tak die is uitgerust met LoRA-adapters, wordt getraind om artefact-specifieke visuele aanwijzingen te extraheren.
3. Residual Injection: In plaats van kenmerken op het invoerniveau uit te lijnen, worden de door $V_a$ geëxtraheerde artefact-kenmerken direct geïnjecteerd in de intermediaire verborgen toestanden van de LLM (op laag $K$).
   • De injectieformule is: $\tilde{h}^{(K-1)}_v = \alpha \cdot h^{(K-1)}_v + \beta \cdot V_a(I)$, waarbij $\alpha$ en $\beta$ schaleringsfactoren zijn (gesteld op 0.5).
   • Deze "Green Road" omzeilt de semantisch dominante vroege lagen, waardoor het model pas laag-niveau sporen leert nadat de semantische kenmerken zijn geconvergeerd.

2.3. Trainingsstrategie

Het trainingsproces is verdeeld in twee fasen:

• Fase 1 (Semantische Uitlijning): Fine-tune de LLM-component met een dataset ($D_1$) die gericht is op semantische aanwijzingen om de voorgetrainde kennis te activeren voor AIGI-detectie.
• Fase 2 (Artefact-bewuste Verfijning): Introduceer een dataset ($D_2$) die gericht is op generator-sporen (gecreëerd via VAE-reconstructie om semantische interferentie te elimineren). De vroege LLM-lagen blijven bevroren, terwijl de residuele tak ($V_a$) en de LLM-lagen van $K$ tot $N$ worden geoptimaliseerd. Dit stelt het model in staat om zowel semantische redenering als signaal-niveau forensische kenmerken gezamenlijk te modelleren.

3. Belangrijkste Bijdragen

1. Ontdekking van Representatieconflict: Het artikel onthult systematisch dat natuurlijke MLLMs niet in staat zijn om generaliseerbare laag-niveau artefacten te leren zonder de feature-ruimte agressief te wijzigen, wat de semantische extractie in gevaar brengt. Het stelt vast dat effectieve detectie vereist dat de artefact-lering wordt ontkoppeld van de semantische preservatie.
2. Deep-VRM Architectuur: Een nieuwe methode die artefact-specifieke kenmerken direct injecteert in de diepe lagen van de LLM, waarbij de semantisch dominante vroege lagen worden omzeild. Dit bereikt optimale integratie van kenmerken zonder externe expert-detectoren.
3. State-of-the-Art Prestaties: De methode behaalt superieure prestaties uitsluitend op basis van de MLLM, wat een robuuste generalisatie demonstreert in "in-the-wild" settings waar laag-niveau artefacten vaak gedegradeerd zijn door naverwerking.

4. Experimentele Resultaten

De auteurs hebben Deep-VRM geëvalueerd over meerdere benchmarks, waaronder GenImage, SynthBuster, AIGI-Bench en WildRF (een dataset die real-world sociale media condities reflecteert).

• Generalisatie: Deep-VRM behaalde State-of-the-Art (SOTA) resultaten op de meeste benchmarks. Op het GenImage dataset behaalde het bijvoorbeeld een gemiddelde nauwkeurigheid van 97,42%, waarmee het gespecialiseerde forensische modellen zoals OMAT (94,63%) en DRCT (83,53%) overtrof.
• Wild Robustness: Op de WildRF benchmark, die robuustheid test tegen compressie en resizing, behaalde Deep-VRM 89,51%, wat aanzienlijk beter is dan de op één na beste methode (AIDE met 59,49%) en gespecialiseerde forensische modellen.
• Vergelijking met MLLMs: Vergeleken met algemene MLLMs (bijv. Qwen-2.5-VL-7B, LLaVA-1.5) die moeite hadden met detectie (50–68% nauwkeurigheid) en gespecialiseerde forensische MLLMs (Forensic-Chat, 88,75%), behaalde Deep-VRM de hoogste gemiddelde nauwkeurigheid van 93,28%.
• Ablatie-studies:
  • Injectiediepte: Injectie op diepte $K=16$ leverde de beste balans op. Ondiepe injectie ($K=4$) verstoorde de semantische codering, terwijl zeer diepe injectie ($K=20$) onvoldoende lagen liet voor gezamenlijke redenering.
  • Bevriezen van Vroege Lagen: Het bevriezen van vroege lagen was cruciaal om het vergeten van semantische kennis te voorkomen, wat de prestaties op wild-datasets met meer dan 5% verbeterde vergeleken met volledige fine-tuning.
  • Fusie-coëfficiënten: Een gebalanceerde instelling van $\alpha=0.5, \beta=0.5$ bood de beste afweging tussen het behouden van semantische representatie en het introduceren van artefact-kenmerken.

5. Betekenis en Claims

Het artikel claimt dat Deep-VRM succesvol de kloof overbrugt tussen hoog-niveau semantische analyse en laag-niveau forensische perceptie. Door het representatieconflict op te lossen via Deep Residual Injection, stelt de methode MLLMs in staat om zowel subtiele generator-sporen als hoog-niveau semantische anomalieën autonoom te detecteren zonder afhankelijk te zijn van externe expert-detectoren.

De auteurs benadrukken dat deze aanpak een verenigd en generaliseerbaar framework biedt voor betrouwbare AI-gegenereerde beelddetectie. Het vermogen van het model om robuuste prestaties te behouden onder real-world beelddegradaties (compressie, resizing), suggereert dat het niet leunt op fragiele, enkelvoudige patronen, maar eerder een gezamenlijk redeneerproces benut. Het werk demonstreert dat MLLMs effectief kunnen worden aangepast voor forensische taken als hun interne functionele stratificatie wordt gerespecteerd en benut via architecturale innovatie in plaats van brute-force fine-tuning.