Technische Samenvatting: OmniVL-Guard Pro

Probleemstelling

Bestaande methoden voor het detecteren en lokaliseren van visueel-taalvervalsingen opereren voornamelijk onder een gesloten-wereldparadigma. Deze zelfstandige Multimodale Grootte Taalmodellen (MLLM's) vertrouwen uitsluitend op parametrisch geheugen en statische trainingscorpora. Deze aanpak stuit in dynamische, open-wereld forensische scenario's op een praktische bovengrens vanwege drie primaire beperkingen:

1. Beperkte Parametrische Kennis: Modellen kunnen geen real-time gebeurtenissen verifiëren die plaatsvonden na hun trainingscutoff, noch hebben ze toegang tot externe feitelijke verificatie.
2. Statische Perceptie: Ze missen het vermogen om fijnmazig te scrutiniseren op lokale randen, textuurdiscontinuïteiten of subtiele artefacten die nodig zijn voor pixel-level vervalsingssegmentatie.
3. Beperkte Resolutie: De native perceptieve resolutie is ontoereikend voor het detecteren van minutieuze manipulaties zonder externe zoom- of croptools.

Bijgevolg kampen huidige methoden met problemen bij Real-time Gebeurtenisverificatie (vereist externe aanwijzingen) en Vervalsingssegmentatie (vereist fijnmazige lokale inspectie). Bovendien lijden bestaande benaderingen vaak aan een patroon van "pseudo-succes", waarbij het uiteindelijke antwoord correct is, maar het redeneerproces vervormd is of ontbeert een verifieerbare bewijsketen.

Methodologie

De auteurs stellen OmniVL-Guard Pro voor, een tool-verrijkt agent ontworpen om de forensiek te verschuiven van gesloten-wereldvoorspelling naar open-wereld, bewijsgedreven redenering. Het kader integreert een gespecialiseerde tool-omgeving met een innovatieve trainingspijplijn.

1. Tool-Versterkte Omgeving

De agent opereert binnen een omgeving uitgerust met zeven specifieke tools om externe kennis en fijnmazige visuele data te verkrijgen:

• Real-time Gebeurteniszoeken: Query's het web voor tijdgevoelige feiten.
• Lokaal Croppen & Zoomen: Extraheren en vergroten van specifieke regio's voor gedetailleerde inspectie.
• Rand-Afwijkingscreening: Scannen op lokale randdichtheid, Laplacian-energie en buurman-afwijkingen om verdachte regio's te identificeren.
• Gezichtsdetectie: Identificeren van gezichtsbounding boxes voor portretinspectie.
• Video Frame Extractie: Extraheren van frames uit specifieke temporale segmenten voor analyse op beeldniveau.
• SAM3 Segmentatie: Genereren van pixel-level maskers op basis van prompts (boxes, punten).

2. Dataconstructie: Boomgestructureerde Zelf-evoluerende Tool-trajectgeneratie

Om de agent te trainen, construeren de auteurs de Full-Spectrum Tool Reasoning (FSTR) dataset. Ze adresseren het "efficiëntie-bias-dilemma" (waarbij vrije exploratie leidt tot data van lage kwaliteit, en injectie van grondwahrheid leidt tot achterafkennisbias) via een vierfasig proces:

• Zaadgeleiding: Gebruik van een MLLM-expertpool (Explorer en Guider) voor boomgestructureerd zoeken. De Guider valideert stappen tegen de grondwahrheid en snoeit ongeldige takken.
• Zelf-evoluerende Expansie zonder Guider: Het beleid verkent autonoom de tool-omgeving zonder antwoordbewuste begeleiding, en schaalt de dataset op via iteratieve rollouts.
• Zwak-gesuggereerde Synthese van Moeilijke Trajecten: Voor langstaart-moeilijke samples die zelf-evolutie falen, biedt een Guider zwakke hints (bijv. ruwe regio's of sleutelwoorden) om de Explorer te leiden zonder het antwoord te onthullen. Een Refiner herschrijft vervolgens het redeneren om expliciete hintsporen te elimineren, zodat het uiteindelijke traject autonoom lijkt.
• Datasetsamenstelling: De resulterende FSTR-dataset omvat $FSTR_{sft}$ (69.323 samples) voor cold-start Supervised Fine-Tuning (SFT) en $FSTR_{rl}$ (81.087 samples) voor Reinforcement Learning (RL).

3. Trainingsstrategie: Checker-geleid Agentic Reinforcement Learning (CGARL)

De training volgt een drie-fasenproces om zowel antwoordcorrectheid als redeneerconsistentie te waarborgen:

• Fase I (Resultaatgedreven RL): Het model wordt getraind op $FSTR_{sft}$ via SFT, gevolgd door resultaat-niveau RL op een subset van $FSTR_{rl}$ met behulp van ARSPO. Dit levert een beleid ($\pi_{ans}$) op dat in staat is tools aan te roepen en correcte antwoorden te produceren.
• Fase II (Checker Constructie): Een Checker-model wordt getraind via distillatie. Het evalueert tool-trajecten geproduceerd door $\pi_{ans}$ en wijst een discrete score toe ($s \in \{0, 0.5, 1\}$) op basis van interne consistentie, redelijkheid van toolgebruik en voldoende bewijs. Dit straalt expliciet het "pseudo-succes"-patroon af.
• Fase III (Proces-supervisie RL): Het hoofdbeleidsplan ondergaat Checker-geleid RL op de resterende $FSTR_{rl}$. De beloningsfunctie combineert antwoordcorrectheid met de proces-score van de Checker ($s_{proc}$) en een beloning voor toolgebruiksefficiëntie. Dit moedigt het model aan om coherente, bewijs-consistente redeneertrajecten te genereren.

Belangrijkste Bijdragen

1. OmniVL-Guard Pro: Een open-wereld, tool-verrijkt agent dat vervalsingsdetectie, grounding en segmentatie unificeert over tekst-, beeld- en videomodaliiteiten, met ondersteuning voor real-time gebeurtenisverificatie en fijnmazige segmentatie.
2. FSTR Dataset: Een uitgebreide dataset bestaande uit hoogtrouw tool-zoektrajecten ($FSTR_{sft}$) en RL-trainingsdata ($FSTR_{rl}$), geconstrueerd via een innovatief zelf-evoluerend kader dat achterafkennisbias mitigeert.
3. Checker-geleid Agentic RL (CGARL): Een trainingsparadigma dat procesniveau-supervisie introduceert om te waarborgen dat het redeneerproces consistent is met het uiteindelijke oordeel, en zo effectief de faalmodus "antwoord is correct maar proces is vervormd" aanpakt.
4. RealFact Benchmark: Een nieuwe benchmark voor real-time gebeurtenisverificatie die gebeurtenissen van januari 2025 tot maart 2026 bestrijkt, ontworpen om capaciteiten te testen die verder gaan dan parametrisch geheugen.

Experimentele Resultaten

Het model werd geëvalueerd op zowel in-domein als out-of-domein (OOD) benchmarks, waaronder ISOT, CASIA2.0, MMFakeBench, FakeTT en IMD.

• In-domein Prestaties: OmniVL-Guard Pro behaalde state-of-the-art prestaties over alle taken. Opmerkelijke verbeteringen ten opzichte van de vorige beste (OmniVL-Guard) waren:
  • RealFact Verificatie: +30,71% nauwkeurigheid.
  • Segmentatie (Dice): +25,77%.
  • Tekst-Beeld Lokalisatie: +30,71%.
• Zero-Shot Generalisatie: Het model demonstreerde sterke OOD-prestaties, presterend beter dan algemene MLLM's (bijv. Qwen3VL-235B) en domeinspecifieke baselines op onzichtbare datasets. Bijvoorbeeld, het behaalde 81,74% nauwkeurigheid op Tekst-Beeld taken en 42,93% Dice op segmentatietaken zonder fine-tuning.
• Ablatiestudies:
  • Het verwijderen van de Checker of de RL-fasen resulteerde in aanzienlijke prestatiedalingen, wat de noodzaak van proces-supervisie bevestigt.
  • Het verwijderen van specifieke tools (bijv. Zoeken, Video Frame Extractie) veroorzaakte substantiële degradatie in overeenkomstige taken (bijv. daalde RealFact-nauwkeurigheid van 86,5% naar 62,3% zonder Zoeken).
  • De Zwak-gesuggereerde Synthese van Moeilijke Trajecten was kritiek; het verwijderen hiervan veroorzaakte prestatiedalingen tot 9,63% op tekstlokalisatie.

Betekenis en Claims

Het artikel claimt dat OmniVL-Guard Pro een paradigmaverschuiving vertegenwoordigt in visueel-taalforensiek, van gesloten-wereldvoorspelling naar open-wereld bewijsgedreven redenering. Door externe tools te integreren en procesniveau-consistentie af te dwingen via CGARL, overstijgt het model de intrinsieke grenzen van parametrische kennis en statische perceptie. De auteurs stellen dat deze aanpak niet alleen state-of-the-art prestaties bereikt, maar ook een robuust kader vestigt voor het verifiëren van real-time gebeurtenissen en het lokaliseren van fijnmazige manipulaties in een dynamische wereld. Het werk benadrukt dat het simpelweg opschalen van modelgrootte onvoldoende is; in plaats daarvan is het toerusten van modellen met het vermogen om actief externe bewijzen te zoeken, te inspecteren en erover te redeneren, de sleutel tot het vooruitgang van forensische capaciteiten.