Technische Samenvatting: Stroom van Waarheid (FoT)

1. Probleemstelling

De snelle vooruitgang van Image-to-Video (I2V) generatiemodellen (bijv. AnimateDiff, Wan2.2, Sora, Kling) maakt het mogelijk om vanuit enkele afbeeldingen zeer realistische, temporair coherente video's te creëren. Hoewel dit gunstig is voor creatieve productie, introduceert deze technologie aanzienlijke risico's op desinformatie en vervalsing van inhoud.

Bestaande forensische mechanismen staan in dit domein voor een kritieke beperking:

• Statisch versus Dynamisch: Traditionele proactieve forensiek zet handtekeningen in statische afbeeldingen om manipulatie te lokaliseren. I2V-generatie omvat echter een progressieve visuele evolutie waarbij pixels bewegen, vervormen, verdwijnen of semantisch opnieuw worden samengesteld in de loop van de tijd.
• Temporele Drift: Bij I2V drijven ingebedde forensische sporen weg, vervormen of worden ze verduisterd naarmate de frames vorderen. Statische ruimtelijke forensiek, die uitgaat van vaste pixeluitlijning, wordt onbetrouwbaar.
• De Kernuitdaging: De forensische taak verschuift van het identificeren waar manipulatie in een enkel frame heeft plaatsgevonden, naar het traceren hoe beschermde bewijzen stromen en transformeren in de tijd. Bovendien hebben verdedigers doorgaans alleen toegang tot de door de aanvaller vrijgegeven videoframes; de originele bronafbeelding is niet beschikbaar voor standaard bron-doelbewegingsschatting.

Het artikel identificeert proactieve temporele traceerbaarheid als een nieuwe, onontgonnen forensische vereiste: het vermogen om de originele bronafbeelding te herstellen en bewijs te traceren door beweging en semantische veranderingen, zonder toegang tot de originele bron tijdens de forensische analysefase.

2. Methodologie: Stroom van Waarheid (FoT)

De auteurs stellen Flow of Truth (FoT) voor, een proactief kader dat I2V-generatie herformuleert vanuit een pixelbewegingsperspectief in plaats van eenvoudige framesynthese. De kernhypothese is dat als een forensisch signaal is ontworpen om de onderliggende pixeldynamiek te "volgen" en te "vertalen", het gesynchroniseerd kan blijven met evoluerende doelframes.

Het kader werkt via een pijplijn van vier fasen:

A. Herformulering van de Taak

Het probleem wordt gedefinieerd als het leren van een mapping $\Phi: I_t \to \hat{I}_{t \to 0}$, waarbij $I_t$ een waargenomen frame is en $\hat{I}_{t \to 0}$ de herstelde bronafbeelding. De uiteindelijke bron wordt gereconstrueerd door het aggregeren van voorspellingen uit meerdere frames. Dit wordt herformuleerd als het leren van een dicht verplaatsingsveld (optische stroom) van de bron naar het doel, wat achterwaartse warping toelaat om de bron te herstellen.

B. Template-inbedding

In plaats van vaste templates te gebruiken (voldoende voor statische lokalisatie maar ontoereikend voor bewegingstracking), hanteert FoT een leerbare forensische template ($T$).

• Een encoder $E$ zet $T$ in de bronafbeelding $I_0$ in om $I^T_0$ te creëren.
• De inbedding wordt geoptimaliseerd om visueel onmerkbaar te zijn (minimaliseren van pixelvervorming en LPIPS), terwijl energie wordt toegewezen aan visueel stabiele regio's die waarschijnlijk temporale consistentie behouden tijdens synthese.

C. Differentieerbare I2V-simulatie

Om de computereisen en bias van direct trainen op specifieke gesloten-bron I2V-modellen te vermijden, gebruikt FoT een differentieerbaar simulatiemechanisme:

1. Compressie/Reconstructie: Een bevroren Variational Autoencoder (VAE) simuleert de compressie- en reconstructiedynamiek van I2V-modellen.
2. Motion Scattering: Een bewegingsveld $M_i$ wordt willekeurig bemonsterd uit een bank van optische stroomdatasets (FlyingChairs, Sintel, Spring, etc.) om pixels van de gereconstrueerde afbeelding te verspreiden.
   Deze opzet biedt expliciete ground-truth bewegingslabels voor training zonder echte I2V-video's te vereisen, waardoor de methode generaliseert over generators.

D. Bewegingstrapping en Onzekerheidsmodellering

Een template-gestuurde stroomvoorspellingsmodule schat het dichte verplaatsingsveld tussen de ingebedde bron en de gesimuleerde frame.

• Onzekerheidsvoorspelling: Met erkenning dat sommige regio's (bijv. verduisterde gebieden of semantisch opnieuw samengestelde inhoud) inherent niet waarneembaar zijn, voorspelt het model naast de stroom ook een betrouwbaarheidskaart.
• Verliesfunctie: Een Mixture-of-Laplace-verlies wordt gebruikt om zowel deterministische beweging als onzekere gevallen (verduistering, nieuwe inhoud) te modelleren, waardoor het systeem onbetrouwbare stroomvectoren tijdens reconstructie kan afwegen.

E. Stroomomkering (Inferentie)

Tijdens inferentie decodeert FoT het overlevende template-bewijs uit de door de aanvaller vrijgegeven videoframes.

1. Het voorspelt het bewegingsveld van de bron naar het huidige frame.
2. Het warpt het frame achterwaarts naar het bronsysteem van coördinaten.
3. Het fuseert reconstructies uit meerdere frames met behulp van de voorspelde betrouwbaarheidskaarten als zachte maskers om de uiteindelijke herstelde bronafbeelding te genereren.

3. Belangrijkste Bijdragen

1. Probleemidentificatie: Het artikel definieert proactieve temporele traceerbaarheid als een kritieke nieuwe forensische vereiste voor I2V, waarbij bewijs moet worden getraceerd door beweging en semantische drift.
2. Kaderontwerp: FoT is het eerste proactieve kader voor bronherstel in I2V. Het modelleert video-generatie uniek als pixelgewijze beweging, waarbij een forensische template wordt geleerd die mee evolueert met pixeltrajecten.
3. Generalisatie: De methode is getraind op een differentieerbare simulatie van beweging en compressie, waardoor het generaliseert over zowel commerciële (Kling, Dreamina) als open-source (CogVideoX, Wan2.2) I2V-modellen zonder directe toegang tot hun gewichten.
4. Aanvullende Capaciteiten: De auteurs tonen aan dat FoT fungeert als een algemeen plug-inmodule die:
   • De robuustheid van copyright-watermerken tegen geometrische vervormingen en I2V-transformaties verbetert.
   • De lokalisatie van manipulatie verbetert door bewegingsgebaseerde kenmerken te benutten om inhoudsconsistenties te detecteren.

4. Experimentele Resultaten

De auteurs evalueerden FoT op een aangepaste benchmark bestaande uit 204 bron-promptparen over vijf bewegingsscenario's (Gezicht, Camera, Dier, Mens-Omgeving, Multi-Mens) en vier I2V-modellen.

• Waarheidsherstel: FoT presteert aanzienlijk beter dan onbewerkte "Vervalste" frames bij het herstellen van de originele bronafbeelding.
  • Frame-niveau: FoT verbeterde de PSNR van ~20,4 naar ~23,0 en de SSIM van ~0,64 naar ~0,76 gemiddeld over bewegingsschalen.
  • Video-niveau: Zelfs wanneer 90% van de initiële frames werd verworpen (een ernstige aanval), behield FoT een duidelijk prestatievoordeel ten opzichte van ruwe vervalste bewijzen, wat weerstand tegen temporele dataverlies aantoont.
• Bewegingstrappingnauwkeurigheid:
  • De prestaties varieerden per model en scenario. CogVideoX leverde de meest stabiele resultaten op (AEE ~6,88), terwijl Dreamina S2.0 de grootste uitdagingen bood (AEE ~30,6).
  • Scenario-analyse: "Camera"-beweging (globaal, coherent) was makkelijker te traceren dan "Mens-Omgeving"- of "Multi-Mens"-scenario's, die complexe, niet-rigide interacties omvatten.
  • Schalenanalyse: Grote bewegingsmagnitudes (>40px) veroorzaakten consequent hogere fouten, wat echoot uit uitdagingen in traditionele optische stroom, maar FoT bleef effectief voor gestructureerde grote bewegingen (bijv. camerazooms).
• Aanvullende Taken:
  • Watermerking: FoT verbeterde de bitnauwkeurigheid voor geometrische en I2V-aanvallen wanneer gebruikt als een post-inbedding herstellaag voor RoSteALS.
  • Lokalisatie van Manipulatie: Het kader behaalde hoge Dice-scores (>0,95 op schone invoer) bij het lokaliseren van bewerkte regio's, wat valideert dat bewegingsgebaseerde kenmerken generaliseren naar manipulatie-detectie.

5. Betekenis en Claims

Het artikel positioneert FoT als een fundamentele stap naar proactieve temporele forensiek.

• Paradigmaverschuiving: Het verplaatst forensische analyse van statische ruimtelijke lokalisatie naar dynamische temporele tracing, wat de specifieke aard van generatieve video adresseert waarbij inhoud evolueert in de tijd.
• Praktische Nut: Door de "waarheid" (de bronafbeelding) te herstellen uit gemanipuleerde video's, biedt FoT een mechanisme om authenticiteit te verifiëren, zelfs wanneer de originele bron verloren is gegaan of door de aanvaller verborgen is.
• Beperkingen en Toekomstig Werk: De auteurs erkennen bescheiden dat FoT worstelt met semantische her-synthese (waarbij de generator volledig nieuwe inhoud creëert die niet in de bron aanwezig was) en hoogst niet-rigide, heterogene bewegingen (bijv. complexe menselijke interacties). Zij suggereren dat toekomstig werk zich moet richten op hoog-niveau generatieve priors en regio-bewust redeneren om deze "faalmodi" aan te pakken.

Het werk concludeert dat hoewel het traceren van pixels door grote, niet-rigide verplaatsingen uitdagend blijft, FoT een levensvatbaar pad vestigt voor het traceren van beschermde bewijzen door de temporele evolutie van AI-genererde video.