See the past: Time-Reversed Scene Reconstruction from Thermal Traces Using Visual Language Models

Probleemstelling

Het paper adresseert de uitdaging om recente toestanden van een scène uit het verleden te herstellen op basis van huidige waarnemingen. Waar traditionele temporele redenering in computer vision zich richt op het voorspellen van toekomstige frames (bijvoorbeeld via Deep Voxel Flow of PredNet), is het afleiden van het verleden uit een enkele statische waarneming zeer ambigu wanneer uitsluitend op RGB-gegevens wordt vertrouwd, aangezien meerdere verleden trajecten tot dezelfde huidige toestand kunnen leiden. De auteurs stellen voor om thermische beeldvorming in te zetten om deze ambiguïteit op te lossen. Omdat mensen (ongeveer 37°C) doorgaans warmer zijn dan hun omgeving, laten fysieke interacties (zitten, leunen, aanraken) restwarmtesporen na die over seconden tot minuten vervagen. Deze "vervagende afdrukken" fungeren als passieve temporele codes, die indirect bewijs leveren van recente gebeurtenissen die onzichtbaar zijn voor standaard RGB-camera's maar detecteerbaar in het infraroodspectrum.

Methodologie

Het voorgestelde kader is een tijd-omgekeerd reconstructiesysteem dat een plausibel RGB-image synthetiseert uit een tijd $\Delta$ in het verleden ($\hat{x}^{t-\Delta}_{RGB}$) met behulp van huidige multimodale invoer: een geco-registreerd RGB-frame ($x^t_{RGB}$) en een thermisch frame ($x^t_{Thermal}$). De methode bestaat uit drie hoofdbestanddelen:

1. Multimodale Invoer Encodering: Het systeem verkrijgt uitgelijnde RGB- en thermische beelden op tijd $t=0$. Het RGB-image biedt ruimtelijke context, terwijl het thermische beeld de restwarmte-kenmerken van recente mens-omgeving interacties codeert.
2. VLM-gebaseerde Gidsing (Semantische Priors):
   • Een vooraf getraind Visueel-Taal Model (VLM), specifiek GPT-5, wordt gebruikt in inferentiemodus met bevroren parameters.
   • Het neemt het RGB-image, het thermische image en een tekstuele prompt ($p_{desc}$) als invoer.
   • Het genereert een gestructureerde tekstuele beschrijving ($p_{out}$) van de scène, waarbij thermografische sporen expliciet worden geïdentificeerd en de gebeurtenis die seconden of minuten geleden plaatsvond wordt beschreven (bijvoorbeeld: "een persoon zat recent op de stoel").
   • Cruciaal is dat de auteurs het VLM niet fine-tunen; ze vertrouwen op de zero-shot capaciteit ervan om thermische sporen te interpreteren en om te zetten in semantische beperkingen.
3. Beperkt Diffusiekader (Image Synthese):
   • Een vooraf getraind diffusiemodel (Gemini 2.5 Flash Image, ook bekend als NanoBanana) wordt gebruikt om het verleden frame te genereren.
   • Het model wordt niet opnieuw getraind of gefine-tuned. In plaats daarvan wordt zijn ontroostings-traject beperkt via conditionering.
   • Het generatieproces ($z_{t-1} = g(z_t, x^t_{RGB}, x^t_{Thermal}, p_{out}, p_{gen})$) wordt geleid door de huidige RGB/thermische invoer, de semantische beschrijving ($p_{out}$), en een generatieve prompt ($p_{gen}$) die het model instrueert om de scène "een paar seconden eerder" weer te geven, terwijl de omgevingsgetrouwheid behouden blijft.

Dataset en Experimentele Opstelling

Om de methode te evalueren, introduceerden de auteurs TraceDataset, een multimodale dataset met 80 gecontroleerde mens-omgeving interactiescènes.

• Acties: Zitten op een stoel, leunen tegen een muur, en objecten aanraken.
• Protocol: Proefpersonen hielden 30 seconden contact. RGB- en thermische beelden werden vastgelegd bij tijdsvertragingen van 5s, 15s, 30s en 120s nadat het contact was beëindigd.
• Hardware: FLIR ONE camera (RGB: 1440×1080; Thermisch: 80×60, 8.7 Hz).
• Ground Truth: Het frame vastgelegd op 0s (onmiddellijk na contact) dient als referentie.

Evaluatiemetrics:

• Laag niveau: Peak Signal-to-Noise Ratio (PSNR) en Structural Similarity Index Measure (SSIM).
• Hoog niveau: Mean Per Joint Position Error (MPJPE) voor pose-schatting en Overall Accuracy (OA) voor semantische segmentatie.

Belangrijkste Resultaten

1. Ablatiestudie:
   • Alleen RGB: Faalde om de vorige toestand te onthullen, vaak hallucinerend plausibele maar onbeperkte frames.
   • RGB + Thermisch: Verbeterde prestaties door aanvullende cues in te voeren, waardoor het herstellen van basisacties mogelijk werd (bijvoorbeeld zitten).
   • Volledig Model (RGB + Thermisch + Descriptor): Bereikte de beste resultaten. De opname van de door het VLM gegenereerde semantische descriptor verhoogde de Overall Accuracy (OA) met 10% en de PSNR met 1,3 dB ten opzichte van de thermisch-only baseline. Dit bevestigt dat de gestructureerde beschrijving fungeert als een sterke prior, die het diffusieproces verankert aan fysiek consistente semantiek.
2. Generator Vergelijking:
   • Het voorgestelde kader werd getest tegen verschillende state-of-the-art generatieve modellen (DALL-E 3, Grok, Pixverse, Flux Kontext, Seeddream 4.0).
   • Gemini 2.5 Flash Image behaalde de hoogste prestaties op bijna alle metrics (hoogste OA, laagste MPJPE, hoogste PSNR/SSIM), wat een superieur vermogen aantoont om multimodale cues te integreren en temporele consistentie te behouden.
3. Temporeel Reconstructiebereik:
   • Reconstructies bleven stabiel en accuraat tot 15 seconden.
   • Prestaties vertoonden merkbare degradatie na 30 seconden naarmate thermische sporen verzwakten.
   • Bij 120 seconden kon het model de globale structuur van de scène behouden, maar faalde het om fijne details of precieze interacties vast te leggen. De effectieve temporele horizon wordt vastgesteld op één tot twee minuten.

Betekenis en Claims

Het paper claimt het eerste proof-of-concept kader te presenteren voor het reconstrueren van volledige verleden toestanden van een scène (volledige-scène uiterlijk) uit thermische sporen.

• Nieuwheid: Het is het eerste werk dat restwarmte-kenmerken operationaliseert als een computationeel signaal voor tijd-omgekeerde image synthese, verder gaand dan eerdere inferentie op pose-niveau of voorspellingen met een korte horizon.
• Modulariteit: Het kader is model-agnostisch en modulair. Het vereist geen hertraining van de generatieve ruggengraat, waardoor het kan profiteren van toekomstige vooruitgang in VLM's en diffusiemodellen zonder structurele wijzigingen.
• Haalbaarheid: Gecontroleerde experimenten valideren dat plausibel herstel van verleden frames mogelijk is tot twee minuten na interactie, wat een fundamentele stap zet naar praktische tijd-omgekeerde beeldvorming voor toepassingen in forensiek, scène-analyse en beveiliging.

De auteurs blijven bescheiden wat betreft de huidige reikwijdte, en merken op dat de studie beperkt is tot gecontroleerde scenario's met enkele proefpersonen en dat toekomstig werk vereist is om het kader uit te breiden naar real-world omgevingen met meerdere proefpersonen en variabele verlichting.