Video Reconstruction using Diffusion-based Image-to-Video Generation with Trajectory Guidance

Sintesi Tecnica: Ricostruzione Video tramite Generazione Immagine-Video basata su Diffusione con Guida di Traiettoria

Enunciato del Problema
Questo articolo affronta la sfida di ricostruire i frame mancanti o persi in riprese aeree dall'alto di Veicoli di Superficie Autonomi (ASV) che eseguono manovre marittime. Il contesto specifico riguarda ambienti a bassa texture e acque aperte, dove gli oggetti (piccole imbarcazioni) sono piccoli rispetto al campo visivo. In tali scenari, i segnali visivi da soli sono spesso insufficienti per determinare un moto oggettivo accurato, portando a fallimenti nei metodi di interpolazione tradizionali che si basano su un moto prevedibile e fluido o su prior puramente guidati dai dati. Inoltre, gli approcci standard di deep learning producono spesso output sfocati o falliscono nel sintetizzare texture plausibili quando condizionati da osservazioni sparse. La difficoltà principale risiede nel colmare il divario tra dati telemetrici non visivi sparsi (log GPS) e la generazione di sequenze video temporalmente coerenti e ad alta fedeltà, senza richiedere un fine-tuning specifico del dominio del modello.

Metodologia
Gli autori propongono una pipeline che converte la telemetria GPS grezza e un singolo frame di riferimento in una sequenza video guidata dalla traiettoria utilizzando un modello di diffusione pre-addestrato immagine-video, nello specifico SG-I2V (costruito su Stable Video Diffusion). La pipeline opera attraverso quattro fasi distinte:

1. Costruzione dell'Input e Inizializzazione delle Caselle di Delimitazione:
   Dato un frame di riferimento, l'utente inizializza manualmente le caselle di delimitazione per le imbarcazioni. Sebbene sia possibile il rilevamento automatizzato (ad esempio YOLO), gli autori optano per l'inizializzazione manuale per garantire un'assegnazione affidabile e coerente con l'identità delle traiettorie GPS a specifiche imbarcazioni, evitando errori di re-identificazione in scenari di prossimità ravvicinata. Inoltre, vengono posizionate quattro caselle di delimitazione agli angoli per codificare il moto globale della camera (mantenuto costante in questo esperimento specifico poiché il drone era stazionario).

2. Proiezione GPS-Pixel:
   Una funzione di mappatura personalizzata converte le coordinate geografiche in segnali di moto nello spazio immagine. Questo processo comporta:

   • Trasformazione Geografica-Metrica: Conversione dei fix GPS (longitudine, latitudine) in offset metrici locali Est-Nord utilizzando un'approssimazione equirettangolare.
   • Rotazione: Allineamento del frame metrico con gli assi dell'immagine utilizzando un yaw della camera stimato (derivato dalla Rotta sul Terreno della nave e dall'ispezione visiva).
   • Stima della Scala: Calcolo di una scala pixel-per-metro ($s$) confrontando la distanza metrica tra le imbarcazioni (derivata dal GPS) con la loro distanza in pixel nel frame di riferimento.
   • Proiezione per Frame: Interpolazione dei log GPS ai timestamp video e proiezione nello spazio pixel per generare array di traiettoria ($T_i$) per ciascuna imbarcazione.

3. Generazione Condizionata alla Traiettoria:
   Il payload costruito, costituito dall'immagine di riferimento e dagli array di traiettoria per oggetto, viene immesso nel modello SG-I2V. Il modello genera i successivi 14 frame condizionati sia dal contenuto visivo che dalla guida di traiettoria incorporata. Nota bene, gli autori applicano nessun fine-tuning specifico del dominio al modello pre-addestrato, affidandosi invece a uno studio di ablazione sistematico degli iperparametri (iterazioni di ottimizzazione latente, diffusione della mappa di calore, fusione di frequenza FFT) per ottimizzare la qualità visiva e la coerenza temporale.

4. Baseline di Valutazione:
   Il metodo proposto viene confrontato con:

   • Estrapolazione del Flusso Ottico: Warping del frame di riferimento in avanti utilizzando il flusso ottico di Farneback.
   • RIFE (Real-Time Intermediate Flow Estimation): Un metodo di interpolazione deep learning che si condiziona su entrambi gli estremi temporali (il che è un vantaggio non disponibile in scenari reali di frame mancanti).

Contributi Chiave
L'articolo delinea tre contributi principali:

1. Schema di Proiezione GPS-Immagine: Un metodo per convertire dati di tracciamento sparsi in segnali di moto spaziale direttamente utilizzabili da modelli generativi pronti all'uso.
2. Pipeline Zero-Fine-Tuning: Un flusso di lavoro di ricostruzione completo che raggiunge una sintesi fisicamente plausibile senza riaddestrare il modello di diffusione sottostante su dati marittimi.
3. Benchmark Sistematico: Una valutazione quantitativa su riprese marittime reali che dimostra i vantaggi della sintesi guidata dalla traiettoria generativa rispetto ai metodi di interpolazione ed estrapolazione tradizionali, in particolare in condizioni di piccoli oggetti difficili.

Risultati
La valutazione confronta i metodi utilizzando metriche percettive (LPIPS), temporali (fluidità), di qualità senza riferimento (BRISQUE) e di accuratezza della traiettoria rispetto alla verità fondamentale:

• Qualità Percettiva: SG-I2V ha prodotto i frame dall'aspetto più naturale tra i metodi di sintesi, con un punteggio BRISQUE di 25.52, il più vicino al punteggio della verità fondamentale di 23.64. Al contrario, RIFE ha ottenuto 42.46, indicando output eccessivamente sfocati.
• Coerenza Temporale: SG-I2V ha raggiunto una fluidità temporale di 1.14 px/frame, corrispondente da vicino alla verità fondamentale di 1.42. Il flusso ottico (0.39) e RIFE (0.59) hanno sottostimato la magnitudine del moto.
• Aderenza alla Traiettoria: SG-I2V ha dimostrato la più forte aderenza alle traiettorie GPS con un errore di 9.31 pixel. Questo è significativamente inferiore all'errore di allineamento del video di verità fondamentale stesso di 28.70 pixel (attribuito all'allineamento temporale manuale approssimativo tra riprese e log), indicando che il modello ha incorporato con successo i segnali di moto derivati dal GPS.
• LPIPS: Sebbene il Flusso Ottico abbia ottenuto il LPIPS più basso (0.110), gli autori notano che ciò riflette la conservazione delle statistiche originali dell'immagine tramite warping piuttosto che una genuina generazione di qualità percettiva.

Significato e Affermazioni
L'articolo afferma che la sintesi di diffusione guidata dalla traiettoria è un approccio praticabile per la ricostruzione video marittima, specificamente in condizioni di bassa texture e piccoli oggetti dove i segnali visivi sono ambigui. Il significato risiede nella capacità di indirizzare la sintesi video verso risultati fisicamente plausibili utilizzando dati di sensori ausiliari (GPS) senza la necessità di un costoso riaddestramento specifico del dominio del modello.

Gli autori riconoscono modestamente le limitazioni, notando che la valutazione è limitata a un singolo clip di due secondi, il che limita la generalizzabilità dei risultati quantitativi. Non affermano una superiorità universale su tutti i compiti di ricostruzione video, ma evidenziano l'efficacia specifica del loro approccio in scenari in cui il moto degli oggetti è noto tramite telemetria ma visivamente difficile da tracciare. Viene proposto un lavoro futuro per estendere la pipeline a sequenze più lunghe, automatizzare la sincronizzazione e l'inizializzazione delle caselle di delimitazione, e incorporare dati di Velocità sul Terreno (SOG) per codificare la magnitudine dello spostamento in modo più accurato.