Receding-Horizon Maximum-Likelihood Estimation of Neural-ODE Dynamics and Thresholds from Event Cameras

Questo lavoro propone un stimatore a orizzonte mobile per l'identificazione in tempo reale delle dinamiche di Neural ODE e della soglia di contrasto dalle fotocamere a eventi, massimizzando la verosimiglianza attraverso un modello di processo puntuale storico e un'approssimazione Monte Carlo del compensatore.

L'essenziale

Immagina di dover capire come si muove un oggetto veloce, come una palla che rimbalza o un'auto in corsa, ma non hai una telecamera normale. Hai invece una telecamera "event-based" (o a eventi).

Ecco la differenza fondamentale:

• Telecamera normale: Scatta una foto completa ogni secondo, anche se nella scena non succede nulla. È come se un fotografo scattasse foto a un muro bianco per 10 minuti: spreca tempo e memoria.
• Telecamera a eventi: Ogni singolo pixel della telecamera è un piccolo sensore indipendente. Se la luce cambia (perché un oggetto passa davanti), quel pixel "urla" (invia un segnale) istantaneamente. Se non succede nulla, il pixel sta zitto. È come un'orchestra dove ogni musicista suona solo quando ha una nota da dare, creando un flusso di suoni irregolare ma ricchissimo di informazioni sul movimento.

Il problema è che questi "urla" (gli eventi) sono caotici. Non sappiamo esattamente quanto velocemente si muove l'oggetto (la dinamica) né quanto è sensibile ogni singolo pixel della telecamera (la soglia di attivazione).

La soluzione degli autori: Un detective che guarda solo il "qui e ora"

Gli autori di questo paper (Hashimoto, Serizawa e Kishida) hanno creato un metodo intelligente per decifrare questi eventi in tempo reale. Ecco come funziona, spiegato con metafore semplici:

1. Il "Motore Fantasma" (Neural ODE)

Immagina che l'oggetto che si muove sia guidato da un "motore fantasma" invisibile. Noi non vediamo il motore, ma vediamo i suoi effetti (gli eventi).
Gli autori usano una Neural ODE (un'equazione differenziale guidata dall'intelligenza artificiale) per simulare questo motore. È come se avessimo un modello matematico che dice: "Se l'oggetto è qui e si muove così, dovrebbe generare un evento tra 0,001 secondi".

2. Il "Grilletto" misterioso (La Soglia)

Ogni pixel della telecamera ha un segreto: ha una soglia di sensibilità. Immagina che ogni pixel sia un guardiano che suona un campanello solo se la luce cambia di una certa quantità.

• Il problema? Non sappiamo quanto è alto quel campanello per ogni pixel. Potrebbe essere 5, potrebbe essere 10, e potrebbe cambiare da pixel a pixel.
• Se assumiamo che la soglia sia fissa e sbagliata, il nostro calcolo del movimento sarà sbagliato.
• La genialità del paper: Loro trattano la soglia come un indovinello da risolvere. Il sistema impara sia come si muove l'oggetto (il motore) sia quanto è sensibile ogni pixel (la soglia), tutto insieme.

3. La "Finestra Mobile" (Receding-Horizon)

Qui sta il trucco per non impazzire. Se provassimo a ricalcolare tutto dalla prima al millisecondo ogni volta che arriva un nuovo evento, il computer si bloccherebbe (è come cercare di ri-leggere un intero libro ogni volta che aggiungi una virgola).

Invece, usano una finestra mobile:

• Immagina di guardare un film attraverso un finestrino di un treno. Vedi solo i 10 secondi di paesaggio che passano davanti a te.
• Quando il treno avanza, la finestra si sposta: dimentichi i primi 10 secondi e guardi i prossimi 10.
• Il sistema guarda solo gli ultimi eventi (ad esempio, gli ultimi 2 secondi), aggiorna le sue ipotesi su come si muove l'oggetto e su quanto sono sensibili i pixel, e poi "dimentica" il passato remoto per concentrarsi sul presente. Questo rende il calcolo velocissimo e possibile in tempo reale.

4. Il "Gioco delle 1000 monete" (Monte Carlo)

Per calcolare la probabilità che il loro modello sia corretto, dovrebbero teoricamente controllare ogni singolo pixel della telecamera (migliaia di pixel) per ogni istante. Sarebbe troppo lento.
Così fanno un trucco statistico: invece di controllare tutti i pixel, ne campionano a caso un piccolo gruppo (come se lanciassero 500 monete per capire come si comportano 1 milione di monete). Questo permette di fare calcoli complessi in pochi millisecondi.

Il Risultato: Cosa hanno scoperto?

Hanno testato il loro metodo su dati simulati (un oggetto che si muove in modo complesso) e hanno dimostrato che:

1. Indovinano il movimento: Riescono a capire esattamente come si muove l'oggetto, anche se i dati sono solo una serie di "tic-tac" irregolari.
2. Indovinano la sensibilità: Riescono a ricostruire una mappa che mostra quali pixel della telecamera sono più sensibili e quali meno, anche se non lo sapevano all'inizio.
3. Il compromesso: Più grande è la "finestra" che guardano, più sono precisi (come avere più contesto per capire una storia), ma più tempo ci vogliono per calcolare. Più piccola è la finestra, più sono veloci ma meno precisi. Hanno trovato il punto perfetto per stare in tempo reale.

In sintesi

Questo paper è come insegnare a un detective a risolvere un crimine guardando solo i frammenti di vetro rotti (gli eventi) e non l'intera scena del crimine. Il detective impara non solo chi ha commesso il crimine (il movimento), ma anche quanto fragile era il vetro in ogni punto (la soglia), tutto mentre il crimine sta ancora accadendo, senza mai fermarsi a riflettere troppo a lungo sul passato.

Sommario tecnico

Sintesi Tecnica: Stima delle Dinamiche Neurali e delle Soglie da Camere a Eventi

1. Il Problema

Le camere a eventi (Event Cameras), come il DVS, generano flussi di dati asincroni in cui ogni pixel scatta un "evento" solo quando rileva una variazione di luminosità superiore a una certa soglia di contrasto. Questo meccanismo offre vantaggi significativi come alta dinamica, bassa latenza e assenza di motion blur, ma introduce sfide complesse per la modellazione:

• Dipendenza dalla storia: La generazione di un evento in un pixel dipende dal tempo dell'ultimo evento precedente in quello stesso pixel (reset della soglia).
• Soglia incognita: La soglia di contrasto effettiva ($C(u)$) è spesso sconosciuta, può variare tra i pixel e dipende dalle condizioni operative. Trattare la soglia come una costante nota introduce bias nell'estimazione delle dinamiche.
• Identificazione online: Molte applicazioni richiedono una stima continua delle dinamiche di stato e dei parametri del sistema in tempo reale, direttamente dal flusso grezzo degli eventi, senza aggregare i dati in frame fissi (che perderebbero la risoluzione temporale).

L'obiettivo del lavoro è sviluppare un stimatore di massima verosimiglianza (MLE) online per identificare le dinamiche continue (modellate come Neural ODE) e le soglie di contrasto dipendenti dal pixel, partendo direttamente dal flusso asincrono degli eventi.

2. Metodologia

Il framework proposto combina tre componenti principali:

A. Modello di Stato e Osservazione

• Neural ODE: Lo stato latente del sistema $x(t)$ evolve secondo un'Equazione Differenziale Ordinaria Neurale: $\dot{x}(t) = f_\vartheta(x(t), t)$, dove $\vartheta$ sono i parametri dinamici da stimare.
• Modello di Rendering: Uno stato-to-image differenziabile mappa lo stato latente in un'intensità logaritmica prevista $\hat{L}(u, t)$.
• Processo a Punti Marchiato: Gli eventi sono modellati come un processo a punti temporali marchiati (temporal marked point process). La probabilità di un evento dipende dal residuo tra l'intensità logaritmica prevista e la soglia di contrasto.

B. Surrogato Differenziabile della Soglia
Poiché il meccanismo di soglia è un'operazione "hard" (non differenziabile), gli autori propongono un surrogato liscio:

• Definizione di un residuo: $\phi_{u,p}(t) = \Delta \hat{L}(u, t) - p C_\psi(u)$, dove $C_\psi(u)$ è la soglia parametrica da stimare.
• Intensità Condizionata: L'intensità degli eventi $\lambda_{u,p}(t)$ è modellata come una funzione decrescente della distanza dal residuo zero, utilizzando la funzione softplus. Questo crea una distribuzione di probabilità che concentra gli eventi vicino alla soglia di attivazione, rendendo il problema ottimizzabile tramite gradienti.

C. Stima a Orizzonte Scorrevole (Receding-Horizon)
Per gestire flussi di dati continui e lunghi senza esplodere il costo computazionale:

• Finestra Temporale: Invece di ottimizzare su tutto il passato, l'algoritmo lavora su una finestra temporale fissa di lunghezza $\Delta$ (orizzonte scorrevole).
• Memoria Compatta: Per gestire la dipendenza dalla storia, viene mantenuta una memoria per pixel composta da due scalari: il tempo dell'ultimo evento e l'intensità logaritmica stimata in quel momento. Questa memoria viene aggiornata e "staccata" (detach) all'inizio di ogni finestra per limitare la profondità del backpropagation.
• Approssimazione Monte Carlo: Il termine di compensazione (integrale dell'intensità totale su tutti i pixel) è computazionalmente costoso. Viene approssimato campionando un sottoinsieme di pixel (Monte Carlo subsampling) invece di sommare su tutta la griglia.
• Aggiornamento Online: A intervalli regolari, vengono eseguiti pochi passi di gradiente (es. Adam) sulla finestra corrente per aggiornare i parametri di dinamica ($\vartheta$) e soglia ($\psi$).

3. Contributi Chiave

1. Mappatura Residuo-Rate Differenziabile: Introduzione di un modello di verosimiglianza basato su processi a punti che utilizza un surrogato liscio per l'attivazione a soglia, permettendo l'estimazione congiunta delle dinamiche e delle soglie di contrasto pixel-dipendenti.
2. Algoritmo Receding-Horizon per Stream: Proposta di uno schema di aggiornamento online che mantiene il costo computazionale per passo limitato, utilizzando una finestra temporale fissa e una memoria compatta per pixel, rendendo fattibile l'addestramento in streaming.
3. Gestione dell'Incertezza della Soglia: Trattamento della soglia di contrasto come parametro apprendibile e variabile spazialmente, risolvendo un problema critico spesso ignorato o trattato come costante fissa.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dati sintetici generati da un blob gaussiano in movimento con dinamiche di tipo "focus stabile" e una mappa di soglia sinusoidale nota.

• Recupero dei Parametri: L'algoritmo riesce a recuperare con precisione i parametri dinamici ($\alpha, \omega$) e la mappa delle soglie di contrasto $\hat{C}(u)$, convergendo verso i valori reali (ground truth) dopo un numero moderato di aggiornamenti.
• Trade-off Accuratezza-Latenza (Ablazione sull'Orizzonte):
  • È stata studiata l'influenza della lunghezza della finestra ($H$).
  • Risultato critico: Per orizzonti brevi ($H \le 13$), l'errore sulla stima della frequenza ($\omega$) è elevato. L'errore crolla di ordini di grandezza quando l'orizzonte è sufficientemente lungo ($H \ge 14$), dimostrando che la stima delle dinamiche richiede una finestra temporale ampia per catturare la struttura temporale fine.
  • L'errore sulla mappa delle soglie è più stabile ma migliora leggermente con orizzonti più lunghi.
• Efficienza Computazionale: Il tempo di aggiornamento per finestra rimane inferiore all'intervallo di aggiornamento stesso (sotto i 400ms), confermando la fattibilità per applicazioni in tempo reale.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Supera i limiti dei metodi basati su Tensori: A differenza dei metodi che aggregano gli eventi in voxel grid (che discretizzano il tempo e perdono la verosimiglianza temporale), questo approccio lavora direttamente sul flusso continuo, preservando l'informazione temporale microsecondo.
• Abilita l'Identificazione di Sistema Online: Fornisce un framework principato per adattare i modelli di dinamica e calibrare i sensori (soglie) in tempo reale, essenziale per robotica autonoma e SLAM in ambienti dinamici.
• Modellazione Realistica: Tratta l'incertezza della soglia come parte integrante del problema di ottimizzazione, migliorando la robustezza del modello rispetto alle variazioni del sensore.

In sintesi, il paper presenta un metodo robusto ed efficiente per estrarre modelli dinamici continui e parametri di calibrazione del sensore direttamente dai dati grezzi delle camere a eventi, risolvendo il compromesso tra accuratezza statistica e vincoli computazionali del tempo reale.