Sintesi Tecnica: EVIS – Un plugin per telecamere a eventi basato sulla fisica per NVIDIA Isaac Sim

1. Problematica

Le telecamere a eventi offrono significativi vantaggi per la robotica, tra cui una risoluzione temporale al microsecondo, bassa latenza e un elevato intervallo dinamico (HDR), rendendole ideali per scenari ad alta velocità e ad alto intervallo dinamico. Tuttavia, lo sviluppo della percezione e del controllo basati su eventi è ostacolato dalla scarsità di dati etichettati. La raccolta di dati reali da eventi per specifiche incarnazioni robotiche e scene è costosa, richiede molto tempo e necessita di un allineamento preciso. Sebbene la simulazione sia una soluzione naturale, gli simulatori esistenti spesso non riescono a soddisfare tre requisiti simultanei:

1. Fedeltà: Modelli di contrasto che attivano l'evento accurati ad elevati tassi di fotogrammi effettivi, inclusi il rumore del sensore.
2. Consistenza Fisica: Gli eventi devono originare da una scena simulata fisicamente autentica con una verità fondamentale (ground truth) esatta, non da video pre-renderizzati.
3. Capacità di Rendering: La generazione degli eventi deve tenere il passo con il simulatore fisico (idealmente in tempo reale su una singola GPU) per consentire l'addestramento a scale comparabili a quelle delle pipeline RGB.

2. Metodologia

Gli autori presentano EVIS, un plugin integrato direttamente in NVIDIA Isaac Sim tramite il framework Isaac Lab. Il sistema genera flussi di eventi ad alta frequenza e completamente etichettati combinando un modello di evento fedele con una pipeline di interpolazione dei fotogrammi basata sui vettori di movimento.

2.1. Modello di Evento

Il plugin implementa un modello di evento a contrasto di intensità logaritmica che opera sul buffer colore HDR del renderer (intensità lineare) senza correzione gamma.

• Calcolo della Luminanza: Converte i valori RGB in luminanza ($I$) utilizzando i pesi Rec. 709.
• Risposta Logaritmica: Calcola l'intensità logaritmica $L = \log(I + \epsilon)$.
• "Fire-and-Latch" Asincrono: Ogni pixel mantiene un'intensità logaritmica di riferimento ($L_{ref}$). Quando la differenza $\Delta L = L - L_{ref}$ supera una soglia di contrasto $C$ (default 0.15), un evento viene generato con polarità $p \in \{+1, -1\}$. Il riferimento viene immediatamente aggiornato ($L_{ref} \leftarrow L$).
• Batching: Gli aggiornamenti sono eseguiti tramite operazioni di tensore batch su tutti gli ambienti e le telecamere.
• Modellazione del Rumore: Per colmare il divario con l'hardware reale, il plugin offre componenti di rumore opzionali: disallineamento della soglia (soglie ON/OFF per pixel), periodi di rifrattarietà, eventi di perdita (leak events), rumore di shot, pixel caldi e larghezza di banda finita (filtraggio passa-basso dipendente dall'intensità).

2.2. Interpolazione dei Fotogrammi tramite Vettori di Movimento

Per raggiungere tassi di fotogrammi effettivi su scala kHz senza il costo proibitivo di renderizzare ogni singolo fotogramma, EVIS impiega una pipeline di warping bidirezionale basata sui vettori di movimento:

• Rendering dei Keyframe: Il sistema renderizza "keyframe" sparsi (colore, vettori di movimento, profondità) a una frequenza bassa $f_k$.
• Warping Bidirezionale: I fotogrammi intermedi sono sintetizzati tramite il warping in avanti (forward-warping) del keyframe precedente e il warping all'indietro (backward-warping) del keyframe successivo utilizzando i vettori di movimento del renderer.
• Composizione: Il fotogramma sottoposto a warping all'indietro funge da risultato primario. Il fotogramma sottoposto a warping in avanti riempie i buchi di disocclusione. I pixel coperti da entrambi rimangono neri per evitare la fabbricazione di colori.
• Gestione dell'Anti-Aliasing: L'anti-aliasing è disabilitato durante l'interpolazione per prevenire artefatti ai bordi causati dai pixel di frangia compositi che ereditano vettori di movimento dello sfondo.
• Gestione dei Bordi: Viene utilizzato un margine di over-render opzionale per ritagliare gli artefatti vicino ai bordi dell'immagine.

2.3. Motion Blur (Sfocatura da Movimento)

Per simulare l'esposizione reale della telecamera, il sistema media i fotogrammi sintetizzati ad alta frequenza su una durata dell'otturatore $E$. Il modello di evento opera quindi su questi fotogrammi sfocati, causando la dispersione dei bordi in ampie bande anziché in contorni sottili, imitando l'integrazione fisica.

3. Contributi Chiave

1. Modello di Evento GPU-Batched Fedele: Un modello di contrasto di intensità logaritmica con aggiornamenti del riferimento per pixel asincroni, validato eseguendo reti per eventi pre-addestrate senza modifiche sui flussi generati.
2. Integrazione Diretta in Isaac Sim: Una configurazione pronta all'uso che sostituisce le normali telecamere RGB con telecamere a eventi, permettendo a qualsiasi scena simulata fisicamente di produrre dati di eventi etichettati con una verità fondamentale esatta.
3. Pipeline di Interpolazione in Tempo Reale: Un sistema di interpolazione dei fotogrammi basato sui vettori di movimento che renderizza keyframe RTX sparsi e sintetizza fotogrammi ad alta frequenza, consentendo la generazione in tempo reale su una singola GPU.

4. Risultati e Valutazione

Il sistema è stato valutato su una singola GPU RTX 5090 con una telecamera monoculare 640×480.

4.1. Prestazioni

• Throughput: La pipeline raggiunge prestazioni in tempo reale. Ad esempio, una configurazione con keyframe a 30 Hz e interpolazione 8x (30 × 8) genera eventi a 240 Hz a una velocità di 1.2× superiore rispetto al tempo reale.
• Scalabilità: Il throughput scala con gli ambienti paralleli, ammortizzando i costi di rendering attraverso il batch.

4.2. Validazione dei Compiti a Valle (Downstream Tasks)

Modelli pre-addestrati e congelati sono stati testati sui flussi generati senza ulteriore addestramento:

• Ricostruzione (E2VID): Ricostruzione di video di intensità dai dati di eventi. Sebbene l'interpolazione introduca errori (l'SSIM scende da 0.632 a 1000 Hz nativi a 0.484 con l'interpolazione 8x), il sistema produce ricostruzioni utilizzabili.
• Flusso Ottico (E-RAFT): Stima del flusso denso. Il sistema raggiunge un'accuratezza sub-pixel (EPE ~0.96–0.99 px) in tutte le configurazioni. Gli autori osservano che, poiché il warping sposta il contenuto lungo i veri vettori di movimento del renderer, i fotogrammi interpolati preservano il campo di moto della scena entro l'assunzione di velocità costante.
• Corrispondenza di Feature (Match-Any-Events): Corrispondenza di eventi tra due viste. La precisione della corrispondenza degrada gradualmente con l'aumento dell'interpolazione (da 81.2% a 74.2%), ma rimane funzionale.

4.3. Analisi Qualitativa

Le visualizzazioni delle nuvole di punti di eventi (x, y, t) confermano che i flussi sottoposti a warping riproducono la geometria spazio-temporale globale dei render nativi. Piccoli artefatti, come l'effetto "veneziana" (banding), appaiono sotto spostamenti rapidi o disocclusioni severe (ad esempio, rotazioni che rivelano nuove superfici), ma questi diminuiscono all'aumentare della frequenza di base del render.

5. Significato

L'articolo sostiene che EVIS abbassi la barriera alla ricerca sulla percezione e il controllo basati su eventi. Generando flussi di eventi ad alta frequenza e completamente etichettati direttamente all'interno di un simulatore fisico, consente alle pipeline basate su eventi di essere addestrate alla stessa scala di quelle RGB. Il sistema colma il divario sim-to-real incorporando le non-idealità del sensore e la sfocatura da movimento, mantenendo al contempo la verità fondamentale esatta richiesta per un addestramento e una valutazione rigorosi. Gli autori sottolineano che i flussi generati sono direttamente utilizzabili dalle reti pre-addestrate esistenti, facilitando l'adozione immediata senza la necessità di nuove architetture di modelli o estesi processi di fine-tuning.