I robot e le auto a guida autonoma si sono a lungo affidati a telecamere standard che catturano il mondo come una cinepresa, scattando un'immagine completa di una scena ogni frazione di secondo. Questo metodo funziona bene per molte cose, ma crea un pesante carico di dati, gran parte dei quali è solo spazio vuoto o sfondo invariato. Un nuovo tipo di sensore, noto come telecamera a eventi, opera su un principio diverso. Invece di scattare immagini complete, registra solo i cambiamenti. Quando un pixel sul sensore nota uno spostamento di luminosità, invia un singolo segnale, o evento, in quel preciso istante. Ciò significa che la telecamera produce un flusso di segnali isolati che sono asincroni, accadendo ogni volta che qualcosa cambia, piuttosto che con un ritmo fisso. Significa anche che i dati sono sparsi, contenendo solo l'informazione su dove si è verificato il movimento o il cambiamento, lasciando il resto della scena silenzioso. Sebbene questo approccio sia incredibilmente efficiente e veloce, è stato difficile alimentare i modelli di intelligenza artificiale che i robot usano per comprendere ciò che li circonda con questo tipo di flusso di dati unico.

Per anni, i ricercatori hanno cercato di risolvere questo problema forzando questi segnali asincroni nel vecchio e familiare formato delle immagini standard. Avrebbero raggruppato gli eventi in finestre temporali fisse per creare un fotogramma, in modo simile a cucire insieme una serie di scatti fotografici. Tuttavia, questo processo distrugge proprio le qualità che rendono speciali le telecamere a eventi. Aspettando che trascorra un tempo fisso prima di creare un'immagine, il sistema perde la capacità di reagire istantaneamente ai cambiamenti improvvisi e, riempiendo gli spazi vuoti, perde l'efficienza di avere solo i dati rilevanti. Un team di ricercatori della Technical University of Denmark ha ora proposto una strada diversa. Hanno sviluppato un nuovo metodo chiamato Spiking Patches, che tratta i gruppi di questi segnali variabili come singole unità di informazione senza forzarli in una rigida griglia basata sul tempo. Questo approccio permette ai dati di rimanere asincroni e sparsi, preservando la velocità e l'efficienza del sensore originale pur rendendolo compatibile con i potenti modelli di IA moderni.

I ricercatori hanno progettato il loro sistema osservando come funzionano i neuroni biologici. Nel cervello, un neurone attende finché non riceve abbastanza segnali per raggiungere una certa soglia prima di emettere un impulso. Il team ha applicato questa stessa logica ai dati della telecamera a eventi. Hanno diviso la visuale della telecamera in una griglia di piccoli quadrati, o patch. Man mano che gli eventi arrivano, si accumulano all'interno di ogni patch, innalzando un potenziale virtuale. Una volta che il numero di eventi in una patch raggiunge un limite specifico, la patch "scatta", creando un token che rappresenta quel gruppo di eventi. Questo token viene poi inviato al modello di IA per l'elaborazione. Fondamentalmente, questo scatto avviene indipendentemente per ogni patch e nel momento esatto in cui la soglia viene raggiunta, invece di aspettare che un clock faccia ticchettare il tempo. Ciò significa che il sistema può reagire a un oggetto in rapido movimento nell'istante in cui si accumulano abbastanza eventi, senza aspettare che venga costruito un intero fotogramma.

Per testare se questa idea funzionasse in pratica, il team ha confrontato il loro Spiking Patches con i due modi più comuni di gestire i dati a eventi: i fotogrammi standard e i blocchi 3D di dati chiamati voxel. Hanno testato il metodo su tre diversi tipi di architetture IA, incluse reti progettate per grafi, nuvole di punti e transformer, utilizzando compiti come il riconoscimento di gesti della mano e il rilevamento di auto in filmati di guida. I risultati sono stati sorprendenti. In termini di velocità, il nuovo metodo è significativamente più veloce delle alternative. Nel riconoscere i gesti, il sistema Spiking Patches è stato fino a 3,4 volte più veloce del metodo voxel e fino a 10,4 volte più veloce del metodo basato su fotogrammi. Questo aumento di velocità è avvenuto senza sacrificare l'accuratezza; in molti casi, il nuovo metodo era accurato quanto i vecchi, e in alcuni casi era persino più accurato, migliorando il riconoscimento dei gesti fino al 3,8% e il rilevamento degli oggetti fino all'1,4%.

Lo studio ha anche confermato che il metodo mantiene con successo i dati sparsi e asincroni. I ricercatori hanno misurato quanto velocemente il sistema potesse raccogliere abbastanza informazioni per reagire a una scena rispetto al flusso grezzo di eventi. Hanno scoperto che il sistema Spiking Patches poteva reagire quasi con la stessa velocità degli eventi grezzi, con un ritardo minimo di pochi millisecondi, mentre i metodi basati su fotogrammi erano costretti ad aspettare un intervallo di tempo fisso, introducendo un lag molto più lungo. Inoltre, il nuovo metodo ha ridotto la quantità di dati che il computer deve elaborare di un fattore di almeno 1,5 rispetto a fotogrammi e voxel, e in alcuni casi di centinaia di volte rispetto al flusso grezzo di eventi. Questa riduzione della dimensione dei dati è ciò che permette al sistema di essere molto più veloce, poiché il computer ha meno elementi da analizzare.

Uno degli aspetti più pratici di questa scoperta è che il sistema è abbastanza veloce da gestire applicazioni in tempo reale. I ricercatori hanno implementato il processo di tokenizzazione in un linguaggio di programmazione noto per la sua velocità e hanno scoperto che il sistema poteva generare token più velocemente di quanto nuovi eventi arrivassero alla telecamera. Ciò significa che il sistema può stare al passo con il flusso di informazioni in scenari reali, come un'auto che percorre un'autostrada, senza restare indietro. Il team ha anche esplorato come diverse impostazioni influenzassero le prestazioni, scoprendo che potevano regolare la sensibilità del sistema per scambiare tra il numero di token generati e la precisione del risultato. Ad esempio, introducendo una breve pausa dopo che una patch scatta, potevano ridurre il numero di token di quattro volte mantenendo l'accuratezza quasi invariata.

Sebbene i risultati siano promettenti, i ricercatori osservano che il metodo richiede una calibrazione attenta della soglia che attiva un token. Se la soglia è impostata troppo bassa, il sistema potrebbe scattare troppo spesso, creando troppi dati. Se è impostata troppo alta, potrebbe perdere dettagli importanti. Il team suggerisce che il lavoro futuro potrebbe concentrarsi sul rendere questa soglia adattabile automaticamente alla scena. Pianificano anche di testare il metodo su altri tipi di compiti, come il tracciamento di oggetti in movimento o il calcolo del flusso di movimento in una scena. Per ora, tuttavia, il lavoro dimostra che è possibile colmare il divario tra la natura unica e asincrona delle telecamere a eventi e i potenti modelli di IA che guidano la moderna robotica. Trattando i gruppi di eventi come singole unità significative, i ricercatori hanno dimostrato che è possibile mantenere la velocità e l'efficienza delle telecamere a eventi senza perdere la capacità di utilizzare gli strumenti più avanzati dell'intelligenza artificiale.