Lumosaic: Hyperspectral Video via Active Illumination and Coded-Exposure Pixels

Il paper presenta Lumosaic, un sistema attivo e compatto per la cattura di video iperspettrali in tempo reale che combina un array LED a banda stretta con una fotocamera a pixel a esposizione codificata e un processo di ricostruzione basato sull'apprendimento per ottenere ricostruzioni spettralmente accurate e temporalmente coerenti anche in presenza di movimento.

L'essenziale

Immagina di avere una fotocamera normale. Quando scatti una foto, cattura tre colori: Rosso, Verde e Blu (RGB). È come dipingere un quadro usando solo tre pennelli. Tutto il resto è una mescolanza di questi tre.

Ora, immagina di voler vedere tutti i colori nascosti che l'occhio umano non può vedere, come se potessi distinguere ogni singola sfumatura di un arcobaleno, non solo i sette principali. Questo è quello che fa la iperspettrale. Ma c'è un problema: le macchine iperspettrali sono solitamente enormi, lente e costose, come un treno merci che non può fermarsi per scattare una foto veloce. Se muovi la mano o l'oggetto, l'immagine diventa una macchia confusa.

Gli autori di questo paper hanno creato Lumosaic, un sistema che è come un orchestra di luci intelligenti che lavora in perfetta sincronia con una fotocamera super-veloce.

Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: La "Fotocamera Lenta"

Le vecchie macchine iperspettrali funzionano come un chef che deve preparare un piatto con 31 ingredienti diversi, ma può assaggiare un ingrediente alla volta. Se il cliente (la scena) si muove mentre il chef assaggia, il piatto viene rovinato. Oppure, come se dovessi scattare 31 foto diverse di un'auto in corsa: la prima foto è dell'auto qui, la seconda è dell'auto là, e quando le unisci, l'auto sembra un fantasma sfocato.

2. La Soluzione: Il "Tessuto Magico" (Lumosaic)

Lumosaic risolve questo problema unendo due tecnologie magiche:

• Le Luci Intelligenti (Illuminazione Attiva): Invece di usare una luce bianca normale, Lumosaic ha una fila di 12 lampadine LED speciali. Ognuna emette un colore molto specifico (come un laser, ma più morbido). Queste luci si accendono e si spengono a una velocità incredibile, migliaia di volte al secondo. È come se avessi 12 maghi che cambiano il colore della stanza in un batter d'occhio.
• La Fotocamera che "Pensa" (Pixel a Esposizione Codificata): La fotocamera non è una normale macchina fotografica. È come se ogni singolo pixel (il minuscolo punto che forma l'immagine) avesse il suo proprio interruttore della luce. Il pixel può decidere: "Nel primo millesimo di secondo guardo la luce rossa, nel secondo guardo quella blu, nel terzo mi riposo".

3. La Magia: Il "Tessuto" (Mosaic)

Qui avviene la vera magia. Il sistema coordina le luci e i pixel come un tessuto intrecciato.
Immagina un mosaico di piastrelle.

• Mentre una luce LED specifica si accende, solo un gruppo specifico di pixel della fotocamera è "aperto" a guardare quella luce.
• Subito dopo, cambia la luce LED e cambia anche quale gruppo di pixel è aperto.

In un solo istante (in una singola foto), la fotocamera ha raccolto informazioni su tutti i colori, ma distribuiti in modo intelligente su tutta l'immagine. Non ha bisogno di aspettare 31 secondi per fare 31 foto; lo fa tutto in un "battito di ciglia" (un singolo fotogramma video).

4. Il Superpotere: Vedere il Movimento

Poiché tutto avviene così velocemente (30 volte al secondo, come un normale video), anche se l'oggetto si muove, la fotocamera non si perde.

• Analogia: Immagina di dover leggere un libro mentre corri. Una macchina normale leggerebbe una pagina alla volta: se corri, perdi il filo. Lumosaic invece ti dà un libro dove ogni riga è scritta con un colore diverso, ma tutte le righe sono stampate contemporaneamente su una pagina unica. Anche se corri, riesci a leggere tutto il libro perché è tutto lì, perfettamente allineato.

5. L'Intelligenza Artificiale: Il "Ricercatore"

La foto che esce dalla fotocamera sembra un puzzle confuso e colorato. È piena di pezzi di informazioni sparsi. Qui entra in gioco un'intelligenza artificiale (una rete neurale) che agisce come un detective geniale.
Il detective prende quel puzzle confuso, capisce quale pezzo di luce corrisponde a quale colore e a quale momento, e ricostruisce l'immagine finale: un video iperspettrale nitido, dove puoi vedere non solo i colori, ma anche la "firma chimica" degli oggetti (ad esempio, distinguere una vera foglia da una finta di plastica, o vedere quanto è sano un frutto).

Perché è importante?

Prima, per vedere questi dettagli, servivano laboratori enormi. Con Lumosaic, puoi avere una scatola piccola (grande come un libro) che:

• Fa video a 30 fotogrammi al secondo (veloce come YouTube).
• Vede 31 colori diversi invece di 3.
• Funziona anche se gli oggetti si muovono.

In sintesi: Lumosaic è come dare agli occhi umani la capacità di vedere la "sostanza" degli oggetti, non solo il loro aspetto, e di farlo mentre tutto intorno a noi si muove, tutto grazie a un gioco di luci e specchi intelligenti che lavorano insieme come un'orchestra perfetta.

Sommario tecnico

1. Il Problema

L'acquisizione di video iperspettrali (HSI) in tempo reale per scene dinamiche rappresenta una sfida fondamentale a causa dei compromessi tra risoluzione spettrale, efficienza luminosa e campionamento temporale.

• Sistemi tradizionali: Si basano su scansioni spaziali o spettrali (filtri sintonizzabili, ottiche in movimento), offrendo alta fedeltà ma tempi di acquisizione lunghi, inadatti a scene in movimento.
• Sistemi Snapshot passivi: Comprimono le informazioni spettrali in una singola esposizione tramite ottiche statiche (es. array di filtri, CASSI). Tuttavia, soffrono di gravi perdite di luce, inversioni mal poste che amplificano il rumore e, soprattutto, artefatti di movimento. Poiché assumono che la scena sia statica durante l'esposizione, qualsiasi movimento causa sfocature e "ghosting" spettrale, rendendo difficile la ricostruzione fedele.
• Limiti attuali: I sistemi attivi esistenti spesso controllano solo una dimensione (tempo o spazio) e non riescono a gestire efficacemente il movimento rapido senza perdere risoluzione o fedeltà.

2. Metodologia: Il Sistema Lumosaic

Lumosaic è un sistema attivo compatto che risolve questi problemi combinando illuminazione a banda stretta programmabile con un sensore a pixel a esposizione codificata (CEP - Coded-Exposure Pixels). L'obiettivo è codificare densamente le informazioni spaziali, temporali e spettrali all'interno di ogni singolo fotogramma video.

A. Hardware e Principio di Funzionamento

• Illuminazione Attiva: Utilizza un array di 12 LED a banda stretta (spettro visibile 400-700 nm, FWHM 20-30 nm). L'illuminazione viene variata nel tempo in sincronia con il sensore.
• Sensore CEP: Utilizza un sensore CMOS customizzato (risoluzione VGA 640x480) in cui ogni pixel possiede due "bucket" (siti di accumulo di carica) e una memoria a un bit. Questo permette di controllare l'esposizione di ogni singolo pixel a livello di microsecondi.
• Codifica Spazio-Spettro-Tempo:
  • Il sistema cicla attraverso i LED in un arco di tempo molto breve (sub-frame).
  • I pixel del sensore sono esposti secondo un mosaico spaziale variabile nel tempo.
  • Invece di filtrare la luce bianca (perdita di fotoni), Lumosaic attiva specifici LED in momenti specifici mentre i pixel corrispondenti sono esposti. Questo massimizza l'efficienza dei fotoni.
  • Ogni fotogramma video (a 30 fps) contiene un mosaico denso dove diverse posizioni spaziali catturano diverse bande spettrali in momenti leggermente sfalsati.

B. Modello di Misura e Calibrazione

• Viene definito un modello di misura lineare che combina la matrice di illuminazione (quale LED è acceso) e la matrice di esposizione (quale bucket del pixel è attivo).
• Una procedura di calibrazione one-shot caratterizza la distribuzione spettrale dei LED, la sensibilità spettrale del sensore e le risposte radiometriche, garantendo accuratezza fisica.

C. Pipeline di Ricostruzione

La ricostruzione avviene in due fasi principali:

1. Allineamento Temporale: Poiché le diverse bande spettrali vengono catturate in momenti leggermente diversi all'interno dello stesso fotogramma, il movimento della scena causerebbe disallineamento. Il sistema utilizza una rete neurale per il flusso ottico (RIFE - Real-Time Intermediate Flow Estimation) per allineare temporalmente i sottoriaggiungimenti (sub-images) di ciascun LED a un riferimento temporale comune (solitamente il LED "lime" a metà esposizione).
2. Ricostruzione Basata su Apprendimento: Un'architettura di rete neurale profonda (Holistic Attention Network - HAN) prende in input i 12 sottoriaggiungimenti allineati e ricostruisce un cubo iperspettrale completo con 31 canali (da 400 a 700 nm, intervalli di 10 nm). La rete è addestrata su dati sintetici e reali per gestire il rumore e le non linearità.

3. Contributi Chiave

1. Nuovo Sistema Iperspettrale: Lumosaic è il primo sistema compatto che combina illuminazione attiva variabile nel tempo con esposizione codificata a livello di pixel per la cattura video iperspettrale.
2. Prototipo Hardware Compatto: Integrazione di un sensore CEP VGA con un array di LED ad alta velocità, capace di modulare la luce a scale di microsecondi, permettendo l'acquisizione a 30 fps.
3. Schema di Codifica e Ricostruzione Co-progettati: Un approccio che stima video iperspettrali temporalmente coerenti e spettralmente accurati, superando i limiti dei sistemi snapshot passivi.
4. Robustezza al Movimento: A differenza dei sistemi passivi, Lumosaic mantiene la fedeltà spettrale anche in presenza di movimenti rapidi (rigidi e non rigidi) grazie alla codifica temporale intrinseca e all'allineamento ottico.

4. Risultati Sperimentali

• Simulazioni: Su dataset pubblici (CAVE, KAUST, ARAD), Lumosaic supera gli stati dell'arte (QDO, MST++) in termini di PSNR, SSIM e errore spettrale (SAM), mantenendo alte prestazioni anche con livelli di rumore elevati (fino al 20%).
• Scene Statiche: La ricostruzione dello spettro di un ColorChecker corrisponde quasi perfettamente alle misurazioni di uno spettroradiometro di riferimento, validando l'accuratezza radiometrica.
• Scene Dinamiche: Il sistema cattura video a 30 fps di oggetti in rotazione, gesti manuali e bolle in effervescenza.
  • Qualità: Le ricostruzioni mostrano dettagli spaziali nitidi e coerenza temporale, con minimo ghosting o sfocatura.
  • Metamerismo: Il sistema è in grado di distinguere materiali che appaiono identici all'occhio umano (es. ColorChecker originale vs copia stampata) basandosi sulle loro firme spettrali diverse.
• Efficienza: La ricostruzione di un singolo fotogramma richiede circa 4.7 secondi su una GPU RTX A6000 (adatto per elaborazione offline o near-real-time), mentre l'acquisizione è in tempo reale.

5. Significato e Impatto

Lumosaic segna un passo significativo verso la videografia iperspettrale a scopo generale e robusta al movimento.

• Superamento dei compromessi: Risolve il trade-off tra efficienza luminosa e risoluzione spettrale/temporale tipico dei sistemi passivi.
• Compattezza: Elimina la necessità di ottiche voluminose, allineamenti complessi o elementi in movimento, rendendo il sistema adatto per l'integrazione in robotica, microscopia e fotografia computazionale.
• Futuro: Apre la strada all'uso dell'HSI in applicazioni dinamiche come il monitoraggio fisiologico in tempo reale, il controllo di qualità industriale su linee di produzione veloci e l'analisi di materiali in movimento.

In sintesi, Lumosaic dimostra che la combinazione di illuminazione attiva e sensori programmabili a livello di pixel può trasformare l'acquisizione iperspettrale da una tecnica statica e lenta a una modalità video dinamica e ad alta fedeltà.