⚡ electrical engineering

Uncertainty in Real-Time Semantic Segmentation on Embedded Systems

Questo articolo presenta un metodo che combina l'estrazione di caratteristiche profonde con la regressione bayesiana e la propagazione dei momenti per abilitare previsioni semantiche in tempo reale, consapevoli dell'incertezza, su sistemi embedded a risorse limitate.

Autori originali: Ethan Goan, Clinton Fookes

Pubblicato 2026-04-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ethan Goan, Clinton Fookes

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un'auto a guida autonoma o un robot che deve camminare in una stanza affollata. Il suo "cervello" è un'intelligenza artificiale chiamata segmentazione semantica. In parole povere, questo cervello guarda una foto e dice: "Quello è un pedone, quello è un'auto, quello è un semaforo".

Il problema è che questo cervello deve essere velocissimo (tempo reale) e deve funzionare su computer piccoli e poco potenti, come quelli che si trovano dentro un'auto o un robot (sistemi embedded).

Fino ad ora, c'era un grosso problema: questi cervelli veloci erano molto sicuri di sé, anche quando si sbagliavano. Non sapevano dire: "Ehi, sono un po' incerto su questo pedone, forse è meglio frenare".

Questo paper di Ethan Goan e Clinton Fookes risolve proprio questo problema. Ecco come funziona, spiegato con delle metafore semplici:

1. Il Problema: Il "Genio" che non sa di non sapere

Pensa a un esperto di cucina (il modello di intelligenza artificiale) che deve preparare un piatto velocemente.

I modelli attuali: Sono come cuochi che lavorano di fretta. Tagliano le verdure e buttano tutto in padella in un secondo. Se sbagliano un ingrediente, non se ne rendono conto e servono il piatto. È pericoloso se il cliente è allergico!
I metodi vecchi per capire l'incertezza: Per far capire al cuoco se era sicuro o no, gli si chiedeva di cucinare lo stesso piatto 100 volte, cambiando leggermente gli ingredienti ogni volta, e poi fare una media.
- Il problema: Su un computer piccolo (come quello di un'auto), cucinare 100 volte lo stesso piatto richiede troppo tempo. L'auto si fermerebbe nel traffico mentre il cuoco cucina!

2. La Soluzione: Il "Cervello a Due Fasi"

Gli autori propongono un metodo intelligente che combina due cose:

L'Esperto Fisso (Estrazione delle caratteristiche): Immagina un cuoco esperto che guarda gli ingredienti e li riconosce istantaneamente. Questo è un modello già addestrato e "fisso". Non cambia mai, è veloce e sicuro nel riconoscere le forme (es. "quello è un cerchio rosso").
Il Consulente Probabilistico (Il modulo Bayesiano): Invece di far cucinare tutto al cuoco, gli ultimi passaggi (la decisione finale su cosa è cosa) vengono affidati a un consulente matematico molto leggero.

L'analogia della "Fotografia e del Foglio di Calcolo":
Immagina che il modello prenda la foto della strada e la trasformi in una serie di numeri (le caratteristiche).

Invece di fare un calcolo complicato e ripetuto, il nuovo metodo usa una formula matematica diretta (chiamata propagazione dei momenti) per stimare non solo cosa c'è nell'immagine, ma anche quanto è sicuro di averlo visto.
È come se il cuoco ti dicesse: "È un'auto" (risultato), e il consulente matematico ti dicesse: "Sono sicuro al 99%" oppure "Sono preoccupato, c'è nebbia, potrei sbagliare" (incertezza).

3. I Due Tipi di "Dubbio" (Incertezza)

Il paper distingue due tipi di dubbi, che sono fondamentali per la sicurezza:

Incertezza Aleatoria (Il "Rumore" del mondo): È il dubbio causato da cose che non puoi controllare, come la nebbia, la pioggia o una foto sfocata.
- Metafora: È come guardare attraverso un vetro sporco. Anche se sei un esperto, non puoi vedere bene. Il sistema dice: "Vedo una forma, ma è sfocata, quindi potrei sbagliare".
Incertezza Epistemica (Il "Dubbio" del modello): È il dubbio causato dal fatto che il modello non ha mai visto quella cosa prima.
- Metafora: È come se il cuoco vedesse un frutto esotico che non ha mai mangiato. Dice: "Non so cos'è, non ho mai visto nulla di simile". Il sistema sa di non sapere.

4. Perché è rivoluzionario?

Fino a questo lavoro, per ottenere questi "dubbi" servivano computer enormi e costosi.

Il trucco: Gli autori hanno creato un metodo che è così leggero da poter girare su un computer tascabile (come un NVIDIA Jetson) in tempo reale.
Il risultato: L'auto non si ferma a pensare. Continua a guidare a 60 km/h, ma se vede un pedone in una zona di nebbia (alta incertezza aleatoria) o un oggetto strano (alta incertezza epistemica), il sistema può dire: "Attenzione, non sono sicuro, rallenta!".

In sintesi

Questo paper insegna alle macchine come dubitare in modo intelligente senza perdere tempo.
È come dare a un pilota automatico un "sesto senso" che gli dice quando è il momento di essere cauti, tutto questo senza rallentare il motore. È un passo fondamentale per rendere le auto a guida autonoma e i robot più sicuri e affidabili nel mondo reale.

1. Il Problema

L'applicazione di modelli di segmentazione semantica in ambiti critici per la sicurezza (come veicoli autonomi, robotica e interazione uomo-computer) richiede non solo prestazioni in tempo reale, ma anche la capacità di quantificare l'incertezza delle previsioni.

Vincoli Hardware: I sistemi embedded hanno risorse computazionali limitate, rendendo difficile l'esecuzione di algoritmi complessi.
Limitazioni degli approcci attuali:
- I metodi basati su inferenza bayesiana completa (es. Monte Carlo Dropout) richiedono molteplici passaggi in avanti (forward passes) per campionare l'incertezza, risultando troppo lenti per il tempo reale.
- I metodi deterministici o quelli che integrano l'incertezza solo durante l'addestramento spesso non riescono a ragionare adeguatamente sull'incertezza epistemica (riducibile, legata al modello) durante la fase di inferenza.
- Non esistono soluzioni consolidate che offrano stime di incertezza significative in tempo reale su dispositivi embedded a risorse limitate.

2. Metodologia Proposta

Gli autori propongono un approccio ibrido che combina l'estrazione di caratteristiche deterministica con un modulo di regressione probabilistica, evitando costose approssimazioni Monte Carlo.

Architettura del Modello

Estrattore di Caratteristiche Deterministico: Utilizza un modello pre-addestrato (es. ENet, BiSeNet, PIDNet) con parametri fissi ( $\theta$ ) per estrarre le feature dall'immagine di input. Questo mantiene la velocità di inferenza elevata.
Modulo Probabilistico (Regressione Bayesiana): Sostituisce l'ultimo strato convoluzionale (tipicamente lineare) con un layer probabilistico. I pesi e i bias di questo strato sono trattati come variabili latenti $\omega$ con una distribuzione a posteriori.
Inferenza Analitica:
- Invece di campionare, il metodo approssima la distribuzione a posteriori dei parametri latenti utilizzando una distribuzione Gaussiana fattorizzata (diagonale).
- Vengono utilizzati i metodi SWAG (Stochastic Weight Averaging-Gaussian) in modo adattivo: invece di calcolare la media dai pesi durante l'addestramento SWAG, si utilizzano i pesi pre-addestrati come media ( $\bar{\omega}$ ) e si stima la varianza empirica diagonale ( $\Sigma_{diag}$ ) tramite iterazioni SGD. Questo riduce l'overhead di memoria e calcolo.
Propagazione dei Momenti (EPSoftmax):
- Poiché la funzione Softmax non è analiticamente trattabile su distribuzioni Gaussiane, gli autori applicano la propagazione dei momenti (Expectation Propagation).
- Si approssimano i momenti (media e varianza) dell'output della funzione Softmax trattando i logit come variabili casuali. Questo permette di derivare una distribuzione categorica finale e le relative metriche di incertezza senza campionamento.

Tipi di Incertezza Quantificati

Incertezza Epistemica: Derivata dalla varianza dei logit o dall'entropia della distribuzione Gaussiana sui logit. Rappresenta l'incertezza del modello (es. aree non viste durante l'addestramento).
Incertezza Aleatorica: Derivata dall'entropia della distribuzione categorica finale. Rappresenta il rumore intrinseco nei dati (es. ambiguità visive, bordi sfocati).
Incertezza Condizionata alla Classe: Permette di visualizzare l'incertezza specifica per una singola classe (es. "pedone" o "veicolo").

3. Contributi Chiave

Metodo Leggero per l'Incertezza: Proposta di un metodo che integra la regressione bayesiana e la propagazione dei momenti per la segmentazione semantica, mantenendo un basso overhead computazionale.
Metriche di Incertezza in Tempo Reale: Sviluppo e validazione di metriche significative per incertezza aleatorica ed epistemica, adattate per informare gli utenti finali e i protocolli decisionali.
Adattabilità ai Modelli Pre-addestrati: Dimostrazione che il modulo probabilistico può essere facilmente adattato a modelli esistenti (pre-trained), abilitando la quantificazione dell'incertezza in tempo reale su dispositivi embedded senza bisogno di ri-addestrare l'intera architettura da zero.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su hardware embedded NVIDIA Jetson AGX Xavier utilizzando dataset come CityScapes, CamVid, ADE20k e CoCoStuff.

Prestazioni Predittive: I modelli probabilistici ("Bayes-") mantengono prestazioni di segmentazione (mIOU, F1-score) comparabili alle loro controparti deterministiche (point-estimate).
- Esempio: Su CityScapes, Bayes-BiSeNetV1 ottiene un mIOU di 0.7408 contro 0.7426 del modello base, con un leggero calo di velocità (57.3 fps vs 68.8 fps), ma comunque entro i limiti del tempo reale.
Velocità di Inferenza: Nonostante l'aggiunta del modulo probabilistico, il sistema opera in tempo reale (sopra i 30 fps su tutti i modelli testati), dimostrando che l'inferenza analitica è molto più efficiente delle tecniche di campionamento Monte Carlo.
Qualità dell'Incertezza:
- L'incertezza epistemica (rappresentata in verde nelle visualizzazioni) è alta su oggetti di interesse o in regioni ambigue.
- L'incertezza aleatorica è concentrata sui bordi degli oggetti e nelle regioni di transizione.
- Le visualizzazioni confermano che l'incertezza condizionata alla classe è focalizzata sui bordi specifici degli oggetti target (es. "camion", "pedone"), utile per la sicurezza.

5. Significato e Impatto

Questo lavoro è significativo perché colma il divario tra la necessità teorica di quantificare l'incertezza nei sistemi di IA e i vincoli pratici dell'implementazione su hardware embedded.

Sicurezza: Fornisce agli sviluppatori di sistemi autonomi uno strumento per rilevare situazioni di "scarsa fiducia" del modello in tempo reale, permettendo di attivare protocolli di sicurezza (es. rallentare il veicolo o chiedere intervento umano).
Efficienza: Dimostra che non è necessario sacrificare la velocità per ottenere informazioni sull'incertezza, rendendo fattibile l'uso di modelli bayesiani su dispositivi edge.
Futuro: Apre la strada a sistemi decisionali più robusti che integrano l'incertezza non solo come metrica di debug, ma come input fondamentale per la logica di controllo in ambienti dinamici e non strutturati.

In sintesi, il paper presenta una soluzione pratica ed efficiente per rendere i modelli di segmentazione semantica "consapevoli" della propria incertezza direttamente su dispositivi con risorse limitate, un requisito fondamentale per l'adozione sicura dell'IA nel mondo reale.