Perceive What Matters: Relevance-Driven Scheduling for Multimodal Streaming Perception

Titolo

Perceive What Matters: Scheduling Guidato dalla Rilevanza per la Percezione Multimodale in Streaming

1. Il Problema

Nelle applicazioni moderne di collaborazione uomo-robot (HRC), i robot devono comprendere scene complesse integrando dati visivi, uditivi e contestuali. Le pipeline di percezione attuali tendono ad eseguire moduli multipli (es. rilevamento oggetti, stima della posa) su ogni singolo fotogramma per garantire la massima qualità. Tuttavia, questo approccio presenta due criticità fondamentali nei contesti di streaming in tempo reale:

• Latenza Accumulata: L'esecuzione parallela e continua di moduli pesanti genera un ritardo significativo, riducendo la reattività del sistema.
• Spreco di Risorse: L'attivazione periodica dei moduli, basata solo sulla disponibilità computazionale e non sul contenuto informativo, porta a un'eccessiva ridondanza. Molti fotogrammi contengono informazioni statiche o irrilevanti per l'obiettivo corrente, rendendo l'elaborazione completa uno spreco di risorse.

Le soluzioni esistenti (basate su keyframe o ottimizzazione dei parametri di inferenza) falliscono spesso perché:

1. Richiedono l'accesso all'intero video (non adatte allo streaming).
2. Si basano su criteri "task-agnostic" (es. cambiamento visivo) che non allineano le risorse alle esigenze specifiche del compito robotico.
3. Non considerano la necessità di attivare o meno interi moduli, ma si limitano a ridurre il costo all'interno di un'attivazione fissa.

2. Metodologia: Il Framework di Scheduling

Gli autori propongono un framework di scheduling leggero e adattivo che decide in tempo reale quali moduli di percezione attivare, basandosi sul concetto di Rilevanza (ispirato al sistema di attivazione reticolare umano) e sulla sparsità informativa degli eventi HRC.

Il sistema opera attraverso i seguenti passaggi:

A. Segmentazione e Stato del Contesto

Il sistema suddivide la scena in regioni (sfondo, oggetti, umani) utilizzando l'immagine RGB del frame precedente ($I_{k-1}$) e le previsioni di rilevanza ($R_{k-1}$). Per ogni regione vengono stimati:

• Stato di Movimento: Rilevato tramite differenziazione di frame (frame differencing) per identificare patch in movimento.
• Stato di Rilevanza: Aggiornato dinamicamente per riflettere quanto una regione contribuisca all'obiettivo umano attuale.

B. Stima della Ricompensa (Reward Estimation)

Per ogni modulo percepibile $m_j$ (es. YOLO per gli oggetti, MMPose per la posa umana), viene calcolata una ricompensa $\rho_j^k$ che bilancia il guadagno informativo atteso e il costo computazionale:
$$\rho_j^k = \Phi_R(S_k, m_j) - C_j$$
Dove:

• $\Phi_R$: Guadagno informativo stimato (basato sulla riduzione dell'entropia o sull'aggiornamento dello stato).
• $C_j$: Penalità per il costo computazionale (tempo di inferenza).

Modelli di Ricompenda Specifici:

• Rilevamento Oggetti (YOLO): Il guadagno deriva dal rilevare nuovi oggetti o aggiornare le stime delle bounding box esistenti (riduzione dell'entropia tramite filtro di Kalman).
• Stima Posa Umana (MMPose): Il guadagno è misurato come la riduzione dell'incertezza nel passaggio dalla conoscenza della posizione della bounding box alla posizione precisa dei keypoints. L'incertezza è modellata tramite entropia di distribuzioni uniformi (per la box) e gaussiane (per i keypoints stimati).

C. Selettore del Modulo

Il sistema risolve un problema di ottimizzazione per massimizzare la ricompensa cumulativa. La decisione di attivazione è binaria: un modulo viene attivato se e solo se la sua ricompensa stimata è positiva ($\rho > 0$) o se un indicatore predefinito lo richiede.

• Se un modulo non viene attivato, il sistema utilizza una stima leggera (es. predizione di moto o filtraggio) per mantenere la continuità del flusso di percezione senza sostenere il costo completo dell'inferenza.

3. Contributi Chiave

Il paper presenta quattro contributi principali:

1. Concetto di Scheduling di Percezione: Introduce un nuovo paradigma per ottimizzare l'attivazione dei moduli in sistemi multimodali, spostando il focus dalla riduzione del costo per frame alla decisione di se elaborare un frame.
2. Metodologia basata sull'Informazione: Propone un principio versatile per stimare l'utilità di attivazione dei moduli utilizzando la teoria dell'informazione (riduzione dell'entropia) e modelli di incertezza.
3. Nuova Metrica di Valutazione: Sviluppa metriche specifiche per scenari di streaming, come l'Activation Recall (quanto il sistema ha attivato correttamente i moduli quando necessario) e la Keyframe Accuracy, separando l'efficacia della decisione di scheduling dalla latenza intrinseca dei moduli.
4. Validazione Sperimentale: Dimostra l'efficacia del framework su diversi domini video, confermando miglioramenti significativi nell'efficienza senza compromettere la qualità percettiva.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre domini video (Lettura indoor, Cibo, Camminata) utilizzando un GPU RTX 4090 e un CPU Intel i9.

• Riduzione della Latenza: Il framework proposto riduce la latenza computazionale fino al 27,52% rispetto alle pipeline parallele convenzionali. La riduzione è più marcata in scenari statici (es. Lettura), dove l'informazione aggiuntiva è minima.
• Miglioramento del Recall di Attivazione (MMPose): Si registra un miglioramento del 72,73% nel recall di attivazione per il modulo di stima della posa umana. Questo indica che il sistema riesce a catturare momenti critici dinamici che le pipeline tradizionali, soggette a latenza, tendono a perdere.
• Accuratezza delle Keyframe: Il sistema raggiunge un'accuratezza nella identificazione dei fotogrammi importanti fino al 98%, dimostrando di saper prevedere correttamente quando è necessario elaborare.
• Trade-off: C'è una lieve diminuzione nel recall di YOLO (dovuta alle limitazioni intrinseche di stima), ma il guadagno in efficienza e la riduzione dei frame critici mancati compensano ampiamente questo calo.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso robotica collaborativa più efficiente e reattiva.

• Scalabilità: Il framework è modulare e può essere esteso a modelli fondazionali più pesanti (es. Vision-Language Models) adattando la funzione di ricompensa.
• Gestione delle Risorse: Permette di gestire set più grandi di moduli di percezione entro budget computazionali fissi, mitigando la contesa delle risorse.
• Efficienza in Tempo Reale: Dimostra che è possibile mantenere un'alta qualità percettiva riducendo drasticamente il carico computazionale, rendendo fattibili sistemi HRC complessi su hardware con risorse limitate.

In sintesi, il paper propone una soluzione sistematica che trasforma la percezione robotica da un processo passivo e costante a un processo attivo, contestuale e guidato dalla rilevanza, ottimizzando il compromesso tra accuratezza e velocità di risposta.