Mixture-of-Modality-Experts with Holistic Token Learning for Fine-Grained Multimodal Visual Analytics in Driver Action Recognition

1. Il Problema: Riconoscimento delle Azioni del Conducente (DAR)

Il paper affronta le sfide specifiche del riconoscimento delle azioni del conducente (Driver Action Recognition - DAR) all'interno di cabine intelligenti. A differenza del riconoscimento delle azioni generiche, l'ambiente in-cabina presenta caratteristiche uniche che rendono l'analisi visiva complessa:

• Movimenti limitati e sottili: Le azioni sono spesso caratterizzate da movimenti locali minimi (es. mani sul volante, sguardo) su uno sfondo fisso, rendendo difficile l'estrazione di pattern contestuali su larga scala.
• Variabilità delle condizioni: L'illuminazione, le occlusioni e l'eterogeneità dei sensori (RGB, Infrarossi, Profondità) variano dinamicamente, influenzando l'affidabilità di ciascuna modalità.
• Limiti delle fusioni esistenti: I metodi attuali si basano su moduli di fusione a pesi fissi o interazioni predefinite tra modalità. Questi approcci statici falliscono nell'adattarsi alla variabilità dell'affidabilità delle modalità tra diversi campioni e tipi di azione, portando a una fusione multimodale ambigua e poco robusta.

L'obiettivo è sviluppare un sistema che non si limiti ad aggregare le caratteristiche, ma che coordini dinamicamente esperti specializzati in base all'input corrente, migliorando la comprensione fine-granulare (fine-grained) delle azioni.

2. Metodologia Proposta

Gli autori propongono un nuovo framework chiamato MoME (Mixture-of-Modality-Experts), potenziato da una strategia di apprendimento chiamata HTL (Holistic Token Learning).

A. Mixture-of-Modality-Experts (MoME)

Il framework introduce l'architettura Mixture-of-Experts (MoE) nel contesto del DAR multimodale.

• Esperti Specializzati: Ogni modalità sensoriale (es. RGB, IR, Depth) viene elaborata da un "esperto" specifico (basato su un backbone Transformer video come UniformerV2).
• Gate Dinamico "Output-Aware": A differenza dei gate MoE tradizionali che pesano gli esperti basandosi solo sulle caratteristiche di input grezze, il gate di MoME è condizionato alle uscite degli esperti stessi (in particolare i class tokens). Questo permette al sistema di valutare la fiducia e i pattern di risposta specifici di ogni esperto prima di prendere una decisione di fusione, distribuendo il processo decisionale in modo adattivo.
• Fusione Adattiva: Il gate genera pesi normalizzati (tramite SoftMax) per combinare le uscite degli esperti, permettendo al sistema di enfatizzare le modalità più affidabili per un dato input e sopprimere quelle rumorose.

B. Holistic Token Learning (HTL)

Per affrontare la necessità di una comprensione fine-granulare e mitigare i bias di sfondo, HTL introduce un apprendimento a livello di token che opera su due livelli complementari:

1. Raffinamento Intra-Esperto (Self-Guidance): Utilizza una distillazione da "profondo a superficiale" (deep-to-shallow). I token di classe e spaziotemporali degli strati più profondi (che contengono una semantica più matura) guidano e regolarizzano i token degli strati più superficiali. Questo aiuta a preservare i sottili indizi di movimento nelle fasi iniziali della rete.
2. Collaborazione Inter-Esperto (Mutual Guidance): Promuove l'allineamento semantico tra gli esperti di diverse modalità. Poiché ogni esperto osserva la stessa azione da spazi di sensing eterogenei, HTL facilita il trasferimento di conoscenza decisionale affidabile tra le modalità, mantenendo al contempo la specializzazione di ciascun esperto.
   • Implementazione: Utilizza la Divergenza KL per la guida intra-esperto (allineamento distributivo) e l'Errore Quadratico Medio (MSE) per la collaborazione inter-esperto (allineamento simmetrico tra rappresentazioni diverse).

La funzione di perdita totale combina la perdita di classificazione, la guida intra-esperto e la coerenza inter-esperto.

3. Contributi Chiave

1. Framework MoME: È il primo studio a investigare l'efficacia dell'architettura MoE per la collaborazione flessibile tra diverse modalità di sensing nel DAR, superando i limiti delle fusioni statiche.
2. Strategia HTL: Introduce un meccanismo di apprendimento olistico che non si limita ai token di classe (come nelle distillazioni tradizionali), ma include anche i token spaziotemporali. Questo permette un raffinamento fine-granulare delle conoscenze sia all'interno di un singolo esperto che tra esperti diversi.
3. Validazione Sperimentale: Dimostrazione che la combinazione di collaborazione adattiva degli esperti e trasferimento di conoscenza a livello di token porta a prestazioni superiori rispetto ai metodi di stato dell'arte (SOTA).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset Drive&Act, un benchmark multimodale su larga scala.

• Dataset: Utilizzo di tre modalità (RGB, IR, Depth) per classificare 34 azioni fini.
• Prestazioni: Il modello MoME + HTL ha ottenuto risultati superiori rispetto a tutti i baseline, inclusi modelli unimodali, modelli di fusione tardiva (Late Fusion) e approcci multimodali recenti (es. Multifuser, CM2-Net).
  • Accuratezza Media-1 (Mean-1 Acc.): 73.82% (vs 72.10% di CM2-Net). Il miglioramento significativo su questa metrica indica una maggiore robustezza nelle classi difficili o meno frequenti, non solo un miglioramento sulle classi dominanti.
  • Accuratezza Top-1: 83.94%.
• Studi di Ablazione:
  • Il gate "output-aware" di MoME ha dimostrato miglioramenti rispetto al gate MoE standard basato sull'input.
  • HTL ha superato il metodo MoDE (Mixture-of-Distilled-Experts), confermando che la distillazione a livello di token spaziotemporale è cruciale per il DAR fine-granulare.
  • Le mappe di attenzione visualizzate mostrano che HTL guida il modello a concentrarsi su regioni rilevanti per l'azione (movimenti sottili) piuttosto che su risposte diffuse dello sfondo.

5. Significato e Impatto

Questo lavoro è significativo per diversi motivi:

• Robustezza in Ambienti Vincolati: Offre una soluzione efficace per l'analisi visiva in ambienti complessi e vincolati come le cabine automobilistiche, dove i dati sono spesso ambigui o parziali.
• Interpretabilità: La strategia HTL migliora l'interpretabilità del modello, fornendo evidenze a livello di token su come le diverse modalità contribuiscono alla decisione finale.
• Sicurezza e Interazione Uomo-Veicolo: Migliorare il riconoscimento delle azioni del conducente è fondamentale per sistemi di trasporto intelligenti più affidabili e per l'interazione uomo-veicolo, permettendo interventi tempestivi in caso di distrazione o fatica.
• Paradigma di Apprendimento: Sposta il focus dalla semplice fusione delle caratteristiche alla collaborazione adattiva di esperti specializzati, un approccio che potrebbe essere applicato ad altri compiti di analisi visiva multimodale fine-granulare.