Benchmarking Recurrent Event-Based Object Detection for Industrial Multi-Class Recognition on MTevent

Riepilogo Tecnico: Benchmarking del Rilevamento di Oggetti Basato su Eventi Ricorrenti per il Riconoscimento Multi-Classe Industriale su MTevent

Enunciato del Problema
Le camere a eventi offrono alta risoluzione temporale, alto intervallo dinamico e ridotta sfocatura da movimento, rendendole teoricamente ideali per la robotica industriale che opera in condizioni di movimento rapido, illuminazione difficile e occlusione parziale. Tuttavia, la ricerca esistente sul rilevamento di oggetti basato su eventi è fortemente sbilanciata verso scenari di guida autonoma (ad esempio, GEN1) o compiti robotici a singola categoria (ad esempio, rilevamento di persone in PEDRo). Esiste un divario significativo nella comprensione di come i rilevatori attuali si comportino in ambienti industriali multi-classe, caratterizzati da categorie di oggetti diversificate, disposizioni disordinate, strutture ripetute e frequenti interazioni uomo-oggetto. Inoltre, non è ancora chiaro se la modellazione temporale ricorrente—che accumula evidenze di eventi sparsi nel tempo—offra un beneficio tangibile rispetto agli approcci non ricorrenti in questi complessi contesti industriali a coda lunga.

Metodologia
Gli autori presentano uno studio di benchmarking controllato utilizzando il dataset MTevent, un benchmark di camere a eventi industriali registrato in scene simili a magazzini e fabbriche. Lo studio si concentra su 17 classi di rilevamento (16 oggetti rigidi più esseri umani) derivate dalle annotazioni del dataset.

• Modelli: Lo studio confronta una baseline non ricorrente YOLOv8s con una variante ricorrente, ReYOLOv8s, che potenzia l'architettura di base di YOLOv8s con moduli ConvLSTM per aggregare le caratteristiche temporali.
• Input: I modelli utilizzano input di tensori di eventi binnati temporalmente a 5 canali (5 bin temporali, finestre di 50 ms, risoluzione 256×320).
• Variabili: La valutazione analizza tre fattori principali:
  1. Ricorrenza: Confronto tra modelli non ricorrenti (lunghezza del clip 1) e modelli ricorrenti.
  2. Lunghezza del Clip Temporale: Test di modelli ricorrenti con lunghezze di clip di {3, 7, 11, 21} utilizzando un campionamento temporale basato su stride.
  3. Pre-addestramento/Trasferimento: Valutazione dell'inizializzazione da due domini esterni di eventi: GEN1 (orientato alla guida) e PEDRo (rilevamento di persone orientato alla robotica), insieme all'addestramento da zero.
• Protocollo di Addestramento: Tutti gli esperimenti utilizzano iperparametri coerenti (AdamW, tasso di apprendimento specifico, dimensione del batch 16) e metriche di valutazione (mAP50, mAP50–95) su una divisione personalizzata di scene 60/13/2 per addestramento/validazione/test per garantire un confronto controllato.

Risultati Chiave

• Ricorrenza vs. Non Ricorrenza: Sulla divisione di validazione di MTevent, il miglior modello ricorrente addestrato da zero (lunghezza del clip 21) ha raggiunto 0.285 mAP50, un miglioramento relativo del 9,6% rispetto alla baseline non ricorrente YOLOv8s (0.260 mAP50). Ciò conferma che il contesto temporale è benefico per il rilevamento industriale basato su eventi.
• Dinamiche della Lunghezza del Clip: Le prestazioni dei modelli addestrati da zero non sono aumentate in modo monotono con la lunghezza del clip; le prestazioni sono diminuite alla lunghezza del clip 11 prima di risalire a 21. Al contrario, i modelli pre-addestrati su GEN1 hanno mostrato un miglioramento costante all'aumentare della lunghezza del clip (da 0.293 alla lunghezza 3 a 0.329 alla lunghezza 21), suggerendo che il pre-addestramento stabilizza l'ottimizzazione temporale.
• Impatto del Pre-addestramento:
  • Inizializzazione GEN1: Ha prodotto il miglior risultato complessivo (0.329 mAP50), superando significativamente l'addestramento da zero.
  • Inizializzazione PEDRo: Ha performato male (0.251 mAP50 al clip 11), risultando inferiore sia al miglior modello ricorrente addestrato da zero sia alla baseline non ricorrente. Ciò indica che un pre-addestramento da dominio sorgente non allineato (ad esempio, dati solo su persone applicati a scene industriali multi-classe) può essere dannoso.
• Trasferimento Zero-Shot: Prima del fine-tuning, i modelli pre-addestrati su GEN1 non sono riusciti a rilevare esseri umani in MTevent (AP50 = 0.000), mentre i modelli pre-addestrati su PEDRo hanno ottenuto un successo limitato (AP50 = 0.136). Ciò evidenzia che il trasferimento zero-shot dipende fortemente dalla similarità tra sorgente e destinazione nella struttura della scena e nei pattern di movimento, non solo dalla sovrapposizione delle etichette.
• Modalità di Fallimento: Gli errori persistenti sono stati dominati dallo sbilanciamento delle classi (classi rare) e dalle interazioni uomo-oggetto, dove gli scenari di trasporto creano blob di eventi fusi che riducono la separabilità delle classi.

Contributi e Significato
Gli autori dichiarano esplicitamente che il loro contributo non è una nuova architettura o un nuovo dataset. Invece, il lavoro funge da studio focalizzato di benchmarking e analisi del rilevamento basato su eventi ricorrenti in ambienti industriali.

• Significato: Il paper si posiziona come un necessario test di stress per le attuali famiglie di modelli in contesti industriali complessi e multi-classe, un'area che rimane relativamente poco esplorata.
• Punti Chiave:
  1. La ricorrenza migliora le prestazioni, ma il pre-addestramento nel dominio degli eventi (specificamente da una sorgente ben allineata come GEN1) ha un impatto più forte della ricorrenza da sola.
  2. L'allineamento del dominio sorgente è critico; un pre-addestramento non allineato può degradare le prestazioni al di sotto dei livelli dell'addestramento da zero.
  3. Nel contesto attuale, i guadagni potrebbero essere più raggiungibili attraverso una migliore copertura dei dati e protocolli di trasferimento piuttosto che attraverso una maggiore complessità architetturale.
  4. Lo studio fornisce un punto di riferimento riproducibile (codice e risultati disponibili) per la futura ricerca sulle camere a eventi industriali, evidenziando colli di bottiglia specifici come la scarsità di classi a coda lunga e l'interazione uomo-oggetto.