⚡ electrical engineering

An Open-Source Two-Stage Computer Vision Pipeline for Fine-Grained Vehicle Classification using Vision Transformers

Questo articolo introduce una pipeline di visione artificiale open-source a due stadi che combina RT-DETR e Vision Transformers per classificare accuratamente sei tipologie di carrozzeria di veicoli a grana fine rilevanti per la sicurezza dei ciclisti, caratterizzata da un meccanismo di astensione basato sulla confidenza che mantiene un'elevata robustezza attraverso diversi siti di registrazione prevenendo al contempo errori di classificazione silenziosi.

Autori originali: Gandhimathi Padmanaban, Fred Feng

Pubblicato 2026-06-04

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Gandhimathi Padmanaban, Fred Feng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover smistare una pila enorme di posta. Alcune lettere sono chiaramente contrassegnate come "Giornale", altre come "Rivista" e altre ancora come "Pubblicità". Ma hai anche migliaia di buste che potrebbero essere qualsiasi cosa: un biglietto di auguri, una bolletta, un volantino o una lettera di un avvocato. Se dovessi tirare a indovinare, potresti commettere errori.

Questo articolo descrive un nuovo "smistatore robotico" open-source progettato per osservare i filmati delle strade e smistare i veicoli in categorie molto specifiche, non solo in quelle ampie che vediamo di solito.

Ecco come funziona il sistema, suddiviso in semplici passaggi:

1. Il Problema: Perché abbiamo bisogno di uno smistatore migliore

Attualmente, la maggior parte delle telecamere del traffico e degli studi sulla sicurezza riconosce solo la differenza tra un "auto", un "camion" o un "autobus". Ma per la sicurezza dei ciclisti, questo non è sufficiente.

L'Analogia: Immagina un ciclista investito. Se un piccolo modello berlina lo colpisce, è grave. Ma se un SUV alto o un enorme camion commerciale lo colpisce, il danno è spesso molto peggiore perché la parte anteriore del veicolo è più alta e colpisce il ciclista in modo diverso.
Il Vuoto: Abbiamo bisogno di sapere esattamente che tipo di veicolo sta passando accanto a un ciclista (ad esempio, è un Minivan o un Furgone Grande? È un Pickup o un Camion Commerciale?). Gli strumenti esistenti non riescono a distinguere questi tipi specifici in video reali e disordinati.

2. La Soluzione: Una "Squadra di Detective" in due fasi

Gli autori hanno costruito un sistema in due fasi, come una squadra di due detective che lavorano insieme.

Detective #1: Lo Scout Rapido (RT-DETR)

Il Lavoro: Questo detective scansiona il video velocemente. Non ha bisogno di conoscere il modello esatto dell'auto; deve solo dire: "Ehi, c'è un veicolo lì!" e disegnare un riquadro attorno ad esso.
Specialità: È molto bravo a individuare qualsiasi cosa che sembri un'auto, un camion, un autobus o una motocicletta. Utilizza un cervello pre-addestrato, quindi non ha avuto bisogno di imparare da zero come individuare le auto.
Filtro: Se vede un autobus o una motocicletta, si ferma lì. Se vede un'"auto" o un "camion", passa il lavoro al Detective #2.

Detective #2: L'Esperto di Classificazione (Vision Transformer)

Il Lavoro: Questo detective prende il "ritaglio" specifico (l'immagine all'interno del riquadro) dal Detective #1 e lo osserva molto da vicino.
Specialità: È l'esperto della classificazione fine. Smista il veicolo in una di sei categorie specifiche:
1. Auto passeggeri
2. SUV
3. Pickup
4. Minivan
5. Furgone Grande
6. Camion Commerciale
Il Pulsante "Non lo so": Questa è la parte più importante. Se l'immagine è sfocata, l'angolazione è strana o il veicolo è parzialmente nascosto, questo detective potrebbe sentirsi incerto. Invece di tirare a indovinare e rischiare di commettere un errore, ha una regola: "Se sono sicuro meno del 60%, dirò 'Sconosciuto'."
- Perché questo è importante: Nella ricerca sulla sicurezza, è meglio dire "Non lo so" piuttosto che dire con certezza "Quello è un pickup" quando in realtà è un minivan. Questo evita gli "errori silenziosi".

3. L'Addestramento: Come hanno insegnato al robot

Insegnare a un robot a distinguere tra un "Furgone Grande" e un "Camion Commerciale" è difficile perché ci sono pochissime foto di quei tipi specifici di camion nei dataset standard.

Il Mix: I ricercatori hanno costruito una libreria di addestramento personalizzata mescolando tre cose:
1. Foto da Studio: Foto di alta qualità di auto da un famoso dataset (Stanford Cars).
2. Web Scraping: Hanno raccolto immagini di furgoni e camion da internet.
3. Tagli Reali dalle Strade: Hanno preso veri filmati video da Ann Arbor, Michigan, e hanno ritagliato i veicoli per mostrare al robot com'è la realtà delle strade disordinate (sfocata, laterale, parzialmente nascosta).
Lo Sbilanciamento: Il robot ha visto molte più foto di auto normali e SUV che di grandi camion. Per risolvere questo, il processo di addestramento è stato modificato per prestare un'attenzione extra alle immagini più rare di camion, in modo che il robot non le ignorasse.

4. I Risultati: Quanto bene ha funzionato?

Il team ha testato questo robot su due diversi set di video.

Test 1: Il "Campo Casa" (In-Distribution)

L'Impostazione: Lo hanno testato su video della stessa strada dove hanno preso i clip di addestramento (Ann Arbor).
Il Punteggio: Ha ottenuto il 94% di correttezza.
I Dettagli: È stato incredibile nel individuare i SUV (accuratezza del 97%). È stato anche molto bravo con le auto passeggeri e i pickup. L'unico momento in cui ha avuto difficoltà è stato quando il veicolo era difficile da vedere, e ha usato correttamente il suo pulsante "Non lo so" invece di indovinare erroneamente.

Test 2: La "Partita in Trasferta" (Out-of-Distribution)

L'Impostazione: Lo hanno testato su video di una posizione completamente diversa, ripresi da una speciale bicicletta di ricerca con telecamere e illuminazione differenti. Non hanno ri-addestrato il robot per questa nuova posizione.
Il Punteggio: Ha ottenuto l'89% di correttezza.
I Dettagli: Questo è un risultato molto forte per un sistema che non è stato ri-addestrato per un nuovo luogo.
- SUV e Pickup sono rimasti molto accurati.
- I Minivan sono diventati un po' più complicati. L'accuratezza è scesa, ma principalmente perché il robot è diventato più cauto. Ha iniziato a dire "Sconosciuto" più spesso (il 25% delle volte) perché i minivan apparivano diversi nel nuovo video. Non ha iniziato a indovinare selvaggiamente; ha semplicemente ammesso l'incertezza.

5. Perché questo è importante

È Open Source: Gli autori hanno rilasciato tutto il codice, il cervello addestrato del robot e i dati gratuitamente. Chiunque può scaricarlo e usarlo per analizzare i propri video stradali.
La Sicurezza Prima di Tutto: Distinguendo tra una piccola auto e un grande camion, gli pianificatori urbani e i ricercatori della sicurezza possono finalmente capire esattamente quali tipi di veicoli stanno mettendo a rischio i ciclisti.
Nessun Lavoro Manuale: Prima di questo, gli esseri umani dovevano guardare ore di video per contare questi veicoli. Ora, questo strumento può farlo automaticamente.

In breve, il documento presenta uno strumento intelligente e gratuito che agisce come un filtro a due fasi. Prima trova le auto. Poi le smista con cura in tipi specifici. Se non è sicuro, lo ammette, garantendo che i dati sulla sicurezza non siano corrotti da ipotesi errate. Funziona bene anche su strade nuove senza la necessità di essere ri-addestrato.

Sintesi Tecnica: Una Pipeline di Computer Vision Open-Source a Due Stadi per la Classificazione Fine-Grained dei Veicoli

Definizione del Problema
Il documento affronta una lacuna critica nella ricerca sulla sicurezza dei ciclisti: la mancanza di strumenti automatizzati in grado di classificare i veicoli in categorie rilevanti per il rischio di lesioni partendo da video stradali naturalistici. Mentre i benchmark standard di rilevamento oggetti (es. COCO) forniscono etichette grossolane (auto, camion, autobus, motociclo), queste sono insufficienti per le analisi di sicurezza che richiedono di distinguere tra tipi di carrozzeria specifici, come automobili passeggeri rispetto a SUV o camion commerciali. I sistemi esistenti di riconoscimento fine-grained sono tipicamente addestrati su immagini frontali controllate (es. foto dei produttori) e non sono stati rigorosamente valutati per la robustezza in diversi siti di registrazione o in condizioni naturalistiche che coinvolgono sfocatura da movimento, occlusioni e illuminazione variabile. Inoltre, non esiste una pipeline open-source end-to-end che integri il rilevamento in tempo reale con la classificazione fine-grained per l'implementazione su archivi video stradali esistenti senza infrastrutture personalizzate.

Metodologia
Gli autori propongono una pipeline di computer vision modulare a due stadi, progettata per l'implementazione su video stradali standard:

Stadio 1: Localizzazione Grossolana del Veicolo
- Modello: Un rilevatore RT-DETR (Real-Time DEtection TRansformer) pre-addestrato, specificamente il checkpoint rtdetr_r50vd_coco_o365.
- Funzione: Scansiona i fotogrammi video a risoluzione completa per rilevare tutti i veicoli e assegna etichette di categoria COCO grossolane (auto, camion, autobus, motociclo).
- Filtraggio: Il sistema trattiene solo i rilevamenti di "auto" e "camion" per l'elaborazione successiva. I rilevamenti di autobus e motocicli vengono trattenuti con le loro etichette grossolane.
- Vincoli: Una soglia di confidenza di 0,35 filtra i rilevamenti a bassa confidenza. Un filtro dimensionale esclude i bounding box in cui il lato corto è <5,5% dell'altezza del fotogramma o l'area è <0,04% dell'area del fotogramma, impedendo allo stadio successivo di elaborare veicoli troppo distanti per un'analisi significativa della texture.
Stadio 2: Classificazione Fine-Grained
- Modello: Un Vision Transformer (ViT-Base/16) fine-tuned, pre-addestrato su ImageNet-21k.
- Input: Immagini ritagliate dei veicoli rilevati nello Stadio 1.
- Output: Uno dei sei tipi di carrozzeria specifici: automobile passeggeri, SUV, pickup, minivan, furgone grande e camion commerciale.
- Strategia di Addestramento: Il modello è stato addestrato su un dataset composito (16.581 immagini) che combina Stanford Cars (mappato su 4 classi), immagini estratte dal web (per le classi sottorappresentate) e ritagli sul campo del sito di studio di Ann Arbor. Per affrontare il grave squilibrio delle classi (es. i camion commerciali rappresentano <1% dei dati), gli autori hanno impiegato la focal loss con pesatura per frequenza inversa e un weighted random sampler.
- Meccanismo di Astensione: Un meccanismo di gating basato sulla confidenza è applicato all'output softmax dello Stadio 2. Se la probabilità massima predetta scende al di sotto di una soglia specifica per classe di 0,60, il sistema restituisce un'etichetta "sconosciuta" invece di una predizione a bassa confidenza. Ciò è progettato per prevenire misclassificazioni silenziose in scenari ambigui.

Contributi Chiave

Vocabolario e Pipeline Nuovi: Il primo sistema open-source esplicitamente addestrato e valutato su una tassonomia di sei categorie di carrozzeria rilevante per il rischio di lesioni, andando oltre le etichette grossolane COCO o l'identificazione di marca e modello.
Astensione Basata sulla Confidenza: L'implementazione di un meccanismo di soglia che converte le predizioni incerte in etichette "sconosciute", fornendo una misura calibrata dell'incertezza del modello piuttosto che forzare classificazioni errate.
Valutazione Rigorosa: Lo studio fornisce una valutazione su larga scala di 3.805 eventi di sorpasso annotati in un corridoio con corsia ciclabile (in-distribution) e una valutazione indipendente out-of-distribution (OOD) su 311 eventi da un separato dataset strumentato per biciclette, senza ri-addestramento.
Rilascio Open-Source: L'intera pipeline, inclusi script di inferenza, codice di addestramento, utilità di valutazione e pesi del modello fine-tuned, viene rilasciata per supportare la riproducibilità.

Risultati

Performance In-Distribution: Sul dataset di Ann Arbor (3.805 eventi), la pipeline ha raggiunto un'accuratezza complessiva di 0,94. Gli F1 score per classe sono variati da 0,91 (minivan) a 0,97 (SUV). Gli errori dominanti hanno riguardato la confusione tra categorie visivamente simili (es. automobile passeggeri vs SUV).
Performance Out-of-Distribution: Sul dataset indipendente di biciclette strumentate (311 eventi), la pipeline ha raggiunto un'accuratezza complessiva di 0,89 senza alcun ri-addestramento o aggiustamento delle soglie.
- Tre delle quattro categorie ben rappresentate (SUV, pickup, automobile passeggeri) hanno mantenuto F1 score $\ge$ 0,90.
- Degradazione Minivan: Il calo più significativo si è verificato nella categoria minivan (F1: 0,91 $\to$ 0,72). Gli autori lo attribuiscono principalmente a un aumento del tasso di astensione (da 2,4% a 25,0%) piuttosto che a una misclassificazione attiva, indicando che il meccanismo di confidenza ha propagato con successo l'incertezza del modello.
Classi Minoritarie: I camion commerciali e i furgoni grandi hanno mostrato un'alta incertezza a causa dei campioni scarsi sia nell'addestramento che nella valutazione, sebbene il modello abbia dimostrato la capacità di classificarli quando presenti.

Significatività e Rivendicazioni
Il documento afferma che un'architettura modulare, da coarse-to-fine, che combina un rilevatore general-purpose con un Vision Transformer fine-tuned, può ottenere una classificazione fine-grained dei veicoli robusta su video stradali naturalistici senza richiedere annotazioni di bounding box per la fase di rilevamento o ri-addestramenti specifici per il sito per l'implementazione.

La significatività di questo lavoro risiede nella sua applicazione alla ricerca sulla sicurezza dei ciclisti. Abilitando l'annotazione automatizzata e scalabile dei tipi di carrozzeria dei veicoli, la pipeline consente ai ricercatori di quantificare l'esposizione a tipi di veicoli specifici (es. SUV rispetto alle auto passeggeri) che sono sproporzionatamente associati a lesioni gravi. Questa granularità è attualmente assente nel monitoraggio del traffico standard e nei database degli incidenti. Inoltre, il meccanismo di astensione basato sulla confidenza offre una caratteristica critica per la sicurezza nei sistemi di monitoraggio automatizzato, consentendo loro di degradare con grazia segnalando gli eventi incerti per la revisione umana anziché produrre errori silenziosi. La natura open-source di questo strumento è destinata ad abbassare le barriere per i ricercatori che studiano l'esposizione degli utenti vulneranti della strada e la composizione del traffico.