⚡ electrical engineering

An Open-Source Two-Stage Computer Vision Pipeline for Fine-Grained Vehicle Classification using Vision Transformers

Dit artikel introduceert een open-source, twee-traps computer vision-pipeline die RT-DETR en Vision Transformers combineert om zes fijnmazige voertuigcarrosserietypen die relevant zijn voor de veiligheid van fietsers nauwkeurig te classificeren, voorzien van een op vertrouwen gebaseerd onthoudingsmechanisme dat een hoge robuustheid behoudt over verschillende opnamelocaties terwijl stille misclassificaties worden voorkomen.

Oorspronkelijke auteurs: Gandhimathi Padmanaban, Fred Feng

Gepubliceerd 2026-06-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gandhimathi Padmanaban, Fred Feng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme stapel post probeert te sorteren. Sommige brieven zijn duidelijk gemarkeerd als "Krant", sommige als "Tijdschrift" en sommige als "Reclame". Maar je hebt ook duizenden enveloppen die van alles kunnen zijn: een verjaardagskaart, een rekening, een flyer of een brief van een advocaat. Als je gewoon gokt, kun je fouten maken.

Dit artikel beschrijft een nieuwe, open-source "robot-sorter" die ontworpen is om videobeelden van straten te bekijken en voertuigen in zeer specifieke categorieën in te delen, niet alleen in de brede categorieën die we gewoonlijk zien.

Zo werkt het systeem, onderverdeeld in eenvoudige stappen:

1. Het Probleem: Waarom we een betere sorter nodig hebben

Momenteel kennen de meeste verkeerscamera's en veiligheidsstudies alleen het verschil tussen een "auto", een "vrachtwagen" of een "bus". Maar voor de veiligheid van fietsers is dit niet voldoende.

De Analogie: Stel je voor dat een fietser wordt geraakt. Als een kleine sedan een fietser raakt, is dat erg. Maar als een hoge SUV of een enorme commerciële vrachtwagen een fietser raakt, is het letsel vaak veel erger omdat de voorkant van het voertuig hoger is en de fietser anders raakt.
Het Gat: We moeten precies weten wat voor soort voertuig er langs een fietser rijdt (bijv. is het een Minivan of een Grote Van? Is het een Pickup of een Commerciële Vrachtwagen?). Bestaande tools kunnen het verschil tussen deze specifieke typen niet zien in echte, rommelige video.

2. De Oplossing: Een Tweestaps "Detective Team"

De auteurs hebben een tweestaps systeem gebouwd, zoals een team van twee detectives die samenwerken.

Detective #1: De Snelle Verkenner (RT-DETR)

Taak: Deze detective scant de video snel. Hij hoeft niet precies te weten welk model auto het is; hij moet alleen zeggen: "Hé, daar is een voertuig!" en er een kader omheen tekenen.
Specialiteit: Hij is erg goed in het opsporen van alles wat op een auto, vrachtwagen, bus of motor lijkt. Hij gebruikt een vooraf getraind brein, dus hij hoefde niet vanaf nul te leren hoe hij auto's moet herkennen.
Filter: Als hij een bus of motor ziet, stopt hij daar. Als hij een "auto" of "vrachtwagen" ziet, geeft hij het werk door aan Detective #2.

Detective #2: De Expert-Classificator (Vision Transformer)

Taak: Deze detective neemt de specifieke "crop" (het plaatje binnen het kader) van Detective #1 en bekijkt deze heel nauwkeurig.
Specialiteit: Dit is de fijnmazige expert. Hij sorteert het voertuig in een van zes specifieke categorieën:
1. Personenauto
2. SUV
3. Pickup Truck
4. Minivan
5. Grote Van
6. Commerciële Vrachtwagen
De "Ik weet het niet"-knop: Dit is het belangrijkste onderdeel. Als het plaatje wazig is, de hoek vreemd is, of het voertuig gedeeltelijk verborgen is, kan deze detective onzeker zijn. In plaats van te gokken en mogelijk een fout te maken, heeft hij een regel: "Als ik minder dan 60% zeker ben, zal ik 'Onbekend' zeggen."
- Waarom dit belangrijk is: In veiligheidsonderzoek is het beter om te zeggen "Ik weet het niet" dan om vol vertrouwen te zeggen "Dat is een pickup truck" terwijl het eigenlijk een minivan is. Dit voorkomt "stille fouten".

3. De Training: Hoe ze de robot hebben geleerd

Leren om het verschil te zien tussen een "Grote Van" en een "Commerciële Vrachtwagen" is moeilijk omdat er in standaard datasets heel weinig foto's van die specifieke vrachtwagens zijn.

De Mix: De onderzoekers bouwden een aangepaste trainingsbibliotheek door drie dingen te mengen:
1. Studiofoto's: Hoogwaardige foto's van auto's uit een beroemde dataset (Stanford Cars).
2. Web Scraping: Ze verzamelden foto's van vans en vrachtwagens van het internet.
3. Echte Straatfragmenten: Ze namen werkelijke videoclips uit Ann Arbor, Michigan, en knipten de voertuigen eruit om de robot te laten zien hoe echte, rommelige straatomstandigheden eruitzien (wazig, zijwaarts, gedeeltelijk verborgen).
De Disbalans: De robot zag veel meer foto's van gewone auto's en SUV's dan van grote vrachtwagens. Om dit op te lossen, werd het trainingsproces aangepast zodat er extra aandacht werd besteed aan de zeldzame foto's van vrachtwagens, zodat de robot ze niet zou negeren.

4. De Resultaten: Hoe goed werkte het?

Het team testte deze robot op twee verschillende soorten video.

Test 1: Het "Thuisveld" (In-Distribution)

De Opstelling: Ze testten het op video van dezelfde straat waar ze de trainingsfragmenten hadden opgenomen (Ann Arbor).
De Score: Het behaalde 94% correctheid.
De Details: Het was geweldig in het opsporen van SUV's (97% nauwkeurigheid). Het was ook erg goed in personenauto's en pickups. Het enige moment waarop het moeite had, was wanneer het voertuig moeilijk te zien was, en het gebruikte toen correct zijn "Ik weet het niet"-knop in plaats van foutief te gokken.

Test 2: Het "Uitwedstrijd" (Out-of-Distribution)

De Opstelling: Ze testten het op video van een totaal andere locatie, gemaakt met een speciale onderzoeksfiets met andere camera's en belichting. Ze hebben de robot niet opnieuw getraind voor deze nieuwe locatie.
De Score: Het behaalde 89% correctheid.
De Details: Dit is een zeer sterk resultaat voor een systeem dat niet opnieuw is getraind voor een nieuwe plek.
- SUV's en Pickups bleven zeer nauwkeurig.
- Minivans werden iets lastiger. De nauwkeurigheid daalde, maar vooral omdat de robot voorzichtiger werd. De robot begon vaker "Onbekend" te zeggen (25% van de tijd) omdat de minivans er anders uitzagen in de nieuwe video. Het begon niet wild te gokken; het gaf simpelweg toe dat het onzeker was.

5. Waarom dit ertoe doet

Het is Open Source: De auteurs hebben alle code, het getrainde robotbrein en de data gratis vrijgegeven. Iedereen kan het downloaden en gebruiken om eigen straatvideo's te analyseren.
Veiligheid Eerst: Door onderscheid te maken tussen een kleine auto en een grote vrachtwagen, kunnen stadsplanners en veiligheidsonderzoekers eindelijk begrijpen welk type voertuigen precies fietsers in gevaar brengt.
Geen Handmatig Werk: Voorheen moesten mensen uren aan video bekijken om deze voertuigen te tellen. Nu kan dit hulpmiddel het automatisch doen.

Kortom: Het artikel presenteert een slimme, gratis tool die werkt als een tweestapsfilter. Eerst vindt het de auto's. Daarna sorteert het ze zorgvuldig in specifieke typen. Als het het niet zeker weet, geeft het dat toe, zodat de veiligheidsgegevens niet worden vervuild door slechte gokken. Het werkt goed, zelfs op nieuwe straten zonder dat het opnieuw getraind hoeft te worden.

Technische Samenvatting: Een Open-Source Twee-Traps Computer Vision Pipeline voor Fijnmazige Voertuigclassificatie

Probleemstelling
Dit artikel adresseert een kritiek gat in onderzoek naar de veiligheid van fietsers: het gebrek aan geautomatiseerde hulpmiddelen die in staat zijn om voertuigen te classificeren in categorieën die relevant zijn voor het letselrisico op basis van natuurlijke wegvideo. Standaard objectdetectie-benchmarks (bijv. COCO) bieden grove labels (auto, vrachtwagen, bus, motorfiets), maar deze zijn onvoldoende voor veiligheidsanalyses die een onderscheid vereisen tussen specifieke carrosserievormen, zoals personenauto's versus SUV's of commerciële vrachtwagens. Bestaande systemen voor fijnmazige herkenning zijn doorgaans getraind op gecontroleerde, frontale beelden (bijv. foto's van fabrikanten) en zijn niet rigoureus geëvalueerd op robuustheid over verschillende opname locaties of onder natuurlijke omstandigheden waarbij bewegingsonscherpte, obstructie en variabele verlichting voorkomen. Bovendien bestaat er geen open-source, end-to-end pipeline die real-time detectie integreert met fijnmazige classificatie voor implementatie op bestaande roadside video-archieven zonder aangepaste infrastructuur.

Methodologie
De auteurs stellen een modulaire, twee-traps computer vision pipeline voor, ontworig voor implementatie op standaard roadside video:

Fase 1: Grove Voertuiglokalisatie
- Model: Een vooraf getrainde RT-DETR (Real-Time DEtection TRansformer) detector, specifiek het rtdetr_r50vd_coco_o365 checkpoint.
- Functie: Scant volledige videoframes op zoek naar alle voertuigen en wijst grove COCO-categorie-labels toe (auto, vrachtwagen, bus, motorfiets).
- Filtering: Het systeem behoudt alleen "auto" en "vrachtwagen" detecties voor verdere verwerking. Bus- en motorfietsdetecties worden behouden met hun grove labels.
- Restricties: Een betrouwbaarheidsdrempel van 0,35 filtert detecties met een lage betrouwbaarheid eruit. Een grootte-gate sluit bounding boxes uit waarbij de korte zijde <5,5% van de framehoogte is of het oppervlak <0,04% van het frame, om te voorkomen dat de tweede fase voertuigen verwerkt die te ver weg zijn voor zinvolle textuuranalyse.
Fase 2: Fijnmazige Classificatie
- Model: Een gefinetuned Vision Transformer (ViT-Base/16), vooraf getraind op ImageNet-21k.
- Input: Bijgesneden (cropped) afbeeldingen van voertuigen gedetecteerd in Fase 1.
- Output: Eén van zes specifieke carrosserie-categorieën: personenauto, SUV, pick-uptruck, minivan, grote bestelwagen en commerciële vrachtwagen.
- Trainingsstrategie: Het model werd getraind op een composiet dataset (16.581 afbeeldingen) die Stanford Cars (gemapt naar 4 klassen), web-gescrapte beelden (voor ondervertegenwoordigde klassen) en veldbeelden van de Ann Arbor studieplaats combineert. Om de ernstige klassenonbalans aan te pakken (bijv. commerciële vrachtwagens die <1% van de data vertegenwoordigen), gebruikten de auteurs focal loss met inverse frequentie-weging en een weighted random sampler.
- Abstentiemechanisme: Een betrouwbaarheidsgebaseerde gating-mechanisme wordt toegepast op de Stage 2 softmax-output. Als de maximale voorspelde waarschijnlijkheid onder een klasse-specifieke drempel van 0,60 valt, geeft het systeem een "onbekend" label in plaats van een classificatie met lage betrouwbaarheid. Dit is ontworpen om foutieve classificaties in ambigue scenario's te voorkomen.

Belangrijkste Bijdragen

Nieuwe Vocabulaire en Pipeline: Het eerste open-source systeem dat expliciet getraind en geëvalueerd is op een zes-categorieën carrosserie-taxonomie die relevant is voor letselrisico, waarmee het verder gaat dan grove COCO-labels of merk-en-model identificatie.
Betrouwbaarheidsgebaseerde Abstentie: De implementatie van een drempelwaarde-mechanisme dat onzekere voorspellingen omzet in "onbekende" labels, wat een gekalibreerde maatstaf biedt voor modelonzekerheid in plaats van het af te dwingen van foutieve classificaties.
Rigoureuze Evaluatie: De studie biedt een grootschalige evaluatie op 3.805 geannoteerde inhaalmomenten (overtaking events) van een fietspadcorridor (in-distribution) en een onafhankelijke out-of-distribution (OOD) evaluatie op 311 gebeurtenissen van een aparte geïnstrumenteerde fietsdataset, zonder hertraining.
Open-Source Release: De volledige pipeline, inclus inclusief inference scripts, trainingscode, evaluatie-utiliteiten en gefinetuned modelgewichten, wordt vrijgegeven om reproduceerbaarheid te ondersteunen.

Resultaten

In-Distribution Prestaties: Op de Ann Arbor dataset (3.805 gebeurtenissen) bereikte de pipeline een algehele nauwkeurigheid van 0,94. De per-klasse F1-scores varieerden van 0,91 (minivan) tot 0,97 (SUV). De dominante fouten betreften verwarring tussen visueel gelijkaardige categorieën (bijv. personenauto vs. SUV).
Out-of-Distribution Prestaties: Op de onafhankelijke geïnstrumenteerde fietsdataset (311 gebeurtenissen) bereikte de pipeline een algehele nauwkeurigheid van 0,89 zonder enige hertraining of drempelverandering.
- Drie van de vier goed vertegenwoordigde categorieën (SUV, pick-uptruck, personenauto) behielden F1-scores $\ge$ 0,90.
- Degradatie Minivan: De meest significante daling vond plaats in de minivan-categorie (F1: 0,91 $\to$ 0,72). De auteurs schrijven dit primair toe aan een stijging in de abstentieratio (van 2,4% naar 25,0%) in plaats van actieve misclassificatie, wat aangeeft dat het betrouwbaarheidsmechanisme de modelonzekerheid succesvol heeft doorgegeven.
Minderheidsklassen: Commerciële vrachtwagens en grote bestelwagens vertoonden een hoge onzekerheid vanwege de schaarse steekproefomvang in zowel de trainings- als evaluatiesets, hoewel het model het vermogen demonstreerde om hen te classificeren wanneer zij aanwezig waren.

Significantie en Claims
Het artikel claimt dat een modulaire, coarse-to-fine architectuur die een algemene detector combineert met een gefinetuned Vision Transformer, een robuuste fijnmazige voertuigclassificatie kan bereiken op natuurlijke wegvideo zonder dat bounding-box annotaties voor de detectiefase of locatie-specifieke hertraining voor implementatie vereist zijn.

De significantie van dit werk ligt in de toepassing op de veiligheid van fietsers. Door de automatisering en schaalbaarheid van de annotatie van voertuigcarrosserieën mogelijk te maken, stelt de pipeline onderzoekers in staat om de blootstelling aan specifieke voertuigtypen (bijv. SUV's vs. personenauto's) te kwantificeren die onevenredig vaak geassocieerd worden met ernstig letsel. Deze granulariteit ontbreekt momenteel in standaard verkeersmonitoring en crashdatabases. Daarnaast biedt het betrouwbaarheidsgebaseerde abstentiemechanisme een veiligheidskritische functie voor geautomatiseerde monitoringsystemen, waardoor ze elegant kunnen degraderen door onzekere gebeurtenissen te markeren voor menselijke controle in plaats van stille fouten te produceren. De open-source aard van het instrumentarium is bedoeld om de barrières te verlagen voor onderzoekers die de blootstelling van kwetsbare weggebruikers en de samenstelling van het verkeer bestuderen.