💻 computer science

Mitigating Feature Entanglement and Imbalance in Driving Style Classification via Physically Isolated Hierarchical Transformers

Dit artikel stelt de Isolated Hierarchical Transformer (IHT) voor, een nieuwe architectuur die feature-entanglement en klasse-onbalans bij rijstijlclassificatie vermindert door fysiek geïsoleerde aandachtmechanismen af te dwingen en Supervised Contrastive Loss te integreren, waardoor een state-of-the-art prestatie wordt bereikt op real-world CAN-bus data.

Oorspronkelijke auteurs: Bingheng Wu, Bin Cai, Ruyi Tang, Dafei Huang

Gepubliceerd 2026-10-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bingheng Wu, Bin Cai, Ruyi Tang, Dafei Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Elke keer dat een auto beweegt, genereert het interne computersysteem een constante stroom gegevens die precies beschrijft hoe het voertuig zich gedraagt. Deze informatie, die voortvloeit uit sensoren die snelheid, acceleratie en de kracht waarmee de bestuurder de pedalen indrukt bijhoudt, vormt een gedetailleerd profiel van de persoon achter het stuur. Voor ingenieurs die slimmere transportsystemen bouwen, is het begrijpen van deze profielen cruciaal. Het stelt hen in staat om veiligheidsfuncties te ontwerpen die reageren op specifieke rijgewoonten, verzekeringspolissen te creëren die de werkelijke risico's weerspiegelen, en bestuurders te trainen om veiliger te rijden. Het omzetten van deze ruwe stroom getallen naar een helder begrip van een rijstijl is echter verrassend moeilijk. De gegevens zijn rommelig en de patronen zijn vaak verborgen. Belangrijker nog, de gegevens zijn sterk scheefgetrokken; de meeste bestuurders gedragen zich op een standaard, voorspelbare manier, terwijl de bestuurders die ofwel extreem voorzichtig of gevaarlijk agressief zijn, zeldzaam zijn. Deze schaarste maakt het voor computerprogramma's moeilijk om te leren hoe deze zeldzame stijlen er werkelijk uitzien, wat er vaak toe leidt dat ze de drijvers negeren die ze juist het meest moeten herkennen.

Een team onderzoekers van de Chongqing University en SERES Automobile Co., Ltd. heeft een nieuwe methode ontwikkeld om deze problemen op te lossen, door een complexe classificatietaak om te zetten in een betrouwbaarder systeem. Ze begonnen met een dataset van meer dan 4.200 real-world rijsegmenten, die elk werden gelabeld door negen ervaren experts die de gegevens bekeken en besloten of de bestuurder normaal, agressief of conservatief was. De experts vonden dat de "conservatieve" groep erg klein was en slechts een fractie van het totaal vertegenwoordigde, wat een aanzienlijke onbalans creëerde. Om dit begrijpelijk te maken, bouwden de onderzoekers een gespecialiseerd computermodel genaamd de Isolated Hierarchical Transformer. In plaats van elk stukje data als een enkele, platte lijst met getallen te behandelen, respecteert dit model de fysieke aard van de informatie. Het groepeert gerelateerde gegevens — waarbij snelheid statistieken gescheiden houdt van pedaalbewegingen en details over acceleratie — zodat de computer de afzonderlijke fysieke regels kan begrijpen die elk type beweging beheersen voordat deze worden gecombineerd om een compleet beeld te vormen.

De onderzoekers pakten ook een veelvoorkomende fout aan die wordt gemaakt bij het proberen te corrigeren van de onbalans van zeldzame rijstijlen. Vaak proberen ingenieurs de computer te helpen leren door kunstmatig meer voorbeelden van de zeldzame stijlen te creëren en de computer vervolgens te vertellen extra aandacht te besteden aan moeilijke voorbeelden. Het team ontdekte dat het doen van beide zaken tegelijkertijd het systeem eigenlijk in verwarring brengt, waardoor er een chaotische leeromgeving ontstaat waarin de computer moeite heeft om de juiste grenzen tussen verschillende rijstijlen te vinden. Ze vonden dat een meer gebalanceerde aanpak, die zorgvuldig synthetische voorbeelden toevoegt zonder de moeilijke voorbeelden te zwaar te bestraffen, veel beter werkte. Om het leerproces verder te stabiliseren, voegden ze een geometrische beperking toe die ervoor zorgt dat de voorbeelden van dezelfde rijstijl dicht bij elkaar gegroepeerd blijven in het geheugen van de computer, wat voorkomt dat de kunstmatige voorbeelden afdwalen naar verwarrende, onmogelijke combinaties.

Toen ze hun nieuwe systeem testten tegen bestaande methoden, waren de resultaten duidelijk. De nieuwe aanpak identificeerde rijstijlen met een hoge mate van nauwkeurigheid en presteerde aanzienlijk beter dan de huidige beste modellen die voor dit type gegevens worden gebruikt. Het werd vooral veel beter in het opsporen van de zeldzame, conservatieve bestuurders, waarbij de detectiegraad voor deze groep met bijna veertig procent verbeterde ten opzichte van oudere methoden. Het systeem bereikte dit terwijl het elk rijsegment in slechts 4,61 milliseconden verwerkte, een snelheid die snel genoeg is voor real-time toepassingen. Door de fysieke structuur van rijgegevens te respecteren en de valkuilen van het overmatig corrigeren voor zeldzame gebeurtenissen te vermijden, hebben de onderzoekers een robuustere tool gecreëerd voor het begrijpen van menselijk gedrag op de weg, wat een pad biedt naar veiligere en meer responsieve intelligente transportsystemen.

Technische Samenvatting: Het mitigeren van feature-verstrengeling en onbalans in classificatie van rijstijlen via fysiek geïsoleerde hiërarchische Transformers

Probleemstelling

Classificatie van rijstijlen (Driving Style Classification, DSC) op basis van CAN-busgegevens uit voertuigen is cruciaal voor intelligente transport-systemen (ITS), waaronder geavanceerde rijassistentiesystemen (ADAS) en gebruiksafhankelijke verzekeringen. De sector kampt echter met twee fundamentele knelpunten die de robuuste generalisatie belemmeren, met name onder de beperkingen van beperkte hoeveelheden door experts geannoteerde data en ernstige klassenonbalans:

Fysica-agnostische tokenisatie: Dominante tabulaire deep learning-modellen (bijv. FT-Transformer, TabNet) behandelen kinematische kenmerken als onafhankelijke scalairen via platte tokenisatie. Deze aanpak negeert fysieke modaliteitsgrenzen (bijv. het onderscheid tussen snelheiddynamiek en pedaaloperaties), waardoor het netwerk gedwongen wordt om kinematische relaties impliciet opnieuw te leren. Onder beperkte steekproefomvang ( $N < 5000$ ) riskeert deze onbeperkte globale aandacht het coderen van spookachtige cross-modale statistische correlaties in plaats van genuanteerde fysieke afhankelijkheden.
Het "Over-correctie" fenomeen: Standaardpraktijken voor het afhandelen van klassenonbalans combineren vaak data-niveau grensgerichte oversampling (bijv. ADASYN) met algoritme-niveau grens-bestraffende losses (bijv. Focal Loss). De auteurs identificeren dat de combinatie hiervan conflicterende gradiëntsignalen creëert. ADASYN concentreert synthetische samples in regio's waar grenzen overlappen, terwijl Focal Loss de gradiënten van diezelfde ruisgevoelige samples extra zwaar weegt. Deze redundantie fragmenteert de beslissingsgrenzen van de minderheidsklasse in plaats van ze te versterken, een falingsmodus die wordt aangeduid als "over-correctie".

Methodologie

Het paper stelt een uniform framework voor, de Isolated Hierarchical Transformer (IHT), geïntegreerd met specifieke strategieën voor het afhandelen van onbalans om beide knelpunten aan te pakken.

1. Architectuur: Isolated Hierarchical Transformer (IHT)

De IHT dwingt een fysica-gegronde, twee-fasen aandachtsmethode af om fysieke semantiek te behouden:

Modaliteit-bewuste tokenisatie: In tegenstelling tot platte tokenisatie wijst IHT onafhankelijke leerbare mapping-operators toe aan elk kenmerk, waarbij heterogene scalairen worden geprojecteerd naar dimensionaal uitgelijnde, ontkoppelde tokens.
Intra-modaliteit zelf-aandacht: Kenmerken die tot hetzelfde fysieke domein behoren (bijv. snelheid, acceleratie, pedaaloperaties) letten alleen op elkaar. Deze fase zuivert de lokale semantische coherentie en voorkomt voortijdige verstrengeling van uiteenlopende fysieke concepten.
Inter-modaliteit cross-aandacht: Pas nadat onafhankelijke codering heeft plaatsgevonden, gebruikt het model globale cross-aandacht om complexe interacties tussen modaliteiten te vangen (bijv. de afgeleide relatie tussen pedaalinput en acceleratie).
Ontwerpfilosofie: Deze hiërarchische structuur fungeert als een gestructureerde informatie-bottleneck, waardoor het model de kinematische priors respecteert terwijl het het representatievermogen van globale zelf-aandacht behoudt.

2. Strategie voor het afhandelen van onbalans

Om de langstaartverdeling van rijstijlen aan te pakken (waarbij de klassen "Conservatief" en "Agressief" zeldzamer zijn vergeleken met "Normaal"), stellen de auteurs een complementaire strategie voor in plaats van een redundante:

Sampling: Het gebruik van SMOTE (Synthetic Minority Over-sampling Technique) voor dichtheidsherstel in de ruwe feature-ruimte.
Loss-functie: Het koppelen van SMOTE aan Class-Weighted Cross-Entropy (CW-CCE) in plaats van Focal Loss om het "over-correctie" conflict te vermijden.
Geometrische regularisatie: De integratie van Supervised Contrastive Loss (SCL). SCL fungeert als een geometrische regularisator in de latente ruimte, wat zorgt voor intra-klasse compactheid en inter-klasse separatie. Het verankert de manifolds van de minderheidsklasse tegen de ruis die wordt geïntroduceerd door lineaire interpolatie in de ruwe feature-ruimte, waardoor het effectief voorkomt dat synthetische samples de beslissingsgrenzen fragmenteren.

3. Dataset en Feature Engineering

De studie maakt gebruik van een door experts geannoteerde dataset ( $N=4202$ ) afgeleid van 10 Hz CAN-bus signalen.

Annotatie: Negen rij-experts voerden blinde evaluaties uit op 40-seconden durende signaalclips, waarbij een substantiële inter-rater betrouwbaarheid werd bereikt (Fleiss' $\kappa = 0.82$ ).
Feature Engineering: Een multi-scale pipeline extraheert 32 kenmerken:
- Macro Stream: 13 globale statistieken gereduceerd via PCA naar 4 componenten om lineaire multicollineariteit te voorkomen.
- Micro Stream: 2s 28 lokale statistieken (range, skewness, kurtosis) afgeleid van sliding windows om instantane manoeuvres te vangen.
Fysieke Groepering: Kenmerken zijn logisch verdeeld in vier fysieke modaliteiten: Macroscopische PCA, Snelheid, Acceleratie en Pedaaloperaties.

Belangrijkste Resultaten

Experimenten werden uitgevoerd met 5-repeat 10-fold gestratificeerde cross-validatie over 48 model-strategie combinaties.

Prestaties: Het volledige framework (IHT + SMOTE + CW-CCE + SCL) behaalde een Macro F1-score van 0.8415 ( $\pm 0.0452$ ).
Vergelijkend Voordeel:
- Presteerde beter dan de FT-Transformer (Tabular SOTA) met 1.60% ( $p=0.0415$ ).
- Presteerde beter dan TabNet met 2.65% ( $p=0.0185$ ).
- Presteerde ongeveer 2.0% beter dan de beste baseline 1D-CNN.
Prestaties van de Minderheidsklasse: De F1-score voor de minderheidsklasse Conservatief bereikte 0.7129, een relatieve verbetering van 38% ten opzichte van de niet-geoptimaliseerde baseline (0.6729).
Ablatie-bevindingen:
- Architectuur: Het verwijderen van de hiërarchische isolatie (gebruik van een platte Transformer) verlaagde de prestaties naar 0.8295, wat de noodzaak van fysieke semantische isolatie bevestigt.
- Strategie: De "redundante" combinatie van ADASYN + Focal Loss resulteerde in lagere prestaties en hogere gradiëntvariantie vergeleken met de "complementaire" SMOTE + Focal Loss of SMOTE + CW-CCE.
- Feature Ontrafeling: IHT verminderde de wederzijdse informatie-redundantie van features met 52.75% vergeleken met pure baselines en bereikte een inter/intra-klasse Euclidische afstandratio van 5.658, aanzienlijk hoger dan de baselines (~2.8).
Efficiëntie: Het model behoudt een inferentie-latentie van ongeveer 4.61 ms/sample, wat de levensvatbaarheid voor real-time toepassingen aantoont.

Betekenis en Claims

Het paper claimt dat de primaire bijdrage ligt in het verschuiven van het paradigma van tabulaire deep learning voor ITS van generieke, fysica-agnostische architecturen naar gestructureerde feature-ontrafeling.

Fysica-bewuste Inductive Bias: De auteurs stellen dat de IHT-architectuur een superieure inductive bias biedt door expliciet fysieke modaliteitsgrenzen te modelleren. Dit voorkomt dat het netwerk overfit op spookachtige statistische correlaties in kleine datasets, een veelvoorkomende foutmodus in standaard Transformers toegepast op tabulaire data.
Kwantificering van "Over-correctie": De studie biedt de eerste empirische karakterisering en kwantificering van het "over-correctie" fenomeen in voertuigcontexten. Het toont aan dat het stapelen van meerdere Hard Example Mining (HEM) strategieën met overlappende mechanismen (grens-synthese + grens-straf) nadelig is, terwijl complementaire strategieën (densiteitsherstel + geometrische regularisatie) synergetische verbeteringen opleveren.
Geometrische Regularisatie: De integratie van Supervised Contrastive Loss (SCL) wordt gepresenteerd als een computationeel lichtgewicht alternatief voor complexe generatieve modellen voor het afhandelen van synthetische ruis. Het stabiliseert succesvol de latente manifold, waardoor het model de voordelen van oversampling kan benutten zonder ten onder te gaan aan de ruis van fysiek onmogelijke synthetische samples.

De auteurs concluderen dat hoewel de IHT-architectuur de globale baseline prestaties veiligstelt, de synergetische onbalans-strategie onmisbaar is voor de "laatste mijl" van het optimaliseren van veiligheidskritische minderheidsevenementen, waarbij een robuust evenwicht wordt bereikt tussen meerderheidsklasse precisie en minderheidsklasse recall.