PoseDriver: A Unified Approach to Multi-Category Skeleton Detection for Autonomous Driving

Probleemstelling

In de autonome rijwereld is het cruciaal om dynamische objecten (zoals voetgangers, voertuigen en dieren) en statische elementen (zoals rijbanen) niet alleen te detecteren, maar ook hun structuur en houding te begrijpen. Bestaande methoden gebruiken vaak boksjes (bounding boxes) of segmentatiemaskers, maar deze bieden onvoldoende granulaire informatie voor complexe interacties en voorspellingen van intenties (bijv. de richting van het hoofd van een voetganger).

Hoewel er veel onderzoek is gedaan naar skeletdetectie voor specifieke categorieën (bijv. alleen voetgangers), ontbreekt er een unificerend architectuur die meerdere categorieën en objecttypen (zowel dynamisch als statisch) gelijktijdig kan verwerken op basis van één enkele invoerafbeelding. Bestaande "categorie-agnostische" modellen zijn vaak complex, vereisen extra encoders (zoals tekst- of beeldprompts), en worstelen met nieuwe categorieën zoals fietsen of rijbanen zonder kostbare hertraining. Bovendien veroorzaakt het trainen op diverse datasets met verschillende domeinen vaak domeinverschuivingen (domain shift), wat de prestaties van standaard netwerken (met Batch Normalization) aanzienlijk vermindert.

Methodologie: PoseDriver

De auteurs introduceren PoseDriver, een unificerend "bottom-up" framework voor de gezamenlijke detectie van skeletten over vijf sleutelcategorieën: auto's, voetgangers, fietsen, dieren en rijbanen.

Kerncomponenten van de architectuur:

1. Bottom-up Benadering: In plaats van eerst objecten te detecteren en daarbinnen punten te zoeken (top-down), detecteert PoseDriver eerst alle sleutelpunten in de afbeelding en koppelt deze vervolgens aan specifieke objecten. Dit maakt gebruik van:
   • Composite Intensity Fields (CIF): Voor de lokalisatie van sleutelpunten.
   • Composite Association Fields (CAF): Voor het koppelen van punten aan specifieke objecten (delenassociatie).
2. Skelet-gebaseerde Rijbaandetectie: Een innovatieve aanpak waarbij rijbanen worden gemodelleerd als een vast aantal geordende 2D-punten (sleutelpunten). Dit lost het probleem op dat rijbanen geen semantische "joints" hebben (zoals een neus of oog). De auteurs interpoleren de ground-truth annotaties naar een vast aantal gelijkmatig verdeelde punten om topologische continuïteit te behouden.
3. Backbone-Optimalisatie:
   • De auteurs identificeren dat Batch Normalization (BN) in traditionele backbones (zoals ResNet en ShuffleNet) prestaties vermindert bij multi-task learning over diverse datasets vanwege domeinverschuiving.
   • Ze vervangen BN door Layer Normalization of kiezen voor backbones die van nature zonder BN zijn ontworpen, zoals ConvNeXt, Swin Transformer en ClipConvNeXt.
4. Task-Specifieke Verwerking: Om de grote verschillen in uiterlijk en structuur tussen categorieën (bijv. een auto vs. een mens) aan te pakken, wordt een Transformer-block (Swin block) toegevoegd voorafgaand aan elke specifieke task-head. Dit zorgt voor een balans tussen gedeelde representaties en task-specifieke verfijning.
5. Feature Fusion: Er wordt een Feature Pyramid Network (FPN) gebruikt om objecten van verschillende schalen effectief te detecteren, wat essentieel is voor de grote variatie in objectgroottes in rijscenario's.

Belangrijkste Bijdragen

1. Unified Bottom-up Framework: PoseDriver is het eerste framework dat succesvol skeletdetectie combineert voor vijf verschillende categorieën (auto's, fietsen, voetgangers, dieren, rijbanen) in één enkele pass.
2. Nieuwe Rijbaan-annotatie-methode: Ze formuleren rijbaandetectie als een skeletdetectieprobleem met een vast aantal punten, wat een state-of-the-art prestatie oplevert zonder de noodzaak van complexe associatiestappen na detectie.
3. Nieuwe Fiets-Dataset: De auteurs hebben een nieuwe dataset met handmatig geannoteerde skeletten voor fietsen toegevoegd aan het MS COCO dataset (6 sleutelpunten per fiets), een categorie die eerder weinig aandacht kreeg in dit domein.
4. Transfer Learning en Generalisatie: Ze tonen aan dat multi-task pre-training op de vier bekende categorieën de prestaties verbetert bij het detecteren van een nieuwe categorie (fietsen), zelfs zonder extra computationele kosten tijdens de inferentie.

Resultaten

De experimenten zijn uitgevoerd op diverse datasets, waaronder OpenLane, CULane, MS COCO, AnimalPose en ApolloCar3D.

• Rijbaandetectie (OpenLane): PoseDriver bereikte state-of-the-art resultaten. Het middelgrote model (ShuffleNetV2K32) behaalde een F1-score van 63,6%, wat beter is dan de bestaande SOTA-modellen zoals CondLSTR-L (ResNet-101), ondanks dat PoseDriver een lichter model gebruikt. Met zwaardere backbones (Swin-L + FPN) steeg de score tot 71,5%. Het model presteerde uitstekend in uitdagende omstandigheden zoals nacht en extreem weer.
• Multi-task Prestaties: Het gebruik van backbones zonder Batch Normalization (zoals ConvNeXt en Swin) in combinatie met FPN en Transformer-heads leidde tot aanzienlijke verbeteringen. Bijvoorbeeld, met ConvNeXt steeg de gemiddelde score van 59,3% naar 66,4% bij multi-task training.
• Fietsdetectie (Generalisatie): Modellen die vooraf waren getraind op de vier andere categorieën, presteerden significant beter bij het detecteren van fietsen dan modellen die alleen op fietsen waren getraind (bijv. +8,4 AP punten voor Swin-L). Dit bewijst de effectiviteit van de gedeelde representaties voor transfer learning.
• Ablatie Studies: De studie bevestigde dat het vervangen van Batch Normalization door Layer Normalization cruciaal is voor multi-task prestaties en dat de "Even Downsampling with Fixed Endpoints" strategie voor rijbanen de beste resultaten oplevert.

Betekenis en Impact

PoseDriver sluit de kloof tussen de eisen van hoog-niveau beslissingsalgoritmen in autonoom rijden en de praktische mogelijkheden van real-time perceptie. Door een compacte, rijke en gestructureerde representatie van het omgevingsbeeld te bieden (via skeletten in plaats van simpele boksjes), verbetert het de veiligheid en het begrip van de omgeving.

De paper demonstreert dat:

1. Een enkele, efficiënte architectuur meerdere complexe taken kan vervullen zonder de noodzaak van zware, gespecialiseerde modellen per taak.
2. Skeletrepresentaties ook effectief kunnen worden toegepast op statische elementen zoals rijbanen, wat een nieuwe richting opent voor lane detection.
3. Multi-task learning en gedeelde representaties de generalisatie naar nieuwe objectcategorieën (zoals fietsen) aanzienlijk verbeteren, wat essentieel is voor de schaalbaarheid van autonome rijsystemen.

Kortom, PoseDriver biedt een robuust, schaalbaar en state-of-the-art fundament voor de volgende generatie perceptiesystemen in autonoom rijden.