MonoSAOD: Monocular 3D Object Detection with Sparsely Annotated Label

Probleemstelling

Monoculaire 3D-objectdetectie (het detecteren van objecten in 3D met slechts één camera) heeft indrukwekkende prestaties geleverd op datasets met volledig gelabelde data. Echter, het verkrijgen van precieze 3D-annotaties (diepte, afmetingen, oriëntatie) is extreem duur en tijdrovend (3 tot 16 keer langer dan 2D-annotatie). In real-world scenario's zijn datasets vaak sparsely annotated (schaars gelabeld), wat betekent dat slechts een fractie van de zichtbare objecten is gelabeld.

Bestaande methoden voor schaarse annotatie (SAOD) zijn vaak gebaseerd op LiDAR-data (die diepte direct meten) of vertrouwen puur op 2D-vertrouwensscores. Deze benaderingen falen bij monoculaire detectie omdat:

1. Er geen expliciete geometrische supervisie (zoals LiDAR) is.
2. Hoge 2D-vertrouwensscores niet garanderen dat de geschatte 3D-eigenschappen (zoals diepte en oriëntatie) correct zijn.
3. Bestaande augmentatiemethoden vaak onrealistische scènes creëren (bijv. objecten zweven boven de grond of overlappen verkeerd).

Dit leidt tot een aanzienlijke prestatiedaling bij monoculaire 3D-detectie onder schaarse supervisie.

Methodologie: Het MonoSAOD Framework

De auteurs stellen een nieuw framework voor dat twee kernmodules combineert om robuuste detectie te bereiken met weinig labels: een Teacher-Student architectuur aangevuld met Road-Aware Patch Augmentation (RAPA) en Prototype-Based Filtering (PBF).

1. Road-Aware Patch Augmentation (RAPA)

Om het gebrek aan trainingsdata te compenseren, wordt gebruikgemaakt van data-augmentatie, maar dan op een geometrisch consistente manier.

• Probleem met bestaande methoden: Traditionele "copy-paste" methoden plakken vaak hele rechthoekige gebieden (inclusief achtergrond) over, wat onrealistische artefacten veroorzaakt, of plaatsen objecten op onmogelijke locaties (bijv. op gebouwen).
• RAPA Oplossing:
  • Segmentatie: Het model gebruikt Segment Anything Model (SAM) om objecten (zoals auto's) perfect te scheiden van de achtergrond, zodat alleen het object wordt overgeplaatst.
  • Road-Aware: Het model gebruikt een weg-segmentatiemaske om te bepalen waar objecten fysiek kunnen staan (alleen op rijbare oppervlakken).
  • 3D-Geometrische Consistentie: Wanneer een object wordt verplaatst naar een nieuwe positie in de scène, worden de 3D-coördinaten, de rotatie en de oriëntatie dynamisch aangepast. De observatiehoek wordt behouden, maar de globale rotatie wordt berekend op basis van de nieuwe camera-hoek. Dit zorgt ervoor dat het verplaatste object er visueel en geometrisch correct uitziet in de nieuwe context.

2. Prototype-Based Filtering (PBF)

In plaats van te vertrouwen op vertrouwensscores (confidence scores) voor het selecteren van pseudo-labels, introduceert PBF een dubbel filtermechanisme om de kwaliteit van voorspellingen te valideren.

• Prototype Initialisatie: Aan het begin van het trainen worden "prototypes" (kanonieke RoI-features) gegenereerd op basis van de schaarse ground-truth labels.
• Twee Filtercriteria:
  1. Semantische Consistentie (Feature Similarity): De voorspelling wordt vergeleken met de opgeslagen prototypes. Alleen voorspellingen die visueel consistent zijn met de geleerde objectrepresentaties worden overwogen.
  2. Geometrische Betrouwbaarheid (Depth Uncertainty): Het model schat de onzekerheid (uncertainty) van de dieptevoorspelling. Voorspellingen met hoge onzekerheid worden verworpen, zelfs als ze een hoge classificatie-score hebben.
• Selectie: Alleen voorspellingen die aan beide criteria voldoen, worden opgeslagen als hoogwaardige pseudo-labels in een "GT Bank". Deze worden in volgende epochs behandeld als ground truth voor de student-netwerk.

Kernbijdragen

1. Eerste Formulering: Dit is het eerste werk dat specifiek monoculaire 3D-objectdetectie onder schaarse annotatieformuleert en de beperkingen van bestaande methoden blootlegt.
2. RAPA Module: Een innovatieve augmentatiestrategie die objecten geometrisch correct en realistisch op de weg plaatst, gebruikmakend van SAM voor schone segmentatie.
3. PBF Module: Een nieuw mechanisme voor het genereren van pseudo-labels dat 2D-kenmerkconsistentie en 3D-dieptebetrouwbaarheid combineert, in plaats van alleen te vertrouwen op confidence scores.
4. Robuustheid: Het framework is ontworpen om te werken in uitdagende omstandigheden, zoals mist, waar annotaties nog moeilijker te maken zijn.

Resultaten

De methode is geëvalueerd op de KITTI-dataset (zowel helder als mistig) met verschillende niveaus van schaarse annotatie (30%, 50%, 70%).

• Prestatieverbetering: Bij 30% annotatie overtreft MonoSAOD bestaande SAOD-methoden (zoals Co-mining, SparseDet, Calibrated Teacher) aanzienlijk.
  • Op de KITTI validatie-set (Auto-klassen) bereikte het een AP3D van 21.28 (Easy) bij 30% annotatie, vergeleken met ~17.14 voor de beste concurrent.
  • Op de test-set werd een verbetering van bijna 7 punten (Easy) behaald ten opzichte van de baseline.
• Ablatie Studies: Experimenten tonen aan dat zowel RAPA als PBF essentieel zijn. RAPA verbetert de representatie van objecten, terwijl PBF de kwaliteit van de pseudo-labels garandeert. De combinatie levert de beste resultaten op.
• Generalisatie: De methode werkt goed als plug-in voor verschillende monoculaire detectoren (MonoDETR en MonoDGP).
• Mistige Omstandigheden: Op de "Foggy KITTI" dataset behaalde de methode ook de beste resultaten, wat aantoont dat het robuust is tegen slechte zichtbaarheid en onvolledige labels.
• Extreem Schaars: Zelfs bij slechts 10% annotatie behaalde de methode significante verbeteringen (+8.45 AP ten opzichte van de beste baseline).

Significantie

MonoSAOD is een doorbraak voor de toepassing van monoculaire 3D-detectie in de echte wereld, waar volledige 3D-annotatie vaak onhaalbaar is.

• Kostenefficiëntie: Het maakt het mogelijk om hoogwaardige 3D-detectiemodellen te trainen met een fractie van de annotatiekosten.
• Realisme: Door de focus op 3D-geometrische consistentie tijdens augmentatie (RAPA) en diepteverificatie (PBF), vermijdt het de valkuilen van eerdere methoden die vaak "hallucineren" of onrealistische scènes creëren.
• Toekomstige Toepassingen: De techniek is direct toepasbaar op autonome voertuigen en robotica, waar sensoren beperkt zijn en data-annotatie een bottleneck vormt.

Kortom, MonoSAOD lost het fundamentele probleem op van het leren van 3D-structuren uit 2D-beelden met zeer weinig supervisie door slimme data-augmentatie en een strikt, geometrisch onderbouwd pseudo-labeling proces.