Technische Samenvatting: Benchmarken van Vision Foundation-modellen voor Invoermonitoring bij Autonomie Rijden

Probleemstelling

Diepe neurale netwerken (DNN's) die worden ingezet in complexe open-werelddomeinen, zoals autonoom rijden (AR), staan voor aanzienlijke uitdagingen met betrekking tot distributieveranderingen. Deze verschuivingen manifesteren zich als semantische verschuivingen (het tegenkomen van nieuwe objecten of klassen die niet tijdens het trainen zijn gezien) of covariaatverschuivingen (veranderingen in visuele stijlen zoals belichting, weer of camera-artefacten). Huidige methoden voor Out-of-Distribution (OOD)-detectie lijden vaak onder kritieke beperkingen: ze kunnen toegang vereisen tot interne modellagen (wat onpraktisch is voor propriëtaire AR-systemen), zijn afhankelijk van specifieke architecturen, of vereisen supervisie met OOD-voorbeelden tijdens het trainen. Bijgevolg ontbreekt het aan betrouwbare, onbewaakte en modelonafhankelijke monitoren die in staat zijn onvoorziene distributieveranderingen te identificeren om operationele veiligheid te waarborgen.

Methodologie

De auteurs stellen een raamwerk voor voor onbewaakte, modelonafhankelijke invoermonitoring dat de detectie van semantische en covariaatverschuivingen verenigt. De kernbenadering omvat twee fasen:

1. Functie-extractie via Vision Foundation-modellen (VFMs): In plaats van standaard DNN's of auto-encoders te gebruiken die zijn getraind op beperkte datasets, maakt de methode gebruik van vooraf getrainde VFMs (specifiek CLIP, DINO, DINOv2 en Grounding DINO) als functie-extractoren. Deze modellen, getraind op diverse, grootschalige datasets, coderen rijke semantische contexten en subtiele visuele onderscheidingen in hun latente representaties.
2. Dichtheidsmodellering: Het systeem modelleert de verdeling van de functieruimte van de trainingsdata. Voor een nieuwe invoerimage extrahert de VFM-encoder een functievektor, en een schattingsmethode voor dichtheid berekent een "in-distribution" (ID)-score op basis van de waarschijnlijkheid of dichtheid van dat punt binnen de geleerde verdeling.

De studie benchmarkt vier dichtheidsmodelleringstechnieken van toenemende complexiteit:

• Op instantie gebaseerd: Gemiddelde Paarsgewijze Similariteit (APS) en Gemiddelde Functiesimilariteit (MFS) met behulp van cosinussimilariteit.
• One-Class Support Vector Machine (OC-SVM): Een algoritme voor noviteitdetectie dat een hypervlak vindt dat de data scheidt van de oorsprong.
• Gaussische Mengselmodel (GMM): Het modelleren van functies als een mengsel van Gaussians, waarbij het aantal componenten wordt geoptimaliseerd via het Akaike Informatiecriterium (AIC).
• Normaliserende Stromen (NF): Specifiek Real-NVP-architecturen, die omkeerbare mappingen gebruiken om hoogdimensionale waarschijnlijkheidsdichtheden te schatten.

Het raamwerk wordt geëvalueerd over 12 datasets (zowel synthetisch als real-world) die semantische verschuivingen (bijv. Lost and Found, Bravo-Synobj), covariaatverschuivingen (bijv. Foggy Cityscapes, ACDC) en gecombineerde verschuivingen (SegmentMeIfYouCan, Indian Driving Dataset) bestrijken.

Belangrijkste Bijdragen

1. Modulair Proces: Het voorstellen van een modulair proces voor onbewaakte detectie van semantische, covariaat- en gezamenlijke distributieveranderingen met behulp van VFM-functie-encoderingen en dichtheidsmodellering.
2. Uitgebreide Benchmark: De eerste systematische evaluatie van VFMs voor OOD-detectie in het uitdagende domein van autonoom rijden. Dit omvat het testen van 4 VFMs met diverse backbones (ResNet, ViT, Swin) tegen 7 gevestigde OOD-baselines en ImageNet-getrainde tegenhangers.
3. Demonstratie van Praktische Bruikbaarheid: Bewijs dat de voorgestelde methode hoog-risico invoer identificeert die waarschijnlijk fouten zal veroorzaken in downstream waarnemingstaken (semantische segmentatie), waardoor de algehele systeembetrouwbaarheid verbetert wanneer deze wordt gebruikt als filter.
4. Benchmark-raamwerk: Het opzetten van een uitgebreid raamwerk voor het evalueren van binaire OOD-classificatie in AR, waarbij diverse verschuivingstypen, datasets en evaluatieprotocollen worden gecombineerd.

Resultaten

De uitgebreide experimenten leveren enkele belangrijke bevindingen op:

• Superioriteit van VFMs: VFM-embeddings gecombineerd met dichtheidsschatting (met name Normaliserende Stromen en GMM) presteren consequent beter dan standaard DNN-encoderingen (ImageNet-getrainde modellen) en klassieke OOD-detectiemethoden (bijv. GradNorm, Energy, Entropy, KNN).
• Synergie tussen Architectuur en Methode: De prestaties zijn sterk afhankelijk van de koppeling van de VFM-architectuur en de techniek voor dichtheidsmodellering. Zo behaalde Grounding DINO (Swin Transformer) gecombineerd met Normaliserende Stromen state-of-the-art resultaten, waaronder bijna perfecte detectie (FPR95 ≈ 0) op meerdere covariaatverschuivingsscenario's en synthetische semantische verschuivingen.
• Generalisatie Real vs. Synthetisch: Hoewel sommige modellen (zoals CLIP) consistente prestaties lieten zien op real-world data maar worstelden met synthetische anomalieën, behield Grounding DINO met op stromen gebaseerde modellering zijn effectiviteit over beide heen, wat wijst op superieure generalisatie naar diverse verschuivingstypen.
• Downstream Impact: Wanneer toegepast als invoermonitor om OOD-steekproeven te filteren voordat ze worden ingevoerd in een semantisch segmentatienetwerk (DeepLabV3+), verbeterde de methode de segmentatieprestaties aanzienlijk (mIoU en mAcc) op OOD-datasets zoals de Indian Driving Dataset, wat aantoont dat de monitor succesvol foutgevoelige invoer identificeert.
• Vergelijking met Baselines: Traditionele OOD-methoden die vertrouwen op modelinterne gegevens (logits, gradiënten of confidence-scores) lieten matige tot slechte prestaties zien, met name op semantische verschuivingen, terwijl de op VFM gebaseerde benadering onafhankelijk werkt van de interne gegevens van het bewaakte netwerk.

Betekenis en Beweringen

Het artikel beweert dat Vision Foundation-modellen, wanneer gekoppeld aan robuuste technieken voor dichtheidsmodellering, een veelbelovende weg bieden naar het realiseren van modelonafhankelijke, onbewaakte en betrouwbare veiligheidsmonitoren voor complexe visuele taken.

De auteurs benadrukken dat hun aanpak het "long tail"-probleem in autonoom rijden aanpakt door onvoorziene distributieveranderingen te detecteren zonder toegang tot propriëtaire modelinterne gegevens of eerdere blootstelling aan OOD-voorbeelden. Hoewel de studie zich richt op detectie in plaats van mitigatie, suggereren de resultaten dat het identificeren van invoer met een hoog risico op het veroorzaken van fouten in downstream DNN's haalbaar is. Het werk stelt vast dat de rijke representatieve kracht van vooraf getrainde VFMs voldoende is om data-verdelingen effectief te modelleren, en dat ze zowel standaard functie-extractoren als bestaande methoden voor binaire OOD-classificatie overtreffen in de context van invoermonitoring bij autonoom rijden.