A Semantic Observer Layer for Autonomous Vehicles: Pre-Deployment Feasibility Study of VLMs for Low-Latency Anomaly Detection

Titel

Een Semantische Observatielaag voor Autonome Voertuigen: Voorafgaande Haalbaarheidsstudie van VLM's voor Laag-Latentie Anomalie-detectie.

1. Het Probleem

Autonome voertuigen (AV's) lopen een kritiek veiligheidsrisico door semantische anomalieën: contextafhankelijke gevaren die pixelgebaseerde detectoren niet kunnen redeneren.

• Beperkingen van bestaande systemen: Traditionele anomaliedetectoren (zoals FCDD) werken op pixelniveau en missen semantisch en temporair inzicht. Ze kunnen bijvoorbeeld niet onderscheiden tussen een leeg gereden bal op de weg en een schaduw, of verkeerslichten op een vrachtwagen verkeerd interpreteren.
• Snelheidsprobleem: Bestaande Vision-Language Models (VLM's) bieden wel het benodigde semantische redeneringsvermogen, maar zijn doorgaans te traag voor on-board implementatie (invoeringstijden van seconden in plaats van milliseconden).
• Doel: Er is een framework nodig dat semantisch vermogen combineert met de sub-seconden latentie-eisen van een echt AV-platform, zonder de primaire controlelus te verstoren.

2. Methodologie

De auteurs stellen een Semantische Observatielaag voor die parallel loopt aan de primaire besturingslus van het voertuig.

• Architectuur:

  • De laag fungeert als een "waarnemer" die op 1–2 Hz draait.
  • Hij monitort continu op semantische randgevallen (edge cases) die de primaire stack niet kan redeneren.
  • Bij het detecteren van een hoog-vertrouwde anomalie triggert hij een veilige overdracht (fail-safe handoff) naar een veiligheidsstack.
  • Omdat deze laag niet in de kritieke controlepad zit, is een invoeringstijd van ~500 ms acceptabel.

• Model & Optimalisatie:

  • Model: Gebruik van Cosmos-Reason1-7B (een op Qwen2.5-VL gebaseerd model, gespecialiseerd in robotica en embodied reasoning).
  • Quantisatie: Toepassing van NVFP4 (4-bit) kwantisatie op de weight matrices van de transformer-backbone om het geheugenverbruik en de rekentijd te verlagen.
  • Versnelling: Implementatie van FlashAttention2 om de geheugenbandbreedte-overhead bij self-attention te verminderen.
  • Prompt Engineering: Gebruik van gestructureerde, "verbaal" prompts (XML-achtige output) om deterministische en korte antwoorden ("Normal" of "Anomaly") te forceren, wat de latentie verlaagt.
  • Temporeel Redeneren: In plaats van enkele frames, worden vensters van $k$ opeenvolgende frames (bijv. 5 seconden video) verwerkt om dynamische gevaren (zoals een voertuig dat afdrijft) te detecteren.

3. Belangrijkste Bijdragen

1. Concept van de Observatielaag: Formalisering van een aparte semantische observatielaag die losgekoppeld is van de primaire controlelus, specifiek ontworpen voor het detecteren van contextuele gevaren.
2. Haalbaarheidsstudie: De eerste systematische evaluatie van Cosmos-Reason1-7B als semantische waarnemer, met focus op nauwkeurigheid, latentie en het effect van kwantisatie.
3. Kritieke Negatieve Bevinding: Het identificeren van een catastrofale ineenstorting van de recall bij gebruik van NF4-kwantisatie in videomodi, wat leidt tot een harde beperking voor de implementatie.
4. Veiligheidsanalyse: Een koppeling van prestatie-metrics aan veiligheidsdoelen (ISO 26262 HARA), waarbij wordt aangetoond dat het systeem momenteel voldoet aan ASIL-B (precisie) maar niet aan ASIL-D (recall) zonder verdere optimalisatie.

4. Resultaten

• Snelheidsoptimalisatie:

  • Door NVFP4 en FlashAttention2 werd een ~50x snelheidswinst bereikt ten opzichte van een ongeoptimaliseerde FP16-basislijn.
  • De invoeringstijd daalde van 25 seconden per frame naar **500 ms**, wat binnen het tijdskader van 1–2 Hz valt.

• Prestaties op Statische Beelden (Experiment II):

  • De combinatie van NF4-kwantisatie en een uitgebreide prompt leverde de beste resultaten voor statische beelden:
    • F1-score: 60,0%
    • Precisie: 82,8%
    • Recall: 47,0%
    • Latentie: 0,80 s.
  • Opmerking: Verkorte prompts leidden tot een volledig falen (0% F1) bij NF4.

• Prestaties op Video (Experiment III) & De "Collapse":

  • Bij verwerking van videostreams (5-seconde vensters) vertoonde NF4 een catastrofale daling in recall:
    • NF4 Recall: Daalde naar 10,6% (F1: 15,4%). Dit betekent dat 89% van de veiligheidskritieke gevaren onopgemerkt bleef.
    • BF16/INT8: Behielden een recall van ~77% en een F1 van 50,8% binnen de 1–2 Hz budget.
  • Conclusie: NF4 is niet bruikbaar voor videobased observatie in veiligheidskritieke systemen; BF16 of INT8 zijn vereist.

• Vergelijking met Statistische Detectoren:

  • Statistische modellen (zoals FCDD) behalen een perfecte ROC-AUC (~1,0) door domeinverschillen te leren, maar leveren geen actieerbare semantische labels (bijv. "gataf" vs. "schaduw"). Het VLM biedt wel deze semantische context.

5. Betekenis en Conclusie

• Haalbaarheid: De studie bewijst dat een kwantisatie-geoptimaliseerd VLM kan functioneren als een semantische observatielaag binnen de timing-eisen van een AV-platform.
• Veiligheidsgrenzen: Het paper benadrukt dat hoewel de architectuur haalbaar is, de huidige recall-waarden (vooral bij video) nog niet voldoen aan de strenge ASIL-D eisen voor een primaire veiligheidslaag.
• Toekomstige Richting: Om de recall te verbeteren en het systeem veilig te maken, worden LoRA-finetuning, aggregatie van scores over meerdere frames en gekalibreerde drempelwaarden voorgesteld.
• Implementatieadvies: Voor de observatielaag moet geen NF4 worden gebruikt in videomodi; BF16 of INT8 zijn de enige veilige opties. Het systeem moet niet als enige veiligheidslaag worden ingezet totdat de recall-doelen zijn bereikt.

Kortom, dit paper biedt een blauwdruk voor het integreren van geavanceerde semantische redenering in autonome voertuigen, maar waarschuwt tegelijkertijd voor de valkuilen van agressieve kwantisatie in dynamische, tijdsgevoelige scenario's.