Vision-Language Feature Alignment for Road Anomaly Segmentation

Dit artikel introduceert VL-Anomaly, een nieuw raamwerk dat visueel-taalmodellen gebruikt om de prestaties van wegafwijkingsegmentatie te verbeteren door valse positieven op normale achtergronden te onderdrukken en de detectie van onbekende obstakels te versterken.

De kern

Stel je voor dat je een zelfrijdende auto hebt die als een nieuwsgierig kind door de wereld rijdt. Deze auto heeft een camera (zijn ogen) en een brein (zijn software) dat hem vertelt wat hij ziet: "Dat is een weg," "Dat is een boom," "Dat is een auto."

Maar er is een groot probleem: wat gebeurt er als de auto iets ziet dat hij nooit eerder heeft gezien? Bijvoorbeeld een koe die midden op de weg staat, of een vreemd gekleurd object dat niet op zijn lijstje staat?

Oude systemen doen dan vaak iets doms: ze proberen het te "gokken" en zeggen: "Oh, dat moet wel een auto zijn!" of "Dat is gewoon een stukje weg." Dit is gevaarlijk. Ze zien de koe niet als een koe, maar als een foutje in de weg.

Het probleem: De "Gokker"
De oude methoden kijken alleen naar de details van de afbeelding (kleuren, vormen). Als de lucht heel blauw is of de bomen heel groen, denken ze soms dat dit "vreemd" is, omdat de kleuren net anders zijn dan normaal. Ze zien de koe niet, maar ze zien wel een "vreemde vlek" in de lucht en denken dat er iets mis is. Dit noemen ze vals-positieven: ze waarschuwen voor dingen die er niet zijn, en missen de echte gevaren.

De oplossing: VL-Anomaly (De Verteller)
De onderzoekers van dit paper hebben een slimme nieuwe manier bedacht, genaamd VL-Anomaly. In plaats van alleen naar de foto te kijken, geven ze de auto een woordenboek en een verteller mee.

Hier is hoe het werkt, met een simpele analogie:

1. De Twee Ogen (Visie + Taal)

Stel je voor dat de auto twee soorten "ogen" heeft:

• Oog 1 (De Camera): Ziet pixels, kleuren en vormen.
• Oog 2 (De Verteller): Kent de betekenis van woorden. Deze "verteller" is getraind op miljoenen foto's en teksten (zoals CLIP, een bekende AI). Hij weet wat een "koe" is, wat een "weg" is en wat een "boom" is, niet alleen door te kijken, maar door te begrijpen.

2. De "Prompt-Leraar" (PL-Aligner)

De grootste uitdaging is dat de camera en de verteller in verschillende talen spreken. De camera spreekt "pixel-taal" en de verteller spreekt "woord-taal".

De onderzoekers hebben een talenles bedacht (de Prompt Learning-Driven Aligner).

• Ze leren de camera om te luisteren naar de verteller.
• Ze zeggen tegen de camera: "Kijk naar deze pixel. De verteller zegt dat dit 'weg' is. Als het eruit ziet als weg, maar de verteller zegt 'nee', dan is het waarschijnlijk een vreemd object."
• Hierdoor leert de auto: "Oh, die groene vlek is gewoon gras (dat is normaal), maar die bruine vlek die eruit ziet als een koe, maar niet op mijn lijstje staat... dat is een anomalie (een gevaar)."

Dit voorkomt dat de auto schreeuwt "Gevaar!" als hij gewoon naar een wolk of een boom kijkt. Hij weet nu: "Dat is een boom, dat is normaal."

3. De Drie-Vlakken Check (Multi-source Inference)

Wanneer de auto een beslissing moet nemen, gebruikt hij niet één, maar drie bronnen om zeker te zijn:

1. Het Zelfvertrouwen: "Ik denk dat dit een weg is, hoe zeker ben ik?"
2. De Woord-Check: "Past dit beeld bij het woord 'weg' dat ik ken?"
3. De Globale Check: "Zie ik in het hele plaatje iets dat niet past bij wat ik ken?"

Als deze drie het niet eens zijn, of als de "Woord-Check" zegt "Dit past niet bij wat ik ken", dan weet de auto: "Dit is een onbekend obstakel!" en hij remt veilig.

Waarom is dit zo goed?

In de tests hebben ze gekeken naar datasets met echte straten en vreemde objecten (zoals dieren of afval).

• Oude systemen: Zagen vaak fouten in de lucht of op het gras (vals alarm) en misten soms echte dieren.
• VL-Anomaly: Ziet de koe duidelijk als een koe (een gevaar) en negeert de wolk in de lucht (geen gevaar).

Kort samengevat:
Deze nieuwe methode geeft de zelfrijdende auto niet alleen ogen, maar ook verstand. Door te leren wat woorden betekenen en die te koppelen aan wat de camera ziet, kan de auto veel beter onderscheid maken tussen "gewoon een vreemd ogende boom" en "een echt gevaarlijk object dat ik niet ken". Het maakt de auto veiliger en slimmer, zodat hij niet meer paniek krijgt om niets, maar wel reageert op echte gevaren.

Technische samenvatting

Titel: Vision-Language Feature Alignment voor Anomalie-segmentatie op Wegen

Auteurs: Zhuolin He, Jiacheng Tang, Jian Pu, Xiangyang Xue

---

1. Het Probleem

Autonome systemen en mobiele robots moeten in complexe omgevingen betrouwbaar onbekende obstakels (Out-of-Distribution of OOD) kunnen detecteren. Bestaande methoden voor road anomaly segmentation (het segmenteren van afwijkingen op de weg) vertrouwen vaak uitsluitend op visuele statistieken op pixel-niveau, zoals de zekerheid (confidence) van de voorspelling of afwijkingen in lage-level visuele kenmerken.

Deze benadering heeft twee belangrijke nadelen:

• Hoge vals-positieve rates: Semantisch normale achtergrondgebieden (zoals de lucht, vegetatie of wegdek met variaties in textuur of kleur) worden vaak ten onrechte als anomalie gemarkeerd.
• Slechte recall van echte OOD: Echte, zeldzame obstakels worden soms over het hoofd gezien omdat ze visueel lijken op bekende klassen.

Dit leidt tot veiligheidsrisico's voor de besluitvorming van robots. Bestaande vision-only modellen missen een hoog-niveau semantisch begrip om het onderscheid te maken tussen "normale variatie" en "echte onbekende objecten".

2. Methodologie: VL-Anomaly

De auteurs stellen VL-Anomaly voor, een raamwerk dat Vision-Language Models (VLMs), specifiek CLIP, gebruikt om semantische priors in te brengen tijdens zowel training als inferentie.

A. Prompt Learning-Driven Aligner (PL-Aligner)

Het kernidee is om de visuele features van een segmentatiemodel (gebaseerd op Mask2Former) uit te lijnen met de tekst-embeddings van bekende categorieën uit CLIP. Omdat VLMs niet van nature zijn ontworpen voor pixel-level multi-class predictie, introduceren de auteurs een speciaal module:

• Leerbaar Prompt Design: In plaats van handgemaakte zinnen, gebruiken ze leerbare context-tokens ([V]1...[V]M) die samen met de tekstnaam van de klasse (bijv. "auto", "fiets") worden geoptimaliseerd. Dit voorkomt ambiguïteit en past zich automatisch aan de segmentatietaken aan.
• Tweestaps Uitlijning:
  1. Pixel-level uitlijning: De visuele features van het backbone-netwerk worden uitgelijnd met de tekst-embeddings via een contrastief verlies. Dit zorgt ervoor dat pixels die bij een bekende klasse horen, semantisch dicht bij de bijbehorende tekst liggen.
  2. Mask-level uitlijning: De mask-queries van de decoder worden uitgelijnd met de reeds geprojecteerde pixel-features en de tekst-embeddings. Dit zorgt voor consistentie op het niveau van objectmaskers.
• Verliesfunctie: Het totale verlies combineert de standaard segmentatiewaarschuwingsfunctie met de twee uitlijningsverliezen (pixel en masker), wat het model dwingt om visuele en tekstuele representaties te verenigen.

B. Multi-source Inference Strategie

Tijdens de inferentie worden drie complementaire bronnen gecombineerd om een robuuste anomalie-score te genereren:

1. Detector Confidence: De klassieke zekerheidsscore van het segmentatienetwerk.
2. Text-guided Similarity: De gelijkenis tussen de gealigneerde visuele features en de leerbare prompt-embeddings (uit de training).
3. CLIP-based Image-Text Similarity: Een globale semantische prior berekend door de beelden direct te vergelijken met tekst-embeddings via de bevroren CLIP-image encoder.

De uiteindelijke anomalie-score ($S_{final}$) is een gewogen som van deze drie componenten. Een lage score voor alle bekende klassen resulteert in een hoge anomalie-score, wat wijst op een OOD-gebied.

3. Belangrijkste Bijdragen

1. PL-Aligner: Een nieuw module dat visuele en tekstuele features uitlijnt op zowel pixel- als mask-niveau, wat leidt tot robuustere tekst-gestuurde anomalie-segmentatie.
2. Multi-source Inference: Een strategie die detector-vertrouwen, tekst-gestuurde gelijkenis en CLIP-gebaseerde beeld-tekst gelijkenis fuseert om de zwaktes van single-source methoden te mitigeren.
3. State-of-the-Art Prestaties: De methode behaalt consistent de beste resultaten op drie belangrijke benchmarks: RoadAnomaly, SMIYC en Fishyscapes.

4. Resultaten

De auteurs evalueren hun methode op diverse datasets en vergelijken deze met bestaande methoden zoals MSP, Entropy, Mask2Anomaly en ODIN.

• RoadAnomaly & SMIYC: VL-Anomaly verbetert de AuROC (Area Under the ROC Curve) met +0.6 ten opzichte van de sterke baseline Mask2Anomaly (bijv. 96.8 vs 96.2 op RoadAnomaly). Cruciaal is de reductie in FPR95 (False Positive Rate bij 95% recall), wat aangeeft dat er minder vals-positieven zijn op normale achtergronden.
• Fishyscapes: Op de uitdagende "Lost & Found" subset verbetert de AuPRC (Area Under the Precision-Recall Curve) drastisch van 46.0 (Mask2Anomaly) naar 69.5.
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat VL-Anomaly veel schoner anomalie-kaarten produceert. Waar andere methoden de lucht of bomen vaak als anomalie markeren, onderdrukt VL-Anomaly deze vals-positieven effectief en focust het op echte obstakels (zoals dieren).

5. Betekenis en Conclusie

Dit werk markeert een verschuiving in het domein van anomaliedetectie door vision-language priors te gebruiken als semantische regularisatie. In plaats van alleen te vertrouwen op statistische afwijkingen in visuele features, gebruikt het model semantisch begrip om te bepalen of een gebied "bekend" is in de wereld van de taal.

• Veiligheid: Door vals-positieven op normale achtergronden te verminderen, wordt de betrouwbaarheid van autonome systemen aanzienlijk verhoogd.
• Generalisatie: De methode toont sterke generalisatievermogen over verschillende datasets zonder de basisarchitectuur van het segmentatienetwerk fundamenteel te hoeven veranderen.
• Toekomst: De auteurs merken op dat de gewichten voor de fusie van scores momenteel handmatig worden ingesteld. Toekomstig werk richt zich op het automatiseren van deze gewichtslearning voor betere schaalbaarheid.

Samenvattend biedt VL-Anomaly een effectieve oplossing voor het probleem van onbekende obstakels in het wegverkeer door de kracht van multimodale (visueel-taal) modellen te benutten om de grens tussen "normale variatie" en "gevaarlijke anomalie" scherper te definiëren.