FlowCLAS: Enhancing Normalizing Flow Via Contrastive Learning For Anomaly Segmentation

FlowCLAS verbetert de prestaties van normaliserende flows voor anomalie-segmentatie in dynamische robotische omgevingen door een contrastief verlies toe te voegen aan het maximum likelihood-objctief, waardoor een nieuwe state-of-the-art wordt bereikt die de prestatiekloof met leidende discriminatieve methoden overbrugt.

De kern

Stel je voor dat je een robot hebt die de wereld verkent, of het nu op een drukke straat is of in de ruimte. Deze robot moet weten wat "normaal" is: een auto, een boom, een astronaut. Maar wat gebeurt er als er iets vreemds voorbij komt? Een kind in een kostuum, een vreemd dier, of een losse bout die van een ruimtestation valt? Dit noemen we een anomalie (een afwijking).

Het probleem is dat robots vaak alleen getraind zijn op "normale" dingen. Als ze iets zien wat ze niet kennen, denken ze soms: "Oh, dit is gewoon een andere soort auto," in plaats van: "Wacht, dit is gevaarlijk!"

De onderzoekers van dit papier (FlowCLAS) hebben een slimme oplossing bedacht om robots beter te laten oordelen over deze vreemde dingen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De "Gokker"

Vroeger gebruikten robots een soort wiskundig model (een Normalizing Flow) om te proberen alle "normale" beelden te leren. Het idee was: "Als iets er heel anders uitziet dan wat we hebben geleerd, is het waarschijnlijk raar."

Maar in de echte wereld is dat lastig. De wereld is chaotisch: licht verandert, hoeken veranderen, en er zijn duizenden soorten normale bomen. Het oude model werd erdoor in de war. Het dacht soms dat een vreemd object gewoon een "andere soort boom" was, omdat het model te veel probeerde om alle mogelijke bomen te begrijpen. Het was alsof je een kind leert wat een hond is, maar als het een wolf ziet, denkt het: "Oh, dat is gewoon een heel harige hond."

2. De nieuwe oplossing: FlowCLAS (De "Twee-Ogen" aanpak)

FlowCLAS is een hybride systeem. Het combineert twee krachten:

• Kracht 1: De Statistiek (De "Normaal-Detector")
  Dit is het oude model dat nog steeds doet wat het goed kan: het leert hoe "normale" beelden eruitzien. Het houdt een lijst bij van wat normaal is.
• Kracht 2: Het Contrast (De "Vreemdeling-Detector")
  Dit is het nieuwe, slimme deel. De onderzoekers zeggen: "Laten we de robot niet alleen laten oefenen met normale beelden, maar laten we hem ook opzettelijk vreemde dingen laten zien tijdens het leren."

De Creatieve Analogie: De "Vreemdeling in de Klas"

Stel je voor dat je een robot traint om een klaslokaal te bewaken.

• De oude methode: Je laat de robot alleen foto's zien van kinderen in schooluniformen. Als er later een clown binnenkomt, denkt de robot: "Hmm, dat lijkt op een kind met een gekke hoed, dus het is waarschijnlijk oké." De robot faalt.
• De FlowCLAS-methode: Tijdens de training plakken de onderzoekers opzettelijk foto's van clowns, aliens en brandblussers in de foto's van het klaslokaal. Ze zeggen tegen de robot: "Kijk goed! Dit is een clown. Dit is niet een kind. Dit hoort niet bij de groep."

Ze gebruiken een techniek die ze Contrast Learning noemen. Het is alsof ze de robot dwingen om een duidelijke lijn te trekken in zijn hoofd:

• Linkerkant van de lijn: Alles wat normaal is (scholen, auto's, ruimtestations).
• Rechterkant van de lijn: Alles wat vreemd is (clowns, obstakels, losse bouten).

Door deze twee kanten actief van elkaar te houden, wordt de robot veel scherper. Hij weet precies waar de grens ligt.

Waarom werkt dit zo goed?

In het papier zien ze dat andere robots (die alleen op statistiek vertrouwen) vaak vastlopen in complexe situaties, zoals 's nachts of in de ruimte. FlowCLAS slaagt erin om zelfs in deze moeilijke situaties een hele vreemde helicopter of een losse tool te herkennen, terwijl de oude robots alleen op de kleur van het object reageerden.

Het is alsof de oude robot alleen keek naar de kleur van een auto, terwijl FlowCLAS kijkt naar de vorm en het gedrag van het object.

De Resultaten

De onderzoekers hebben hun robot getest op verschillende moeilijke tests:

1. Straatgevaar: Vreemde objecten op de weg (zoals een dier of een persoon in een kostuum).
2. Ruimtegevaar: Vreemde objecten die een ruimtewandeling kunnen verstoren.

In al deze tests deed FlowCLAS het beter dan elke andere methode die ze kenden. Het was zelfs zo goed dat het bijna net zo goed deed als robots die door mensen handmatig zijn getraind met duizenden voorbeelden van fouten, maar dan zonder die handmatige training.

Samenvatting

FlowCLAS is een slimme truc voor robots: in plaats van ze alleen te laten oefenen met wat "goed" is, leren we ze ook bewust wat "slecht" (vreemd) is, en dwingen we ze om een duidelijke grens te trekken tussen die twee. Hierdoor worden robots veiliger en slimmer in het herkennen van onverwachte gevaren in onze chaotische wereld.

Technische samenvatting

Probleemstelling

Anomalie-segmentatie is cruciaal voor veiligheidskritische robotica-toepassingen (zoals autonoom rijden en ruimterobotica) om onverwachte objecten te detecteren die afwijken van de trainingsdata.

• Huidige beperkingen: Bestaande methoden vallen uiteen in twee categorieën:
  1. Discriminatieve modellen: Deze presteren goed maar fungeren vaak als "black boxes" zonder expliciete probabilistische interpretatie, wat riskant is voor veiligheidssystemen.
  2. Generatieve modellen (Normalizing Flows - NF): Deze kunnen de verdeling van "normale" data modelleren en bieden probabilistische zekerheid. Echter, in dynamische omgevingen met complexe, multi-modale data (verschillende lichtomstandigheden, perspectieven, objectconfiguraties), falen standaard NF-methoden. Ze hebben de neiging om te focussen op lage-niveau pixelstatistieken in plaats van hoge-niveau semantische objectinformatie, waardoor ze out-of-distribution (OoD) samples soms onterecht als normaal classificeren.

Methodologie: FlowCLAS

De auteurs introduceren FlowCLAS (Flow via Contrastive Learning for Anomaly Segmentation), een hybride framework dat de traditionele maximum-likelihood-objectief van Normalizing Flows combineert met een discriminatieve contrastieve loss.

Kerncomponenten:

1. Feature Extractie: Een bevroren, vooraf getrainde vision foundation model (bijv. DINOv2) wordt gebruikt om discriminatieve features uit beelden te halen.
2. Normalizing Flow (NF): Een NF-netwerk ($f_\theta$) leert een omkeerbare mapping van deze features naar een latente ruimte ($Z$), waar de verdeling wordt gemodelleerd als een multivariate Gaussische verdeling.
3. Outlier Exposure (OE): Tijdens het trainingstraject worden anomalieën synthetisch gegenereerd door objecten uit een hulpdataset (zoals COCO) in normale beelden te plakken (copy-paste).
4. Hybride Trainingsdoel:
   • Maximum Likelihood Loss ($L_{ml}$): Dwingt de latente representaties van normale (inlier) data om dicht bij de Gaussische verdeling te liggen.
   • Contrastive Loss ($L_{con}$): Dit is de innovatieve toevoeging. Het projecteert de latente features naar een lagere dimensie en gebruikt een InfoNCE-loss om de afstand tussen de latente representaties van normale en anomalie-features te maximaliseren. Dit creëert een duidelijk gescheiden latente ruimte.
   • Auxiliary Segmentation Loss: Een lichte segmentatiekop wordt toegevoegd om de precisie van de objectgrenzen te verbeteren (Cross-Entropy en Lovasz-Softmax).
5. Inference: Tijdens inferentie wordt de likelihood van een pixel berekend. Een lage likelihood duidt op een anomalie. Er wordt een extra "mask-based smoothing" toegepast om inconsistenties binnen objecten te corrigeren.

Belangrijkste Bijdragen

• Hybride Framework: FlowCLAS combineert de probabilistische kracht van generatieve modellen met de discriminatieve kracht van contrastief leren, waardoor de latente ruimte expliciet wordt gestructureerd voor betere scheiding tussen normaal en abnormaal.
• Verbeterde Discriminatie: Het paper toont aan dat contrastief leren essentieel is om NF's te laten focussen op hoge-niveau semantische objecten in plaats van lage-niveau patronen, een veelvoorkomend probleem bij standaard NF's.
• State-of-the-Art (SOTA) Prestaties: Het framework bereikt nieuwe SOTA-resultaten op vier uitdagende benchmarks voor robotica.
• Generaliseerbaarheid: De methode werkt als een krachtige upgrade voor bestaande NF-methoden (zoals FastFlow en UFlow), niet alleen als een nieuw model.

Resultaten

FlowCLAS werd geëvalueerd op vier benchmarks: Fishyscapes Lost & Found, Road Anomaly, SegmentMeIfYouCan (ObstacleTrack/AnomalyTrack), en ALLO (voor ruimterobotica).

• Prestaties: FlowCLAS presteert overtuigend beter dan bestaande NF-methoden en concurreert met, of verslaat, leidende discriminatieve methoden (zoals UNO).
  • Op Fishyscapes Lost & Found behaalde het een AUPRC van 88.8 (vs. 81.8 voor de vorige beste discriminatieve methode UNO).
  • Op de Road Anomaly dataset behaalde het een AUPRC van 93.0.
  • Op de ALLO dataset (ruimte) verbeterde het de AUPRC met +7.6 punten ten opzichte van de vorige SOTA (UNO).
• Ablatie Studies:
  • Het tonen van "outliers" tijdens training (OE) is cruciaal, maar alleen OE is niet genoeg; de combinatie met contrastief leren levert de grootste winst.
  • De kwaliteit van de feature-encoder (bijv. DINOv2-L-Rein) is essentieel. Standaard NF-methoden falen soms zelfs met krachtigere encoders omdat ze de complexe verdeling niet kunnen modelleren, terwijl FlowCLAS dit wel aankan dankzij de contrastieve loss.
  • Mask-based smoothing verbetert de resultaten voor FlowCLAS aanzienlijk, maar kan schadelijk zijn voor andere methoden (zoals UNO) vanwege mismatch in mask-predicties.

Betekenis en Impact

FlowCLAS sluit de prestatiekloof tussen generatieve en discriminatieve modellen voor anomalie-detectie. Voor veiligheidskritische toepassingen is dit van groot belang omdat het:

1. Betrouwbare probabilistische output biedt (in tegenstelling tot black-box discriminatieve modellen).
2. Robuust is in complexe, dynamische omgevingen waar standaard NF-methoden falen.
3. Schaalbaar is met de vooruitgang in vision foundation models, aangezien het framework ontworpen is om de sterkste bestaande encoders te benutten.

Kortom, FlowCLAS biedt een oplossing voor het fundamentele probleem dat Normalizing Flows moeite hebben met multi-modale data, door contrastief leren in te zetten om de latente ruimte effectief te structureren.