💻 computer science

Open-World Semantic Segmentation with Sensitivity Modeling

Dit artikel stelt een nieuw open-world semantische segmentatieframework voor dat de detectie van ongeziene of afwijkende inhoud verbetert door een derde "sensitiviteitsdecoder" te integreren om fijnmazige textuuronregelmatigheden en activatiestabiliteit te vangen, waardoor bestaande prototype-gebaseerde en contrastieve leerbenaderingen worden aangevuld om superieure anomalie-segmentatie en ontdekking van nieuwe klassen te bereiken, terwijl de closed-set nauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Anastasios Romanos Varvarigos, Nikos Giakoumoglou, Tania Stathaki

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anastasios Romanos Varvarigos, Nikos Giakoumoglou, Tania Stathaki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert autorijden. Je laat het de robot een miljoen foto's zien van wegen, auto's en voetgangers, en het leert elke pixel perfect te labelen. Maar dan neem je de robot mee naar de echte wereld. Plotseling ziet hij een gigantische, neonroze giraffe met een hoed, of een hoop mysterieuze, gloeiende brokstukken op de snelweg. In de "gesloten wereld" van het klaslokaal heeft de robot geen label voor deze dingen. In plaats daarvan gokt hij vol vertrouwen: "Dat is een auto!" of "Dat is een boom!" in plaats van te zeggen: "Ik weet niet wat dat is!". Deze overmoed is gevaarlijk. Als de robot denkt dat een hoop afval een weg is, kan hij er recht in rijden.

Dit is het probleem van "Open-World" visie. Wetenschappers proberen AI te bouwen die niet alleen herkent wat het kent, maar ook opmerkt wat het niet kent. Ze willen dat de AI kan zeggen: "Dat is een auto," en "Dat is een vreemde, onbekende vlek," met evenveel zekerheid. De uitdaging is dat de meeste AI-modellen als overijverige studenten zijn die zelfs een antwoord gokken als ze er eigenlijk geen idee van hebben. Ze moeten een manier vinden om zich "onzeker" te voelen wanneer ze iets vreemds zien, zonder dat ze eerst een miljoen voorbeelden van elk mogelijk vreemd ding te zien hoeven krijgen.

Hier komen de onderzoekers van Imperial College London kijken, die een nieuw soort AI-brein hebben gebouwd om dit op te lossen. Ze noemen hun methode "Open-World Semantic Segmentation", maar denk er maar eens aan als het leren van een robot om een betere detective te zijn.

Het probleem met de oude detective

Eerdere pogingen om dit op te lossen gebruikten een "dual-decoder" systeem. Stel je een detective voor met twee assistenten.

De Semantische Assistent: Deze man is geweldig in het herkennen van bekende verdachten. Hij kijkt naar een pixel en zegt: "Dat is een weg!" of "Dat is een auto!" op basis van een mentale lijst van bekende categorieën.
De Contrastieve Assistent: Deze man kijkt naar de "vibe" van de afbeelding. Hij controleert of de kenmerken van de pixel passen bij het algemene patroon van bekende zaken of of ze ver weg zweven in "onbekend gebied".

Het probleem is dat beide assistenten naar het grote plaatje kijken. Ze zijn als mensen die vanaf een heuvel naar een bos kijken; ze kunnen de algemene vorm van de bomen zien, maar ze kunnen een klein, vreemd paddenstoeltje aan de voet van een boom missen. Als een vreemd object gedeeltelijk verborgen is of een vreemde textuur heeft, kunnen deze twee assistenten nog steeds denken: "Hm, dit lijkt wel genoeg op een auto," en de anomalie missen. Ze zijn te grofmazig, te ver ingezoomd, om de subtiele, lokale vreemdheid te vangen.

De nieuwe derde detective: De Sensitivity Decoder

De auteurs van dit artikel realiseerden zich dat ze een derde assistent nodig hadden, iemand die er niet om geeft wat het object is, maar eerder hoe de AI erover voelt. Ze noemen dit de Sensitivity Decoder.

Beschouw de Sensitivity Decoder als een detective met een vergrootglas en een zeer gevoelige neus. Terwijl de andere twee assistenten naar de grote vormen en afstanden kijken, zoomt deze nieuwe assistent in op de kleine details. Het zoekt naar "activatie-onregelmatigheden".

Hier is de magische analogie: Stel je voor dat het brein van de AI een gigantisch orkest is. Wanneer het een normale auto ziet, spelen de muzikanten (de neuronen) een vloeiende, gestage melodie. Maar wanneer het iets vreemds ziet — zoals een gedeeltelijk verborgen, vreemd object — beginnen de muzikanten te stotteren, uit de maat te spelen of hoge noten te spelen die er niet horen. De Sensitivity Decoder is de dirigent die specifiek luistert naar dat gestotter en die vals gespeelde noten. Het hoeft niet te weten wat het vreemde object is; het weet alleen dat de muziek "schokkerig" en "onstabiel" klinkt.

Dit is een cruciaal onderscheid. De eerste twee assistenten meten afstand (hoe ver is dit van een bekende auto?) en energie (ziet dit eruit als een bekend ding?). De nieuwe Sensitivity Decoder meet instabiliteit. Het vraagt: "Trilt het eigen brein van de AI als het hiernaar kijkt?"

Hoe het samenwerkt

De onderzoekers bouwden een systeem met drie parallelle "koppen" (decoders) die samenwerken:

De Semantische Kop: Identificeert bekende zaken (Weg, Auto, Persoon).
De Contrastieve Kop: Controleert of dingen globaal vreemd zijn (ver verwijderd van bekende patronen).
De Sensitivity Kop: Controleert voor lokale, fijnmazige vreemdheid (textuurfouten, schokkerige activaties).

Deze drie koppen stemmen samen. Als de Sensitivity Kop zegt: "Wauw, deze textuur is schokkerig!" en de andere twee zijn onzeker, dan markeert het systeem het gebied als "Onbekend" of "Anomalie".

De resultaten: De glitches vangen

Het team heeft hun nieuwe driekoppige brein getest op twee beroemde rij-datasets: Cityscapes (een collectie afbeeldingen van stadsstraten) en BDD-Anomaly (afbeeldingen vol met vreemde, onverwachte obstakels zoals puin of vreemde voertuigen).

De resultaten waren veelbelovend. Door deze "Sensitivity Decoder" toe te voegen, werd het systeem veel beter in het opsporen van de vreemde zaken zonder in de war te raken.

Op de BDD-Anomaly dataset verbeterde hun methode het vermogen om anomalieën te detecteren met 2,4% (gemeten via AUROC, een score die aangeeft hoe goed het systeem het slechte spul vindt).
Het verminderde ook het "False Positive Rate" (het aanzien van normale dingen voor vreemde dingen) met 2,5 procentpunt.
Cruciaal was dat het dit alles deed terwijl het nog steeds even goed was in het herkennen van normale auto's en wegen als de oudere modellen.

Het beste deel? Deze nieuwe "Sensitivity Decoder" is ongelooflijk lichtgewicht. Het voegt minder dan 1 miljoen parameters toe aan het model (wat minder is dan 3,6% van de totale hersengrootte). Het is alsoatat je een klein, supergevoelig oor toevoegt aan een grote robot zonder de robot langzamer te maken. Het draait met 24 frames per seconde, wat snel genoeg is voor real-time rijden.

Wat dit betekent

Het artikel laat zien dat door een derde laag van "gevoeligheid" toe te voegen die kijkt naar lokale instabiliteit, we AI veel beter kunnen maken in het opsporen van het onbekende. De auteurs suggereren dat deze aanpak een solide stap voorwaarts is omdat het de AI niet vereist om miljoenen voorbeelden van elk mogelijk vreemd ding te zien. In plaats daarvan leert het de AI om te vertrouwen op zijn eigen "onderbuikgevoel" wanneer de data wankel oogt.

Hoewel het artikel niet beweert het probleem van de open-world visie voor altijd te hebben opgelost, laat het zien dat deze specifieke "sensitivity" truc een krachtig hulpmiddel is. Het bewijst dat je soms, om het onbekende te vinden, niet alleen harder naar het grote plaatje moet kijken; je moet luisteren naar de kleine stotteringen in de muziek.

Technische Samenvatting: Open-World Semantische Segmentatie met Sensitiviteitsmodellering

Probleemstelling
Moderne visiesystemen werken vaak onder een "closed-world" aanname, getraind op vaste, vooraf gedefinieerde klassensets. In real-world "open-world" scenario's komen modellen out-of-distribution (OOD) content tegen—zoals onverwacht wegafval, nieuwe voertuigtypen of contextafhankelijke anomalieën. Conventionele semantische segmentatiemodellen hebben de neiging om overmoedige misclassificaties te produceren op dergelijke nieuwe content, wat veiligheidsrisico's vormt voor toepassingen zoals autonome navigatie. De kernuitdaging is open-world semantische segmentatie: de gezamenlijke taak van het segmenteren van bekende klassen terwijl men ook nieuwe of anomalistische content detecteert en groepeert zonder aanvullende supervisie. Dit vereist een model dat tegelijkertijd discriminerend is voor bekende klassen en gepast onzeker is voor onbekende content, doelstellingen die vaak conflicteren onder standaard trainingsparadigma's.

Bestaande dual-decoder benaderingen proberen dit op te lossen door een semantische tak (die bekende klassendistributies in de logit-ruimte modelleert) te combineren met een contrastieve tak (die de embedding-normen structureert om bekende en onbekende features globaal te scheiden). Deze methoden vertrouwen echter op grove, globaal geaggregeerde signalen (prototype afstand en embedding-normen). Ze slagen er vaak niet in om subtiele lokale aanwijzingen te vangen die wijzen op anomalieën, zoals onregelmatige textuurpatronen, atypische activatiefrequenties of inconsistenties bij objectgrenzen, die kunnen worden weggespoeld door globale pooling en hiërarchische upsampling.

Methodologie
De auteurs stellen een drie-decoder architectuur voor, gebouwd op een gedeelde encoder-decoder design. Het framework breidt de dual-decoder baseline (ContMAV) uit door een derde, orthogonale doelstelling te introduceren: sensitiviteitsmodellering.

Gedeelde Encoder: Een ResNet-34 gebaseerde encoder (gemodificeerd met NonBottleneck-1D blokken, Squeeze-and-Excitation modules en Pyramid Pooling) extraheert multi-schaal feature maps. Intermediate features worden via skip-verbindingen naar de decoders doorgegeven.
Semantische Decoder ( $f_{sem}$ ): Voert closed-set segmentatie uit met Gaussische prototypen voor bekende categorieën. Het maakt gebruik van een multi-loss doelstelling die focal loss, soft dice loss en een feature alignment loss ( $L_{feat}$ ) combineert, die afwijkingen van klasse-specifieke Gaussische prototypen bestraft, genormaliseerd door de per-klasse standaarddeviatie.
Contrastieve Decoder ( $f_{con}$ ): Scheidt bekende en onbekende pixels in de feature-ruimte. Het gebruikt een contrastieve loss om per-klasse gemiddelde genormaliseerde features uit te lijnen met historische prototypen op een eenheids-hypersfeer, en een objectosphere loss om radiale scheiding af te dwingen (het wegduwen van bekende pixels van de oorsprong en het aantrekken van onbekende pixels naar de oorsprong). De norm van de ongenormaliseerde embedding dient als een globale proxy voor "unknownness".
Sensitiviteitsdecoder ( $f_{sen}$ ): Dit is de belangrijkste bijdrage van het artikel. Ontworpen om fijnmazige, lokale onzekerheid te vangen die voortkomt uit activatie-onregelmatigheden en textuuranomalieën, verwerkt deze onafhankelijk de encoder feature maps van drie pyramid-levels. Elk niveau gebruikt een lichtgewicht head (drie $1\times1$ $1 \times 1$ convolutionele lagen met layer normalization en ReLU). De resulterende schaal-specifieke sensitiviteitskaarten worden geupsampled, gefuseerd via element-wise sommatie, en door een sigmoid geleid om een per-pixel onzekerheidskaart te produceren.
- Trainingssignaal: $f_{sen}$ wordt getraind via binary cross-entropy tegen "proxy unknown labels". Deze labels worden gegenereerd uit void-annotaties in de dataset en OOD-patches gesynthetiseerd via CutPaste augmentatie.
- Complementariteit: In tegen tegenstelling tot de andere takken, voorspelt $f_{sen}$ niet de lidmaatschap van een klasse of de afstand van een feature; het leert specifiek waar het model onzeker zou moeten zijn op basis van lokale activatie-instabiliteit.

Inference en Fusie
De uiteindelijke unknownness score wordt afgeleid door signalen van alle drie de decoders te fuseren:

Semantische unknownness wordt afgeleid van de Gaussische waarschijnlijkheid van de semantische logits.
De contrastieve anomalie score en de sensitiviteitskaart worden gemiddeld.
De uiteindelijke score is het gemiddelde van de semantische en de contrastieve-sensitiviteit scores.
Vóór fusie worden alle scores per afbeelding min-max genormaliseerd om schaal-dominantie te voorkomen. Pixels die een drempelwaarde ( $\delta=0.99$ ) overschrijden, worden als onbekend gelabeld; anderen nemen het label van de semantische decoder over.

Belangrijkste Bijdragen

Sensitiviteitsdecoder: Een nieuw module voor fijnmazige onzekerheidsmodellering, conceptueel onderscheidend van prototype-gebaseerde en norm-gebaseerde onzekerheid, specifiek ontworpen om ambigue grenzen en textuuranomalieën te detecteren.
Verenigde Architectuur: Een volledig convolutionele drie-decoder architectuur die end-to-end getraind kan worden op een enkele consumer GPU, zonder dat er multi-stage pipelines of extra supervisie voor nieuwe klassen nodig is.
Uitgebreide Evaluatie: Demonstratie van consistente verbeteringen ten opzichte van de baseline met zowel closed-set metrieken (mIoU) als toegewijde open-world metrieken (AUROC, AUPR, FPR@95TPR).

Experimentele Resultaten
De methode werd geëvalueerd op Cityscapes (closed-set) en BDD-Anomaly (open-world).

Closed-Set Prestaties: Op Cityscapes bereikte de voorgestelde methode een mIoU van 69.88%, waarmee zij de gereproduceerde ContMAV baseline (69.28%) en andere open-world methoden zoals DMLNet en RAML overtreft.
Open-World Prestaties: Op BDD-Anomaly verbeterde de methode de anomalie-detectie metrieken aanzienlijk:
- AUROC: Steeg van 63.4% (baseline) naar 65.8%.
- AUPR: Steeg van 41.8% naar 44.3%.
- FPR@95TPR: Verminderde van 67.4% naar 64.9% (lager is beter).
Efficiëntie: De sensitiviteitsdecoder voegt minder dan 1M parameters toe (<3.6% van het totaal) en introduceert verwaarloosbare computationele overhead, waarbij een inferentie-snelheid van 24 fps behouden blijft (vergeleken met 23 fps voor de baseline) op een NVIDIA L40s GPU.

Betekenis en Claims
Het artikel claimt dat de drie decoders echt complementaire signalen leveren: klasse-niveau OOD afstand in de logit-ruimte, globale feature energie in de embedding-ruimte, en lokale activatie-instabiliteit over de encoder-schalen. Ablatie-studies bevestigen dat elk component een ander aspect van het open-world probleem aanpakt, waarbij de sensitiviteitsdecoder specifiek profiteert van de detectie van onbekende regio's zonder de closed-set nauwkeurigheid te verslechteren. De auteurs positioneren hun aanpak als een lichtgewicht, single-stage oplossing die de zware backbones en complexe multi-stage trainingsschema's van eerdere werken (bijv. RAML) vermijdt, terwijl zij superieure prestaties leveren in het detecteren van subtiele anomalieën die globale signalen missen. Toekomstig werk richt zich op het verkennen van geleerde fusiestrategieën en rijkere OOD-synthese voor de sensitiviteits-tak.