Geometrically Constrained Outlier Synthesis

Dit paper introduceert GCOS, een trainingsframework dat virtuele outliers genereert in de verborgen feature-ruimte die de manifoldstructuur van in-distributie-data respecteren, waardoor de robuustheid van deep neural networks voor het detecteren van out-of-distribution samples aanzienlijk wordt verbeterd.

De kern

Stel je voor dat je een zeer slimme, maar nogal zelfverzekerde hond hebt die getraind is om verschillende rassen honden te herkennen. Als je hem een Golden Retriever laat zien, zegt hij: "Dat is een Golden Retriever!" Maar als je hem een wolf laat zien (die er heel veel op lijkt, maar geen hond is), zegt hij misschien nog steeds: "Dat is een Golden Retriever!" en dat met 100% zekerheid. Dat is gevaarlijk. In de wereld van kunstmatige intelligentie noemen we dit "out-of-distribution" (OOD) detectie: het vermogen om te zeggen: "Wacht even, dit hoort hier niet bij," zelfs als het er heel veel op lijkt.

Deze paper introduceert een nieuwe methode genaamd GCOS (Geometrically Constrained Outlier Synthesis). Laten we uitleggen hoe dit werkt, zonder ingewikkelde wiskunde, maar met een paar leuke vergelijkingen.

1. Het Probleem: De Zelfverzekerde Hond

Bestaande methoden proberen dit op te lossen door de hond te laten zien wat "geen hond" is. Maar vaak doen ze dit op een slordige manier. Ze gooien willekeurige rare beelden op de hond af (bijvoorbeeld een foto van een auto of een wazig roze vlekje).

• Het probleem: Als de hond een auto ziet, denkt hij: "Oh, dat is duidelijk geen hond." Te makkelijk!
• De echte uitdaging: Wat als het een wolf is? Of een hond die er heel anders uitziet dan de training? De hond moet leren om de grens van zijn kennis heel precies te voelen.

2. De Oplossing: GCOS als een "Architect van Grensgebieden"

GCOS is als een slimme trainer die niet zomaar willekeurige dingen laat zien, maar de hond specificeert oefeningen geeft in het onzichtbare landschap van zijn brein (de "feature space").

Stel je het brein van de AI voor als een grote, driedimensionale berg met valleien.

• De valleien zijn de echte hondenrassen (Golden Retriever, Duitse Herder, etc.).
• De toppen en hellingen zijn de grenzen.

GCOS doet twee slimme dingen:

Stap A: Het vinden van de "Stille Hoekjes" (Geometrie)

De trainer kijkt naar de vorm van de valleien. Hij ziet dat de valleien in één richting heel breed en veilig zijn (dat is waar de echte honden zitten). Maar er zijn ook richtingen waar de vallei heel smal wordt en snel overgaat in een afgrond.

• De analogie: Stel je voor dat je in een kamer loopt. Als je naar voren loopt, loop je veilig door de kamer. Als je echter naar de hoek loopt waar de muur heel schuin is, loop je snel de afgrond in.
• GCOS zoekt precies die schuine hoeken (de "kleine variatie-richtingen"). Hier is het risico groot om de vallei te verlaten. Het is de perfecte plek om te oefenen.

Stap B: De "Gouden Kooi" (De Conformale Schaal)

Nu moet de trainer bepalen hoe ver hij de hond de afgrond in duwt.

• Te dichtbij de rand? De hond denkt nog steeds: "Dit is een hond." (Te makkelijk).
• Te ver de afgrond in? De hond denkt: "Dit is duidelijk geen hond." (Ook te makkelijk).
• De oplossing: GCOS bouwt een onzichtbare gouden kooi rondom de echte honden. Alles binnen de kooi is "mogelijk een hond", alles er buiten is "niet een hond".
• De trainer gebruikt een meetlat (een wiskundige regel genaamd "conformal prediction") om precies te bepalen waar de wanden van die kooi zitten. Hij zorgt dat de "nep-honden" (de synthetische outliers) precies in de muur van de kooi worden geplaatst. Ze zijn net net niet meer een hond, maar ook niet zo raar dat ze direct worden afgewezen.

3. Het Resultaat: Een Slimmere Hond

Door deze oefeningen te doen, leert de AI:

1. Precisie: Hij leert dat de grens tussen "hond" en "geen hond" niet zomaar een lijn is, maar een complexe vorm die hij moet respecteren.
2. Nederigheid: Als hij een wolf ziet die eruitziet als een hond, zegt hij niet direct "Golden Retriever!", maar "Ik weet het niet zeker, dit voelt vreemd."
3. Veiligheid: In de echte wereld (bijvoorbeeld bij het detecteren van ziektes in oogfoto's of defecten in fabrieken) is dit cruciaal. Je wilt niet dat de AI met 100% zekerheid zegt dat een gezonde oog een ziekte heeft, of andersom.

Waarom is dit zo speciaal?

Vroeger probeerden AI's te leren door te raden of door willekeurige rare dingen te laten zien. GCOS is als een architect die de exacte structuur van het probleem begrijpt.

• Het gebruikt de vorm van de data (de geometrie) om te weten waar de gevaarlijke plekken zitten.
• Het gebruikt een meetlat (statistiek) om te zorgen dat de oefeningen precies de juiste moeilijkheidsgraad hebben.

Kortom: GCOS maakt AI-systemen minder zelfverzekerd over dingen die ze niet kennen, en zorgt ervoor dat ze eerlijk zeggen: "Ik heb hier geen idee van," in plaats van een gok te wagen. Dat is een enorme stap voorwaarts voor veilige en betrouwbare kunstmatige intelligentie.

Technische samenvatting

Probleemstelling

Diepe neurale netwerken voor beeldclassificatie vertonen vaak een overmatig vertrouwen (overconfidence) bij het verwerken van Out-of-Distribution (OOD) samples. Dit betekent dat het model een invoer die niet tot de trainingsverdeling behoort, toch met hoge zekerheid toewijst aan een van de bekende klassen.

Bestaande methoden, zoals Virtual Outlier Synthesis (VOS), proberen dit op te lossen door kunstmatige outliers te genereren tijdens het trainen. Echter, deze methoden hebben twee belangrijke beperkingen:

1. Vereenvoudigde aannames: Ze gaan vaak uit van een eenvoudige verdeling (bijv. Gaussisch) voor outliers, wat de complexe, gestructureerde aard van echte anomalieën in de werkelijkheid niet goed vastlegt.
2. Focus op 'Far-OOD': Veel benchmarks testen op ver verwijderde domeinen (bijv. dieren vs. industriële objecten). De echte uitdaging voor robuuste AI is echter Near-OOD detectie: het onderscheiden van fijnmazige categorieën binnen hetzelfde semantische domein (bijv. verschillende hondenrassen), waar de kenmerken sterk op elkaar lijken.

Methodologie: Geometrically Constrained Outlier Synthesis (GCOS)

GCOS is een regularisatieframework dat werkt tijdens het trainen om de robuustheid tijdens de inferentie te verbeteren. Het genereert virtuele outliers in de verborgen kenmerkruimte (feature space) die respecteren voor de geleerde manifold-structuur van de In-Distribution (ID) data.

Het proces verloopt in twee hoofdstadia:

1. Geometrisch geïnspireerde Synthese (PCA & Subspaces)
In plaats van outliers te trekken uit een vooraf gedefinieerde verdeling, analyseert GCOS de geometrie van de trainingsdata:

• Er wordt een Principal Component Analysis (PCA) uitgevoerd op de kenmerken van de ID-data.
• De hoofdcomponenten worden gesplitst in "groot" (variabele richtingen die de data goed beschrijven) en "klein" (richtingen met lage variantie).
• Outliers worden gegenereerd door te bewegen langs de kleine hoofdcomponenten (low-variance subspaces). Dit zijn richtingen die statistisch onwaarschijnlijk zijn voor de ID-data, maar nog wel in de buurt van het data-centrum blijven, waardoor ze uitdagende, niet-triviale outliers vormen.

2. Conformal Shell (Adaptieve Controle)
Om te voorkomen dat de gegenereerde outliers te makkelijk of te moeilijk zijn, gebruikt GCOS een heuristiek gebaseerd op Conformal Prediction:

• Er wordt een "conform shell" gedefinieerd rondom de ID-data. De grenzen van deze shell ($\alpha_{inner}$ en $\alpha_{outer}$) worden bepaald door de kwantielen (bijv. 95e en 99e percentiel) van een non-conformity score (zoals Mahalanobis-afstand) op een kalibratieset.
• De synthese selecteert uit deze shell, zodat de gegenereerde outliers precies de juiste mate van "vreemdheid" hebben: ze zijn niet te dicht bij de echte data (niet te makkelijk te onderscheiden) en niet te ver weg (niet triviaal).

3. Regularisatieverlies (Contrastive Objective)
Het framework combineert de synthese met een nieuw verliesfunctie ($L_{reg}$):

• Dit is een contrastief doel dat de non-conformity scores van ID-samples minimaliseert en die van de gegenereerde OOD-samples maximaliseert.
• Het doel is om de ID- en OOD-ruimtes scherper te scheiden in de score-ruimte (bijv. gebaseerd op energie of Mahalanobis-afstand).

Belangrijkste Bijdragen

1. Geometrisch Gestructureerde Synthese: In plaats van te vertrouwen op parametrische verdelingen, probeert GCOS de onderliggende manifold-structuur van de data te doorgronden en outliers te genereren in de "lage-variantie" richtingen van deze structuur.
2. Conformal Heuristiek: Het introduceert een methode om de moeilijkheidsgraad van synthetische outliers adaptief te regelen via kwantiel-grenzen, wat zorgt voor een betere generalisatie.
3. Focus op Near-OOD: Het paper legt een sterke nadruk op de detectie van Near-OOD samples (fijnmazige onderscheidingen), wat vaak kritischer is voor praktische toepassingen dan Far-OOD detectie.
4. Exploratieve Uitbreiding naar Conformal Inference: Het paper onderzoekt hoe conformal prediction kan worden gebruikt om onzekerheidsscores om te zetten in statistisch geldige p-waarden, wat leidt tot drempels met formele foutgaranties (hoewel dit als exploratief wordt gepresenteerd).

Resultaten

GCOS werd getest op vier datasets die Near-OOD uitdagingen simuleren:

• Colored MNIST: Digitale cijfers met willekeurige kleuroverdrachten.
• MVTec: Industriële defectdetectie.
• Stanford Dogs: Fijnmazige hondenrassen.
• Retinopathy: Oogziekten (diabetische retinopathie vs. andere pathologieën).

Kernbevindingen:

• GCOS presteert state-of-the-art op Near-OOD benchmarks, met name gemeten aan de hand van AUROC en AUPR.
• Het overtreft bestaande methoden zoals VOS, Dream-OOD, NCIS en klassieke score-methoden (MSP, MaxLogit) consistent.
• Op de Colored MNIST dataset bereikte GCOS een AUROC van 99.50% en een FPR95 (False Positive Rate bij 95% True Positive Rate) van slechts 1.00%, wat een aanzienlijke verbetering is ten opzichte van VOS (18.50% FPR95).
• Visualisaties (UMAP) tonen aan dat GCOS outliers genereert in uitdagende gebieden buiten de hoofdclusters, waardoor de besluitgrenzen strakker om de data heen worden getrokken, in tegenstelling tot VOS dat vaak dicht bij de bestaande clustergrenzen blijft.

Significantie en Toekomstperspectief

Dit paper biedt een fundamenteel nieuwe aanpak voor OOD-detectie door de geometrie van de kenmerkruimte te combineren met conformal statistiek.

• Robuustheid: Het lost het probleem op dat synthetische outliers vaak niet representatief zijn voor de echte complexiteit van anomalieën.
• Betrouwbaarheid: Door de integratie van conformal principes (zowel tijdens training als in de exploratieve inferentie) opent het een weg naar systemen die niet alleen beter presteren, maar ook formele statistische garanties kunnen bieden over hun onzekerheid. Dit is cruciaal voor veiligheidskritieke toepassingen zoals medische diagnose (Retinopathy) of industriële inspectie.
• Toekomst: De auteurs suggereren dat het volledig integreren van conformal hypothesis testing in de inferentiecyclus een veelbelovende richting is voor het creëren van voorspelbare en betrouwbare AI-systemen.