Ranked Activation Shift for Post-Hoc Out-of-Distribution Detection

Deze paper introduceert Ranked Activation Shift, een hyperparameter-vrije post-hoc methode die door het vervangen van gesorteerde activatiegroottes door een vast referentieprofiel een consistente en robuuste prestatie bereikt bij het detecteren van out-of-distribution data zonder de in-distribution classificatie-accuraatheid te beïnvloeden.

De kern

Het Probleem: De Verkeerde Gids in een Onbekende Stad

Stel je voor dat je een slimme navigatie-app hebt die je perfect door je eigen stad (de In-Distribution of ID-data) leidt. Hij kent elke straat, elk café en elke afslag. Maar wat gebeurt er als je plotseling in een compleet andere stad belandt, of zelfs in een droomwereld (de Out-of-Distribution of OoD-data)?

De app blijft proberen je route te plannen alsof je nog in je eigen stad bent. Hij geeft je misschien een route die er logisch uitziet, maar die je in feite naar een afgrond leidt. In de wereld van kunstmatige intelligentie (AI) is dit gevaarlijk: de AI denkt dat hij het antwoord weet, terwijl hij eigenlijk volledig in de war is. Dit heet Overconfidence (te veel zelfvertrouwen).

Vroeger probeerden andere methoden om dit op te lossen door de "stemming" van de AI te corrigeren. Ze zeiden bijvoorbeeld: "Als de AI te hard schreeuwt, maken we hem een beetje zachter." Of: "Als hij te zacht fluistert, maken we hem luider."

Het probleem met deze oude methoden is dat ze erg gevoelig zijn. Ze werken goed in de ene stad, maar falen in de andere. Ze hebben ook vaak een "knopje" (een instelling) nodig dat je handmatig moet afstellen, wat lastig is. En als de AI een bepaald type hersenstructuur heeft (zoals moderne Vision Transformers), werken deze oude methoden soms helemaal niet meer.

De Oplossing: RAS (De "Standaard-Route" Vergelijker)

De auteurs van dit paper, Gianluca Guglielmo en Marc Masana, hebben een nieuwe, slimmere manier bedacht die ze Ranked Activation Shift (RAS) noemen.

In plaats van te proberen de "luidheid" van de AI te regelen, kijken ze naar de volgorde van zijn gedachten.

De Analogie: De Orde van de Spelers

Stel je voor dat de AI een orkest is met 100 muzikanten (de neuronen in de laatste laag).

• Bij een bekende taak (ID): De eerste violist speelt het hardst, de tweede iets zachter, de derde nog zachter, enzovoort. Dit is een vaste, bekende volgorde.
• Bij een onbekende taak (OoD): De orkestleden beginnen te klinken alsof ze in paniek zijn. Misschien schreeuwt de 50e muzikant het hardst, terwijl de eerste violist fluistert. De volgorde is verstoord.

Hoe werkt RAS?
RAS doet niet aan "harder" of "zachter" spelen. Het doet iets heel simpels:

1. Het kijkt naar de gemiddelde volgorde van de muzikanten tijdens de bekende taken (de "Standaard-Route").
2. Als de AI een nieuwe, vreemde input krijgt, kijkt RAS: "Wie is nu de hardste speler? Wie de tweede hardste?"
3. Vervolgens vervangt RAS de geluidsniveaus van die spelers door de standaardwaarden van de bekende taken, maar behoudt de volgorde.

Dus: Als de 50e speler nu het hardst speelt, krijgt hij het volume dat de 50e speler normaal heeft. Als de 1e speler nu het zachtst speelt, krijgt hij het volume dat de 1e speler normaal heeft.

Het Resultaat:
De AI krijgt een "gezuiverde" versie van zijn eigen gedachten. Als de input vreemd is, zal deze vervanging leiden tot een heel raar, onlogisch patroon dat de AI direct herkent als "Dit hoort hier niet bij!". Als de input normaal is, blijft het patroon logisch en vertrouwd.

Waarom is dit zo goed?

1. Geen Instellingen nodig (Hyperparameter-free):
   De oude methoden hadden een "gevoeligheidsknop" nodig die je moest draaien. RAS heeft dat niet. Het werkt automatisch, zoals een goed ingeburgerde gewoonte. Je hoeft niets te tunen.

2. Werkt overal:
   Sommige moderne AI-modellen hebben neuronen die ook negatieve getallen kunnen hebben (ze kunnen "onder nul" gaan). De oude methoden gingen hieraan kapot, alsof je probeert een auto te starten met een sleutel die niet past. RAS maakt zich niets van de positieve of negatieve tekens; het kijkt puur naar de rangorde (wie is de sterkste, wie de zwakste). Daardoor werkt het zelfs op de nieuwste, meest geavanceerde modellen.

3. Verandert de AI niet:
   RAS is een "plug-and-play" oplossing. Je hoeft de AI niet opnieuw te trainen. Je plakt het er gewoon op als een extra filter. De AI blijft net zo goed in zijn eigen stad (hij maakt geen fouten bij bekende taken), maar wordt veel slimmer in het herkennen van vreemde steden.

Samenvatting in één zin

RAS is als een stuurman die niet kijkt naar hoe hard de wind waait, maar naar de volgorde van de zeilen: als de volgorde van de zeilen niet overeenkomt met wat hij kent van de normale vaart, weet hij direct dat ze in een storm of een onbekend gebied zitten, zonder dat hij de windkracht hoeft te meten of de zeilen zelf hoeft te veranderen.

Dit maakt AI-systemen veiliger en betrouwbaarder, want ze kunnen nu veel beter zeggen: "Ik weet dit niet, want dit voelt niet als mijn thuisstad."

Technische samenvatting

1. Het Probleem

In real-world scenario's komen AI-modellen vaak data tegen die afwijken van de verdeling waarop ze zijn getraind (Out-of-Distribution of OoD data). Het detecteren van deze OoD-voorbeelden is cruciaal voor de veiligheid en betrouwbaarheid van systemen in toepassingen zoals autonoom rijden en medische beeldvorming.

Bestaande post-hoc methoden (die geen hertraining vereisen) proberen OoD-problemen op te lossen door de activaties van de voorlaatste laag van het model te bewerken. Bekende methoden zoals ReAct, ASH en SCALE passen drempelwaarden toe om activaties te "knippen" (pruning) of te "schalen" (scaling).
De auteurs identificeren echter twee fundamentele beperkingen van deze bestaande methoden:

1. Instabiliteit: Hun prestaties variëren sterk afhankelijk van het dataset en het modelarchitectuur.
2. Foutpatroon bij niet-gerektificeerde activaties: Methodes zoals SCALE en ASH-S baseren zich op de aanname dat activaties positief zijn (gerektificeerd, bijv. door ReLU). Bij moderne architecturen zoals Vision Transformers (ViT) en ConvNeXt (die GELU of SiLU gebruiken), kunnen activaties negatief zijn. Dit breekt de wiskundige aannames van schalingsmethoden, waardoor deze methoden falen of slecht presteren.

2. Methodologie: Ranked Activation Shift (RAS)

De auteurs stellen RAS voor, een hyperparameter-vrije post-hoc methode die de penultimate-laagactivaties aanpast zonder de classificatie-accuraatheid voor in-distribution (ID) data te schaden.

Het kernprincipe:
In plaats van te vertrouwen op absolute waarden of drempelwaarden, gebruikt RAS de rangorde (ranking) van de activaties.

1. Referentieprofiel (Setup-fase): Er wordt een referentievectoren $\mu$ berekend door de activaties van een subset van de ID-trainingdata te sorteren (van klein naar groot) en vervolgens het gemiddelde te nemen over alle samples. Dit $\mu$ vertegenwoordigt het "ideale" activatieprofiel van in-distribution data.
2. Shift (Inferentie-fase): Voor een nieuwe testsample worden de penultimate-laagactivaties $a$ gesorteerd. De gesorteerde waarden worden vervangen door de corresponderende waarden uit het referentieprofiel $\mu$. Vervolgens worden deze nieuwe waarden teruggeplaatst op hun oorspronkelijke posities in de vector.

Formeel:
Als $\pi$ de permutatie is die de activaties sorteert ($a_{\pi(1)} \geq \dots \geq a_{\pi(d)}$), dan wordt de nieuwe activatie $\bar{a}$ gedefinieerd als:
$$\bar{a}_{\pi(j)} = \mu_j$$
Dit is effectief een histogram-matching stap die de verdeling van de activaties van de testsample forceert om te overeenkomen met de gemiddelde ID-verdeling, terwijl de ruimtelijke oriëntatie (welke neuron welke waarde heeft) behouden blijft.

Voordelen van de methode:

• Geen hyperparameters: Er zijn geen drempelwaarden (zoals percentielen) die getuned moeten worden.
• Onafhankelijk van activatiefunctie: Omdat het werkt op rangorde en niet op absolute waarden, werkt het even goed met negatieve activaties (ViT, ConvNeXt) als met positieve (ReLU).
• Plug-and-play: Het kan worden toegepast op elke bestaande classifier zonder hertraining.

3. Belangrijkste Bijdragen

1. Analyse van bestaande methoden: De auteurs tonen aan dat de theoretische aannames van schalingsmethoden (zoals SCALE) vaak niet opgaan in de praktijk, vooral bij modellen zonder rectificatie. Ze identificeren een specifiek faalmechanisme wanneer $\mu_{ID}/\sigma_{ID} < \mu_{OoD}/\sigma_{OoD}$.
2. Introductie van RAS: Een nieuwe, universele methode die rangordes gebruikt om activaties te verschuiven naar een vast ID-referentieprofiel.
3. Analyse van de verbetering: Door RAS te ontleden in twee componenten (RAS-inhibit: activaties boven het gemiddelde verlagen, en RAS-excite: activaties onder het gemiddelde verhogen), tonen ze aan dat beide richtingen bijdragen aan een betere OoD-discriminatie. Het voordeel is niet gebonden aan één richting van correctie, maar komt voort uit de compressie van de variantie van de scores.

4. Resultaten

De auteurs evalueren RAS op de OpenOOD benchmark, een gestandaardiseerd framework voor OoD-detectie.

• Prestaties: RAS presteert consistent beter of vergelijkbaar met state-of-the-art methoden (ReAct, DICE, ASH, SCALE) over een breed scala aan datasets (CIFAR-10/100, ImageNet, ImageNet-200) en architecturen (ResNet, EfficientNet, ConvNeXt, ViT, Swin).
• Robuustheid: Waar methoden zoals ASH-S en SCALE falen bij Vision Transformers en ConvNeXt (door negatieve activaties), presteert RAS daar uitstekend.
• Accuraatheid: RAS behoudt de classificatie-accuraatheid voor in-distribution data bijna volledig (verandering < 0.1%), wat cruciaal is voor post-hoc methoden.
• Efficiëntie: De methode voegt slechts ongeveer 6% overhead toe aan de inferentietijd (complexiteit $O(D \log D)$ door het sorteren).

5. Betekenis en Conclusie

De paper biedt een belangrijke bijdrage aan het veld van veilige AI door een methode te introduceren die architectonisch agnostisch is. Veel bestaande OoD-methoden zijn afhankelijk van specifieke eigenschappen van de netwerklagen (zoals positieve activaties), wat hun toepasbaarheid beperkt in de moderne deep learning-landschap.

RAS lost dit op door te focussen op de relatieve rangorde van activaties in plaats van hun absolute magnitude. Dit maakt het een robuuste, "plug-and-play" oplossing die geen extra training of tuning vereist, maar wel aanzienlijke verbeteringen biedt in het detecteren van onbekende data, ongeacht of het model een CNN of een Transformer is. De bevinding dat zowel het onderdrukken als het stimuleren van activaties bijdraagt aan detectie, weerlegt de gangbare aanname dat alleen het onderdrukken van "te hoge" OoD-activaties nodig is.