Technische Samenvatting: Sparse Autoencoders voor Interpreteerbare Out-of-Distribution Detectie

Probleemstelling

Machine learning-modellen, met name diepe neurale netwerken (DNN's), opereren onder de aanname dat test-data dezelfde distributie volgt als de trainingsdata. Wanneer deze aanname wordt geschonden (Out-of-Distribution of OOD), produceren modellen vaak overmoedige, incorrecte voorspellingen. Bestaande OOD-detectiemethoden lijden aan twee primaire beperkingen:

1. Afhankelijkheid van de laatste lagen: De meeste methoden maken uitsluitend gebruik van representaties uit de laatste lagen (bijv. logits of embeddings), waarbij de rijke, hiërarchische informatie in tussenliggende netwerklagen wordt genegeerd. Zoals in het artikel wordt aangetoond, verschijnen discriminatieve structuren die ID van OOD-inputs onderscheiden vaak in eerdere lagen, maar worden ze vertroebeld of gecomprimeerd in de finale representaties.
2. Gebrek aan interpreteerbaarheid: Zelfs wanneer detectiescores effectief zijn, bieden ze doorgaans weinig inzicht in waarom een sample OOD is of welke interne representaties ID van OOD onderscheiden. Dit belemmert de diagnose van de vraag of distributieverschuivingen voortkomen uit laag-niveau visuele corruptie of hoog-niveau semantische mismatches.

Methodologie: SAID

De auteurs stellen Sparse Autoencoders voor Interpreteerbare Detectie (SAID) voor, een post-hoc OOD-detectiekader dat gebruikmaakt van Sparse Autoencoders (SAEs) getraind op de tussenliggende activaties van een bevroren pre-trained visueel model.

1. SAE Training op Tussenliggende Lagen

SAID traint afzonderlijke SAE's op de tussenliggende feature-activaties ($a = f_l(x)$) van geselecteerde lagen $l$ in een bevroren backbone-model (bijv. ViT of ResNet).

• Architectuur: De auteurs maken gebruik van Top-k SAE's, die sparsiteit afdwingen door expliciet alle latente dimensies op nul te zetten, behalve de top $k$ meest actieve dimensies. Dit voorkomt de noodzaak van een L1-sparsiteitspenaliteit in de verliesfunctie.
• Doelstelling: De SAE's worden getraind om de Mean Squared Error (MSE) tussen de input-activatie en de gereconstrueerde activatie ($D(E(a)) \approx a$) te minimaliseren.
• Interpreteerbaarheid: De sparsiteitsrestrictie moedigt de geleerde features aan om "monosemantisch" te zijn, waarbij elke actieve feature overeenkomt met een distinct, menselijk interpreteerbaar concept.

2. Gelijkenis-gebaseerde OOD Scoring

Tijdens de inferentie vergelijkt SAID de sparse encoding van een test-sample met de geleerde distributie van In-Distribution (ID) klassen:

1. Prototype Constructie: Voor elke ID-klasse $c$ en elke laag $l$ wordt de gemiddelde latente encoding $\mu_{c,l}$ berekend en opgeslagen vanuit de trainingsset.
2. Encoding: Voor een input $x$ voorspelt de pre-trained classifier een klasse $\hat{c}$. De SAE voor elke laag $l$ encodeert de tussenliggende activatie van $x$ naar een sparse vector $z_l$.
3. Scoring: Een laag-specifieke OOD-score $s_l(x)$ wordt berekend als de cosine similarity tussen $z_l$ en de gemiddelde encoding van de voorspelde klasse $\mu_{\hat{c},l}$.
4. Aggregatie: De finale OOD-score $S(x)$ is het gemiddelde van de cosine similarities over alle geselecteerde lagen.
5. Beslissing: Samples met $S(x) \geq \tau$ worden geclassificeerd als ID; anders zijn ze OOD.

3. Concept Annotatie via VLM

Om interpreteerbaarheid te bieden, gebruiken de auteurs een Vision-Language Model (VLM, specifiek GPT-5.5) om de SAE latente features te annoteren.

• Voor elke latente feature worden de top 25 ID-images die deze het sterkst activeren, opgehaald.
• Deze images worden aan de VLM gevoed met een prompt om de gedeelde visuele patronen te beschrijven, wat resulteert in een menselijk leesbaar conceptlabel (bijv. "Grijze vacht", "Vleugels").
• Dit maakt analyse mogelijk of ID en OOD inputs semantisch consistente concepten activeren.

Belangrijkste Bijdragen

1. Nieuw Detectiekader: Introductie van SAID, een post-hoc methode die gebruikmaakt van SAE-encodings van tussenliggende lagen om de OOD-detectieprestaties te verbeteren.
2. Demonstratie van de Nuttigheid van Tussenliggende Lagen: Empirisch bewijs dat tussenliggende lagen discriminatieve informatie bevatten die vaak verloren gaat in de finale-layer representaties, wat leidt tot verbeterde detectie bij zowel semantische als covariantie-shifts.
3. Interpreteerbaarheid en Diagnose: Het gebruik van SAE-afgeleide conceptlabels als diagnostisch instrument. De auteurs tonen aan dat ID-inputs concepten activeren die semantisch consistent zijn met de afbeelding, terwijl OOD-inputs mismatched of inconsistente concepten activeren, wat een laag-per-laag view biedt van distributieverschuivingen.

Experimentele Resultaten

De methode werd geëvalueerd op ImageNet-1K (ID) tegen diverse OOD-datasets (SSB-Hard, NINCO, ImageNet-C, ImageNet-R, etc.) met behulp van ViT-B/16 en ResNet-50 backbones.

• Prestaties: SAID bereikt state-of-the-art (SOTA) prestaties op gemiddelde voor zowel semantische als covariantie-shift benchmarks.
  • Op de ViT backbone behaalde SAID de beste gemiddelde AUROC voor beide type shifts (bijv. 92,4% AUROC op semantische shift, 83,5% op covariantie shift), waarmee het baselines zoals VIM, RMDS en KNN overtrof.
  • Op ResNet-50 behaalde SAID eveneens de hoogste gemiddelde AUROC, hoewel de marge ten opzichte van bestaande methoden kleiner was.
• Impact van Tussenliggende Lagen: Ablatie-studies bevestigden dat het toevoegen van tussenliggende-layer SAE's consistent de AUROC verbetert vergeleken met het enkel gebruiken van de laatste laag. De meest informatieve laag varieert per dataset (bijv. eerdere lagen voor textuur/covariantie-shifts, latere lagen voor semantische shifts), wat de aggregatiestrategie rechtvaardigt.
• Concept Analyse: Kwantitatieve analyse toonde aan dat ID-samples een hogere "concept agreement" (fractie van geactiveerde concepten die semantisch consistent zijn met de afbeelding) vertonen dan OOD-samples. Dit gat is bijzonder uitgesproken in latere lagen, wat suggereert dat distributieverschuivingen zeer zichtbaar zijn in hoog-niveau concept-representaties.

Betekenis en Beperkingen

Betekenis:
Het artikel betoogt dat SAID een dubbel voordeel biedt: het verbetert de detectie nauwkeurigheid door gebruik te maken van informatie die verspreid is door de netwerkhiërarchie en biedt een mechanisme om te interpreteren hoe distributieverschuivingen de geleerde representaties beïnvloeden. Door verder te gaan dan "black box" logits naar sparse, concept-gebaseerde features, stelt SAID beoefenaars in staat te diagnosticeren of een model faalt door laag-niveau corruptie of hoog-niveau semantische mismatches.

Beperkingen:
De auteurs erkennen verschillende beperkingen:

• Domeinomvang: Evaluatie is momenteel beperkt tot het visuele domein.
• Vaste Sparsiteit: Het gebruik van een vaste-$k$ sparsiteitsrestrictie gaat uit van een constant aantal actieve features per input, wat mogelijk niet kan adapteren aan de variërende complexiteit van verschillende datapunten.
• Computationele Kosten: Het trainen van hoog-capaciteit SAE's voor meerdere tussenliggende lagen is intensief qua middelen, wat de toepasbaarheid op extreem grote modellen of omgevingen met beperkte middelen kan beperken.