An Information-Theoretic Framework for Feature Construction in Out-of-Distribution Detection

*** CONCEPT ONTWERP ***
Technische Samenvatting: Een Informatietheoretisch Kader voor Feature Constructie bij Out-of-Distribution Detectie

Probleemstelling
Machine learning-systemen falen vaak wanneer ze out-of-distribution (OOD) data tegenkomen, waarbij ze met een hoge mate van zekerheid onjuiste voorspellingen doen. Hoewel er talrijke post-hoc OOD-detectiemethoden bestaan, zijn dit grotendeels empirisch gedreven, op regels gebaseerde benaderingen (bijv. ReAct, FS-OPT, VRA, ASH) die een verenigde theoretische basis missen. Als gevolg hiervan worstelen deze methoden vaak met het generaliseren over verschillende datasets en typen distributieverschuivingen (semantisch en covariaat). Er is behoefte aan een theoretisch kader dat OOD-features kan afleiden op basis van onderliggende statistische aannames, de eigenschappen van bestaande methoden kan verklaren en systematisch nieuwe, robuustere features kan genereren.

Methodologie
De auteurs stellen een nieuw informatietheoretisch kader voor dat de constructie van OOD-features formuleert als een variationeel optimalisatieprobleem.

1. Random Feature Formulering: In tegenstelling tot bestaande deterministische feature-vormingsfuncties, modelleren de auteurs OOD-features ($\tilde{Z}$) als willekeurige variabelen afgeleid van netwerkfeatures ($Z$) via een conditionele distributie $p(\tilde{z}|z)$. Het gemiddelde van deze distributie komt overeen met de deterministische vormingsfuncties uit de literatuur.
2. Loss Functionaal: De optimalisatie zoekt een conditionele distributie die een samengestelde loss functionaal $L$ minimaliseert:
   • KL Divergentie Term: Maximaliseert de scheiding tussen de resulterende ID- en OOD-featuredistributies met behulp van de gesymmetriseerde Kullback-Leibler (KL) divergentie.
   • Information Bottleneck (IB) Regularisatie: Minimaliseert de wederzijdse informatie tussen de input-feature $Z$ en de OOD-feature $\tilde{Z}$, terwijl de wederzijdse informatie tussen $\tilde{Z}$ en de OOD-label $Y$ wordt gemaximaliseerd. Dit zorgt ervoor dat de feature gecomprimeerd is maar toch informatie behoudt die specifiek relevant is voor OOD-detectie, waarbij overbodige variaties worden weggefilterd.
3. Optimalisatie: Omdat het probleem is gedefinieerd over een oneindig-dimensionale ruimte van waarschijnlijkheidsmaten, gebruiken de auteurs de calculus van variaties om gradiënten af te leiden. Ze nemen elementgewijze onafhankelijkheid en Gaussianiteit aan voor de conditionele distributie $p(\tilde{z}|z) \sim \mathcal{N}(\mu(z), \sigma_c(z))$, wat een computationeel haalbaar gradiëntafdaling-algoritme mogelijk maakt om de optimale $\mu(z)$ en standaarddeviatie $\sigma_c(z)$ op te lossen.
4. Distributie Analyse: Het kader analyseert optimale features onder verschillende aangenomen OOD-distributies (Gaussian, Laplacian en een voorgestelde Inverse Gaussian variant). De studie laat zien dat verschillende distributie-aannames leiden tot verschillende vormingsgedragingen:
   • Gaussian OOD: Levert features op met positieve hellingen voor kleine waarden en negatieve hellingen (of clipping) voor grote waarden, afhankelijk van het gewicht van de IB-regularisatie.
   • Heavy-tailed OOD (Laplacian/Inverse Gaussian): Levert features op die kleine waarden onderdrukken (op nul zetten) en grote waarden afknippen (clipping), met lineaire regio's voor intermediaire waarden.
5. Voorgestelde Vormingsfunctie (PLF): Gemotiveerd door de observatie dat optimale vormen over verschillende distributies heen benaderd kunnen worden door stuksgewijs lineaire functies, introduceren de auteurs een Piecewise Linear Function (PLF). Deze 7-parametere functie wordt geparametriseerd met behulp van kwantielen van de in-distributie feature-magnitudes om adaptiviteit over architecturen en datasets heen te waarborgen.

Belangrijkste Bijdragen

1. Theoretisch Kader: Introductie van een variationele, informatietheoretische loss functionaal die OOD-features afleidt als willekeurige variabelen, waarbij de scheiding van distributies wordt verenigd met informatiecompressie.
2. Theoretische Verklaring van Bestaande Methoden: Het kader toont aan dat bestaande state-of-the-art (SoA) regelgebaseerde methoden (bijv. ReAct, VRA, ASH) impliciet corresponderen met specifieke onderliggende OOD-distributie-aannames en regularisatiestrengtes. Zo is clipping gekoppeld aan een hoge IB-regularisatie, terwijl het onderdrukken van kleine waarden gekoppeld is aan heavy-tailed OOD-aannames.
3. Nieuwe Vormingsfunctie (PLF): Afleiding van een nieuwe, theoretisch gemotiveerde stuksgewijs lineaire vormingsfunctie die de eigenschappen van bestaande methoden generaliseert zonder zich vooraf aan één enkele distributie-aanname te verbinden.
4. Kwantiel-gebaseerde Parameterisatie: Een nieuwe formulering voor de PLF-breakpoints met behulp van empirische kwantielen, waardoor de methode kan generaliseren over verschillende feature-bereiken zonder het aantal parameters te verhogen.

Resultaten
De auteurs valideren de PLF-methode tegen SoA post-hoc OOD-detectoren op uitgebreide benchmarks:

• Semantische Verschuivingen: Op de OpenOOD benchmark (bevat CIFAR-10, CIFAR-100, ImageNet-200 en ImageNet-1K) staat PLF binnen de top drie van alle 21 geëvalueerde methoden over alle datasets en architecturen. Het behaalt de beste algemene rangschikking op de uitdagende ImageNet-1K benchmark en presteert consequent beter dan andere feature-vormingsmethoden (Energy, ReAct, VRA-P, FS-OPT).
• Covariante Verschuivingen: Op de BROAD dataset en OpenOOD covariante shift benchmarks (inclusief ImageNet-C, ImageNet-R, ImageNet-V2 en adversariële aanvallen zoals AutoAttack en PGD) behaalt PLF de hoogste gemiddelde AUROC onder de feature-vormingsmethoden en staat op de tweede plaats van alle 21 methoden. Het demonstreert robuustheid over diverse verschuivingen waar andere methoden vaak slechts in een subset gespecialiseerd zijn. Opmerkelijk genoeg presenteert dit werk de eerste uitgebreide benchmarking van post-hoc OOD-detectoren op covariante verschuivingen specifiek binnen het OpenOOD-framework.
• Efficiëntie: De inferentiekosten zijn vergelijkbaar met bestaande stuksgewijs lineaire methoden (microseconden per afbeelding op een A100 GPU).

Significantie
Het artikel beweert het eerste algemene theoretische kader te bieden voor de constructie van OOD-features op basis van statistische distributies. De significantie ligt in het bewegen van empirische regelgebaseerde heuristieken naar een geprincipeerde aanpak die verklaart waarom bestaande methoden werken en hoe men betere methoden kan construeren. Door aan te tonen dat een enkele, theoretisch afgeleide functie (PLF) beter presteert dan gespecialiseerde methoden over zowel semantische als covariante verschuivingen, suggereert het werk dat een verenigde, distributie-agnostische feature-vormingsstrategie haalbaar is. De auteurs merken op dat dit de eerste uitgebreide benchmarking van post-hoc OOD-detectoren op covariante verschuivingen binnen het OpenOOD-framework is, wat de brede generalisatiecapaciteiten van de methode benadrukt. Toekomstig werk wordt geïdentificeerd als het verkennen van de volledige random feature distributie (niet alleen het gemiddelde), het integreren van scorefuncties in de theorie, en het uitbreiden naar algemene vector vormingsfuncties.