Technische Samenvatting: Lokale Hessiaanse Spectrale Filtering voor Robuuste Schatting van Intrinsieke Dimensie

Probleemstelling

De schatting van de Lokale Intrinsieke Dimensie (LID) is cruciaal voor het begrijpen van de geometrische complexiteit van hoogdimensionale data-maandvouden, met toepassingen variërend van anomaliedetectie tot het analyseren van memorisatie in generatieve modellen. Hoewel de manifold-hypothese stelt dat data zich concentreert op lagerdimensionale structuren binnen hoogdimensionale omgevingsruimtes, blijft het nauwkeurig schatten van LID in hoge dimensies (bijv. $D > 1000$) een aanzienlijke uitdaging.

Traditionele op $k$-naaste buren ($k$NN) gebaseerde methoden lijden onder de vloek van de dimensionaliteit, waarbij concentratie van afstanden de buurtinformatie verdunt, wat leidt tot ernstige degradatie van de nauwkeurigheid. Recentere methoden op basis van diffusiemodellen (bijv. LIDL, FLIPD) zijn opgekomen, waarbij gebruik wordt gemaakt van de scorefunctie (gradient van de log-dichtheid) om buurtzoeken te vermijden. Deze bestaande op diffusie gebaseerde methoden falen echter in situaties met hoge dimensies en hoge co-dimensies, zoals typisch is voor beelddata. Ze sommeren waarden (zoals score-normen of divergenties) over alle dimensies zonder onderscheid te maken. In hoge co-dimensies genereert de enorme normale deelruimte enorme krommingssignalen die het tangentiële signaal overweldigen, wat resulteert in een slechte signaal-ruisverhouding en aanzienlijke schattingsfouten.

Methodologie: Lokale Hessiaanse Spectrale Dimensie (LHSD)

De auteurs stellen Lokale Hessiaanse Spectrale Dimensie (LHSD) voor, een methode die LID robuust schat door tangentiële richtingen (signaal) expliciet te scheiden van normale richtingen (ruis) via spectrale filtering op de Hessiaan van de log-dichtheid.

Theoretische Grondslag

Volgens de manifold-hypothese vertoont voor een punt $x$ nabij een $d$-dimensionale manifold in $\mathbb{R}^D$ de verstoord verdeling $p_t(x)$ (geïnduceerd door Gaussisch ruis met schaal $\sigma(t)$) een gepolariseerd Hessiaans spectrum:

1. Tangentiële Richtingen: Corresponderen met de tangentiële ruimte $T_x\mathcal{M}$. De eigenwaarden $\lambda_i$ zijn klein en schalen als $O(1)$.
2. Normale Richtingen: Corresponderen met het normale bundel. De eigenwaarden $\lambda_j$ zijn groot en schalen als $O(1/\sigma(t)^2)$.

Deze scheiding creëert een spectrale kloof. De intrinsieke dimensie $d$ komt overeen met de multipliciteit van bijna-nul eigenwaarden (de nulruimte van de Hessiaan).

Algorithmische Aanpak

LHSD schat LID door het tellen van tangentiële richtingen via een gladde spectrale filter $f(\lambda)$ toegepast op de Hessiaan-eigenwaarden:
$$\text{LID}(x) \approx \sum_{i=1}^D f(\lambda_i) = \text{tr}(f(H(x)))$$
waarbij $H(x) = -\nabla_x s_\theta(x, t)$ de Hessiaan is van de negatieve log-dichtheid, afgeleid van het score-model $s_\theta$.

Belangrijkste Componenten:

• Spectrale Filtering: De auteurs maken gebruik van een Hill-type filter:
  $$f(\lambda; \sigma(t)) = \frac{1}{1 + (|\lambda|/\kappa(t))^p}$$
  Deze filter mapt tangentiële eigenwaarden (kleine $\lambda$) af op $\approx 1$ en normale eigenwaarden (grote $\lambda$) op $\approx 0$. De afsnijwaarde $\kappa(t) = c/\sigma(t)^2$ is tijdsvariërend om de krommingsschaling inherent aan de normale richtingen te normaliseren.
• Schalbare Berekening (SLQ): Het construeren van de volledige $D \times D$ Hessiaan is computationeel onuitvoerbaar ($O(D^3)$). LHSD maakt gebruik van Stochastic Lanczos Quadrature (SLQ) om de trace $\text{tr}(f(H))$ te schatten zonder expliciete matrixconstructie. Door Hessiaan-Vectore Producten (HVP) te berekenen via automatische differentiatie en het Lanczos-algoritme te gebruiken om een tridiagonale matrix te genereren, bereikt de methode een lineaire computationele complexiteit van $O(D)$.
• Verifieerbare Parameterselectie: Een diagnostische maatstaf, Transition Mass $M(t)$, wordt geïntroduceerd om een "veilige zone" te identificeren voor de ruisschaal $t$. Dit zorgt ervoor dat de filter-afsnijwaarde $\kappa(t)$ binnen de spectrale kloof tussen tangentiële en normale clusters ligt, wat visuele verificatie van de correctheid van de parameters mogelijk maakt.

Belangrijkste Bijdragen

1. Robuuste LID-schatter: LHSD selecteert tangentiële dimensies via Hessiaanse spectrale filtering, waardoor de invloed van normale eigenwaarden wordt onderdrukt. Dit zorgt voor robuustheid in regimes met hoge dimensies en hoge co-dimensies waar eerdere methoden falen.
2. Verifieerbare Hyperparameterselectie: De methode biedt een diagnostische indicator (Transition Mass) en een visueel mechanisme (overlappen van filterprofielen met eigenwaardeverdelingen) om parameterkeuzes ($c, p, t$) te valideren, waarmee het "black box"-karakter van eerdere schatters wordt aangepakt.
3. Schalbaar Algoritme: Door spectrale filtering te integreren met SLQ, omzeilt LHSD de expliciete constructie van de Hessiaan en bereikt het een lineaire complexiteit van $O(D)$. Dit maakt snelle inferentie mogelijk, zelfs voor dimensies die 3.000 overschrijden.
4. Uitgebreide Empirische Validatie: De methode is gevalideerd op synthetische manifolds, real-world beelddatasets en specifieke benchmarks voor memorisatie in diffusiemodellen.

Experimentele Resultaten

Het artikel evalueert LHSD tegenover op $k$NN gebaseerde methoden (ESS, LPCA) en op diffusie gebaseerde methoden (LIDL, FLIPD, Normal Bundle) in diverse settings:

• Hoogdimensionale Manifolds: In experimenten met omgevingsdimensies tot $D=3072$ en variërende intrinsieke dimensies behaalde LHSD consequent de laagste Mean Absolute Error (MAE). Bijvoorbeeld, op het dataset $F10+80+200 \subset \mathbb{R}^{3072}$ leverde FLIPD een MAE van 1240,89 op, terwijl LHSD 5,19 behaalde.
• IDR-benchmarks: Op de Intrinsic Dimension Recovery (IDR) benchmarks (het embedden van 3D-manifolds in Fashion-MNIST-ruimte, $D=784$) leden bestaande diffusiemethoden aan dramatische prestatiedegradatie. LHSD behield stabiel gedrag met een minimale toename van de fout, zelfs met een minimale Lanczos-rang ($m=2$).
• Computationele Efficiëntie: LHSD toonde een snelheidswinst van meer dan $250\times$ ten opzichte van FLIPD. Waar FLIPD $D$ backpropagaties vereist (kwadratische complexiteit), vereist LHSD slechts een klein aantal HVP's (lineaire complexiteit).
• Detectie van Memorisatie: In een experiment waarbij gememoriseerde samples werden gedetecteerd in een DDPM getraind op CIFAR-10, slaagde LHSD erin gememoriseerde samples (die een abnormaal lage LID vertonen) te onderscheiden van niet-gememoriseerde samples met vergelijkbare visuele complexiteit. De methode behaalde een AUROC van 99,87%, wat de bruikbaarheid aantoont bij het identificeren van overfitting in generatieve modellen.

Betekenis en Claims

Het artikel stelt dat LHSD een fundamentele vooruitgang vertegenwoordigt in LID-schatting door de specifieke faalmodus van bestaande op diffusie gebaseerde methoden aan te pakken: het onvermogen om signaal te scheiden van ruis in hoge co-dimensies.

• Robuustheid: De primaire betekenis ligt in het vermogen van de methode om nauwkeurig te blijven in regimes waar de omgevingsdimensie de intrinsieke dimensie ver overtreft, een veelvoorkomend scenario in beelddata.
• Interpreteerbaarheid: In tegenstelling tot eerdere methoden biedt LHSD een mechanisme voor practitioners om visueel te diagnosticeren en te verifiëren dat de onderliggende manifoldstructuur correct wordt vastgelegd, wat een niveau van interpreteerbaarheid biedt dat ontbreekt in eerdere benaderingen.
• Schalbaarheid: De lineaire schaling met de dimensie maakt het de enige voorgestelde methode die hoogdimensionale data (bijv. $D > 3000$) efficiënt kan verwerken zonder de onbetaalbare kosten die gepaard gaan met SVD of volledige Hessiaan-construction.

De auteurs erkennen een beperking: de methode is afhankelijk van de kwaliteit van het getrainde score-model. Hoewel ze de trainingsfideliteit beoordelen, blijft het opzetten van rigoureuze diagnostiek voor de spectrale consistentie van score-modellen op complexe real-world data een open probleem.