Technische Samenvatting: Neuraal Adaptieve Krimp (Nash) voor Gestructureerde Hoge-Dimensionale Regressie

1. Probleemdefinitie

Het artikel behandelt de beperkingen van traditionele methoden voor sparse lineaire regressie (zoals Lasso en Ridge) wanneer deze worden toegepast op hoge-dimensionale data ($p \gg n$) waarbij covariaten structurele eigenschappen vertonen of uit heterogene bronnen stammen. Klassieke methoden passen doorgaans uniforme straffen toe op alle covariaten, wat suboptimaal is wanneer voorspellers onderscheidende typen hebben (bijvoorbeeld verschillende genetische modaliteiten) of structurele relaties (zoals ruimtelijke nabijheid, grafconnectiviteit of groepsaansluiting).

Bestaande benaderingen die proberen gebruik te maken van zijinformatie van covariaten (zoals Group Lasso, Fused Lasso of IPF-Lasso) lijden vaak aan twee hoofdnadelen:

1. Toepassingsspecifieke rigiditeit: Ze vertrouwen op vooraf gedefinieerde straffstructuren (bijvoorbeeld specifieke groeperingen of graftopologieën) die complexe, niet-lineaire afhankelijkheden in de data mogelijk niet vastleggen.
2. Computatie-inefficiëntie: Methoden die zijinformatie integreren via Empirische Bayes (EB) vereisen vaak cross-validatie voor hyperparameterselectie of worden, in het geval van variatie-inferentie, computationeel onhandelbaar. Specifiek vereist standaard Coördinaatascent Variatie-inferentie (CAVI) gekoppeld aan priors op basis van neurale netwerken $O(p)$ neurale netwerk-achterwaartse passes per sweep, waardoor ze onpraktisch zijn voor grote $p$ (bijvoorbeeld $10^4$ voorspellers).

Het doel is een unificerend raamwerk te ontwikkelen dat automatisch de vorm van de straf en de hoeveelheid regularisatie leert op basis van covariatspecifieke zijinformatie zonder cross-validatie, terwijl computationele schaalbaarheid behouden blijft.

2. Methodologie: Neuraal Adaptieve Krimp (Nash)

2.1 Modelformulering

Nash modelleert de respons $y$ en voorspellers $X$ via een lineair Gaussisch model:
$$y | X, \beta, \sigma^2 \sim \mathcal{N}(X\beta, \sigma^2)$$
Cruciaal is dat de prior op de regressiecoëfficiënten $\beta_j$ niet vaststaat, maar afhankelijk is van zijinformatie $d_j$ geassocieerd met de $j$-de covariaat:
$$\beta_j \sim g(d_j, \theta)$$
Hierbij is $g(\cdot, \cdot)$ een flexibele functie (geparametriseerd door $\theta$) die zijinformatie $d_j$ afbeeldt op een priorverdeling. De zijinformatie $d_j$ kan willekeurige data zijn die verwerkbaar is door een neurale netwerk (bijvoorbeeld groepsindicatoren, continue indices, grafmatrices of afbeeldingen).

2.2 Gesplitste Variatie-Empirische Bayes (Split VEB)

De kernbijdrage aan het algoritme is een nieuwe Gesplitste Variatie-Empirische Bayes (Split VEB) aanpak. Standaard CAVI direct toegepast op het doelmodel koppelt het leren van de prior (updaten van $\theta$) aan de inferentie van de posterior (updaten van $\beta$). Als $g$ afhankelijk is van zijinformatie via een neurale netwerk, vereist het updaten van $\theta$ het opnieuw evalueren van de posterior voor elke coördinaat $j$, wat leidt tot $p$ neurale netwerk-passes per sweep.

Om deze stappen te ontkoppelen, introduceert Nash een geaugmenteerd model met een latente variabele $b_j$:

1. $\beta_j | b_j \sim \mathcal{N}(b_j, \sigma_0^2)$
2. $b_j \sim g(d_j, \theta)$

Deze "Gaussische bottleneck" stelt de Evidence Lower Bound (ELBO) in staat om te worden opgesplitst in twee ontkoppelde stappen:

• Stap 1 (Posterior Update): Update de variatie-posterior $q(\beta)$ en $q(b)$ met behulp van de huidige priorparameters. Deze stap omvat eenvoudige geconjugeerde updates (OLS-achtige berekeningen) en vereist geen neurale netwerk.
• Stap 2 (Prior Learning): Update de neurale netwerkparameters $\theta$ door de marginale waarschijnlijkheid van de latente variabelen $b_j$ te maximaliseren gegeven de huidige posteriorgemiddelden $\bar{\beta}_j$. Dit wordt geformuleerd als een covariategemedieerd Empirische Bayes Normale Gemiddelden (cEBNM) probleem.

Belangrijk Efficiëntievoordeel: Omdat de prior-leerstap (Stap 2) werkt op de geaggregeerde toereikende statistieken ($\bar{\beta}_j$) in plaats van individuele coördinaten, wordt het neurale netwerk slechts eenmaal per coördinaatascent-sweep bijgewerkt via een enkele gebatchte voorwaartse-achterwaartse pass. Dit reduceert de computationele complexiteit van de M-stap van $O(p)$ sequentiële passes naar $O(1)$ gebatchte pass, wat een snelheidswinst van 74$\times$ tot 106$\times$ oplevert ten opzichte van directe CAVI voor $p \in [10^2, 10^4]$.

2.3 Flexibiliteit van de Prior

Het raamwerk ondersteunt diverse priorfamilies $g$:

• Mixture Density Networks (MDN): Output een mengsel van Gaussians (spike-and-slab) waarbij de mengselgewichten, gemiddelden en varianties functies zijn van $d_j$. Dit maakt adaptieve krimppatronen mogelijk (bijvoorbeeld verschillende sparsiteitsniveaus voor verschillende groepen).
• Graph Neural Networks (GNN): Voor grafgestructureerde zijinformatie kan Nash straffen leren die gladheid of sparsiteit bevorderen op basis van graftopologie (bijvoorbeeld het nabootsen van Fused Lasso of het uitbreiden daarvan naar complexe grafen).
• Algemene Probabilistische Modellen: Elk model waarbij de marginale waarschijnlijkheid en posteriormomenten hanteerbaar zijn, kan worden geïntegreerd.

3. Belangrijkste Bijdragen

1. Eerste Neuraal Netwerk-gebaseerde Straflearning: Voor zover bekend is Nash het eerste lineaire regressieraamwerk dat de priorverdeling over regressie-effecten parametriseren als een willekeurige functie van covariatspecifieke zijinformatie met behulp van neurale netwerken.
2. Split VEB Algoritme: De introductie van een latente Gaussische laag om het leren van de prior te ontkoppelen van de posterior-inferentie. Dit maakt neurale netwerk-gebaseerde priors hanteerbaar voor hoge-dimensionale regressie, waarbij de kosten van de M-stap worden gereduceerd van $O(p)$ naar een enkele gebatchte update.
3. Unificerend Raamwerk: Nash generaliseert bestaande methoden (Group Lasso, Fused Lasso, IPF-Lasso) en breidt ze uit om niet-lineaire, datagedreven straffstructuren te verwerken zonder handmatige specificatie van straffvormen of cross-validatie.
4. Modulariteit: De methode is modulair; gebruikers hoeven alleen een solver voor het cEBNM-probleem te leveren onder hun gekozen priorfamilie, wat integratie van diverse machine learning-benaderingen mogelijk maakt (bijvoorbeeld XGBoost, GNN's).

4. Experimentele Resultaten

4.1 Simulatiestudies

• Basisvergelijking: Nash werd vergeleken met zeven methoden (Mr.ASH, Elastic Net, Lasso, Ridge, SCAD, MCP, L0Learn) over diverse simulatiesettingen (variërende sparsiteit, signaal-ruisverhouding, dimensionaliteit en correlatie).
• Prestatie: Nash kwam overeen met de state-of-the-art (Mr.ASH) in bijna alle settingen en presteerde beter in verschillende scenario's met gecorreleerde voorspellers. Het presteerde aanzienlijk beter dan klassieke methoden in settingen met heterogene signaalprofielen.
• Zijinformatie-experimenten: In synthetische experimenten met bekende groepen en continue indices presteerde Nash met zijinformatie (Nash-mdn) aanzienlijk beter dan methoden zonder zijinformatie (Nash-no-cov) en traditionele methoden (Group Lasso, IPF-Lasso).
  • Ablatie: Het vervangen van het neurale netwerk door een lineaire mapping (Nash-linear) verslechterde de prestaties in settingen met continue indices, wat de noodzaak bevestigt van niet-lineaire modellering voor complexe structuren.
  • Robuustheid: Het schudden van zijinformatie (Nash-shuffled) resulteerde in prestaties die gelijk waren aan het hebben van geen zijinformatie, wat bevestigt dat het model niet overpast op ruis.

4.2 Computatie-inefficiëntie

• Snelheidswinst: Experimenten toonden een snelheidswinst van 74$\times$ bij $p=100$ en 106$\times$ bij $p=10.000$ voor de M-stap in vergelijking met directe CAVI.
• Schaalbaarheid: De Nash M-stap schaalt ongeveer lineair met $p$ (enkele gebatchte pass), terwijl directe CAVI superlineair schaalt door sequentiële verwerking. Bij $p=10.000$ vereiste directe CAVI meer dan vier minuten per M-stap, waardoor het onpraktisch is, terwijl Nash ongeveer 2,5 seconden vereiste.

4.3 Toepassingen op Real Data

Nash werd geëvalueerd op vier datasets met zijinformatie:

1. SNP500: Voorspellen van AAPL-returns met gebruik van industriesector als zijinformatie.
2. Airpassenger: Voorspellen van passagiersaantallen met gebruik van tijdsindex.
3. GSE40279: Voorspellen van leeftijd uit methyleringsdata met gebruik van probe-annotaties.
4. TCGA: Voorspellen van BRCA1-expressie met gebruik van KEGG-pathways.

• Resultaten: Nash (specifiek Nash-mdn) behaalde consistent een lagere RMSE dan baselines (Mr.ASH, Lasso, Ridge, XGBoost, MLP) en Nash zonder zijinformatie. Opmerkelijk is dat in de GSE40279-dataset (n=679, p=489.503) Nash de laagste fout behaalde (5,03) in vergelijking met Mr.ASH (5,25) en Ridge (7,21).

4.4 Beeldruisverwijdering (MNIST)

Nash werd toegepast op het verwijderen van ruis uit MNIST-afbeeldingen met behulp van een "Fused" prior geparametriseerd door een Graph Neural Network (GNN) om pixelnabijheid te modelleren.

• Prestatie: Nash-fused presteerde beter dan klassieke ruisverwijderingsmethoden (Fused Lasso, Total Variation, Non-Local Means) en Noise2Self in termen van RMSE.
• Efficiëntie: De GNN-gebaseerde aanpak was aanzienlijk sneller dan het CNN-gebaseerde Noise2Self-model.

5. Betekenis en Claims

Het artikel claimt dat Nash een unificerend, expressief en computationeel efficiënt raamwerk biedt voor hoge-dimensionale regressie dat gebruik maakt van zijinformatie.

• Aanpasbaarheid: Het elimineert de noodzaak van cross-validatie door de straffstructuur direct uit de data te leren.
• Generaliteit: Het omvat diverse bestaande regularisatietechnieken (Ridge, Lasso, Group Lasso, Fused Lasso) als speciale gevallen of benaderingen binnen een enkel probabilistisch raamwerk.
• Schaalbaarheid: Het Split VEB-algoritme maakt het haalbaar om complexe, neurale netwerk-gebaseerde priors toe te passen op problemen met tienduizenden voorspellers, een regime waar eerdere variatie-benaderingen computationeel onhaalbaar waren.

Erkende Beperkingen:

• De huidige implementatie is beperkt tot Gaussische likelihoods.
• Het vereist een hanteerbare cEBNM-solver voor de gekozen priorfamilie, wat noodzakelijk maakt dat er gesloten-formule oplossingen of snelle benaderingen beschikbaar zijn voor de marginale log-likelihood, wat mogelijk niet het geval is voor alle probabilistische modellen.