Inference in high-dimensional logistic regression under tensor network dependence

Titel: Inference in high-dimensional logistic regression under tensor network dependence

Auteurs: Josh Miles en Sohom Bhattacharya (Universiteit van Florida)

1. Probleemstelling

Het paper adresseert het probleem van statistische inferentie (het construeren van betrouwbaarheidsintervallen en het testen van hypothesen) voor logistische regressie in een hoog-dimensionale setting ($d \to \infty$), waarbij de observaties niet onafhankelijk zijn.

• Afhankelijkheid: De afhankelijkheid tussen individuen wordt veroorzaakt door een onderliggende structuur die wordt gemodelleerd als een Markov Random Field (MRF) op een hypergraaf. Dit gaat verder dan de traditionele Ising-modellen die alleen paarsgewijze interacties (quadratisch) beschouwen. Het paper behandelt tensor-netwerk afhankelijkheden die hogere-orde interacties (bijv. peer-group effecten) kunnen modelleren.
• Uitdaging: Bestaande methoden voor hoge dimensies (zoals Lasso) leveren consistente schatters op, maar deze zijn bevooroordeeld (biased) en kunnen niet direct worden gebruikt voor inferentie. Bovendien zijn de meeste bestaande inferentiële methoden beperkt tot onafhankelijke steekproeven of slechts paarsgewijze interacties.
• Doel: Het ontwikkelen van een procedure om betrouwbare betrouwbaarheidsintervallen te construeren voor laag-dimensionale functionals (lineaire en kwadratische functies) van de regressieparameter $\theta$, zelfs onder complexe, hogere-orde netwerkafhankelijkheid.

2. Methodologie

De auteurs stellen een tweestapsprocedure voor die gebaseerd is op een geregulariseerde maximum pseudo-likelihood schatter (MPLE) gecombineerd met een bias-correctie.

Stap 1: Consistente Schatting (MPLE)

Omdat de normaliserende constante $Z(\theta)$ in de MRF-verdeling computationeel onberekenbaar is, gebruiken ze een pseudo-likelihood benadering.

• Sterke onafhankelijke verzameling (Strong Independent Set): Om de complexiteit van de afhankelijkheid te omzeilen, selecteren de auteurs een subset van knopen $S$ uit de hypergraaf $G_n$ die een "sterke onafhankelijke verzameling" vormt (geen twee knopen in $S$ delen een hyperedge).
• Verdeling van data: De verzameling $S$ wordt opgesplitst in $S_1$ en $S_2$.
  • Op $S_1$ wordt een $\ell_1$-geregulariseerde MPLE ($\tilde{\theta}$) geoptimaliseerd. Omdat de knopen in $S_1$ conditioneel onafhankelijk zijn gegeven de rest van het netwerk, is de schatter consistent.
  • De schatter $\tilde{\theta}$ heeft echter een $O(1/\sqrt{n})$ bias die inferentie verhindert.

Stap 2: Bias-Correctie en Projectie

Om een asymptotisch normale schatter te verkrijgen voor een lineaire functional $c^\top\theta$, passen ze een debiasingstechniek toe:

• Debiasing: Ze construeren een correctie-term gebaseerd op de residuen op de verzameling $S_2$.
• Projectievector: Een cruciale component is de constructie van een projectievector $\hat{u}$. Deze vector wordt gekozen om de correlatie tussen de covariaten en de bias te minimaliseren. De vector $\hat{u}$ wordt gevonden door een geconstrueerd optimalisatieprobleem op te lossen (vergelijking 2.15) dat zorgt voor:
  1. Minimale variantie.
  2. Een "almost orthogonal" relatie met de regressieparameters, zodat de bias-term verdwijnt.
• Gewichten: De auteurs tonen aan dat voor logistische regressie de optimale gewichten constant zijn ($w_i = 2$), wat de berekening vereenvoudigt.

Uitbreiding naar Kwantitatieve Functionals

De methode wordt ook uitgebreid naar kwadratische functionals ($Q = \theta^\top M \theta$), wat relevant is voor toepassingen zoals erfelijkheidschatting in genetica. Hierbij wordt een extra correctie toegepast voor de kwadratische bias.

3. Belangrijkste Bijdragen

1. Generalisatie naar Hogere Orde: Dit is het eerste werk dat statistische inferentie biedt voor hoog-dimensionale logistische regressie onder algemene hypergraaf-afhankelijkheid (tensor netwerken), en niet beperkt tot paarsgewijze Ising-modellen.
2. Validatie van Projectie-methode: Ze bewijzen de geldigheid van projectie-gebaseerde inferentie (debiasing) in een setting met complexe netwerkafhankelijkheid, wat een aanzienlijke uitbreiding is van de bestaande literatuur die uitgaat van onafhankelijke data.
3. Theoretische Garanties:
   • Bewijs van asymptotische normaliteit voor de bias-correcte schatter.
   • Afleiding van niet-asymptotische foutgrenzen voor de MPLE.
   • Constructie van geldig betrouwbaarheidsintervallen en hypothesetoetsen met correcte type-I foutcontrole.
4. Computationele Efficiëntie: De methode blijft computatie-efficiënt door het gebruik van pseudo-likelihood en het splitsen van de data in onafhankelijke subsets, zelfs bij hogere-orde interacties.

4. Resultaten

• Theoretische Resultaten:
  • Theorema 2.1: Onder standaard aannames (sub-Gaussische covariaten, sparsiteit $s \ll \sqrt{n}$, en begrenste graad van de hypergraaf) convergeert de genormaliseerde schatter naar een standaard normale verdeling:
    $$\frac{\widehat{c^\top\theta} - c^\top\theta}{\sqrt{\hat{V}}} \xrightarrow{d} N(0, 1)$$
  • Propositie 2.1: De constructie van het betrouwbaarheidsinterval heeft de gewenste dekking ($1-\alpha$) en de lengte van het interval is optimaal ($O(n^{-1/2})$).
  • Propositie 2.3: De initiële MPLE-schatter $\tilde{\theta}$ bereikt de optimale convergentiesnelheid van de Lasso ($\|\tilde{\theta} - \theta\|_2 = O(\sqrt{s \log d / n})$).
• Simulaties:
  • De auteurs testen hun methode op 2D-roosters en reguliere grafen met variërende netwerksterkte ($\beta$) en dimensies ($d$).
  • Vergelijking: Ze vergelijken hun methode met een baseline (standaard hoog-dimensionale logistische regressie die netwerk-effecten negeert).
  • Conclusie: De baseline methode leidt tot ernstige onderdekking (bijv. 22-27% in plaats van 95%) omdat de afhankelijkheid wordt genegeerd. De voorgestelde methode behaalt consistent de gewenste dekking (94-99%) ongeacht de netwerksterkte of de dimensie.

5. Significantie en Toekomstperspectief

• Wetenschappelijke Impact: Dit werk vult een belangrijke leemte in de literatuur door inferentie mogelijk te maken in realistische scenario's waar data afhankelijk is (bijv. sociale netwerken, ruimtelijke data, genetica) en waar interacties complexer zijn dan alleen paarsgewijs.
• Toepassingen: De methode is direct toepasbaar op gebieden zoals:
  • Genetica: Schatting van erfelijkheid (heritability) in GWAS-studies met complexe genetische netwerken.
  • Sociale Netwerken: Analyse van peer-effecten in hoog-dimensionale data.
  • Ruimtelijke Statistiek: Inferentie in complexe ruimtelijke processen.
• Toekomstige Richtingen: De auteurs wijzen op uitdagingen voor de toekomst, zoals het uitbreiden van de methode naar dichte grafen (waar geen grote onafhankelijke verzamelingen bestaan), het modelleren van causale effecten onder netwerkinterferentie, en het generaliseren naar andere generalized linear models (GLMs) dan logistische regressie.

Kortom, dit paper biedt een robuust theoretisch raamwerk en een praktisch algoritme om betrouwbare statistische conclusies te trekken uit complexe, hoog-dimensionale netwerkdata, waar eerdere methoden faalden.