Covariate Selection for Joint Latent Space Modeling of Sparse Network Data

Technische Samenvatting: Covariaatselectie voor Joint Latent Space Modellering van Sparse Netwerkdata

Probleemstelling
Netwerkdata in sociale wetenschappen en epidemiologie van infectieziekten presenteren vaak twee gelijktijdige uitdagingen: rand-schaarsheid (veel geïsoleerde of laag-graad knooppunten) en hoog-dimensionale knoop-covariaten. Latente ruimte modellen (LSM's) vangen netwerkstructuren effectief op door te veronderstellen dat knooppunten zich in een laag-dimensionale ruimte bevinden, maar bestaande methoden worstelen met het integreren van hoog-dimensionale knoop-attributen. Onbezonnen inclusie van covariaten kan signalen verdunnen, de computationele last verhogen en de interpreteerbaarheid verslechteren. Bovendien negeren standaardbenaderingen die geschatte latente posities als vaste voorspellers behandelen de inherente meetfout in schaarse netwerken, wat leidt tot vertekende inferentie. Daarnaast dragen knooppunten zonder randen (isolaten) weinig bij aan rand-gebaseerde likelihoods, waardoor ze onderbenut blijven in de covariaatmodellering.

Methodologie
De auteurs stellen een joint latent space modelleringsframework voor dat netwerkranden en hoog-dimensionale binaire knoop-covariaten koppelt via gedeelde latente posities. De methodologie volgt een tweetraps workflow:

1. Joint Schatting: De auteurs schatten eerst de latente posities ($Z$), knoop-sociabiliteitsfactoren ($\alpha$) en regressiecoëfficiënten ($\beta$) met behulp van de volledige set covariaten. Deze fase maakt gebruik van de joint likelihood van de netwerk-adjacency matrix ($A$) en knoop-covariaten ($Y$), geconditioneerd op de latente posities. De netwerkranden worden gemodelleerd via een logistische regressie op latente inwendige producten, terwijl de knoop-covariaten een onafhankelijke logistische regressie volgen op de latente posities.
2. Covariaatselectie met Correctie voor Meetfout:
   • Group Lasso: Om hoog-dimensionaliteit ($q$ covariaten) aan te pakken, behandelt de methode de coëfficiëntvector van elke covariaat (die de covariaat verbindt met de $k$-dimensionale latente ruimte) als een groep. Er wordt een group lasso penalty toegepast om schaarsheid op het niveau van de covariaat af te dwingen, waardoor alleen die covariaten worden geselecteerd die geassocieerd zijn met de latente structuur.
   • Stabilisatie van Meetfout: In het besef dat latente posities ($\hat{Z}$) geschatte en geen geobserveerde waarden zijn, voegen de auteurs een ridge-type stabilisatieterm toe aan de group lasso-objectieffunctie. Deze term, gemotiveerd door meetfout-bewuste regularisatie voor hoog-dimensionale generalized lineaire modellen, mitigeert de bias die wordt geïntroduceerd door het gebruik van ruisgevoelige schattingen van $Z$ als voorspellers.
   • Refitting: Na de screening wordt het joint model opnieuw geschat met enkel de geselecteerde subset van covariaten om de signaal-ruisverhouding te verbeteren.

Theoretische Resultaten
Het artikel stelt voorspellingsfout-snelheden vast voor de covariaatcomponent onder twee scenario's:

• Oracle Setting (Perfect Geobserveerde $Z$): Onder standaardveronderstellingen (begrensde lineaire voorspellers, schaarse groepstructuur, restricted strong convexity) is de voorspellingsfout-snelheid voor uniforme controle over $q$ covariaten van de orde $O_p(\log q / n)$.
• Geschatte $Z$ (Meetfout): Wanneer latente posities worden geschat met een begrensde fout ($\delta_\infty$), wordt de voorspellingsfout-snelheid $O_p(\log q / n + \delta_\infty^2)$. De auteurs tonen aan dat indien de schattingsfout uit de eerste fase vervalt met een snelheid van $O(n^{-1/2})$, de meetfout-term wordt gedomineerd door de statistische fout, waardoor de optimale snelheid wordt hersteld.

Simulatie- en Applicatieresultaten

• Simulaties: De methode werd geëvalueerd op gesimuleerde netwerken ($n=200$, $q=25$) met variërende niveaus van schaarsheid en ruis-covariaten.
  • In schaarse netwerken leden methoden die de covariantieschaarsheid negeerden onder significante prestatievermindering naarmate de ruis toenam.
  • De voorgestelde meetfout-bewuste lasso (meLasso) verwijderde succesvol een hoog deel van de ruis-covariaten (tot 87% in minder schaarse netwerken en 56% in schaarse netwerken met hoge ruis), waarbij een robuuste voorspellende prestatie voor knoop-attributen behouden bleef.
  • Naïve benaderingen die noch rekening hielden met schaarsheid, noch met de meetfout, vertoonden gedegradeerde prestaties, met name in schaarse netwerkinstellingen.
• Toepassing op Werkelijke Data: Het framework werd toegepast op sociale netwerkdata van 75 dorpen in landelijk India. De auteurs simuleerden een pilotstudie door 10 dorpen te selecteren om een batterij van 32 covariaten te screenen (8 echte, 24 willekeurige).
  • Het screeningsproces identificeerde een parsimonieuze subset van covariaten, wat de benodigde dataverzameling voor de resterende 65 dorpen met 69% verminderde.
  • De netwerkvoorspellingsnauwkeurigheid (AUC) bleef ongewijzigd na de screening.
  • De voorspellende nauwkeurigheid voor de geselecteerde covariaten verbeterde zelfs (gemiddelde AUC-toename van 0,09) vergeleken met het gebruik van de volledige set, wat aantoont dat het verwijderen van irrelevante variabelen het vermogen van het model om de resterende attributen te voorspellen, heeft verbeterd.

Betekenis en Claims
Het artikel claimt drie specifieke uitdagingen in netwerkanalyse aan te pakken:

1. Integratie van Geïsoleerde Knooppunten: Door een joint model te gebruiken, benut de methode knoopvariabelen zelfs voor knooppunten zonder randen, waardoor alle knooppunten bijdragen aan de schatting.
2. Hoog-Dimensionale Selectie: De group lasso-benadering selecteert effectief relevante covariaten uit hoog-dimensionale ruimtes, wat signaalverdunning voorkomt.
3. Onzekerheidskwantificatie: De inclusie van een meetfout-bewuste stabilisatieterm corrigeert voor de bias die wordt geïntroduceerd door het gebruik van geschatte latente posities als voorspellers.

De auteurs benadrukken dat hun aanpak efficiënt studieontwerp ondersteunt, waardoor onderzoekers grote batterijen aan covariaten kunnen screenen in pilotstudies om de last van dataverzameling te verminderen zonder de netwerkvoorspellingsnauwkeurigheid op te offeren. Theoretische garanties en empirische resultaten suggereren dat schaarsheid-bewuste schattings technieken substantiële voordelen bieden in latent space modellering met een minimaal risico op het weggooien van informatieve variabelen, mits het netwerk en de covariaatinformatie niet simultaan extreem schaars zijn.