Fused Multinomial Logistic Regression Utilizing Summary-Level External Machine-learning Information

Probleemstelling

In veel moderne statistische toepassingen beschikken onderzoekers over twee verschillende soorten gegevensbronnen:

1. Een primaire studie: Een zorgvuldig ontworpen studie met een relatief klein aantal individuele data-punten ($n$), waarbij de uitkomsten ($Y$) en covariaten ($X$) volledig bekend zijn. Deze data wordt gebruikt voor interpreteerbaar modelleerwerk (bijv. multinomiale logistische regressie).
2. Externe bronnen: Beschikbare samenvattingsstatistieken of voorspellingen van "black-box" machine-learningmodellen (zoals XGBoost, Random Forests, Deep Learning) die zijn getraind op zeer grote datasets ($N \gg n$). Deze bronnen bieden vaak alleen samenvattende informatie (geen individuele data), kunnen onvolledige covariaten hebben ($Z \subseteq X$), en kunnen verouderde of gegroepeerde uitkomstlabels bevatten.

De uitdaging: Bestaande methoden voor data-integratie hebben moeite om deze niet-parametrische machine-learning-voorspellingen effectief te gebruiken om de statistische inferentie in de primaire studie te verbeteren. Specifieke problemen zijn:

• Covariaten-shift: Verschillen in de verdeling van covariaten tussen de primaire en externe populatie.
• Concept-shift: Verschillen in de generatiemechanismen van de uitkomsten (bijv. verschillende prevalentie van ziekteklassen) tussen de bronnen.
• Data-kwaliteit: Externe data kan "vergrofd" (coarsened) zijn (bijv. samengevoegde klassen) of ontbrekende covariaten bevatten.

Methodologie

De auteurs stellen een algemeen raamwerk voor op basis van Empirische Likelihood (EL) om de primaire multinomiale logistische regressie te fuseren met externe momentrestricties.

1. Het Model:

• Primair model: Multinomiale logistische regressie voor $K$ klassen, waarbij $P(Y=k|X, S=1)$ wordt gemodelleerd met parameters $\theta$.
• Externe voorspelling: Een niet-parametrisch machine-learning model levert een schatter $\hat{q}(z)$ voor de waarschijnlijkheden van de uitkomst in de externe bron ($S=0$).

2. Omgaan met Heterogeniteit:

• Structuurassumptie (Assumptie 2): Om informatie over te dragen, wordt aangenomen dat de parameters van beide bronnen gedeelde en vrije componenten hebben.
  • $\theta = (\psi, \vartheta)$ en $\phi = (A_m\psi, \varphi)$.
  • $\psi$ is een gedeeld parameter (shared parameter) die informatie overdraagt.
  • $\vartheta$ en $\varphi$ zijn bron-specifieke vrije parameters (bijv. intercepts die verschillen om class-prevalentieverschillen op te vangen).
• Covariaten-shift en ontbrekende data: In plaats van dichtheidsverhoudingen (density ratios) te schatten (wat vaak onmogelijk is bij alleen samenvattingsdata), maken de auteurs gebruik van Assumptie 3: De verhouding van de dichtheden $f_1(X)/f_0(X)$ is een functie van de waargenomen covariaten $Z$. Dit is equivalent aan "Missing At Random" voor de niet-gemeten covariaten. Hierdoor blijven momentrestricties geldig zonder expliciete dichtheidsmodellering.

3. De Geschatte Likelihood (Fused Estimator):
De methode maximaliseert een geprofileerde log-pseudo-likelihood die de primaire log-likelihood combineert met momentrestricties afgeleid van de externe voorspellingen:
$$\ell_n(\gamma | \hat{q}) = \ell_n(\theta) - \frac{1}{n} \sum_{i=1}^n \log \left( 1 + \sum_{h \in \mathcal{H}} \sum_{l=1}^{L-1} g_{l,h}(X_i | \dots) \lambda_{l,h} \right)$$
Waarbij:

• $\ell_n(\theta)$ de standaard log-likelihood van de primaire data is.
• De extra termen de momentrestricties vertegenwoordigen: $E[\{p_k(X|\phi) - \hat{q}_k(Z)\}h(Z)] = 0$.
• $\mathcal{H}$ is een verzameling basisfuncties (bijv. de covariaten zelf of splines) die de flexibiliteit van de momentrestricties vergroot.
• $\lambda$ zijn Lagrange-multiplicatoren die de gewichten van de observaties aanpassen om aan de externe momenten te voldoen.

4. Regularisatie:
Om numerieke stabiliteit te garanderen (voorkomen dat de likelihood divergeert), wordt een $L_2$-strafterm toegevoegd aan de Lagrange-multiplicatoren: $\max \{ \ell_n - \tau \|\lambda\|^2 \}$.

Belangrijkste Bijdragen

1. General Framework: Een nieuw raamwerk dat niet-parametrische machine-learning-voorspellingen integreert in een interpreteerbare parametrische (multinomiale logistische) regressie zonder individuele data uit de externe bron nodig te hebben.
2. Robuustheid tegen Shift: De methode behandelt covariaten-shift en concept-shift expliciet door een mix van gedeelde en bron-specifieke parameters, zonder complexe dichtheidsverhoudingsschatters te vereisen.
3. Omgaan met imperfecte data: De methode werkt met externe bronnen die onvolledige covariaten hebben ($Z \subset X$) en vergruinde (coarsened) uitkomstlabels.
4. Theoretische Eigenschappen:
   • Bewezen consistentie en asymptotische normaliteit van de geschatte parameters.
   • Afleiding van voorwaarden waaronder het gebruik van externe informatie leidt tot een strikte winst in efficiëntie (kleinere variantie) ten opzichte van alleen primaire data. Een cruciale voorwaarde is dat het aantal momentrestricties (grootte van $\mathcal{H}$) groot genoeg is ten opzichte van het aantal vrije parameters in de externe bron.

Resultaten

1. Simulatiestudies:

• Opzet: Vergelijking tussen de standaard Maximum Likelihood Schatter (MLE) en de voorgestelde Fused Maximum Likelihood Estimator (FMLE) in een 3-klassen scenario met $n=500$ en $N=10.000$.
• Vindingen:
  • De FMLE toont een significante efficiëntiewinst: de standaarddeviatie van de geschatte regressiecoëfficiënten daalde met ongeveer 25% (bij volledige covariaten) en 15% (bij ontbrekende covariaten) voor de parameters die correleren met de externe groepstructuur.
  • De methode is robust tegen verschillende vormen van shift (mean-shift, variance-shift, of beide).
  • De dekking van de 95% betrouwbaarheidsintervallen bleef goed (rond 0.94-0.96), hoewel er een lichte onderdekking was bij sommige coëfficiënten wanneer de onzekerheid van de externe voorspelling niet volledig werd meegenomen.
  • De Mean Squared Error (MSE) voor voorspellingen van klassenproporties was uniform lager voor de FMLE, met name voor de klasse die het meest overeenkwam met de externe groepering.

2. Toepassing op Real Data (NHANES):

• Context: Classificatie van bloeddruk (Normaal, Prehypertensie, Hypertensie) met data van de National Health and Nutrition Examination Survey.
• Data: Primaire data ($n \approx 9186$) met laboratoriumwaarden; Externe data ($N \approx 12425$) zonder laboratoriumwaarden maar met demografische data.
• Resultaat:
  • De FMLE leverde nauwkeurigere schattingen op voor de demografische covariaten (zoals BMI, taille, gewicht) vergeleken met de MLE.
  • Bij een gesimuleerde kleinere primaire steekproef ($n=600$) leverde de FMLE aanzienlijk smallere betrouwbaarheidsintervallen op dan de MLE, wat aantoont dat de methode zeer waardevol is wanneer de verhouding $n/N$ klein is.

Significantie

Dit artikel biedt een praktische en theoretisch onderbouwde oplossing voor een veelvoorkomend probleem in de moderne datawetenschap: hoe maak je gebruik van de enorme kracht van "big data" machine-learning-modellen (die vaak black-box en niet-parametrisch zijn) om de inferentie in kleinere, hoogwaardige studies te verbeteren, zonder de interpretability van parametrische modellen op te offeren.

De methode is bijzonder relevant omdat:

• Het geen individuele data uit de externe bron vereist (privacy-vriendelijk).
• Het robuust is tegen veelvoorkomende data-kwaliteitsproblemen (ontbrekende variabelen, verouderde labels).
• Het bewijst dat het combineren van interpreteerbare modellen met krachtige ML-voorspellingen leidt tot statistisch efficiëntere conclusies, zelfs onder complexe omstandigheden zoals covariaten- en concept-shift.