Technische Samenvatting: Voorspellingsmodellen die leren om ontbrekende waarden te vermijden

Probleemstelling

De inzet van machine learning-modellen in real-world scenario's wordt frequent gehinderd door ontbrekende waarden, met name tijdens de testfase. Traditionele benaderingen, zoals "imputeer-dan-regresseer" (het imputeren van ontbrekende gegevens vóór de training) of het gebruik van indicatoren voor ontbrekendeheid, introduceren vaak bias, verhogen de modelcomplexiteit of vertroebelen de interpreteerbaarheid. Hoewel sommige gespecialiseerde modellen (bijv. XGBoost met standaardpaden, Bayesiaanse netwerken) van nature met ontbrekendeheid omgaan, zijn ze vaak beperkt tot specifieke modelklassen.

De kernuitdaging die wordt aangepakt, is de afweging tussen voorspellende nauwkeurigheid en de afhankelijkheid van ontbrekende kenmerken. In kritieke sectoren zoals de gezondheidszorg kan een model dat geïmputeerde waarden of kenmerken vereist die tijdens de testfase vaak niet beschikbaar zijn, onbetrouwbaar of moeilijk te interpreteren zijn. De auteurs stellen een raamwerk voor waarbij modellen worden getraind om strategisch kenmerken te vermijden die ontbreken voor een specifieke input, in plaats van het model te dwingen te vertrouwen op geïmputeerde waarden of maskers voor ontbrekendeheid.

Methodologie: Missingness-Avoiding (MA) Learning

Het artikel introduceert Missingness-Avoiding (MA) machine learning, een algemeen raamwerk dat de leerdoelen van standaardalgoritmen aanpast om de afhankelijkheid van ontbrekende waarden te bestraffen. De doelfunctie minimaliseert een afweging tussen de verwachte voorspellingsverlies en de verwachte afhankelijkheid van ontbrekendeheid:

$$\min_{h \in \mathcal{H}} \mathbb{E}_p[L(Y, h(X))] + \alpha \rho(h)$$

Waar:

• $L$ de voorspellingsverlies is.
• $\rho(h)$ de verwachte afhankelijkheid van ontbrekendeheid is, gedefinieerd als de kans dat het berekenen van een voorspelling $h(x)$ toegang vereist tot een ontbrekend kenmerk $x_j$ (waarbij $x_j = na$).
• $\alpha \ge 0$ een hyperparameter is die de sterkte van de straf regelt.

De auteurs leiden specifieke algoritmen af voor drie modelklassen:

1. MA Beslissingsbomen (MA-DT)

Beslissingsbomen zijn van nature geschikt voor deze taak omdat hun afhankelijkheid van kenmerken contextueel is; een kenmerk is alleen vereist als het voorkomt op het beslissingspad voor een specifieke input.

• Mechanisme: De auteurs passen de hongerige splitsingsalgoritmen (zoals C4.5 of ID3) aan. Tijdens het proces van splitsingselectie wordt het criterium (bijv. Gini-onzuiverheid) uitgebreid met een regularisatieterm.
• Regularisatie: Voor een blad $\ell$ en een kandidaat-splitsing $(j, \tau)$ bevat de kostenfunctie een straf die proportioneel is aan het deel van de monsters in dat blad waar kenmerk $j$ ontbreekt.
• Contextuele Vermijding: Het algoritme leert om monsters met ontbrekende waarden naar takken te leiden die het ontbrekende kenmerk niet vereisen, waardoor het de "contextuele ontbrekendeheid" van de gegevens effectief exploiteert.

2. MA Sparse Lineaire Modellen (MA-LASSO)

Lineaire modellen kunnen ontbrekende waarden niet contextueel vermijden; als een coëfficiënt $\theta_j \neq 0$, vereist het model altijd $x_j$.

• Mechanisme: Het raamwerk past de LASSO (L1-regularisatie) benadering aan.
• Regularisatie: In plaats van een uniforme straf, wordt de straf voor elk kenmerk $j$ geschaald door de empirische ontbrekendeheidsgraad $m_j$. De doelfunctie minimaliseert:
  $$\sum L(y_i, \theta^T x^I_i) + \sum_{j=1}^d (\lambda + \alpha m_j) |\theta_j|$$
• Effect: Kenmerken met hoge ontbrekendeheidsgraden ontvangen een grotere straf, wat het model aanmoedigt om hun coëfficiënten op nul te zetten, waardoor de afhankelijkheid van ontbrekende gegevens wordt verminderd.

3. MA Tree Ensembles (MA-RF en MA-GBT)

• MA Random Forest (MA-RF): Traint onafhankelijke MA-bomen parallel. Elke boom minimaliseert het geregulariseerde splitsingscriterium.
• MA Gradient Boosted Trees (MA-GBT): Gebruikt een boosting-benadering waarbij opeenvolgende bomen de residuen van vorige bomen fitten. Cruciaal is dat de regularisatiegewichten dynamisch worden bijgewerkt. Als een kenmerk $j$ al door een vorig model is gebruikt voor een specifieke observatie $x_i$ (en ontbrak), worden daaropvolgende modellen minder gestraft voor het opnieuw vertrouwen op dit kenmerk. Dit voorkomt dat het ensemble over verschillende bomen heen een excessieve afhankelijkheid van ontbrekende kenmerken accumuleert.

Belangrijkste Bijdragen

1. Introductie van het Raamwerk: De voorstel van een algemeen "Missingness-Avoiding" raamwerk dat een hoge nauwkeurigheid combineert met een minimale afhankelijkheid van ontbrekende kenmerken tijdens de testfase.
2. Algoritmische Implementatie: De ontwikkeling van specifieke, fit-predict compatibele algoritmen voor beslissingsbomen (MA-DT), sparse lineaire modellen (MA-LASSO) en tree ensembles (MA-RF, MA-GBT).
3. Theoretische Analyse:
   • Identificatie van Observed Deterministic Data Collection (ODDC) regels, waarbij specifieke combinaties van geobserveerde variabelen de aanwezigheid van andere variabelen garanderen. De auteurs bewijzen dat als dergelijke regels bestaan, modellen een afhankelijkheid van ontbrekendeheid van nul kunnen bereiken zonder verlies van voorspellende nauwkeurigheid.
   • Analyse van beperkingen, waarbij wordt aangetoond dat als ontbrekendeheid volledig willekeurig is (MCAR) of als de distributie tijdens de testfase significant verschuift, de afweging tussen nauwkeurigheid en afhankelijkheid onvermijdelijk kan zijn.
4. Empirische Validatie: Demonstratie over zes real-world datasets (inclusief NHANES, ADNI en FICO) waar MA-modellen de afhankelijkheid van ontbrekendeheid aanzienlijk verminderen (vaak van 100% naar bijna 0%) terwijl ze een voorspellende prestatie (AUROC) behouden die competitief is met onreguliereerde baselines.

Experimentele Resultaten

De auteurs evalueerden MA-DT, MA-LASSO, MA-RF en MA-GBT tegen standaard baselines (imputatiegebaseerde modellen, indicatoren voor ontbrekendeheid zoals M-GAM en native handlers zoals XGBoost en NeuMiss) op zes datasets.

• Prestatie vs. Afhankelijkheid: MA-modellen bereikten consistent lagere afhankelijkheid van ontbrekendeheid ($\hat{\rho}$) dan hun onreguliereerde tegenhangers. Bijvoorbeeld, MA-DT verminderde de afhankelijkheid van ~11,7% naar 0,1% op de ADNI-dataset terwijl het een vergelijkbare AUROC behield.
• Vergelijking met Baselines:
  • MA-modellen presteerden consequent beter of gelijk aan standaard imputatiemethoden (Zero Imputation, MICE) wat betreft reductie van afhankelijkheid.
  • MA-DT en MA-RF bereikten een aanzienlijk lagere afhankelijkheid dan XGBoost en Random Forests, die vaak zwaar leunen op ontbrekende kenmerken.
  • MA-LASSO verminderde de afhankelijkheid aanzienlijk vergeleken met standaard LASSO, met minimaal verlies in AUROC.
  • Hoewel MINTY (een gerelateerd regelgebaseerd model) een lage afhankelijkheid bereikte, was MA-LASSO aanzienlijk sneller te trainen (onder de 1 seconde versus tot 292 seconden).
• Afweging: De experimenten bevestigden dat een gunstige afweging haalbaar is. Door $\alpha$ af te stemmen, kunnen beoefenaars modellen selecteren die opereren op de Pareto-front van nauwkeurigheid en vermijding van ontbrekendeheid.

Betekenis en Claims

Het artikel claimt dat MA-learning een krachtig instrument biedt voor beoefenaars die behoefte hebben aan interpreteerbaarheid en robuustheid in de aanwezigheid van ontbrekende gegevens.

• Interpreteerbaarheid: Door de afhankelijkheid van ontbrekende kenmerken te vermijden, blijven de beslissingspaden van MA-modellen transparant en zijn ze niet afhankelijk van de opake logica van imputatie of de complexe interacties die door indicatoren voor ontbrekendeheid worden geïntroduceerd.
• Praktische Bruikbaarheid: De aanpak vereist geen gespecialiseerde architecturen (zoals NeuMiss) of complexe imputatie-pipelines. Het kan worden geïntegreerd in standaard workflows met behulp van bestaande tree- en lineaire modelbibliotheken.
• Haalbaarheid: De auteurs betogen dat het in veel real-world scenario's (met name die die worden beheerst door ODDC-regels, zoals klinische richtlijnen) mogelijk is om modellen te bouwen die zowel zeer nauwkeurig als volledig vrij van afhankelijkheid van ontbrekendeheid zijn, wat het idee uitdaagt dat ontbrekende gegevens altijd moeten worden geïmputeerd of geïndiceerd om een goede prestatie te behalen.

Het werk concludeert dat hoewel het volledig vermijden van ontbrekende waarden in alle scenario's (bijv. wanneer ontbrekendeheid puur willekeurig is of informatief op een manier die niet geëxploiteerd kan worden) niet haalbaar is, het MA-raamwerk een principieel methode biedt om deze afhankelijkheid te minimaliseren zonder de voorspellende bruikbaarheid in gevaar te brengen.