Not Another Imputation Method: A Transformer-based Model for Missing Values in Tabular Datasets

Dit artikel introduceert NAIM, een transformer-gebaseerd model dat ontbrekende waarden in tabulaire datasets direct verwerkt via specifieke embeddings en aangepaste self-attention, zonder traditionele imputatietechnieken, en hiermee superieure prestaties behaalt ten opzichte van bestaande methoden.

De kern

Hier is een uitleg van het artikel "Not Another Imputation Method" (NAIM), vertaald naar eenvoudig Nederlands met creatieve vergelijkingen.

Het Grote Probleem: De Ontbrekende Puzzelstukjes

Stel je voor dat je een enorme puzzel moet leggen om een AI-model te trainen. Maar in deze puzzel ontbreken er veel stukjes. Soms is een stukje weggebroken door een foutje bij het verzamelen, soms heeft iemand het niet willen invullen, en soms is het gewoon kwijtgeraakt.

In de wereld van data noemen we dit ontbrekende waarden.

Tot nu toe was de standaardoplossing voor dit probleem: Imputatie. Dat is een heel groot woord voor "raadsels raden". Als er een stukje ontbreekt, proberen wetenschappers een nieuw stukje te maken dat er misschien uitziet als het echte stukje. Ze vullen het gat met een gemiddelde, of ze kijken naar de buren om te zien wat er zou kunnen staan.

• Het nadeel: Het is als het maken van een nep-puzzelstukje. Je hoopt dat het past, maar het is niet echt. Soms leidt dit tot fouten of vertekende resultaten, omdat je de AI leert op basis van verzonnen informatie in plaats van echte feiten.

De Oplossing: NAIM (Het Geniale Nieuwe Model)

De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd NAIM (Not Another Imputation Method). De naam is een grapje: "Nog één imputatiemethode?" Nee, bedankt.

In plaats van de gaten te vullen, leert NAIM om met de gaten te werken.

Hier is hoe het werkt, in drie simpele stappen:

1. De "Geheime Code" voor elk type stukje (Feature Embeddings)

Stel je voor dat je een doos met verschillende soorten puzzelstukjes hebt: blauwe stukjes (cijfers) en rode stukjes (woorden/categorieën).
Bij NAIM krijgt elk stukje een eigen speciale "naamplaatje" of code. Als er een stukje ontbreekt, krijgt het geen nep-code, maar een speciale "lege" code. De AI weet dan precies: "Ah, dit is een leeg vakje, maar ik weet nog steeds welk type stukje het zou moeten zijn."

2. De "Zuurstofmasker" (Masked Self-Attention)

Dit is het slimste deel. In een normaal AI-model kijken alle puzzelstukjes naar elkaar om een beslissing te nemen. Als er een stukje ontbreekt, kan dat de andere stukjes in de war brengen.
NAIM gebruikt een masker. Stel je voor dat je een bril opzet die alleen de stukjes ziet die er echt zijn. De gaten worden letterlijk "doorgestreept" of onzichtbaar gemaakt voor de AI.

• De analogie: Het is alsof je een orkest hebt. Als een fluitist vergeten is te komen, spelen de anderen niet op zijn plek, maar ze negeren zijn afwezigheid en spelen gewoon op basis van wie er wél is. De muziek (het antwoord) blijft perfect, zonder dat je een nep-fluitist hoeft te vinden.

3. De "Oefening met Gebrekkige Data" (Regularisatie)

Dit is misschien wel het meest geniale trucje. Vaak is het probleem dat AI-modellen alleen leren als ze volledige data hebben, en dan faals ze als ze in de echte wereld met gaten geconfronteerd worden.
De auteurs laten het model tijdens het leren zomaar stukjes weglaten.

• De analogie: Stel je voor dat je een kok traint om een gerecht te maken. Normaal geef je hem alle ingrediënten. Maar bij NAIM zeggen ze: "Vandaag doen we alsof je geen eieren hebt. Morgen doen we alsof je geen bloem hebt."
  Zo leert de kok (het model) om het gerecht te maken, ongeacht welke ingrediënten er ontbreken. Hij wordt veerkrachtig.

Waarom is dit zo belangrijk?

De auteurs hebben hun nieuwe model getest tegen 11 andere bekende modellen (zowel oude statistische methoden als moderne deep learning) op 5 verschillende datasets (zoals het voorspellen van inkomen of spam-e-mails).

De resultaten:

• NAIM was bijna altijd sneller en beter dan de anderen.
• De andere modellen moesten eerst tijd steken in het "raadsels raden" (imputatie) voordat ze konden beginnen. NAIM begint direct.
• Zelfs als er 75% van de data ontbreekt, blijft NAIM goed presteren, terwijl de anderen volledig in de war raken.

Conclusie in één zin

In plaats van te proberen de gaten in je data te vullen met verzonnen stukjes (wat vaak fout gaat), heeft NAIM geleerd om te dansen op de muziek die er wel is, zelfs als er flinke stukken uit de melodie ontbreken. Het is een slimmere, robuustere manier om AI te trainen met onvolledige informatie.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Not Another Imputation Method: A Transformer-based Model for Missing Values in Tabular Datasets" in het Nederlands.

Probleemstelling

Het verwerken van ontbrekende waarden (missing values) in tabulaire datasets vormt een aanzienlijke uitdaging voor het trainen en testen van kunstmatige intelligentie-modellen. Traditionele aanpakken vertrouwen vaak op imputatie: het vervangen van ontbrekende waarden door geschatte waarden (bijv. gemiddelden, KNN of MICE) voordat het model wordt getraind. Dit introduceert echter twee grote problemen:

1. Informatieverlies en bias: Imputatiemethoden kunnen de onderliggende verdelingen van de data verstoren en leiden tot vooringenomen voorspellingen.
2. Afhankelijkheid van preprocessing: Bestaande state-of-the-art modellen vereisen vaak een compleet dataset om correct te functioneren, wat betekent dat ze niet robuust zijn voor scenario's waar data ontbreekt tijdens zowel training als inferentie.

Hoewel deep learning-modellen (zoals Transformers) succesvol zijn in tekst en beeld, hebben ze moeite met tabulaire data die een heterogene mix van categorische en numerieke kenmerken bevat, vooral wanneer deze onvolledig zijn.

Methodologie: NAIM

De auteurs introduceren NAIM ("Not Another Imputation Method"), een nieuw Transformer-gebaseerd model dat specifiek is ontworpen om te leren van beschikbare data zonder enige vorm van traditionele imputatie. De architectuur bestaat uit drie kerncomponenten:

1. Specifieke Feature Embeddings:

   • In plaats van ontbrekende waarden te vervangen, gebruikt NAIM een padding-index in de lookup-tabellen voor zowel categorische als numerieke kenmerken.
   • Voor numerieke kenmerken wordt een embedding-tabel gebruikt met twee entries: "aanwezig" (trainable vector) en "ontbrekend" (niet-trainable vector van nullen).
   • Dit zorgt ervoor dat ontbrekende waarden worden gekodeerd als een specifieke, niet-informatieve vector die de leerprocessen niet verstoort.

2. Gewijzigde Masked Self-Attention Mechanisme:

   • De standaard masked self-attention in Transformers maskert vaak alleen toekomstige tokens (in NLP) of padding-tokens. De auteurs stellen vast dat dit niet voldoende is om de bijdrage van ontbrekende kenmerken volledig te elimineren in tabulaire data.
   • Ze introduceren een nieuwe masked self-attention formule die de maskermatrix $M$ tweemaal toepast (eenmaal op de rijen en eenmaal op de kolommen).
   • Formule: $\text{Attention}(Q, K, V) = \text{ReLU}(\text{softmax}(\frac{QK^T}{\sqrt{d_h}} + M) + M^T)V$.
   • Dit garandeert dat de aandacht (attention) voor rijen en kolommen die corresponderen met ontbrekende waarden volledig op nul wordt gezet, waardoor deze waarden geen enkele invloed hebben op de berekening van de andere features.

3. Nieuwe Regularisatie-techniek:

   • Om het model te leren omgaan met ontbrekende data, zelfs als het trainingsset volledig is, wordt een stochastische masking-strategie toegepast tijdens het trainen.
   • Bij elke epoch wordt een willekeurig aantal niet-ontbrekende elementen in het feature-vector gemaskeerd (simulatie van ontbrekende data).
   • Dit dwingt het model om robuuste representaties te leren die niet afhankelijk zijn van specifieke kenmerken, waardoor het beter generaliseert naar scenario's met willekeurige ontbrekende data.

Belangrijkste Bijdragen

• Ontwerp van een Imputatie-vrij Transformer-model: NAIM is het eerste Transformer-model dat specifiek is ontworpen om zowel categorische als numerieke ontbrekende waarden te negeren zonder imputatie.
• Innovatieve Attention-mechanisme: De ontwikkeling van een dubbel-gemaskerde self-attention die de invloed van ontbrekende data volledig uitsluit uit de gradientberekeningen.
• Robuuste Regularisatie: Een nieuwe techniek die het model in staat stelt om te leren hoe het moet omgaan met data-incompleetheid, zelfs als de training data aanvankelijk compleet is.
• Uitgebreide Evaluatie: Een grondige experimentele evaluatie op 5 publiek beschikbare datasets (Adult, BankMarketing, OnlineShoppers, SeismicBumps, Spambase) met variërende percentages ontbrekende data (0% tot 75%).

Resultaten

NAIM werd getest tegen een breed scala aan concurrenten, waaronder:

• 6 Machine Learning-modellen (o.a. XGBoost, Random Forest, SVM) gekoppeld aan 3 imputatietechnieken (Mean, KNN, MICE).
• 5 Deep Learning-modellen (o.a. TabNet, TabTransformer, FTTransformer, GRAPE) eveneens gekoppeld aan imputatie.
• Modellen met ingebouwde strategieën voor ontbrekende data (zoals MIA in boomstructuren).

Kernbevindingen:

• Superieure Prestaties: NAIM behaalde in 23 van de 36 geteste scenario's de beste prestaties (gemeten in AUC).
• Statistische Significantie: Op basis van de Wilcoxon signed-rank test wint NAIM in 58,7% van de gevallen significant van de concurrenten, terwijl het slechts in 1,6% van de gevallen verliest.
• Robuustheid: NAIM toont een minimale prestatiedaling (slechts 0,88% bij ontbrekende trainingsdata en 5,27% bij ontbrekende testdata) vergeleken met andere modellen die sterk degradëren bij hoge percentages ontbrekende data.
• Ablatie-studies: Experimenten zonder de regularisatie-techniek of zonder het aangepaste attention-mechanisme lieten zien dat beide componenten cruciaal zijn voor de hoge prestaties.

Betekenis en Toekomstperspectief

De paper demonstreert dat het traditionele paradigma van "eerst imputeren, dan modelleren" voor tabulaire data met ontbrekende waarden overbodig kan zijn. NAIM biedt een elegante, end-to-end oplossing die de complexiteit van preprocessing elimineert en tegelijkertijd betere voorspellende prestaties levert.

De auteurs wijzen op toekomstige richtingen, waaronder:

• Uitbreiding naar multimodale data (bijv. het combineren van tabulaire data met afbeeldingen of tekst).
• Verbetering van de efficiëntie van de attention-mechanismen voor grotere datasets.
• Toepassing in kritieke domeinen zoals gezondheidszorg en financiën, waar interpretatie en transparantie essentieel zijn.
• Integratie van temporale modellering voor tijdreeksen met onregelmatige steekproeven.

Kortom, NAIM stelt een nieuwe standaard voor het omgaan met ontbrekende data in tabulaire datasets, waarbij het de noodzaak van imputatie volledig wegneemt en de robuustheid van AI-modellen aanzienlijk verhoogt.