You Have More Data Than You Think: Optimizing Machine Learning in Tabular Social Science Datasets Through Augmentation and Linkage
Dit artikel beschrijft hoe de auteurs de topprestaties in de Predicting Fertility data challenge hebben behaald door twee data-engineeringstrategieën toe te passen — time-shift data-augmentatie om de steekproefomvang te vergroten en partnerkoppeling om de feature-sets uit te breiden — waarmee hun effectiviteit voor het optimaliseren van machine learning op tabulaire sociaalwetenschappelijke datasets wordt aangetoond.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Grote Datajacht: Waarom meer ogen op het probleem helpen
Stel je voor dat je probeert de afloop van een mysteryroman te raden, maar je hebt slechts drie pagina's ter beschikking. Je zou misschien een wilde gok wagen, maar de kans is groot dat je het fout hebt. Stel je nu voor dat je magisch drie extra exemplaren van datzelfde boek zou kunnen vinden, maar dat ze in iets andere jaren zijn geschreven. Zelfs als de kleding van de personages een beetje veranderd is of het weer anders is, zou de kern van het verhaal — hun persoonlijkheden, hun relaties en hun motivaties — waarschijnlijk hetzelfde blijven. Door alle vier de versies te lezen, heb je een veel grotere kans om de afloop te voorspellen. Dit is de kern van machine learning, een tak van de computerwetenschap waarbij computers leren patronen te herkennen en voorspellingen te doen, net zoals een detective die een zaak oplost.
Echter, in de wereld van de sociale wetenschappen — de studie naar hoe mensen leven, liefhebben en keuzes maken — worstelen detectives vaak omdat ze niet genoeg "pagina's" hebben. Enquêtes en studies hebben vaak maar heel weinig mensen om naar te kijken, wat het voor computers moeilijk maakt om de regels van menselijk gedrag te leren. Hier komt het concept van dataaugmentatie om de hoek kijken. Zie het als een manier om een klein stukje deeg uit te rekken tot een grotere brood, zonder nieuwe ingrediënten toe te voegen. In plaats van te wachten tot er meer mensen meedoen aan een studie, proberen onderzoekers de data die ze al hebben slim te herschikken, zodat het lijkt alsof er meer mensen of meer informatie beschikbaar is. De grote vraag is: kunnen we de computer een beter leerproces bezorgen door hem "meer" data te geven, zelfs als die data slechts een slimme herschikking is van wat we al wisten?
Het Verhaal van het Papier: Tijd Rekken en Partners Koppelen
In een recente studie pakten onderzoekers Hanzhang Ren en Emily M. Cantrell dit exacte probleem aan terwijl ze deelnamen aan een wereldwijde wedstrijd genaamd PreFer (Predicting Fertility). De uitdaging was simpel maar lastig: voorspel of iemand in Nederland tussen 2021 en 2023 een nieuwe baby zou krijgen (door geboorte of adoptie). De crux? De data die ze hadden bestond uit een enquête met slechts 987 mensen. Dat is een piepklein publiek voor een computer die de complexe regels van gezinsplanning probeert te leren.
De onderzoekers hebben geen nieuw, supercomplex computerbrein uitgevonden. In plaats daarvan gebruikten ze twee slimme trucs om hun bestaande data veel groter en rijker te laten aanvoelen. Ze noemden deze trucs "time-shift data augmentation" (tijdsverschuivings-dataaugmentatie) en "partner linkage" (partnerkoppeling).
Truc #1: De Tijdmachine (Time-Shift Data Augmentation)
Stel je voor dat je een dagboek hebt waarin je elk jaar je gedachten hebt opgeschreven. Als je wilt voorspellen wat je volgend jaar gaat doen, kijk je meestal alleen naar je meest recente invoer. Maar wat als je zou kunnen doen alsof je invoer van drie jaar geleden eigenlijk gisteren is geschreven?
De onderzoekers deden precies dit. Ze namen data van 2018–2020 en "verschuifden" deze in de tijd naar 2021–2023 om het te laten lijken alsof het uit die periode kwam. Ze hebben niet simpelweg kopiëren en plakken gedaan; ze pasten de cijfers zorgvuldig aan. Bijvoorbeeld, als iemand in 1987 was geboren, veranderden ze het record zodat er stond dat diegene in 1990 was geboren, zodat de leeftijd overeenkwam met de nieuwe tijdlijn. Ze pasten ook de geldwaarden aan om rekening te houden met inflatie, net zoals een prijskaartje van 2018 naar 2023 bijwerken.
Door dit te doen, veranderden ze hun oorspronkelijke 987 mensen in 2.839 "mensen" voor de computer om te bestuderen. Het is alsoals een kleine groep acteurs nemen en hen vragen om dezelfde rollen te spelen in een iets ander jaar, waardoor de computer drie keer zoveel voorbeelden krijgt om van te leren. Het resultaat? De voorspellingen van de computer werden beter. De nauwkeurigheidsscore van het model (de ) sprong van 0,543 naar 0,581. Het was geen magische oplossing, maar wel een solide verbetering, wat suggereert dat het hebben van meer voorbeelden de computer echt helpt om de patronen van menselijk gedrag te leren.
Truc #2: De Beste Vriend Connectie (Partner Linkage)
De tweede truc ging over het bekijken van het hele plaatje, niet alleen één persoon. In veel enquêtes staan een echtgenoot en echtgenote op aparte regels. Als de computer probeert te raden of jij een baby krijgt, kijkt hij meestal alleen naar jouw antwoorden. Maar in het echte leven besluiten koppels vaak samen kinderen te krijgen.
De onderzoekers bouwden een brug tussen deze afzonderlijke regels. Ze koppelden de data van een persoon aan de data van hun echtgenoot of partner. Als iemands partner vragen beantwoordde over het willen krijgen van een baby, werd dat antwoord toegevoegd aan het dossier van die persoon. Plotseling keek de computer niet alleen naar de gedachten van één persoon; de computer zag de gecombineerde gedachten van het koppel.
Dit voegde nieuwe "aanwijzingen" toe aan de mysteries. Toen ze deze partnerdata gebruikten, steeg de nauwkeurigheidsscore opnieuw, van 0,543 naar 0,557. Het was een kleinere sprong dan de tijdmachine, maar het toonde aan dat weten wat je partner denkt ertoe doet.
De Krachtige Combinatie
De echte magie gebeurde toen ze beide trucs samen gebruikten. Door de data in de tijd te verschuiven én de partners te koppelen, steeg de nauwkeurigheidsscore van de computer naar 0,591. Deze gecombineerde aanpak verbeterde het model met 0,047 vergeleken met de oorspronkelijke data.
Om dit in perspectief te plaatsen, vergeleken de onderzoekers hun "data-trucs" met andere manieren om een model te verbeteren. Ze ontdekten dat hun gecombineerde trucs bijna even nuttig waren als urenlang het finetunen van de instellingen van de computer (een proces dat hyperparameter tuning wordt genoemd). Sterker nog, de verbetering door hun data-trucs was bijna even groot als het verschil tussen hun winnende model en de nummer twee in de wedstrijd.
Wat dit Betekent (en Wat het Niet Betekent)
De studie suggereert dat in de sociale wetenschappen, waar data vaak schaars is, we misschien meer informatie hebben dan we denken. We hoeven niet altijd te wachten op nieuwe enquêtes; we kunnen soms betere resultaten behalen door de oude gegevens creatief te hervormen.
De auteurs zijn echter voorzichtig om niet te zeggen dat dit een perfecte oplossing is voor elk probleem. Ze merken op dat als de wereld te veel verandert over de tijd (zoals tijdens een pandemie), de "tijdsverschuivings"-truc de computer in verwarring kan brengen omdat de oude patronen niet meer passen bij de nieuwe realiteit. Ze wijzen er ook op dat als een studie al over een enorme hoeveelheid data beschikt, het toevoegen van meer "nep" rijen misschien niet veel zal helpen. En voor sommige onderwerpen kan weten wat een partner vindt, helemaal niet van belang zijn.
Maar voor de specifieke uitdaging van het voorspellen van vruchtbaarheid in Nederland is de boodschap duidelijk: Je hebt meer data dan je denkt. Door de tijd te rekken en partners te koppelen, kunnen onderzoekers hun computers een beter beeld geven van het menselijke verhaal, wat leidt tot scherpere voorspellingen en een dieper begrip van hoe families groeien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.