You Have More Data Than You Think: Optimizing Machine Learning in Tabular Social Science Datasets Through Augmentation and Linkage
Dieses Papier beschreibt detailliert, wie die Autoren bei der „Predicting Fertility“-Datenherausforderung Spitzenleistungen erzielten, indem sie zwei Data-Engineering-Strategien einsetzten – Time-Shift-Datenaugmentation zur Erhöhung der Stichprobengröße und Partnerverknüpfung zur Erweiterung der Merkmalssets –, was deren Wirksamkeit für die Optimierung von maschinellem Lernen auf tabellarischen sozialwissenschaftlichen Datensätzen demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Datensuche: Warum mehr Augen auf das Problem helfen
Stellen Sie sich vor, Sie versuchen, das Ende eines Krimi-Romans zu erraten, aber Sie haben nur drei Seiten zur Verfügung. Sie könnten eine wilde Vermutung anstellen, aber Sie würden wahrscheinlich falsch liegen. Stellen Sie sich nun vor, Sie könnten magisch drei weitere Kopien desselben Buches finden, die jedoch in leicht unterschiedlichen Jahren geschrieben wurden. Selbst wenn sich die Kleidung der Charaktere ein wenig geändert hat oder das Wetter anders ist, bliebe der Kern der Geschichte – ihre Persönlichkeiten, ihre Beziehungen und ihre Motivationen – höchstwahrscheinlich gleich. Durch das Lesen aller vier Versionen hätten Sie eine viel bessere Chance, das Ende vorherzusagen. Dies ist das Herzstück des maschinellen Lernens, eines Zweigs der Informatik, bei dem Computer lernen, Muster zu erkennen und Vorhersagen zu treffen, ganz ähnlich wie ein Detektiv, der einen Fall löst.
In der Welt der Sozialwissenschaften – der Untersuchung dessen, wie Menschen leben, lieben und Entscheidungen treffen – kämpfen Detektive jedoch oft damit, dass sie nicht genügend „Seiten“ haben. Umfragen und Studien verfügen oft über nur sehr wenige Menschen, die beobachtet werden können, was es für Computer schwierig macht, die Regeln des menschlichen Verhaltens zu erlernen. Hier kommt das Konzept der Datenaugmentation ins Spiel. Betrachten Sie dies als eine Methode, um einen kleinen Stück Teig zu einem größeren Laib auszuziehen, ohne neue Zutaten hinzuzufügen. Anstatt darauf zu warten, dass mehr Menschen an einer Studie teilnehmen, versuchen Forscher, die vorhandenen Daten geschickt neu anzuordnen, damit es so aussieht, als gäbe es mehr Menschen oder mehr verfügbare Informationen. Die große Frage lautet: Können wir den Computer dazu bringen, besser zu lernen, indem wir ihm „mehr“ Daten geben, auch wenn diese Daten nur eine geschickt neu angeordnete Version dessen sind, was wir bereits wussten?
Die Geschichte des Papers: Zeit dehnen und Partner verknüpfen
In einer kürzlich durchgeführten Studie befassten sich die Forscher Hanzhang Ren und Emily M. Cantrell mit genau diesem Problem, während sie an einem globalen Wettbewerb namens PreFer (Predicting Fertility) teilnahmen. Die Herausforderung war einfach, aber hart: Vorherzusagen, ob eine Person in den Niederlanden zwischen 2021 und 2023 ein neues Kind (durch Geburt oder Adoption) bekommen wird. Der Haken? Die Daten, die sie hatten, stammten aus einer Umfrage mit nur 987 Personen. Das ist eine winzige Menge für einen Computer, der versucht, die komplexen Regeln der Familienplanung zu erlernen.
Die Forscher erfanden kein neues, superkomplexes Computergehirn. Stattdessen nutzten sie zwei geschickte Tricks, um ihre bestehenden Daten viel größer und reichhaltiger wirken zu lassen. Sie nannten diese Tricks „Time-Shift Data Augmentation“ (Zeitverschiebung-Datenaugmentation) und „Partner Linkage“ (Partnerverknüpfung).
Trick Nr. 1: Die Zeitmaschine (Time-Shift Data Augmentation)
Stellen Sie sich vor, Sie haben ein Tagebuch, in dem Sie jedes Jahr Ihre Gedanken aufgeschrieben haben. Wenn Sie vorhersagen wollen, was Sie nächstes Jahr tun werden, schauen Sie normalerweise nur in Ihren jüngsten Eintrag. Aber was wäre, wenn Sie so tun könnten, als wäre Ihr Eintrag von vor drei Jahren eigentlich gestern geschrieben worden?
Die Forscher machten genau das. Sie nahmen Daten aus den Jahren 2018–2020 und verschoben sie zeitlich nach vorne, sodass sie so aussah, als stammten sie aus den Jahren 2021–2023. Sie haben die Daten nicht einfach nur kopiert und eingefügt; sie passten die Zahlen sorgfältig an. Wenn beispielsweise jemand im Jahr 1987 geboren wurde, änderten sie den Datensatz so, dass dort stand, die Person sei 1990 geboren worden, damit das Alter zum neuen Zeitplan passte. Sie passten auch die Geldwerte an, um die Inflation zu berücksichtigen, genau wie man ein Preisschild von 2018 auf 2023 aktualisiert.
Durch dies verwandelten sie ihre ursprünglichen 987 Personen in 2.839 „Personen“, die der Computer studieren konnte. Es ist, als würde man eine kleine Gruppe von Schauspielern nehmen und sie bitten, dieselben Rollen in einem etwas anderen Jahr zu spielen, wodurch der Computer drei Mal so viele Beispiele zum Lernen erhält. Das Ergebnis? Die Vorhersagen des Computers wurden besser. Der Genauigkeitswert des Modells (genannt ) sprang von 0,543 auf 0,581. Es war keine magische Lösung, aber es war eine solide Verbesserung, die darauf hindeutet, dass es der Computer wirklich hilft, die Muster menschlichen Verhaltens zu erlernen, wenn er mehr Beispiele erhält.
Trick Nr. 2: Die Verbindung zum besten Freund (Partner Linkage)
Der zweite Trick bestand darin, das Gesamtbild zu betrachten und nicht nur eine einzelne Person. In vielen Umfragen werden Ehemann und Ehefrau in separaten Zeilen aufgeführt. Wenn der Computer versucht zu erraten, ob Sie ein Baby bekommen werden, schaut er normalerweise nur auf Ihre Antworten. Aber im echten Leben entscheiden Paare oft gemeinsam über Kinder.
Die Forscher bauten eine Brücke zwischen diesen separaten Zeilen. Sie verknüpften die Daten einer Person mit den Daten ihres Ehepartners oder Partners. Wenn die Partnerin oder der Partner Fragen darüber beantwortete, ob er/sie ein Baby möchte, wurde diese Antwort der Datei der Person hinzugefügt. Plötzlich sah der Computer nicht mehr nur die Gedanken einer einzelnen Person, sondern die kombinierten Gedanken des Paares.
Dies fügte dem Rätsel neue „Hinweise“ hinzu. Als sie diese Partnerdaten verwendeten, stieg der Genauigkeitswert erneut von 0,543 auf 0,557. Es war ein kleinerer Sprung als beim Zeitmaschinen-Trick, aber es zeigte, dass es wichtig ist, zu wissen, was der Partner denkt.
Die Power-Kombination
Die wahre Magie geschah, als sie beide Tricks kombinierten. Indem sie die Daten zeitlich verschoben und die Partner verknüpften, stieg der Genauigkeitswert des Computers auf 0,591. Dieser kombinierte Ansatz verbesserte das Modell um 0,047 im Vergleich zu den Originaldaten.
Um dies in Perspektive zu setzen: Die Forscher verglichen ihre „Datentricks“ mit anderen Wegen, ein Modell zu verbessern. Sie fanden heraus, dass ihre kombinierten Tricks fast so hilfreich waren wie die stundenlange Feinabstimmung der Computereinstellungen (ein Prozess, der als Hyperparameter-Tuning bezeichnet wird). Tatsächlich war die Verbesserung durch ihre Datentricks fast so groß wie die Lücke zwischen ihrem Gewinner-Modell und dem Zweitplatzierten des Wettbewerbs.
Was dies bedeutet (und was es nicht bedeutet)
Die Studie legt nahe, dass wir in den Sozialwissenschaften, in denen Daten oft knapp sind, mehr Informationen haben könnten, als wir denken. Wir müssen nicht immer auf neue Umfragen warten; manchmal können wir bessere Ergebnisse erzielen, indem wir die alten kreativ umgestalten.
Die Autoren sind jedoch vorsichtig damit, dies als perfekte Lösung für jedes Problem darzustellen. Sie merken an, dass der „Time-Shift“-Trick verwirrend für den Computer sein könnte, wenn sich die Welt zu stark verändert (wie etwa während einer Pandemie), da die alten Muster dann nicht mehr in die neue Realität passen. Sie weisen auch darauf hin, dass das Hinzufügen von mehr „künstlichen“ Zeilen nicht viel helfen könnte, wenn eine Studie bereits über eine riesige Menge an Daten verfügt. Und bei manchen Themen spielt es überhaupt keine Rolle, die Meinung eines Partners zu kennen.
Aber für die spezifische Herausforderung, die Fertilität in den Niederlanden vorherzusagen, ist die Botschaft klar: Sie haben mehr Daten, als Sie denken. Indem sie die Zeit dehnen und Partner verknüpfen, können Forscher ihren Computern eine bessere Sicht auf die menschliche Geschichte geben, was zu präziseren Vorhersagen und einem tieferen Verständnis dafür führt, wie Familien wachsen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.