Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks
Dieses Paper stellt ein Open-Source-Framework vor, das demonstriert, dass lokal bereitstellbare, Open-Weight-Large-Language-Models (speziell Modelle mit 31–35 Mrd. Parametern) die Automatisierung von longitudinalen Datenaufbereitungsaufgaben auf Consumer-Hardware effektiv leisten können, was eine praktikable, Governance-konforme Alternative zu cloudbasierten KI-Lösungen für die Forschung mit sensiblen personenbezogenen Daten bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber bevor Sie überhaupt nach den Hinweisen suchen können, müssen Sie drei Monate lang einen unordentlichen Dachboden voller alter Kisten, zerrissener Notizen und unpassender Akten sortieren. In der Welt der Wissenschaft – besonders wenn man untersucht, wie sich das Leben von Menschen im Laufe der Zeit verändert – verbringen Forscher eine enorme Menge an Zeit genau mit dieser „Dachbodenreinigung“. Sie müssen Rohdaten aus Umfragen aufbereiten, Tippfehler korrigieren, Antworten aus verschiedenen Jahren zusammenführen und verwirrende Codes in klare Zahlen umwandeln. Es ist langweilig, es dauert ewig, und wenn man einen winzigen Fehler macht, könnte die gesamte Untersuchung falsch sein.
Vor kurzem sind intelligente Computerprogramme namens „Large Language Models“ (LLMs) sehr gut darin geworden, Code zu schreiben, um diese Reinigung automatisch durchzuführen. Aber es gibt einen Haken: Die meisten dieser superintelligenten Programme leben in der Cloud, wie eine riesige Bibliothek weit weg. Wenn Sie sensible Informationen über echte Menschen untersuchen (wie Gesundheitsakten oder private Umfrageantworten), besagen die Regeln, dass Sie diese Daten nicht an eine ferne Cloud-Bibliothek senden dürfen. Es ist, als wäre es Ihnen verboten, Ihr Tagebuch einem Fremden zu schicken. Daher steckten Wissenschaftler fest und konnten diese hilfreichen Werkzeuge nicht nutzen, weil sie ihre gesicherten, lokalen Computer nicht verlassen durften. Dieses Paper stellt eine einfache, aber knifflige Frage: Können wir einen „intelligenten Assistenten“ bauen, der vollständig auf unseren eigenen Computern lebt, niemals Daten nach außen sendet und dennoch die mühsame Aufgabe der Datenbereinung perfekt erledigt?
Die Autoren dieses Papers beschlossen, dies herauszufinden, indem sie eine spezielle Teststrecke für diese lokalen KI-Assistenten bauten. Sie erstellten einen „Ground Truth“-Datensatz, der wie ein Generalschlüssel oder ein perfekter Lösungsschlüssel ist, basierend auf echten Daten aus einer Langzeitstudie über junge Menschen im Vereinigten Königreich namens „Next Steps“. Sie brachen die gewaltige Aufgabe der Datenbereinigung in 20 spezifische Aufgaben auf, wie zum Beispiel das Zusammenführen von Informationen aus verschiedenen Jahren, um die Berufshistorie einer Person zu ermitteln, oder die Berechnung ihres Body-Mass-Index (BMI). Dann richteten sie einen „Agenten“ ein – einen kleinen KI-Roboter, der von Open-Source-Modellen angetrieben wird, die auf normalen Consumer-Hardware-Geräten laufen können (wie einem leistungsstarken Gaming-Laptop oder einem High-End-Mac) – und beobachteten, wie er versuchte, den Code zur Bereinigung der Daten zu schreiben.
Die Ergebnisse waren überraschend vielversprechend. Die am besten abschneidenden KI-Modelle, die recht groß sind und leistungsstarke Hardware erfordern, schafften es, etwa 87,9 % der Aufgaben „größtenteils richtig“ zu erledigen und 75 % der Aufgaben in einem einzigen Versuch ohne menschliche Hilfe vollständig abzuschließen. Das Paper fand heraus, dass diese lokalen Modelle unglaublich gut darin sind, Dinge mit klaren, universellen Definitionen zu handhaben, wie die Berechnung des BMI oder die Identifizierung des Geschlechts einer Person. Sie hatten jedoch mehr Schwierigkeiten mit komplexen, umfragespezifischen Rätseln, wie etwa der Ermittlung komplizierter Wohnsituationen oder Einkommenskategorien, die sich je nach den spezifischen Regeln der jeweiligen Umfrage des entsprechenden Jahres ändern.
Entscheidend ist, dass das Paper zeigt, dass die KI zwar sehr gut wird, aber noch nicht perfekt ist. Die Forscher fanden heraus, dass selbst wenn die KI Daten produzierte, die oberflächlich betrachtet korrekt aussah, winzige, verborgene Fehler hineinschlüpfen konnten. Zum Beispiel vertauschte ein schwächeres Modell versehentlich einen Code für „fehlend“ mit einem „Nullwert“, was die Ergebnisse einer Studie über Einkommen komplett veränderte und einen negativen Trend in einen positiven umkehrte. Dies deutet darauf an, dass diese lokalen KI-Werkzeuge zwar leistungsstark genug sind, um als „Coding Copilots“ die Arbeit zu beschleunigen, sie aber dennoch einen menschlichen Forscher benötigen, der ihre Hausaufgaben überprüft. Das Paper kommt zu dem Schluss, dass wir unsere sensiblen Daten nicht in die Cloud senden müssen, um Hilfe zu erhalten; mit der richtigen lokalen Hardware und Open-Source-Modellen können wir unsere Daten sicher und privat halten und dennoch KI nutzen, um die schwere Arbeit der Datenaufbereitung zu bewältigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.