In den riesigen, unorganisierten Lagerhäusern des Internets liegen Daten in Tabellen bereit, um verwendet zu werden. Diese Tabellen enthalten alles, von Veröffentlichungsdaten von Filmen bis hin zu Universitätsnamen, aber ohne ein Label, das einem Computer mitteilt, was eine Spalte tatsächlich repräsentiert, sind die Daten nur ein Durcheinander von Text. Ein System kann nicht wissen, dass eine Liste von Namen auf „Wissenschaftler“ statt nur auf „Menschen“ verweist oder dass eine Zeichenfolge aus Zahlen eine „Jahreszahl“ und nicht eine „Telefonnummer“ ist. Dieser Prozess des Anhängens einer semantischen Bedeutung an eine Spalte wird als Spaltentyp-Annotation bezeichnet. Er ist das Fundament, das es Computern ermöglicht, Daten aus verschiedenen Quellen zu suchen, zu bereinigen und zu kombinieren. Jahrelang waren die besten Werkzeuge für diese Aufgabe spezialisierte Computerprogramme, die auf spezifische Datensätze trainiert wurden. Sie funktionierten gut in ihrer Heimatumgebung, scheiterten aber kläglich, wenn sie in ein neues Datenlager versetzt wurden, weil der neue Ort andere Labels und andere Arten von Informationen verwendete. Das erneute Trainieren dieser Programme von Grund auf für jedes neue Data Lake erforderte so viel menschliche Arbeit und Geld, dass es oft unmöglich war, wodurch riesige Mengen an Daten unbrauchbar und gesperrt blieben.

Forscher der HKUST und der Ant Group haben einen neuen Ansatz namens LakeHopper entwickelt, der dieses Problem löst, indem er ändert, wie diese Programme sich an neue Umgebungen anpassen. Anstatt zu versuchen, das gesamte System von Grund auf neu zu trainieren oder ein leistungsstarkes künstliches Intelligenzmodell die Labels raten zu lassen, behandeln sie die Aufgabe als eine Angelegenheit des Wissensmanagements. Sie erkannten, dass beim Verschieben eines Programms von einem Data Lake zu einem anderen ein Teil des alten Wissens nutzlos ist und verworfen werden muss, ein Teil noch nützlich ist, aber angepasst werden muss, und neues Wissen erlernt werden muss. Ihre Methode trennt diese drei Arten von Wissen sorgfältig. Sie behält die Teile des Programms bei, die gut funktionieren, aktualisiert die Teile, die eine Anpassung benötigen, und nutzt ein großes Sprachmodell nicht, um die endgültige Entscheidung zu treffen, sondern um als strenger Verifizierer zu fungieren. Dieser Verifizierer überprüft die Vermutungen des Programms und markiert nur die Spalten, bei denen sich das Programm unsicher ist oder wahrscheinlich irrt, um sicherzustellen, dass das System nur bei den spezifischen Elementen um menschliche Hilfe bittet, die es wirklich benötigen.

Das Ergebnis ist ein System, das in der Lage ist, ein auf einem Datensatz trainiertes Programm zu nehmen und es auf einem völlig anderen Datensatz mit einem Bruchteil des üblichen Aufwands zum Laufen zu bringen. In ihren Tests bewegten die Forscher Programme zwischen drei verschiedenen Data Lakes, darunter einer, der öffentliche Geschäftsdaten enthielt, und ein anderer mit wissenschaftlichen Tabellen. Sie fanden heraus, dass LakeHopper nahezu die gleiche Qualität erreichen konnte, als wäre das Programm auf dem gesamten neuen Datensatz trainiert worden, und das mit weniger als sechs Prozent des üblichen Aufwands an menschlichen Labels. Dies ist eine massive Reduktion von Kosten und Zeit. Da das System sich zudem auf ein spezialisiertes Programm verlässt, um das endgültige Label zu setzen, anstatt auf eine allgemeine künstliche Intelligenz, produziert es niemals ein Label, das außerhalb der erlaubten Liste von Typen liegt. Allgemeine KI-Modelle halluzinieren oft oder erfinden Labels, die nicht existieren, was ihre Ausgabe für automatisierte Pipelines unbrauchbar macht. LakeHopper vermeidet dies vollständig, indem es strukturell garantiert, dass jede Ausgabe dem erforderlichen Format entspricht.

Die Forscher demonstrierten, dass diese Methode über verschiedene Schwierigkeitsgrade hinweg funktioniert. In einigen Fällen fügte der neue Data Lake einfach neue Typen von Labels zur alten Liste hinzu, was eine einfache Erweiterung war. In anderen Fällen erforderte der neue Lake, dass das System alte gelernte Labels vergaß und völlig neue lernte, was eine viel schwierigere Herausung darstellte. Selbst in diesen schwierigen Szenarien verbesserte LakeHopper die Leistung der zugrunde liegenden Programme um bis zu einundsiebzig Prozent im Vergleich zu Standardmethoden. Das System ist zudem bemerkenswert schnell und passt sich neuen Daten fünfundzwanzig- bis einhunderteinunddreißig Mal schneller an als andere Methoden, die versuchen, große Sprachmodelle fein abzustimmen (Fine-Tuning). Diese Geschwindigkeit resultiert daraus, dass das System nicht alles neu lernen muss; es lernt nur die spezifischen Lücken zwischen dem, was es weiß, und dem, was es wissen muss.

Eine zentrale Erkenntnis dieser Arbeit ist die spezifische Rolle, die dem großen Sprachmodell zugewiesen wurde. Frühere Versuche baten diese Modelle oft, als primärer Annotator zu fungieren und direkt den Typ einer Spalte zu erraten. Die Forscher fanden heraus, dass diese Modelle zwar über allgemeines Wissen verfügen, aber schlecht in den spezifischen, starren Regeln sind, die für die Datenannotation erforderlich sind, und häufig Labels erfinden, die nicht in das Schema passen. LakeHopper kehrt diese Dynamik um. Das große Sprachmodell wird nur dazu verwendet, die Vermutungen des spezialisierten Programms zu verifizieren. Es beantwortet eine einfache Ja-oder-Nein-Frage: „Ist dieses Label korrekt?“ Dies ist eine viel einfachere Aufgabe für das Modell als die Wahl des richtigen Labels aus Hunderten von Optionen. Durch die Beschränkung des Modells auf die Verifizierung profitiert das System vom breiten Wissen des Modells, um Fehler aufzuspüren, ohne das Risiko unzulässiger Labels einzugehen.

Der Prozess beinhaltet einen Zyklus des Prüfens und Lernens. Das System passt zuerst seine interne Struktur an, um der neuen Liste möglicher Labels zu entsprechen, indem es das Wissen transplantiert, das es bereits mit der neuen Umgebung teilt, und die Teile zurücksetzt, die es nicht kennt. Dann durchläuft es die neuen Daten und sucht nach Spalten, bei denen es sich unsicher fühlt. Für diese unsicheren Spalten bittet es den Verifizierer, seine Arbeit zu überprüfen. Wenn der Verifizierer sagt, dass das Label falsch ist oder dass er es nicht weiß, markiert das System diese Spalte als schwierig. Es sucht dann nach anderen Spalten, die den schwierigen Spalten ähnlich sind, und fordert für diese gesamte Gruppe menschliche Labels an. Dies ermöglicht es dem System, aus einer kleinen, hochgradig informativen Stichprobe zu lernen, anstatt aus einer zufälligen. Während es lernt, übt es an den neuen Daten und behält gleichzeitig die alten Daten im Gedächtnis, die es noch verwenden muss, um sicherzustellen, dass es nicht das vergisst, was es bereits weiß.

Dieser Ansatz adressiert einen grundlegenden Flaschenhals im Datenmanagement: die Kosten der Annotation. In vielen realen Szenarien sind Experten zu beschäftigt oder zu teuer, um jede einzelne Spalte in einem neuen Data Lake zu annotieren. LakeHopper zeigt, dass es möglich ist, hochwertige Ergebnisse zu erzielen, indem man klug entscheidet, wo man die begrenzte menschliche Anstrengung einsetzt. Das System ist robust genug, um selbst dann zu funktionieren, wenn der Verifizierer ein kleineres, lokal laufendes Modell ist, was bedeutet, dass es nicht von teuren externen Diensten abhängig ist. Dies macht die Technologie für Organisationen zugänglich, die ihre eigenen sensiblen Daten verwalten müssen, ohne diese an Dritte senden zu wollen.

Die Studie bestätigt, dass die Methode konsistent über verschiedene Arten von Daten und unterschiedliche zugrunde liegende Programme hinweg funktioniert. Ob die Daten aus öffentlichen Dashboards, wissenschaftlichen Tabellen oder Code-Repositories stammen, das System passt sich effektiv an. Es bewältigt den Übergang von einfachen Erweiterungen bestehender Daten zu komplexen Verschiebungen, bei denen sich die gesamte Natur der Daten ändert. Die Forscher merkten an, dass das System zwar hocheffektiv ist, aber kein Allheilmittel ist, das die Notwendigkeit menschlicher Aufsicht vollständig eliminiert. In den schwierigsten Szenarien ist die Genauigkeit immer noch niedriger als das, was mit unbegrenzter menschlicher Annotation erreicht werden könnte, aber sie bringt das System nah genug an die Nutzbarkeit für viele praktische Anwendungen heran. Die Arbeit stellt eine Verschiebung dar – weg vom Versuch, ein einziges, perfektes Modell für alle Daten zu bauen, hin zur Schaffung eines flexiblen Prozesses, der Wissen effizient von einem Kontext in einen anderen übertragen kann.

Indem sie die Anpassung von Datentools als ein Wissensmanagementproblem behandeln, haben die Forscher einen klaren Weg für die Datenintegration aufgezeigt. Sie haben gezeigt, dass die Lücke zwischen dem, was ein Computer weiß, und dem, was er wissen muss, durch die sorgfältige Identifizierung der Unterschiede und das Füllen dieser mit gezieltem Lernen überbrückt werden kann. Dieser Ansatz respektiert die Grenzen der aktuellen künstlichen Intelligenz, indem er sie dort einsetzt, wo sie stark ist, und sie dort vermeidet, wo sie schwach ist. Das Ergebnis ist eine praktische, effiziente und zuverlässige Methode, um den Wert von Data Lakes freizusetzen, die zuvor zu teuer in der Nutzung waren. Da das Volumen und die Vielfalt der Daten weiter wachsen, werden Methoden wie LakeHopper essenziell sein, um rohe Informationen in handlungsrelevante Erkenntnisse zu verwandeln, ohne einen unmöglichen Aufwand an menschlicher Arbeit zu erfordern.