GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

In der Welt der Datenwissenschaft kommen Informationen oft in Form von Tabellenkalkulationen vor: Zeilen aus Zahlen und Kategorien, die alles von Kreditanträgen bis hin zu Patientenakten beschreiben. Seit Jahrzehnten war der zuverlässigste Weg, Muster in diesen Tabellen zu finden, das Training spezialisierter Computerprogramme auf den spezifischen Daten, die gerade vorliegen. Diese Programme lernen durch Beispiele, indem sie ihre internen Einstellungen anpassen, bis sie in der Lage sind, das Ergebnis für eine neue Zeile basierend auf den Mustern vorherzusagen, die sie zuvor gesehen haben. Eine neue Generation von Modellen ist jedoch entstanden, die anders arbeitet. Anstatt eine feste Menge von Regeln zu erlernen, fungieren diese „Foundation Models“ wie ein universeller Experte, der eine beschriftete Tabelle betrachten und sofort vorhersagen kann, was als Nächstes passiert, indem er einfach den bereitgestellten Kontext liest. Während dieser Ansatz unglaublich leistungsstark und genau ist, geht er mit einem hohen Preis einher. Um eine Vorhersage zu treffen, muss das Modell die gesamte ursprüngliche Tabelle in seinem Speicher behalten und sie jedes Mal neu verarbeiten, was langsam, teuer und für alltägliche Geräte oft unmöglich ist.

Forscher suchen schon lange nach einem Weg, die Intelligenz dieser leistungsstarken Experten zu bewahren und gleichzeitig ihren schweren Ballast abzuwerfen. Das Ziel ist es, ein kleines, schnelles und einfaches Computerprogramm zu lehren, das Verhalten des Experten nachzuahmen, damit es Vorhersagen eigenständig treffen kann, ohne die ursprüngliche Tabelle oder das massive Modell zu benötigen. Ein Team von Wissenschaftlern hat nun eine Methode namens GEAR vorgestellt, um dieses Problem zu lösen. Ihr Ansatz versucht nicht, das kleine Programm dazu zu zwingen, alles auf einmal zu lernen. Stattdessen unterteilt er den Prozess in zwei deutliche Schritte. Zuerst generieren sie tausende neue, synthetische Datenpunkte, die wie die echten Daten aussehen, und nutzen diese, um dem kleinen Programm beizubringen, wie der Experte denkt. Dann bringen sie das Programm zurück zu den echten Daten, um sein Verständnis zu verfeinern und sicherzustellen, dass es in der Realität verwurzelt bleibt. Dieser zweistufige Prozess ermöglicht es dem kleinen Programm, die Geheimnisse des Experten zu erlernen, ohne den Experten während des tatsächlichen Gebrauchs jemals wieder sehen zu müssen.

Die Kernherausforderung, der die Forscher gegenüberstanden, war, dass die für das Training verfügbaren Realdaten oft begrenzt sind. Wenn ein kleines Programm nur von den wenigen Zeilen lernt, die ihm zur Verfügung stehen, könnte es die breiteren Muster übersehen, die der Experte gemeistert hat. Um dies zu beheben, beinhaltet der erste Schritt des Teams die Erstellung einer riesigen Menge neuer, künstlicher Daten, die die Struktur der realen Welt nachahmen. Sie speisen diese synthetischen Zeilen in das leistungsstarke Expertenmodell ein, um zu sehen, was es vorhersagt, und lehren das kleine Programm dann, diese Vorhersagen zu kopieren. Dies erweitert die Erfahrung des kleinen Programms und ermöglicht es ihm, an einer viel größeren Vielfalt von Szenarien zu üben, als es mit echten Daten allein möglich wäre. Das alleinige Vertrauen auf künstliche Daten ist jedoch riskant; das kleine Programm könnte lernen, den Experten bei den künstlichen Daten zu gut nachzuahmen, aber scheitern, wenn es mit der chaotischen Realität tatsächlicher Datensätze konfrontiert wird.

Um dies zu lösen, fügten die Forscher einen zweiten Schritt hinzu, den sie „Real Anchoring“ (reale Verankerung) nennen. Sobor das kleine Programm von den synthetischen Daten gelernt hat, kehren sie mit ihm zur echten, ursprünglichen Tabelle zurück. Hier lassen sie das Programm nicht einfach die Antworten auswendig lernen. Stattdessen wenden sie eine kluge Technik an, bei der das Programm von den Vorhersagen des Experten auf Daten lernt, die der Experte noch nie zuvor gesehen hat. Dies verhindert, dass das Programm sich auf auswendig gelernte Antworten verlässt, die es eigentlich nicht lernen soll. Durch das Mischen der echten Antworten mit der Anleitung des Experten korrigiert das kleine Programm etwaige Fehler, die es beim Lernen von den synthetischen Daten gemacht hat. Das Ergebnis ist ein Modell, das die breite Erfahrung der synthetischen Trainingsphase besitzt, aber die präzise Genauigkeit der realen Welt aufweist.

Das Team testete diese Methode bei einer Vielzahl von Aufgaben, von binären Entscheidungen wie „Ja oder Nein“ bis hin zu komplexeren Klassifizierungen mit vielen möglichen Ergebnissen. Sie fanden heraus, dass die mit dieser zweistufigen Methode trainierten kleinen Programme signifikant besser abschnitten als jene, die nur auf realen Daten trainiert wurden. Bei binären Aufgaben verbesserte die neue Methode die Genauigkeit im Vergleich zum Standardtraining um fast zwei Prozentpunkte, und bei komplexeren Aufgaben erzielte sie immer noch einen Gewinn von über einem Prozentpunkt. Diese Verbesserungen zeigten sich auch dann, wenn die Forscher unterschiedliche Arten von kleinen Programmen verwendeten, einschließlich jener, die auf Entscheidungsbäumen basieren, welche in der Industrie verbreitet sind. Die kleinen Modelle waren nicht nur genauer, sondern auch wesentlich effizienter. In Bezug auf die Geschwindigkeit machten die neuen Methoden Vorhersagen zwischen 57 und 2.866 Mal schneller als die ursprünglichen großen Modelle. Zudem reduzierten sie die benötigte Computermemory für eine Vorhersage um fast das Dreifache, was es ermöglichte, diese leistungsstarken Werkzeuge auf Standard-Prozessoren anstatt auf teurer, spezialisierter Hardware auszuführen.

Die Forscher untersuchten auch, wie viel synthetische Daten tatsächlich benötigt wurden. Sie fanden heraus, dass das Hinzufügen von mehr künstlichen Daten anfangs half, aber nur bis zu einem gewissen Punkt. Sobald das kleine Programm genügend synthetische Beispiele gesehen hatte, verbesserte das Hinzufügen weiterer Daten die Leistung nicht mehr und schadete ihr manchmal sogar, wenn die künstlichen Daten nicht perfekt mit der realen Welt übereinstimmten. Dies bestätigte, dass der zweite Schritt, die Rückkehr zu den Realdaten, essenziell war. Ohne diesen Schritt bliebe das kleine Programm in der Welt der synthetischen Daten gefangen und wäre nicht in der Lage, die Nuancen der Realität zu bewältigen. Die Studie zeigte, dass weder ein längeres Training noch der Start mit einem anderen Typ von vortrainiertem Modell die gleichen Ergebnisse lieferte. Die spezifische Kombination aus der Erweiterung des Trainingsumfangs durch synthetische Daten und der anschließenden Erdung durch Realdaten war der Schlüssel zum Erfolg.

Diese Arbeit demonstriert, dass es möglich ist, die Intelligenz massiver, kontextabhängiger Modelle in leichte, unabhängige Werkzeuge zu destillieren, ohne viel von ihrer Leistungsfähigkeit zu verlieren. Die Methode erfordert nicht, dass das kleine Programm zum Zeitpunkt der Vorhersage Zugriff auf den ursprünglichen Experten oder die Trainingsdaten hat. Dies öffnet die Tür für den Einsatz dieser fortschrittlichen Modelle in Umgebungen, in denen Geschwindigkeit und Datenschutz entscheidend sind, wie etwa auf mobilen Geräten oder in gesicherten Umgebungen, in denen Daten nicht geteilt werden dürfen. Die Forscher haben gezeigt, dass wir durch eine sorgfältige Balance zwischen der Nutzung generierter Daten und der Überprüfung durch die reale Welt Modelle schaffen können, die sowohl intelligent als auch praktisch sind. Die Ergebnisse legen nahe, dass die Zukunft der leistungsstarken Datenanalyse nicht darin liegen könnte, größere Modelle zu bauen, sondern kleinere zu lehren, wie sie wie die Giganten denken – mithim einer Mischung aus Fantasie und Realität.