In der Welt der Daten kommen Informationen oft in ordentlichen, rechteckigen Gitternetzen an: Zeilen von Kunden, Spalten von Transaktionen und Zellen, die mit Zahlen oder Kategorien gefüllt sind. Jahrzehntelang war der zuverlässigste Weg, Muster in diesen Gitternetzen zu finden, die Verwendung eines speziellen Typs von Computerprogramm, das als Gradienten-gestützter Entscheidungsbaum bekannt ist. Diese Programme sind wie ein Team von Experten, die eine Serie einfacher Ja-oder-Nein-Fragen stellen, um die Daten zu sortieren und Stück für Stück eine komplexe Entscheidungsstruktur aufzubauen. Sie sind unglaublich effektiv, haben aber eine erhebliche Einschränkung: Sie müssen für jedes neue Datensatz von Grund auf neu trainiert werden. Wenn ein Unternehmen die Kundenabwanderung für ein Produkt vorhersagen und dann zur Vorhersage von Kreditausfällen für ein anderes Produkt wechseln möchte, muss das Modell neu trainiert werden – ein Prozess, der Zeit, Rechenleistung und eine sorgfältige Abstimmung der Einstellungen erfordert.

Kürzlich ist ein neuer Ansatz entstanden, der eine Technik aus der Sprachwissenschaft entlehnt. Anstatt für jede Aufgabe ein neues Modell zu trainieren, nutzen diese neueren Systeme ein einziges, vortrainiertes Fundamentmodell, das aus Beispielen lernen kann, die im Moment bereitgestellt werden. Diese Methode, genannt In-Context-Learning, ermöglicht es dem Modell, sich einige Beispiele des Problems, das es lösen möchte, anzusehen und dann eine Vorhersage für einen neuen Fall zu treffen, ohne jemals seine internen Einstellungen zu ändern. Während dies einen vielversprechenden Weg zu einem universellen Werkzeug für tabellarische Daten darstellt, bleibt eine große Hürde bestehen. Wenn die Menge der historischen Daten, die das Modell berücksichtigen muss, wächst, explodiert die Zeit, die es für eine einzige Vorhersage benötigt. Das Modell muss jede neue Frage mit jedem einzelnen Stück der vergangenen Daten vergleichen, die es je gesehen hat, was einen Rechenengpass erzeugt, der eine Nutzung im großen Maßstab und in Echtzeit unpraktisch macht.

Forscher der University of Cambridge haben diesen Engpass mit einer Methode adressiert, die sie Localized TabICLv2 nennen. Ihre Arbeit konzentriert sich auf eine spezifische Version des In-Context-Learning-Modells namens TabICLv2, das bereits eine State-of-the-Art-Leistung bei verschiedenen Klassifizierungsaufgaben gezeigt hat. Das Kernproblem des ursprünglichen Modells besteht darin, dass es während seiner letzten Vorhersagephase jeden neuen Datenpunkt zwingt, gleichzeitig auf den gesamten Trainingsdatensatz zu achten. Wenn ein Datensatz Hunderttausende von Zeilen enthält, muss das Modell eine massive Menge an Informationen für jede einzelne Abfrage verarbeiten, was zu langsamen Reaktionszeiten und hohen Energiekosten führt. Die Forscher stellten eine einfache Frage: Muss ein Modell wirklich jedes einzelne vergangene Beispiel betrachten, um eine gute Vorhersage zu treffen, oder kann es eine kleinere, relevantere Gruppe von Beispielen finden, die die notwendigen Hinweise enthalten?

Um dies zu beantworten, führten die Forscher einen Retrieval-Schritt ein, der als Filter fungiert, bevor die endgültige Vorhersage getroffen wird. Anstatt die gesamte Historie der Daten in das Modell einzuspeisen, konvertieren sie zuerst jede Zeile der Daten in eine mathematische Repräsentation, die ihre wesentlichen Merkmale erfasst. Wenn eine neue Abfrage eintrifft, durchsucht das System die gespeicherte Historie, um die wenigen Dutzend Zeilen zu finden, die dem neuen Fall am ähnlichsten sind. Es speist dann nur diese engsten Übereinstimmungen, statt des gesamten Datensatzes, in die Vorstandsmaschine ein. Dieser Ansatz ist vergleichbar damit, wie ein Mensch ein Problem lösen könnte, indem er sich an eine Handvoll relevanter vergangener Erfahrungen erinnert, anstatt zu versuchen, jedes einzelne Ereignis seines Lebens zu erinnern. Durch die Begrenzung des Kontextes auf diese nächsten Nachbarn reduzierten die Forscher drastisch die Menge der Informationen, die das Modell gleichzeitig verarbeiten musste.

Es reichte jedoch nicht aus, einfach nur die Daten zu reduzieren, um die hohe Genauigkeit des ursprünglichen Systems beizubehalten. Das Modell war darauf trainiert worden, den vollständigen Kontext zu erwarten, daher führte das Entfernen des Großteils davon anfangs zu einem Leistungsabfall. Um dies zu beheben, verfeinerten die Forscher die internen Mechanismen des Modells. Sie passten die Art und Weise an, wie das Modell seine Repräsentationen der Daten erstellt und wie es diese Repräsentationen zur Erstellung von Vorhersagen nutzt, indem sie es speziell darauf trainierten, mit dieser kleineren, lokalisierten Sichtweise gut zu arbeiten. Dieser Prozess stellte sicher, dass das Modell lernte, die kritischsten Informationen aus nur wenigen Beispielen zu extrahieren, anstatt sich auf das schiere Volumen der Daten zu verlassen, um Muster zu finden.

Die Ergebnisse dieses Ansatzes wurden anhand einer breiten Palette von Echtzeit-Datensätzen gemessen, die alles von Kreditkartenbetrugserkennung bis hin zur Kundenabwanderung abdeckten. Als die Forscher ihr lokalisiertes Modell an einem Standard-Benchmark testeten, der achtunddreißig verschiedene Datensätze enthielt, fanden sie heraus, dass die fein abgestimmte Version nahezu die gesamte Genauigkeit des Vollmodells beibehielt. Konkret bewahrte es 98,64 Prozent der ursprünglichen Leistung, was bedeutet, dass es fast so viele korrekte Vorhersagen wie die viel langsamere Vollkontext-Version traf. Der Handel war ein massiver Gewinn an Geschwindigkeit. In Szenarien, in denen das Modell gefragt wurde, Daten in Batches zu verarbeiten, lief es mehr als doppelt so schnell. In Situationen, in denen das Modell eine einzelne Frage zur Zeit beantworten musste, war die Geschwindigkeitssteigerung noch dramatischer und erreichte eine mediane Verbesserung des 249-fachen gegenüber dem ursprünglichen System.

Die Studie zeigte auch, dass die Größe des Datensatzes signifikant für diese Geschwindigkeitsgewinne war. Je größer der Trainingsdatensatz war, desto vorteilhafter wurde die Lokalisierung. Bei kleineren Datensätzen nahm die Zeit, die für die Suche nach den richtigen Nachbarn aufgewendet werden musste, die Zeit in die Höhe, die durch das Verarbeiten weniger Daten eingespart wurde. Aber als die Anzahl der Trainingszeilen in die Hunderttausende stieg, wurde die lokalisierte Methode zunehmend effizienter und bewies, dass der Ansatz gut mit den Datengrößen skaliert, die solche Modelle normalerweise verlangsamen. Darüber hinaus verglichen die Forscher ihre Methode mit einfacheren Alternativen, wie etwa der Verwendung eines Standard-Entscheidungsbaums nur auf den abgerufenen Nachbarn oder eines einfachen Abstimmungssystems. Ihr lokalisiertes Modell übertraf diese einfacheren Baselines konsistent, was demonstrierte, dass die Kombination aus intelligentem Retrieval und einer spezialisierten Vorhersagemaschine der Schlüssel zum Erfolg war.

Diese Arbeit legt nahe, dass die Zukunft des tabellarischen maschinellen Lernens nicht darin liegen könnte, größere Modelle zu bauen, die mehr Energie verbrauchen, sondern darin, bestehende Modelle intelligenter darin zu machen, welche Informationen sie benötigen. Indem sie ein leistungsstarkes Fundamentmodell lehrten, sich nur auf die relevantesten Beispiele zu konzentrieren, haben die Forscher gezeigt, dass es möglich ist, eine hohe Genauigkeit ohne die schweren Rechenkosten der Verarbeitung gesamter Datensätze zu erreichen. Die Ergebnisse deuten darauf hin, dass diese Modelle für den praktischen Einsatz in der realen Welt praktikabel gemacht werden können, wo Geschwindigkeit und Effizienz genauso wichtig sind wie die Vorhersagekraft. Während die Methode auf der Annahme beruht, dass die ähnlichsten vergangenen Beispiele die informativsten sind, zeigen die Ergebnisse, dass diese Annahme über eine Vielzahl von Datentypen hinweg Bestand hat. Die Studie kommt zu dem Schluss, dass mit den richtigen Anpassungen das Versprechen von In-Context-Learning für tabellarische Daten ohne die Opferung der für groß angelegte Anwendungen erforderlichen Effizienz verwirklicht werden kann.