SIGMA: SHAP-Guided Implicit-Trajectory Generation for Metadata-Free LLM-Based AutoFE

In der Welt der Datenwissenschaft werden Computern oft riesige Tabellenkalkulationen voller Zahlen übergeben, um Probleme zu lösen – von der Vorhersage von Kreditausfällen bis hin zur Diagnose von Krankheiten. Diese Rohzahlen reichen jedoch allein selten aus. Um die besten Ergebnisse zu erzielen, müssen Experten einen Prozess namens automatisiertes Feature Engineering durchführen, bei dem neue, intelligentere Datenspalten durch die Kombination oder Transformation der vorhandenen erstellt werden. Stellen Sie sich einen Koch vor, der nicht nur die Zutaten aus der Speisekammer verwendet, sondern neue Geschmackskombinationen erfindet, um ein Gericht geschmacklich zu verbessern. Seit Jahrzehnten versuchen Computer dies, indem sie Zahlen blind mischen und kombinieren, aber dieser Ansatz ist langsam und liefert oft verwirrende Ergebnisse. Kürzlich begannen Wissenschaftler, große Sprachmodelle einzusetzen – leistungsstarke KI-Systeme, die kontextbezogen schlussfolgern und lernen können –, um als diese kreativen Köche zu fungieren. Diese KI-Systeme galten als der Schlüssel zur Freisetzung besserer Vorhersagen, standen jedoch vor einer großen Hürde: Sie benötigten normalerweise detaillierte Beschreibungen dessen, was jede einzelne Zahl bedeutete, um ordnungsgemäß funktionieren zu können. In der realen Welt fehlen solche Beschreibungen oft aufgrund von Datenschutzregeln oder einfach deshalb, weil die Daten von Sensoren stammen, die keine menschliche Sprache sprechen. Zudem passierte es, dass wenn diese KI-Systeme versuchten, aus ihren vergangenen Versuchen zu lernen, um die Daten zu verbessern, die Liste ihrer Historie so lang wurde, dass sie den Speicher des Computers überforderte, was dazu führte, dass das System in einer Schleife stecken blieb und dieselben Fehler wiederholte.

Ein Team von Forschern der Yokohama National University hat eine neue Methode namens SIGMA entwickelt, um diese Probleme zu lösen, wodurch künstliche Intelligenz in der Lage ist, bessere Daten zu generieren, ohne Beschreibungen darüber zu benötigen, was die Zahlen repräsentieren. Anstatt sich auf menschliche Sprache zu verlassen, um die Daten zu verstehen, nutzt SIGMA ein mathematisches Werkzeug namens SHAP, um zu messen, wie viel jedes Stück Information tatsächlich für die endgültige Vorhersage wichtig ist. Betrachten Sie dieses Werkzeug als einen Scheinwerfer, der die wichtigsten Zahlen hervorhebt und die weniger nützlichen dimmt, wodurch die KI eine klare Richtung erhält, ohne wissen zu müssen, wie die Zahlen genannt werden. Die Forscher gruppierten diese Zahlen anschließend in drei Kategorien: die wichtigsten, die mäßig nützlichen und die schwachen. Sie baten die KI, neue Datenspalten zu erstellen, indem sie Zahlen innerhalb dieser Gruppen mischen oder die starken mit den schwachen verbinden, was das System effektiv dazu lehrt, seine Kreativität dort einzusetzen, wo sie am meisten zählt.

Die bedeutendste Innovation dieser Arbeit ist eine Technik, die die Forscher als „exposed-feature implicit trajectory“ bezeichnen. In früheren Versuchen führten KI-Systeme eine schriftliche Liste jedes jemals erstellten Features, um Duplikate zu vermeiden, aber diese Liste wurde schnell zu lang, um in den Speicher des Computers zu passen. SIGMA verfolgt einen anderen Ansatz. Anstatt eine Historie aufzuschreiben, verbirgt SIGMA die bereits verwendeten Features für kurze Zeit vor der Sicht der KI. Wenn die KI versucht, ein Feature unter Verwendung einer Zahl zu erstellen, die derzeit verborgen ist, wird sie gezwungen, anderswo zu suchen. Dieser einfache Akt des Verbergens und Enthüllens wirkt wie ein stiller Wegweiser, der die KI davon abhält, sich zu wiederholen, ohne jemals eine lange Historien-Logdatei speichern zu müssen. Dies ermöglicht es dem System, über viel längere Zeiträume zu laufen und seine Arbeit über viele Schritte hinweg zu verfeinern, ohne durch Speicherlimits ausgebremst zu werden oder in einem Zyklus der Generierung derselben nutzlosen Features stecken zu bleiben.

Die Ergebnisse dieses neuen Ansatzes sind beeindruckend. Bei Tests auf sechzehn verschiedenen realen Datensätzen schnitt SIGMA genauso gut ab wie die besten existierenden KI-Methoden, die auf detaillierte Beschreibungen angewiesen sind, was beweist, dass das System keine menschlichen Etiketten benötigt, um effektiv zu sein. Wichtiger noch: Es löste das Problem der Redundanz. In früheren Systemen waren fast siebenunddreißig Prozent der generierten Features Duplikate, was wertvolle Rechenleistung verschwendete. Mit SIGMAs Methode des Verbergens verwendeter Features sank diese Duplikationsrate drastisch auf weniger als sieben Prozent. Das System erwies sich auch als unglaublich effizient. Während traditionelle Methoden oft hunderte neuer Features generieren, um ein paar gute zu finden, erreichte SIGMA eine Spitzenleistung mit durchschnittlich nur fünf neuen Features pro Datensatz. Das bedeutet, das System findet die wertvollsten Verbesserungen schnell und lässt den Rest der Daten sauber und handhabbar.

Die Forscher entdeckten auch, dass diese Methode es der KI ermöglicht, komplexe, mehrschichtige Datenstrukturen aufzubauen, die zuvor unerreichbar waren. In einigen Tests gelang es dem System, Features in einer Kette zu kombinieren, wobei die Ausgabe eines Schritts als Eingabe für den nächsten verwendet wurde, wodurch ein tiefes Netzwerk von Beziehungen entstand, das die Vorhersagen signifikant verbesserte. Diese Fähigkeit ermöglichte es SIGMA, ältere, nicht-KI-basierte Methoden, die auf starren, vordefinierten Regeln beruhen, zu übertreffen. Die Studie bestätigt, dass durch den Ersatz der menschlichen Sprache durch mathematische Wichtigkeits-Signale und die Nutzung eines cleveren Systems des Verbergens und Enthüllens, künstliche Intelligenz zu einem mächtigeren und praktischeren Werkzeug zur Verbesserung der Datenanalyse werden kann, selbst in Situationen, in denen keine menschlichen Beschreibungen verfügbar sind.