TopoFE: topology-aware LLM-guided Automated Feature Engineering
TOPOFE ist ein topologiebewusstes Multi-Island-Evolutionary-Framework, das das LLM-gestützte automatisierte Feature-Engineering durch die Integration von familien-spezialisierter Exploration, adaptivem Prompt-Gedächtnis und topologie-gesteuertem Wissenstransfer verbessert, um die Einschränkungen zustandsloser Generierung und homogener Suche zu überwinden und somit diverse sowie leistungsstarke Feature-Programme über 29 tabellarische Datensätze hinweg zu entdecken.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, kluge Entscheidungen zu treffen, wie zum Beispiel vorherzusagen, ob ein Kreditnehmer sein Geld zurückzahlen wird oder ob ein Patient eine bestimmte Krankheit hat. Der Computer beginnt nicht mit den Antworten; er muss eine Tabelle mit Rohdaten betrachten – Zahlen, Kategorien und Daten –, um herauszufinden, welche Muster wichtig sind. Dieser Prozess wird als maschinelles Lernen bezeichnet. Aber hier liegt der knifflige Teil: Die Rohdaten sind oft unordentlich und schwer zu verstehen. Genau wie ein Koch keine großartige Suppe aus nur rohem, ungeschnittenem Gemüse machen kann, kann ein Computer oft keine optimalen Muster finden, wenn die Daten nicht zuerst transformiert werden. Dieser Transformationsschritt wird als Feature Engineering bezeichnet. Es ist die Kunst, aus Rohzahlen diese zu mischen und zu kombinieren, um neue, intelligentere Hinweise zu erschaffen, die dem Computer helfen, die Wahrheit zu erkennen. Lange Zeit mussten Menschen dies von Hand tun und raten, welche Kombinationen von Zahlen nützlich sein könnten. Vor kurzem haben wir begonnen, Large Language Models (LLMs) einzusetzen, um dabei zu helfen. Betrachten Sie diese LLMs als brillante, belesene Assistenten, die viel über Mathematik und Wissenschaft wissen und neue Wege vorschlagen können, die Daten zu mischen. Doch selbst diese brillanten Assistenten haben ein Problem: Manchmal geraten sie in eine Sackgasse, schlagen immer wieder die gleichen Arten von Mischungen vor oder vergessen, was sie zuvor versucht haben, was zu Zeitverschwendung führt.
Hier kommt ein neues Framework namens TOPOFE ins Spiel. Die Forscher Sha Li und Naren Ramakrishnan von der Virginia Tech erkannten, dass der Raum der möglichen Datenmischungen so riesig und vielfältig ist, dass eine einzige, einheitliche Suchstrategie nicht ausreicht. Sie schlugen ein System vor, das die Suche nach den besten Datenhinweisen wie ein Team spezialisierter Entdecker behandelt, die in verschiedenen Gebieten arbeiten, anstatt wie eine einzige riesige Menge.
Anstatt eine große Gruppe von Computerprogrammen zu haben, die alle gleichzeitig versuchen, das Problem zu lösen, teilt TOPOFE die Arbeit in fünf verschiedene „Inseln“ auf. Jede Insel ist ein spezialisiertes Team, das sich auf eine bestimmte Art von mathematischem Trick konzentriert. Eine Insel beschäftigt sich nur mit einfacher Arithmetik, wie dem Addieren oder Multiplizieren von Zahlen. Eine andere konzentriert sich auf Statistik, wie Mittelwerte und Häufigkeiten. Eine dritte betrachtet zeitbasierte Muster, wie etwa wie sich Verkäufe in der letzten Woche verändert haben. Eine weitere befasst sich mit Beziehungen zwischen verschiedenen Gruppen, und die letzte kümmert sich um gekrümmte, nicht-lineare Formen. Indem sie diese Spezialisten getrennt halten, stellt das System sicher, dass kein einzelner Typ von mathematischem Trick die Oberhand gewinnt und die Entdeckung der anderen blockiert.
Aber die wahre Magie geschieht, wenn diese Inseln miteinander kommunizieren. In älteren Systemen passierte es, dass, wenn ein Team in einer Sackgasse steckte, es einfach zufällig Ideen mit einem anderen Team austauschte, was oft nicht half. TOPOFE ist intelligenter. Es verwendet einen „Topologie-Graphen“, der wie eine dynamische Karte funktioniert, die lernt, welche Teams am besten darin sind, einander zu helfen. Wenn die „Zeit“-Insel feststeckt, prüft das System seine Karte und sieht, dass die „Arithmetik“-Insel die besten Ideen hat, um ihr zu helfen. Es löst dann ein spezielles Ereignis aus, bei dem die beiden Teams ihre besten Ideen kombinieren, um etwas völlig Neues zu erschaffen – ein „hybrides“ Feature, das keines der beiden Teams allein hätte erfinden können. Zum Beispiel könnte es einen zeitbasierten Durchschnitt mit einer Divisionsoperation kombinieren, um einen brandneuen, hochgradig prädiktiven Hinweis zu erstellen.
Das System verfügt auch über ein „Gedächtnis“, das aus seinen eigenen Fehlern lernt. Wenn eine bestimmte Art von mathematischem Trick bei einem bestimmten Datensatz immer wieder scheitert, merkt sich das System dies und hört auf, ihn vorzuschlagen, während es die Tricks verstärkt, die funktionieren. Dies geschieht, ohne dass das Haupt-Computergehirn neu trainiert werden muss, was die Suche unglaublich effizient macht.
Die Forscher testeten diese Idee an 29 verschiedenen realen Datensätzen, die von der Vorhersage von Herzkrankheiten bis hin zur Prognose von Fahrradvermietungen reichten. Sie fanden heraus, dass TOPOFE konsequent die besten bestehenden Methoden übertraf. Es fand nicht nur bessere Antworten, sondern fand auch diversere Antworten. Während andere Methoden oft mit einem Haufen sehr ähnlicher Hinweise endeten (Redundanz), produzierte TOFE durch seine spezialisierten Inseln und das intelligente Teamwork eine Menge an Hinweisen, die mehr Raum abdeckten und gut mit verschiedenen Arten von Vorhersagemodellen funktionierten. Die Studie legt nahe, dass wir, indem wir die Suche in spezialisierte, kommunizierende Gruppen organisieren und lernen lassen, wann Ideen ausgetauscht werden sollen, viel mächtigere Wege freisetzen können, um Computer zu lehren, unsere Daten zu verstehen. Die Ergebnisse zeigen, dass dieser Ansatz robust ist und auch dann gut funktioniert, wenn das zugrunde liegende Computergehirn wechselt, was beweist, dass die geheime Zutat in der Struktur der Suche selbst liegt, nicht nur in der Intelligenz des Modells.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.