🤖 machine learning

LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers

Dieser Beitrag stellt LLM-FE vor, ein neuartiges Framework, das evolutionäre Suche mit Large Language Models kombiniert, um für tabellarische Daten iterativ effektive Programmierungen von Merkmals Transformationen zu entdecken und dadurch bestehende Methoden zur automatisierten Merkmalskonstruktion durch eine bessere Nutzung von Domänenwissen und datengesteuertem Feedback zu übertreffen.

Ursprüngliche Autoren: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel mit Hilfe eines Haufens an Hinweisen (Daten) zu lösen. Normalerweise müssen Sie diese Hinweise manuell durchsuchen, auf clevere Weise kombinieren und neue „Super-Hinweise" erstellen, um den Fall schneller aufzuklären. Dieser Prozess wird Feature Engineering genannt. In der Welt des maschinellen Lernens ist das manuelle Durchführen dieses Prozesses langsam, langweilig und erfordert einen menschlichen Experten, der genau weiß, welche Kombinationen von Hinweisen funktionieren könnten.

Die Arbeit stellt ein neues Werkzeug namens LLM-FE vor, das diese Detektivarbeit automatisiert, indem es eine „superintelligente" KI (ein Large Language Model) als kreativen Partner einsetzt.

Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Das „Raten-Spiel"

Traditionelle automatisierte Werkzeuge versuchen dies zu lösen, indem sie blind Zahlen mischen und kombinieren (wie das Hinzufügen von Spalte A zu Spalte B), basierend auf einer festen Liste von Regeln. Sie sind wie ein Roboter, der nur weiß, wie man nach links oder rechts abbiegt, und nie erkennt, dass man manchmal über einen Zaun springen muss. Oft verpassen sie die „Aha!"-Momente, die aus dem Verständnis der Geschichte hinter den Daten entstehen (wie das Wissen, dass „Insulin" und „Glukose" mit Diabetes zusammenhängen).

2. Die Lösung: Der „evolutionäre Koch"

Die Autoren schlagen LLM-FE vor, das Feature Engineering wie ein Kochwettbewerb behandelt, bei dem die KI der Koch ist. Anstatt nur einem Rezept zu folgen, erhält die KI:

Die Zutaten: Die Rohdaten (z. B. Patientenalther, Blutzuckerspiegel).
Die Speisekarte: Das spezifische zu lösende Problem (z. B. „Vorhersagen, ob ein Patient Diabetes hat").
Das Kochbuch: Das eigene interne Weltwissen der KI (z. B. „Ich weiß, dass hoher Zucker und niedriger Insulinspiegel schlecht für die Gesundheit sind").

3. Funktionsweise: Die Vier-Schritte-Schleife

Die Arbeit beschreibt einen Zyklus, der sich immer wieder wiederholt, ähnlich wie die Natur Arten entwickelt, um besser zu überleben:

Schritt A: Der kreative Funke (Generierung)
Die KI betrachtet die Daten und das Problem. Sie sagt: „Hmm, wenn ich den Insulinspiegel durch den Glukosespiegel teile, könnte das uns etwas darüber verraten, wie der Körper Zucker verarbeitet." Sie schreibt ein kleines Computerprogramm (ein Rezept), um diesen neuen „Super-Hinweis" zu erstellen.
- Analogie: Der Koch erfindet eine neue Sauce basierend auf den Zutaten und dem Gericht, das er zubereiten möchte.
Schritt B: Der Geschmackstest (Evaluation)
Das neue Rezept wird auf die Daten angewendet. Dann versucht ein Vorhersagemodell (ein einfacher Test), das Problem mit diesen neuen Daten zu lösen.
- Analogie: Der Koch serviert die neue Sauce einem Richter. Wenn der Richter sie mag (der Score steigt), ist das Rezept gut. Wenn nicht, wird es verworfen.
Schritt C: Die Gedächtnisbank (Erfahrungsmanagement)
Dies ist das Geheimnis von LLM-FE. Das System vergisst die gescheiterten Rezepte nicht einfach. Es führt eine „Hall of Fame" der besten Rezepte, die es je erstellt hat.
- Analogie: Stellen Sie sich einen Koch vor, der ein Notizbuch mit seinen 10 besten Gerichten führt. Wenn er ein neues Gericht erfinden muss, beginnt er nicht bei Null; er schaut sich seine besten vergangenen Gerichte an und sagt: „Was wäre, wenn ich den besten Teil von Gericht Nr. 3 mit dem besten Teil von Gericht Nr. 7 mischen würde?"
Schritt D: Die Evolution (Verfeinerung)
Die KI nutzt die „Hall of Fame", um noch bessere Versionen der Rezepte zu erstellen. Sie versucht, die besten Rezepte zu „mutieren" (leicht zu verändern), um zu sehen, ob sie noch besser werden können.
- Analogie: Dies ist wie die natürliche Selektion. Die stärksten, schmackhaftesten Rezepte überleben und entwickeln sich weiter, während die schwachen aussterben.

4. Warum es besser ist als der Rest

Die Arbeit vergleicht LLM-FE mit anderen Methoden und stellt fest, dass es aus drei Hauptgründen gewinnt:

Es kennt den Kontext: Im Gegensatz zu anderen Robotern, die nur Mathematik betreiben, versteht diese KI, was die Daten bedeuten. Sie weiß, dass „Alter" und „BMI" mit der Gesundheit zusammenhängen, und erstellt daher Merkmale, die für Menschen Sinn ergeben, nicht nur Zahlen.
Es bleibt nicht stecken: Andere Methoden bleiben oft stecken, wenn sie versuchen, eine einzelne Idee zu verbessern. LLM-FE führt gleichzeitig mehrere „Inseln" von Ideen aus. Wenn eine Insel in einer Sackgasse steckt, findet eine andere Insel vielleicht einen Abkürzungsweg.
Es lernt aus Fehlern: Indem es eine Erinnerung daran behält, was zuvor funktioniert hat, wird es mit jedem Versuch schlauer, anstatt nur zufällig zu raten.

5. Die Ergebnisse

Die Forscher testeten dies an vielen verschiedenen Datensätzen (wie der Vorhersage von Herzerkrankungen, Immobilienpreisen und Autoverkäufen). Sie stellten fest, dass LLM-FE die Vorhersagemodelle konsistent genauer machte als die alten Methoden. Es funktionierte nicht nur mit einem Typ von KI; es half verschiedenen Modelltypen, ihre Arbeit besser zu erledigen.

Kurz gesagt: LLM-FE ist ein System, das eine intelligente KI nutzt, um neue, sinnvolle Wege zu erfinden, Daten zu betrachten. Es agiert wie ein kreativer Koch, der von seinen besten vergangenen Gerichten lernt, sein Weltwissen nutzt und ständig experimentiert, bis er das perfekte Rezept findet, um ein Problem zu lösen.

Technische Zusammenfassung: LLM-FE: Automatisierte Feature-Engineering für tabellarische Daten mit LLMs als evolutionäre Optimierer

Problemstellung

Feature-Engineering ist eine kritische, jedoch arbeitsintensive Komponente im Workflow des maschinellen Lernens für tabellarische Daten. Während gut gestaltete Features die Leistung von baumbasierten Modellen erheblich verbessern können (oft übertrifft sie Deep-Learning-Ansätze bei strukturierten Daten), ist der Prozess der Erkundung des riesigen kombinatorischen Raums von Feature-Transformationen zeitaufwendig und ressourcenintensiv. Traditionelle Methoden zur automatisierten Feature-Engineering verlassen sich auf vordefinierte, manuell entworfene Suchräume und feste Transformationen und scheitern häufig daran, wertvolles Domänenwissen einzubeziehen. Im Gegensatz dazu versuchen neuere Ansätze auf Basis von Large Language Models (LLMs), Domänenwissen zu integrieren, verlassen sich jedoch typischerweise auf direktes Prompting oder einfache Validierungswerte. Diese bestehenden LLM-Methoden nutzen oft Erkenntnisse aus früheren Entdeckungsexperimenten nicht, fehlt eine sinnvolle Verknüpfung zwischen Feature-Generierung und datengesteuerter Leistung, und neigen aufgrund inhärenter Verzerrungen im Pretraining von LLMs zur Generierung einfacher, repetitiver Features.

Methodik: Das LLM-FE-Framework

Die Autoren schlagen LLM-FE vor, ein neuartiges Framework, das Feature-Engineering als Programm-Suchproblem formuliert und das Domänenwissen sowie die reasoning-Fähigkeiten von LLMs mit evolutionärer Suche und datengesteuertem Feedback kombiniert. Das Framework arbeitet als iterativer Schleife, die aus vier Hauptphasen besteht:

Generierung neuer Features (Prompting):
Das LLM fungiert als wissensgesteuerter evolutionärer Optimierer. Es erhält einen strukturierten Prompt, der Folgendes enthält:
- Aufgabenbeschreibung & Metadaten: Spezifische Details zur nachgelagerten Aufgabe und Feature-Beschreibungen.
- Datensamples: Serialisierte Beispiele des Datensatzes zur Bereitstellung von Kontext.
- Bewertungsfunktion: Ein Code-Schnipsel, der definiert, wie die Feature-Qualität gemessen wird (Training eines Modells und Bewertung auf einem Validierungsdatensatz).
- In-Context-Demonstrationen: Eine Auswahl hochperformanter Feature-Transformationsprogramme aus vorherigen Iterationen.
  Das LLM wird ausdrücklich angewiesen, komplexe, neuartige Feature-Transformationsprogramme (Python-Code) zu generieren und nicht einfache arithmetische Operationen, wobei es sein eingebettetes Domänenwissen nutzt, um die Relevanz von Features zu begründen.
Feature-Engineering (Ausführung):
Die generierten Python-Programme werden auf dem zugrunde liegenden Datensatz ausgeführt. Dieser Schritt wendet die vorgeschlagenen Transformationen an, um einen erweiterten Datensatz zu erstellen. Um Robustheit zu gewährleisten, erzwingt das System Zeit- und Speichergrenzen und verwirft fehleranfällige oder ineffiziente Programme.
Feature-Bewertung (Datengesteuertes Feedback):
Der erweiterte Datensatz wird verwendet, um ein nachgelagertes Vorhersagemodell (z. B. XGBoost, MLP, TabPFN) zu trainieren. Die Leistung des Modells auf einem zurückgehaltenen Validierungsdatensatz dient als Fitnesswert für das Feature-Transformationsprogramm. Dieser Wert liefert das datengesteuerte Feedback, das notwendig ist, um die Suche zu leiten.
Erfahrungsmanagement (Evolutionäre Suche):
Um lokale Optima zu vermeiden und die Vielfalt zu erhalten, setzt LLM-FE ein Multi-Populations-„Insel"-Modell ein.
- Multi-Insel-Speicher: Der Suchraum ist in $m$ unabhängige Inseln unterteilt. Jede Insel unterhält einen Puffer mit hochbewerteten Programmen.
- Clustering & Sampling: Programme innerhalb einer Insel werden basierend auf ihren Validierungswerten geclustert. Das System verwendet Boltzmann-Sampling, um Cluster für In-Context-Beispiele auszuwählen, und balanciert dabei Exploration (weniger gut bewertete Cluster) und Exploitation (besser bewertete Cluster).
- Iterative Verfeinerung: In jeder Iteration sampelt das LLM aus dem Speicherpuffer, um neue Kandidaten zu generieren, und führt dabei effektiv implizite Mutation und Crossover durch prompt-konditionierte Generierung durch.

Hauptbeiträge

Die Arbeit skizziert drei Hauptbeiträge:

Neuartiges Framework: Die Einführung von LLM-FE, das Feature-Engineering als ein von LLM geführtes evolutionäres Optimierungsproblem darstellt. Es integriert einzigartig Domänenwissen, datengesteuerte Bewertung und Langzeitgedächtnis für iterative Verfeinerung.
Empirische Wirksamkeit: Experimentelle Ergebnisse zeigen, dass LLM-FE über diverse tabellarische Datensätze, Aufgaben und Vorhersagemodelle hinweg konsistent State-of-the-Art-Baselines (sowohl klassische Methoden wie OpenFE/AutoFeat als auch LLM-basierte Methoden wie CAAFE/FeatLLM) übertrifft.
Komponentenanalyse: Durch umfassende Ablationsstudien heben die Autoren die kritischen Rollen von Domänenwissen, evolutionärer Suche, datengesteuertem Feedback und Datensamples hervor, um das LLM effizient durch den Feature-Raum zu führen und einflussreiche Features zu entdecken.

Experimentelle Ergebnisse

Die Autoren bewerteten LLM-FE unter Verwendung von GPT-3.5-Turbo und Llama-3.1-8B-Instruct als Backbones über 19 Klassifikations- und 10 Regressionsdatensätze hinweg. Das Framework wurde gegen Baselines getestet, wobei XGBoost, MLP und TabPFN als nachgelagerte Prädiktoren dienten.

Leistung: LLM-FE erzielte den niedrigsten mittleren Rang (was die beste Gesamtleistung anzeigt) sowohl bei Klassifikations- als auch bei Regressionsaufgaben. Es verbesserte die Vorhersageleistung konsistent gegenüber Rohdaten-Baselines und anderen Feature-Engineering-Methoden.
Generalisierbarkeit: Das Framework zeigte Robustheit über verschiedene LLM-Backbones und Vorhersagemodell-Architekturen hinweg. Von LLM-FE generierte Features verbesserten die Leistung von baumbasierten Modellen, neuronalen Netzen und transformer-basierten tabellarischen Modellen.
Komplexität & Bias-Minderung: Im Gegensatz zum naiven LLM-Prompting, das tendenziell einfache Operatoren (Addition, Subtraktion) bevorzugt, entdeckte die evolutionäre Verfeinerung in LLM-FE erfolgreich komplexe Transformationen (z. B. Group-by-Aggregationen, Residuen, Sigmoid-Funktionen). Ungefähr 45 % der entdeckten Features wurden als komplex eingestuft, im Vergleich zu vernachlässigbaren Mengen bei Baseline-LLM-Methoden.
Effizienz: Eine Pareto-Analyse von Leistung versus Laufzeit zeigte, dass LLM-FE auf der Pareto-Frontier liegt und eine höhere Genauigkeit als Konkurrenten wie CAAFE und OCTree bei vergleichbaren oder niedrigeren Rechenkosten erreicht.
Ablationsstudien: Das Entfernen von Domänenwissen führte zu einem signifikanten Leistungsabfall (von ~0,687 auf ~0,626 Genauigkeit), was deren Bedeutung unterstreicht. Ebenso führte das Entfernen der evolutionären Verfeinerung zum größten Rückgang (auf ~0,587) und hob die Notwendigkeit iterativen, datengesteuerten Feedbacks hervor.
Memorisation: Experimente an Datensätzen, die nach den Trainings-Cutoff-Daten der LLMs veröffentlicht wurden, zeigten, dass LLM-FE konsistente, moderate Verbesserungen lieferte, was darauf hindeutet, dass die Verbesserungen aus echtem Reasoning und evolutionärer Selektion stammen und nicht aus Datenspeicherung.

Bedeutung und Behauptungen

Die Arbeit positioniert LLM-FE als einen bedeutenden Schritt vorwärts bei der Automatisierung des datenzentrierten Pipelines. Ihre Bedeutung liegt in der Überbrückung der Lücke zwischen domäneninformiertem Reasoning und Optimierung. Indem das LLM nicht nur als Generator, sondern als evolutionärer Optimierer behandelt wird, überwindet das Framework die Einschränkungen statischer Suchräume und die bei direktem Prompting inhärente Verzerrung hin zu einfachen Features.

Die Autoren behaupten, dass LLM-FE eine robuste, generalisierbare Lösung für das Lernen mit tabellarischen Daten bietet, die manuellen Aufwand reduziert und gleichzeitig die Vorhersageleistung verbessert. Sie betonen, dass das Framework darauf ausgelegt ist, Domänenexperten zu ergänzen, nicht zu ersetzen, und liefert interpretierbare, hypothesengesteuerte Features, die überprüft und validiert werden können. Die Arbeit legt nahe, dass die Kombination von LLMs mit evolutionären Suchmechanismen ein gangbarer Weg ist, um hochwertige, interpretierbare Features zu entdecken, die manuell schwer zu konstruieren sind.