🤖 machine learning

CoFEH: LLM-driven Feature Engineering Empowered by Collaborative Bayesian Hyperparameter Optimization

Dieser Beitrag stellt CoFEH vor, ein kollaboratives Framework, das LLM-gesteuerte Merkmalskonstruktion und bayessche Hyperparameteroptimierung durch einen gegenseitigen Konditionierungsmechanismus und eine dynamische Schrittauswahl synergistisch verzahnt, um die Einschränkungen starrer Suchräume und gieriger Workflows in herkömmlichen AutoML-Systemen zu überwinden.

Ursprüngliche Autoren: Beicheng Xu, Keyao Ding, Wei Liu, Yupeng Lu, Bin Cui

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Beicheng Xu, Keyao Ding, Wei Liu, Yupeng Lu, Bin Cui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Eine bessere Machine-Learning-Maschine bauen

Stellen Sie sich vor, Sie versuchen, den ultimativen Rennwagen zu bauen. Sie haben zwei Hauptaufgaben:

Vorbereitung des Kraftstoffs (Feature Engineering): Sie müssen den rohen Kraftstoff (Daten) verfeinern, damit der Motor ihn effizient verbrennen kann. Dies beinhaltet das Filtern von Verunreinigungen, das Mischen spezieller Additive oder das Ändern der chemischen Struktur des Kraftstoffs.
Abstimmen des Motors (Hyperparameter-Optimierung): Sie müssen die Einstellungen des Motors (Zündzeitpunkt, Kraftstoffeinspritzrate) anpassen, um aus diesem Kraftstoff die maximale Geschwindigkeit zu erzielen.

Der alte Weg:
Traditionell erledigten Ingenieure diese Aufgaben getrennt und in einer starren Reihenfolge.

Zuerst mischten sie den Kraftstoff nach einem festen Rezeptbuch (einer begrenzten Menge vordefinierter chemischer Reaktionen). Sie konnten keine neuen Additive erfinden; sie konnten nur das mischen, was bereits im Buch stand.
Sobald der Kraftstoff „fertig" war, sperrten sie das Rezept und begannen, den Motor abzustimmen.
Der Fehler: Das ist wie das Abstimmen eines Ferrari-Motors mit minderwertigem Benzin. Wenn der Kraftstoff schlecht ist, wird keine Menge Motorabstimmung das Auto schnell machen. Umgekehrt verlieren Sie das Rennen immer noch, wenn Sie einen fantastischen Kraftstoff, aber einen schlecht abgestimmten Motor haben. Die alten Methoden erkannten nicht, dass der beste Kraftstoff von den besten Motoreinstellungen abhängt und umgekehrt.

Die neue Lösung: CoFEH

Die Autoren dieses Papers haben CoFEH (Collaborative Feature Engineering and Hyperparameter Optimization) entwickelt. Denken Sie an CoFEH als ein superkluges, zweiköpfiges Boxen-Team, das in Echtzeit zusammenarbeitet.

1. Der „kreative Koch" (Das LLM)

Anstatt ein starres Rezeptbuch zu verwenden, nutzt CoFEH ein Large Language Model (LLM) als „kreativen Koch".

Was es tut: Dieser Koch mischt nicht nur Zutaten aus einer Liste. Er liest die Daten, versteht den „Geschmack" des Problems und erfindet neue Zutaten und Kochtechniken im laufenden Betrieb.
Die Analogie „Gedankenbaum": Stellen Sie sich vor, der Koch erkundet einen riesigen, unendlichen Wald möglicher Rezepte. Anstatt einen einzigen Pfad zu gehen, nutzt der Koch eine „Gedankenbaum"-Strategie. Er verzweigt sich, versucht einige Pfade, merkt, dass einer in eine Sackgasse führt, geht zurück und versucht eine völlig andere Richtung. Dies ermöglicht es ihm, wirklich einzigartige und leistungsstarke Datentransformationen zu finden, die starre Systeme niemals in Betracht ziehen würden.

2. Der „Präzisionsmechaniker" (Bayesian Optimization)

Während der Koch neuen Kraftstoff erfindet, stimmt ein „Präzisionsmechaniker" (unter Verwendung einer Methode namens Bayesian Optimization) den Motor ab.

Das alte Problem: Normalerweise macht der Koch den Kraftstoff, gibt ihn dem Mechaniker und sagt: „Hier, stimmt das ab." Der Mechaniker versucht, es abzustimmen, aber wenn der Kraftstoff seltsam ist, gibt der Mechaniker vielleicht auf oder stimmt es schlecht ab.
Die CoFEH-Lösung: Der Koch und der Mechaniker sprechen jetzt ständig miteinander.
- Der Mechaniker sagt zum Koch: „Hey, dieses neue Kraftstoffadditiv, das du gemacht hast, funktioniert großartig mit dieser spezifischen Motoreinstellung, versagt aber bei jener."
- Der Koch sagt zum Mechaniker: „Okay, ich werde das Rezept anpassen, damit es besser zu deinen Motoreinstellungen passt."
- Sie arbeiten in einem Loop, verfeinern gleichzeitig den Kraftstoff und die Motoreinstellungen. Dies nennt man gegenseitige Bedingung (Mutual Conditioning).

3. Der „Teamkapitän" (Dynamic Selector)

Das Team hat eine begrenzte Zeit (Budget), um am Auto zu arbeiten. Worauf sollten sie sich gerade konzentrieren?

Der alte Weg: Sie würden 50 % der Zeit auf den Kraftstoff und 50 % auf den Motor verwenden, egal was passiert.
Die CoFEH-Lösung: Ein „Teamkapitän" beobachtet den Fortschritt.
- Wenn das Auto Probleme hat, weil der Kraftstoff schrecklich ist, ruft der Kapitän: „Koch, weiter kochen! Ignoriere den Motor für einen Moment!"
- Wenn der Kraftstoff perfekt ist, aber der Motor stottert, schreit der Kapitän: „Mechaniker, feineinstellung des Motors! Der Koch kann eine Pause machen."
- Dies stellt sicher, dass sie ihre Zeit genau dort verbringen, wo es für dieses spezifische Rennen am wichtigsten ist.

Warum ist das eine große Sache?

Das Paper testete dieses System an 28 verschiedenen Datensätzen (denken Sie daran als 28 verschiedene Rennstrecken mit unterschiedlichen Regeln).

Das Ergebnis: CoFEH schlug alle anderen Methoden, einschließlich der alten starren Systeme und anderer KI-Systeme, die LLMs verwenden.
Das Geheimnis:
1. Freiheit: Es ist nicht daran gebunden, eine feste Liste von Operationen zu verwenden. Es kann neue erfinden.
2. Zusammenarbeit: Es erledigt die Kraftstoff- und Motoraufgaben nicht getrennt. Es erledigt sie gemeinsam, sodass sie sich gegenseitig helfen.
3. Anpassungsfähigkeit: Es weiß, wann es sich auf Daten und wann es sich auf das Modell konzentrieren muss, und spart so Zeit und Energie.

Zusammenfassung

Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen.

Alte KI: Versucht, Puzzleteile mit einem Hammer in eine Box zu zwingen (starre Regeln).
Andere neue KI: Nutzt einen intelligenten Roboter, um Teile zu finden, aber der Roboter sucht nur nach Teilen einzeln und ignoriert, wie sie zusammenpassen.
CoFEH: Nutzt ein Team von Experten. Ein Experte (das LLM) ist ein Meister-Puzzlespieler, der bei Bedarf neue Teile erfinden kann. Der andere Experte (der Optimierer) weiß genau, wie man sie anordnet. Sie stehen Seite an Seite und sagen ständig: „Wenn wir dieses Teil hierhin bewegen, passt es besser zu jenem", bis das Puzzle perfekt gelöst ist.

Das Paper behauptet, dass durch die Zusammenarbeit dieser beiden Experten und den Echtzeit-Austausch von Informationen komplexe Datenprobleme viel besser und schneller gelöst werden können als mit jeder vorherigen Methode.

Technische Zusammenfassung: CoFEH

Problemstellung

Feature Engineering (FE) ist ein Eckpfeiler von Machine-Learning-Pipelines, bleibt jedoch ein Engpass für traditionelle automatisierte Methoden. Bestehende Ansätze leiden unter drei grundlegenden Einschränkungen:

Semantische Agnostizität: Sie verlassen sich auf starre, vordefinierte Suchräume und Trial-and-Error, ohne Domänenprioritäten zu nutzen.
Starre Topologie: Sie erzwingen feste Pipeline-Sequenzen (z. B. Generierung gefolgt von Selektion), was eine dynamische Verschachtelung oder flexible Komposition heterogener Operationen verhindert.
Eingeschränkte Operationssätze: Sie sind auf geschlossene Bibliotheken mit integrierten Algorithmen oder grundlegende Arithmetik beschränkt und können aufgaben spezifische Operationen jenseits vordefinierter Primitiven nicht entdecken.

Darüber hinaus bieten zwar Large Language Models (LLMs) eine vielversprechende Alternative zur Generierung semantisch fundierter, unbegrenzter Operatoren, konzentrieren sich aktuelle LLM-basierte FE-Methoden jedoch typischerweise auf isolierte Teilaufgaben (wie Feature-Generierung) und versagen beim Aufbau freier Pipelines. Entscheidend ist, dass diese Methoden FE selten mit der Hyperparameter-Optimierung (HPO) des nachgelagerten Modells koppeln. Dies führt zu einem „gierigen" sequenziellen Workflow (FE gefolgt von HPO), der die starke Abhängigkeit zwischen Feature-Repräsentation und Modellkapazität ignoriert und das System häufig in suboptimalen lokalen Minima gefangen hält.

Methodik: CoFEH-Rahmenwerk

Die Autoren schlagen CoFEH (Collaborative Feature Engineering and Hyperparameter Optimization) vor, ein Rahmenwerk, das LLM-gesteuertes FE und bayessche HPO für eine robuste End-to-End-AutoML verschachtelt. Das System besteht aus drei Kernkomponenten:

1. LLM-gesteuerter Tree-of-Thought (ToT) FE-Optimizer

Um die Herausforderung des freien FE zu adressieren, reformuliert CoFEH den Pipeline-Aufbau als sequenzielles Entscheidungsproblem, das mittels Monte-Carlo-Baumsuche (MCTS) gelöst wird.

Zustandsrepräsentation: Der Datensatz in jedem Transformationsstadium wird als Zustandsknoten in einem Suchbaum behandelt.
Lenkbares Reasoning: Der LLM generiert neue FE-Operationen basierend auf einem strukturierten Prompt, der Datensatzmetadaten, die Vorgänger-Pipeline und eine dynamische Direktive ( $d$ $d$ ) enthält:
- Initialisierung: Generiert hochwertige Anfangsoperationen für den Wurzelknoten.
- Exploration: Schlägt neue Operationen vor, um unbekannte Regionen des Suchraums zu erkunden.
- Ausbeutung: Verfeinert den aktuellen Zustand durch Wiederverwendung und Anpassung leistungsstarker historischer Operationen.
Globales Gedächtnis: Ein auf Pareto basierender Abrufmechanismus archiviert erfolgreiche Operationen (Reasoning-Ketten, Feature-Teilmengen, Scores und relative Gewinne), um den LLM während der Ausbeutungsphase zu lenken.

2. Mechanismus zur gegenseitigen Konditionierung

Um die Herausforderung der kollaborativen FE–HPO zu lösen, etabliert CoFEH einen bidirektionalen Informationsfluss zwischen dem LLM (FE) und der bayesschen Optimierung (BO) (HPO) und vermeidet damit eine isolierte Abstimmung.

HPO konditioniert auf FE: Das BO-Surrogatmodell verwendet Meta-Features ( $\phi(s)$ ), die aus dem Datensatzzustand extrahiert wurden, um die FE-Pipeline zu charakterisieren. Dies ermöglicht es der BO, den gemeinsamen Einfluss der Pipeline und der Hyperparameter zu modellieren und die optimale Konfiguration ( $\lambda^*$ ) für einen spezifischen Datensatzzustand ( $s^*$ ) zu empfehlen.
FE konditioniert auf HPO: Die Selektions- und Spielphasen des MCTS werden durch HPO-Ergebnisse informiert. Die Metrik „beste Leistung" für einen Knoten wird durch die optimalen Hyperparameter bestimmt, die für diesen spezifischen Datensatzzustand gefunden wurden, wodurch sichergestellt wird, dass der LLM die Feature-Qualität unter optimalen Modellkonfigurationen und nicht unter Standardeinstellungen bewertet.

3. Dynamischer Optimierer-Auswähler

Um eine aufgabenadaptive Planung zu adressieren, modelliert CoFEH die Zuweisung des Optimierungsbudgets zwischen FE und HPO als Multi-Armed-Bandit-Problem (MAB) unter Verwendung einer Predictor Upper Confidence Bound (PUCB)-Politik.

Der Auswähler entscheidet dynamisch, ob in jeder Iteration ein FE-Schritt oder ein HPO-Schritt ausgeführt wird, basierend auf empirischen Erfolgsquoten ( $Q(a)$ ) und zeitvariierenden Prior-Gewichten ( $\omega_a$ ).
Prior-Gewicht-Planung: Das System beginnt mit einer Tendenz zu FE (um sicherzustellen, dass die Daten „modellbereit" sind) und lässt diese Tendenz linear zu einem 50/50-Gleichgewicht abklingen, während das Budget aufgebraucht wird. Dies garantiert eine ausgewogene Budgetverteilung in neutralen Szenarien, während aufgaben spezifische empirische Belohnungen die Zuweisung in der Praxis steuern können.

Hauptbeiträge

Optimierung freier Pipelines: Ein LLM-gesteuerter ToT-Optimizer, der unbeschränkte Pipeline-Topologien und Operatoren erkundet und damit ein wahrhaft freies Feature Engineering ermöglicht, das Vorverarbeitung, Transformation, Generierung und Selektion dynamisch kombiniert.
Mechanismus zur gegenseitigen Konditionierung: Eine neuartige bidirektionale Kopplung, bei der sich FE und HPO gegenseitig informieren, was die „gierige Kurzsichtigkeit" sequenzieller Optimierung verhindert und die Entdeckung globaler Optima im gemeinsamen Raum ermöglicht.
Dynamische Ressourcenallokation: Ein PUCB-basierter Auswähler, der das Rechenbudget zwischen FE und HPO adaptiv basierend auf dem spezifischen Nutzen jedes einzelnen für die gegebene Aufgabe verteilt.
Empirische Validierung: Umfassende Experimente zeigen, dass CoFEH sowohl traditionelle AutoML-Systeme als auch bestehende LLM-basierte Baselines übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten CoFEH auf 28 öffentlichen Datensätzen (19 Klassifikation, 9 Regression) über drei nachgelagerte Modellszenarien hinweg: XGBoost, MLP und CASH (Combined Algorithm Selection and Hyperparameter Optimization).

Eigenständiges FE: CoFEH erreichte den besten durchschnittlichen Rang (1,82) unter allen Baselines und übertraf signifikant traditionelle Methoden (Mindware, OpenFE) sowie andere LLM-basierte Ansätze (OCTree, ELLM, LFG).
Gemeinsames FE+HPO: Im End-to-End-Setting zeigte CoFEH eine relative Fehlerreduktion von 7,03 % im Vergleich zu seiner eigenen eigenständigen FE-Leistung und übertraf alle Baselines. Es erreichte einen durchschnittlichen Rang von 1,75 und etablierte einen neuen State-of-the-Art.
Generalisierung: Das Rahmenwerk zeigte eine robuste Generalisierung über verschiedene Modelltypen (MLP, CASH) hinweg, behielt Spitzenleistungen bei und erzielte signifikante Fehlerreduktionen (z. B. +45,1 % Verbesserung in CASH-Szenarien).
Kosteneffizienz: CoFEH erreichte den besten Kosten-Leistungs-Trade-off und benötigte mit dem Gemini-2.0-flash-Backbone nur ca. 0,07 $ pro Aufgabe, während traditionelle, suchintensive Methoden (OpenFE, Mindware) deutlich mehr Laufzeit benötigten.
Ablationsstudien: Das Entfernen des Mechanismus zur gegenseitigen Konditionierung oder des dynamischen Auswählers verschlechterte die Leistung erheblich und bestätigte die Notwendigkeit sowohl der gekoppelten Informationsverwaltung als auch der adaptiven Ressourcenplanung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CoFEH die Lücke zwischen den semantischen Reasoning-Fähigkeiten von LLMs und der numerischen Effizienz der bayesschen Optimierung schließt. Durch den Wechsel von starren, sequenziellen Workflows zu einer verschachtelten, kollaborativen Optimierungsstrategie überwindet CoFEH das „Paradoxon der Fähigkeitsintegration", bei dem LLMs bei FE glänzen, aber bei der FE-HPO-Kopplung hinterherhinken.

Die Autoren behaupten, dass CoFEH:

das volle Potenzial von LLMs freisetzt, pipelines aufzubauen, die menschlichen Experten ähneln und frei formbar sind.
das Problem suboptimaler lokaler Minima löst, die durch entkoppeltes FE und HPO verursacht werden.
eine skalierbare, erweiterbare Grundlage für zukünftige AutoML-Arbeiten bietet, die durch Prompt-Modifikationen an Bild- und Textdaten angepasst werden kann.

Die Arbeit wird als ein bedeutender Schritt hin zu einer ganzheitlichen ML-Pipeline-Optimierung präsentiert, bei der Feature-Entdeckung und Modell-Tuning als ein einheitlicher, sich gegenseitig verstärkender Prozess und nicht als isolierte Stufen behandelt werden.