🤖 machine learning

CoFEH: LLM-driven Feature Engineering Empowered by Collaborative Bayesian Hyperparameter Optimization

Dit artikel introduceert CoFEH, een collaboratief raamwerk dat LLM-gedreven feature engineering op synergetische wijze verweeft met Bayesiaanse hyperparameteroptimalisatie via een wederzijdse conditioneringsmechanisme en dynamische stapselectie om de beperkingen van rigide zoekruimten en hebberige workflows in traditionele AutoML te overwinnen.

Oorspronkelijke auteurs: Beicheng Xu, Keyao Ding, Wei Liu, Yupeng Lu, Bin Cui

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Beicheng Xu, Keyao Ding, Wei Liu, Yupeng Lu, Bin Cui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Bouwen van een Betere Machine Learning-machine

Stel je voor dat je probeert de ultieme raceauto te bouwen. Je hebt twee hoofdtaken:

De Brandstof Voorbereiden (Feature Engineering): Je moet de ruwe brandstof (data) verfijnen zodat de motor deze efficiënt kan verbranden. Dit omvat het filteren van onzuiverheden, het toevoegen van speciale additieven of het veranderen van de chemische structuur van de brandstof.
De Motor Afstellen (Hyperparameter Optimalisatie): Je moet de instellingen van de motor (ontstekingstijdstip, brandstofinspuiting) aanpassen om de maximale snelheid uit die brandstof te halen.

De Oude Manier:
Traditioneel deden ingenieurs deze taken apart en in een starre volgorde.

Eerst mengden ze de brandstof volgens een vast receptenboek (een beperkte set vooraf gedefinieerde chemische reacties). Ze konden geen nieuwe additieven uitvinden; ze konden alleen mengen wat al in het boek stond.
Zodra de brandstof "klaar" was, sloten ze het recept en begonnen ze de motor af te stellen.
Het Gebrek: Dit is als het afstellen van een Ferrari-motor met benzine van lage kwaliteit. Als de brandstof slecht is, zal geen enkele motorafstelling de auto snel maken. Omgekeerd, als je geweldige brandstof hebt maar een slecht afgestelde motor, verlies je de race nog steeds. De oude methoden beseften niet dat de beste brandstof afhankelijk is van de beste motorinstellingen, en vice versa.

De Nieuwe Oplossing: CoFEH

De auteurs van dit artikel hebben CoFEH (Collaborative Feature Engineering and Hyperparameter Optimization) bedacht. Denk aan CoFEH als een super-slim pitcrew van twee personen dat in real-time samenwerkt.

1. De "Creatieve Chef" (De LLM)

In plaats van een star receptenboek te gebruiken, gebruikt CoFEH een Large Language Model (LLM) als een "Creatieve Chef".

Wat het doet: Deze Chef mengt niet zomaar ingrediënten van een lijst. Het leest de data, begrijpt de "smaak" van het probleem en verzonnt nieuwe ingrediënten en kooktechnieken onderweg.
De "Boom van Gedachten" Analogie: Stel je voor dat de Chef een enorm, oneindig bos van mogelijke recepten verkent. In plaats van één pad te bewandelen, gebruikt de Chef een "Boom van Gedachten"-strategie. Ze vertakken zich, proberen een paar paden, merken dat één pad doodloopt, gaan terug en proberen een volledig andere richting. Dit stelt hen in staat om echt unieke en krachtige data-transformaties te vinden waar starre systemen nooit op zouden komen.

2. De "Precisie-mechanica" (Bayesian Optimization)

Terwijl de Chef nieuwe brandstof uitvindt, is een "Precisie-mechanica" (die een methode genaamd Bayesian Optimization gebruikt) bezig met het afstellen van de motor.

Het Oude Probleem: Normaal gesproken maakt de Chef de brandstof, geeft deze aan de Mechanica en zegt: "Hier, stel dit af." De Mechanica probeert het af te stellen, maar als de brandstof vreemd is, kan de Mechanica het opgeven of het slecht afstellen.
De CoFEH Oplossing: De Chef en de Mechanica praten nu constant met elkaar.
- De Mechanica zegt tegen de Chef: "Hé, deze nieuwe brandstofadditief die je hebt gemaakt werkt geweldig met deze specifieke motorinstelling, maar faalt met die andere."
- De Chef zegt tegen de Mechanica: "Oké, ik pas het recept aan om beter bij je motorinstellingen te passen."
- Ze werken in een lus, waarbij ze tegelijkertijd de brandstof en de motorinstellingen verfijnen. Dit heet Mutual Conditioning (onderlinge conditionering).

3. De "Teamcaptain" (Dynamic Selector)

Het team heeft een beperkte hoeveelheid tijd (budget) om aan de auto te werken. Waar moeten ze zich nu op richten?

De Oude Manier: Ze zouden 50% van de tijd aan de brandstof en 50% aan de motor besteden, ongeacht de situatie.
De CoFEH Oplossing: Een "Teamcaptain" houdt de voortgang in de gaten.
- Als de auto het moeilijk heeft omdat de brandstof vreselijk is, schreeuwt de Captain: "Chef, blijf koken! Negeer even de motor!"
- Als de brandstof perfect is maar de motor stottert, roept de Captain: "Mechanica, stel de motor fijn af! De Chef kan even rusten."
- Dit zorgt ervoor dat ze hun tijd precies besteden waar het voor die specifieke race het meest uitmaakt.

Waarom is dit een Groot Ding?

Het artikel testte dit systeem op 28 verschillende datasets (denk hierbij aan 28 verschillende soorten racebanen met verschillende regels).

Het Resultaat: CoFEH sloeg alle andere methoden, inclusief de oude starre systemen en andere AI-systemen die LLM's gebruiken.
Het Geheime Ingrediënt:
1. Vrijheid: Het zit niet vast aan een vaste lijst van bewerkingen. Het kan er nieuwe uitvinden.
2. Samenwerking: Het doet de brandstof- en motortaken niet apart. Het doet ze samen, zodat ze elkaar helpen.
3. Aanpasbaarheid: Het weet wanneer het zich op data moet richten en wanneer op het model, waardoor tijd en energie worden bespaard.

Samenvattend

Stel je voor dat je een puzzel probeert op te lossen.

Oude AI: Probeert puzzelstukjes met een hamer in een doos te forceren (starre regels).
Andere Nieuwe AI: Gebruikt een slimme robot om stukjes te vinden, maar de robot zoekt alleen stukjes één voor één, en negeert hoe ze bij elkaar passen.
CoFEH: Gebruikt een team van experts. De ene expert (de LLM) is een meester-puzzelaar die nieuwe stukjes kan uitvinden als dat nodig is. De andere expert (de Optimizer) weet precies hoe ze moeten worden gerangschikt. Ze staan naast elkaar en zeggen constant: "Als we dit stukje hierheen verplaatsen, past het beter bij dat andere," totdat de puzzel perfect is opgelost.

Het artikel beweert dat door deze twee experts te laten samenwerken en informatie in real-time te delen, ze complexe data-problemen veel beter en sneller kunnen oplossen dan eender welke vorige methode.

Technische Samenvatting: CoFEH

Probleemstelling

Feature Engineering (FE) is een hoeksteen van machine learning-pipelines, maar blijft een knelpunt voor traditionele geautomatiseerde methoden. Bestaande benaderingen lijden aan drie fundamentele beperkingen:

Semantische Agnosticiteit: Ze vertrouwen op starre, vooraf gedefinieerde zoekruimtes en trial-and-error zonder gebruik te maken van domeinkennis.
Starre Topologie: Ze dwingen vaste pijplijnsequenties af (bijvoorbeeld generatie gevolgd door selectie), wat dynamische interleaving of flexibele compositie van heterogene bewerkingen verhindert.
Beperkte Operation Sets: Ze zijn beperkt tot gesloten bibliotheken met ingebouwde algoritmen of basisrekenkundige bewerkingen, en kunnen geen taakspecifieke operaties ontdekken die verder gaan dan vooraf gedefinieerde primitieven.

Bovendien bieden Large Language Models (LLM's) een veelbelovend alternatief voor het genereren van semantisch onderbouwde, onbegrensde operatoren, maar richten huidige op LLM gebaseerde FE-methoden zich typisch op geïsoleerde subtaken (zoals feature-generatie) en falen ze in het construeren van vrije-vorm pipelines. Cruciaal koppelen deze methoden FE zelden aan Hyperparameter-Optimalisatie (HPO) van het downstream-model. Dit leidt tot een "gierige" sequentiële workflow (FE-volgt-HPO) die de sterke afhankelijkheid tussen feature-representatie en modelcapaciteit negeert, waardoor het systeem vaak vastloopt in suboptimale lokale minima.

Methodologie: CoFEH Framework

De auteurs stellen CoFEH (Collaborative Feature Engineering and Hyperparameter Optimization) voor, een framework ontworpen om LLM-gedreven FE en Bayesiaanse HPO te interleren voor robuuste end-to-end AutoML. Het systeem bestaat uit drie kerncomponenten:

1. LLM-gedreven Tree-of-Thought (ToT) FE-Optimizer

Om de uitdaging van Free-form FE aan te pakken, reformuleert CoFEH pijplijnconstructie als een sequentieel besluitvormingsprobleem dat wordt opgelost via Monte Carlo Tree Search (MCTS).

Staatrepresentatie: Het dataset op elk transformatiestadium wordt behandeld als een staatnode in een zoekboom.
Stuurbaar Redeneren: De LLM genereert nieuwe FE-bewerkingen op basis van een gestructureerde prompt met datasetmetadata, de voorouderpijplijn en een dynamische directive ( $d$ $d$ ):
- Initialisatie: Genereert hoogwaardige initiële bewerkingen voor de root-node.
- Exploratie: Stelt nieuwe operaties voor om onbekende gebieden van de zoekruimte te verkennen.
- Exploitatie: Verfijnt de huidige staat door hoogpresterende historische bewerkingen te hergebruiken en aan te passen.
Globaal Geheugen: Een op Pareto gebaseerd ophaalmechanisme archiveert succesvolle bewerkingen (redeneerketens, featuresubsets, scores en relatieve winsten) om de LLM te sturen tijdens de Exploitatiefase.

2. Wederzijdse Conditioneringsmechanisme

Om de uitdaging van Collaborative FE–HPO op te lossen, vestigt CoFEH een bidirectionele informatiestroom tussen de LLM (FE) en Bayesiaanse Optimalisatie (BO) (HPO), waardoor geïsoleerde tuning wordt vermeden.

HPO Geconditioneerd op FE: Het BO-surrogaatmodel gebruikt meta-features ( $\phi(s)$ ) die uit de datasetstaat zijn geëxtraheerd om de FE-pijplijn te karakteriseren. Dit stelt de BO in staat om de gezamenlijke invloed van de pijplijn en hyperparameters te modelleren, en de optimale configuratie ( $\lambda^*$ ) voor een specifieke datasetstaat ( $s^*$ ) aan te bevelen.
FE Geconditioneerd op HPO: De MCTS-selectie- en playout-fases worden geïnformeerd door HPO-resultaten. De "beste prestatie"-metriek voor een node wordt bepaald door de optimale hyperparameters die voor die specifieke datasetstaat zijn gevonden, zodat de LLM de kwaliteit van features evalueert onder optimale modelconfiguraties in plaats van standaardinstellingen.

3. Dynamische Optimizer Selector

Om Taakadaptieve planning aan te pakken, modelleert CoFEH de toewijzing van het optimalisatiebudget tussen FE en HPO als een Multi-Armed Bandit (MAB)-probleem met behulp van een Predictor Upper Confidence Bound (PUCB)-beleid.

De selector beslist dynamisch of er bij elke iteratie een FE-stap of een HPO-stap wordt uitgevoerd, gebaseerd op empirische succespercentages ( $Q(a)$ ) en tijdsvariërende prior-gewichten ( $\omega_a$ ).
Prior-gewicht Planning: Het systeem begint met een bias naar FE (om ervoor te zorgen dat data "model-klaar" is) en laat deze bias lineair afnemen naar een 50/50-evenwicht naarmate het budget wordt uitgeput. Dit garandeert een gebalanceerde budgetverdeling in neutrale scenario's, terwijl taakspecifieke empirische beloningen de toewijzing in de praktijk kunnen sturen.

Belangrijkste Bijdragen

Optimalisatie van Vrije-Vorm Pipelines: Een LLM-gedreven ToT-optimizer die onbeperkte pijplijntopologieën en operatoren verkent, waardoor echt vrije-vorm feature engineering mogelijk wordt die voorbewerking, transformatie, generatie en selectie dynamisch combineert.
Wederzijdse Conditioneringsmechanisme: Een nieuw bidirectioneel koppeling waarbij FE en HPO elkaars beslissingen informeren, waardoor de "gierige myopie" van sequentiële optimalisatie wordt voorkomen en de ontdekking van globale optima in de gezamenlijke ruimte mogelijk wordt.
Dynamische Resource-toewijzing: Een op PUCB gebaseerde selector die het computatiebudget adaptief toewijst tussen FE en HPO op basis van het specifieke nut van elk voor de gegeven taak.
Empirische Validatie: Uitgebreide experimenten die aantonen dat CoFEH zowel traditionele AutoML-systemen als bestaande op LLM gebaseerde baselines overtreft.

Experimentele Resultaten

De auteurs hebben CoFEH geëvalueerd op 28 publieke datasets (19 classificatie, 9 regressie) over drie downstream-modelscenario's: XGBoost, MLP en CASH (Combined Algorithm Selection and Hyperparameter Optimization).

Standalone FE: CoFEH behaalde de beste gemiddelde rang (1,82) onder alle baselines, met een significant betere prestatie dan traditionele methoden (Mindware, OpenFE) en andere op LLM gebaseerde benaderingen (OCTree, ELLM, LFG).
Gecombineerde FE+HPO: In de end-to-end-instelling toonde CoFEH een relatieve foutreductie van 7,03% ten opzichte van zijn eigen standalone FE-prestatie, en overtrof het alle baselines. Het behaalde een gemiddelde rang van 1,75, waarmee een nieuwe state-of-the-art werd gevestigd.
Generalisatie: Het framework toonde robuuste generalisatie over verschillende modeltypen (MLP, CASH), waarbij het topprestaties behield en aanzienlijke foutreducties bereikte (bijvoorbeeld +45,1% verbetering in CASH-scenario's).
Kostenefficiëntie: CoFEH behaalde de beste kosten-prestatieafweging, met slechts ongeveer $0,07 per taak nodig met de Gemini-2.0-flash-ruggengraat, terwijl traditionele zoek-intensive methoden (OpenFE, Mindware) aanzienlijk meer runtime vereisten.
Ablatiestudies: Het verwijderen van het wederzijdse conditioneringsmechanisme of de dynamische selector degradeerde de prestaties aanzienlijk, wat de noodzaak bevestigt van zowel gekoppelde informatiebeheer als adaptieve resource-planning.

Betekenis en Claims

De paper beweert dat CoFEH de kloof overbrugt tussen de semantische redeneercapaciteiten van LLM's en de numerieke efficiëntie van Bayesiaanse Optimalisatie. Door weg te bewegen van starre, sequentiële workflows naar een geinterleefde, collaboratieve optimalisatiestrategie, overwint CoFEH het "capaciteit-integratieparadox" waarbij LLM's uitblinken in FE maar achterblijven in FE-HPO-koppeling.

De auteurs stellen dat CoFEH:

Het volledige potentieel van LLM's vrijmaakt om vrije-vorm pipelines te creëren die lijken op die van menselijke experts.
Het probleem oplost van suboptimale lokale minima veroorzaakt door ontkoppelde FE en HPO.
Een schaalbare, uitbreidbare basis biedt voor toekomstig AutoML-werk dat via promptaanpassingen kan worden aangepast aan afbeeldings- en tekstdata.

Het werk wordt gepresenteerd als een significante stap naar holistische ML-pijplijnoptimalisatie, waarbij feature-discovery en modeltuning worden behandeld als een unificerend, wederzijds versterkend proces in plaats van geïsoleerde stadia.