🤖 machine learning

LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers

Dit artikel introduceert LLM-FE, een nieuw raamwerk dat evolutionaire zoektocht combineert met Large Language Models om iteratief effectieve programma's voor kenmerktransformatie voor tabulaire data te ontdekken, waardoor het bestaande methoden voor geautomatiseerde kenmerkinformatie overtreft door domeinkennis en datagedreven feedback beter te benutten.

Oorspronkelijke auteurs: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen met een stapel aanwijzingen (data). Meestal moet je deze aanwijzingen handmatig doorzoeken, op slimme manieren combineren en nieuwe "super-aanwijzingen" creëren om de zaak sneller op te lossen. Dit proces heet Feature Engineering. In de wereld van machine learning is dit handmatig doen traag, saai en vereist het een menselijke expert die precies weet welke combinaties van aanwijzingen misschien werken.

Het artikel introduceert een nieuw hulpmiddel genaamd LLM-FE dat dit detective-werk automatiseert met behulp van een "super-intelligente" AI (een Large Language Model) die optreedt als creatieve partner.

Zo werkt het, opgesplitst in eenvoudige concepten:

1. Het Probleem: Het "Gokspel"

Traditionele geautomatiseerde tools proberen dit op te lossen door blindelings getallen te mixen en te matchen (zoals Kolom A optellen bij Kolom B) op basis van een vaste lijst met regels. Ze zijn als een robot die alleen weet hoe hij linksom of rechtsom moet draaien, en nooit beseft dat je soms over een hek moet springen. Ze missen vaak de "aha!"-momenten die voortkomen uit het begrijpen van het verhaal achter de data (zoals het weten dat "insuline" en "glucose" gerelateerd zijn aan diabetes).

2. De Oplossing: De "Evolutionaire Chef"

De auteurs stellen LLM-FE voor, dat feature engineering behandelt als een kookwedstrijd waarbij de AI de chef is. In plaats van alleen een recept te volgen, krijgt de AI:

De Ingrediënten: De ruwe data (bijvoorbeeld leeftijd van de patiënt, bloedsuikerniveaus).
Het Menu: Het specifieke probleem op te lossen (bijvoorbeeld "voorspel of een patiënt diabetes heeft").
Het Kookboek: De eigen interne kennis van de wereld van de AI (bijvoorbeeld "Ik weet dat hoge suiker en lage insuline slecht zijn voor de gezondheid").

3. Hoe Het Werkt: De Vier-Stappen-Lus

Het artikel beschrijft een cyclus die zich keer op keer herhaalt, vergelijkbaar met hoe de natuur soorten evolueert om beter te overleven:

Stap A: De Creatieve Vonk (Generatie)
De AI kijkt naar de data en het probleem. Het zegt: "Hmm, als ik het insulineniveau deel door het glucose-niveau, zou dat ons iets kunnen vertellen over hoe het lichaam suiker verwerkt." Het schrijft een klein computerprogramma (een recept) om deze nieuwe "super-aanwijzing" te creëren.
- Analogie: De chef bedenkt een nieuwe saus op basis van de ingrediënten en het gerecht dat ze proberen te maken.
Stap B: De Proeverij (Evaluatie)
Het nieuwe recept wordt toegepast op de data. Vervolgens probeert een voorspellingsmodel (een eenvoudige test) het probleem op te lossen met behulp van deze nieuwe data.
- Analogie: De chef serveert de nieuwe saus aan een jury. Als de jury het lekker vindt (de score stijgt), is het recept goed. Zo niet, dan wordt het weggegooid.
Stap C: De Geheugenbank (Ervaringsbeheer)
Dit is de geheime saus van LLM-FE. Het systeem vergeet niet alleen de mislukte recepten. Het houdt een "Zaal van Eer" bij van de beste recepten die het ooit heeft gemaakt.
- Analogie: Stel je een chef voor die een notitieboekje bijhoudt met zijn 10 beste gerechten. Wanneer hij een nieuw gerecht moet bedenken, begint hij niet bij nul; hij kijkt naar zijn beste eerdere gerechten en zegt: "Wat als ik het beste deel van Gerecht #3 neem en mix met het beste deel van Gerecht #7?"
Stap D: De Evolutie (Verfijning)
De AI gebruikt de "Zaal van Eer" om nog betere versies van de recepten te creëren. Het probeert de beste recepten te "muteren" (lichtjes veranderen) om te zien of ze nog beter kunnen worden.
- Analogie: Dit is als natuurlijke selectie. De sterkste, lekkerste recepten overleven en evolueren, terwijl de zwakke uitsterven.

4. Waarom Het Beter Is Dan De Rest

Het artikel vergelijkt LLM-FE met andere methoden en komt tot de conclusie dat het wint om drie hoofdredenen:

Het Kent De Context: In tegenstelling tot andere robots die alleen wiskunde doen, begrijpt deze AI wat de data betekent. Het weet dat "Leeftijd" en "BMI" gerelateerd zijn aan gezondheid, dus het creëert kenmerken die zinvol zijn voor mensen, niet alleen getallen.
Het Raakt Niet Stuck: Andere methoden raken vaak vast in het proberen om één enkel idee te verbeteren. LLM-FE voert meerdere "eilanden" van ideeën tegelijkertijd uit. Als één eiland vastloopt in een doodlopende straat, kan een ander eiland misschien een afkorting vinden.
Het Leren Van Fouten: Door een geheugen te bewaren van wat eerder werkte, wordt het slimmer met elke poging, in plaats van gewoon willekeurig te gokken.

5. De Resultaten

De onderzoekers testten dit op veel verschillende datasets (zoals het voorspellen van hartziektes, huizenprijzen en autosales). Ze ontdekten dat LLM-FE consequent de voorspellingsmodellen accurater maakte dan de oude methoden. Het werkte niet alleen met één type AI; het hielp verschillende soorten modellen om beter hun werk te doen.

In het kort: LLM-FE is een systeem dat een slimme AI gebruikt om nieuwe, zinvolle manieren te bedenken om naar data te kijken. Het fungeert als een creatieve chef die leert van zijn beste eerdere gerechten, zijn kennis van de wereld gebruikt en constant experimenteert totdat het het perfecte recept vindt om een probleem op te lossen.

Technische Samenvatting: LLM-FE: Geautomatiseerde Feature Engineering voor Tabulaire Data met LLM's als Evolutionaire Optimalisators

Probleemstelling

Feature engineering is een kritiek, maar arbeidsintensief, onderdeel van de machine learning-workflow voor tabulaire data. Hoewel goed ontworpen features de prestaties van op bomen gebaseerde modellen aanzienlijk kunnen verbeteren (vaak met prestaties die diep-leringsbenaderingen op gestructureerde data overtreffen), is het proces van het verkennen van de enorme combinatorische ruimte van feature-transformaties tijdrovend en resource-intensief. Traditionele methoden voor geautomatiseerde feature engineering vertrouwen op vooraf gedefinieerde, handmatig ontworpen zoekruimten en vaste transformaties, en slagen er vaak niet in waardevolle domeinkennis op te nemen. Omgekeerd proberen recente benaderingen op basis van Large Language Models (LLM's) domeinkennis te integreren, maar vertrouwen deze doorgaans op directe prompting of eenvoudige validatiescores. Deze bestaande LLM-methoden slagen er vaak niet in inzichten uit eerdere ontdekkingsexperimenten te benutten, missen betekenisvol redeneren tussen feature-generatie en datagedreven prestaties, en neigen tot het genereren van eenvoudige, repetitieve features als gevolg van inherente biases in de pretraining van LLM's.

Methodologie: Het LLM-FE Kader

De auteurs stellen LLM-FE voor, een nieuw kader dat feature engineering formuleert als een programmazoekprobleem, waarbij de domeinkennis en redeneercapaciteiten van LLM's worden gecombineerd met evolutionaire zoektocht en datagedreven feedback. Het kader werkt als een iteratieve lus die bestaat uit vier hoofdfasen:

Generatie van Nieuwe Features (Prompting):
De LLM fungeert als een door kennis geleide evolutionaire optimalisator. Deze ontvangt een gestructureerde prompt met daarin:
- Taakbeschrijving & Metadata: Specifieke details over de downstream-taak en feature-beschrijvingen.
- Datasamples: Geserialiseerde voorbeelden van de dataset om context te bieden.
- Evaluatiefunctie: Een codefragment dat definieert hoe de kwaliteit van een feature wordt gemeten (het trainen van een model en scoren op een validatieset).
- In-Context Demonstraties: Een selectie van hoogpresterende feature-transformatieprogramma's uit eerdere iteraties.
  De LLM krijgt de uitdrukkelijke instructie om complexe, nieuwe feature-transformatieprogramma's (Python-code) te genereren in plaats van eenvoudige rekenkundige bewerkingen, waarbij het gebruikmaakt van zijn ingebouwde domeinkennis om te redeneren over de relevantie van features.
Feature Engineering (Executie):
De gegenereerde Python-programma's worden uitgevoerd op de onderliggende dataset. Deze stap past de voorgestelde transformaties toe om een uitgebreide dataset te creëren. Om robuustheid te waarborgen, dwingt het systeem uitvoeringstijd- en geheugengrenzen af, en verworpt het foutgevoelige of inefficiënte programma's.
Feature Evaluatie (Datagedreven Feedback):
De uitgebreide dataset wordt gebruikt om een downstream voorspellingsmodel te trainen (bijvoorbeeld XGBoost, MLP, TabPFN). De prestaties van het model op een vastgehouden validatieset dienen als de fitnessscore voor het feature-transformatieprogramma. Deze score levert de nodige datagedreven feedback om de zoektocht te sturen.
Ervaringsbeheer (Evolutionaire Zoektocht):
Om lokale optima te vermijden en diversiteit te behouden, maakt LLM-FE gebruik van een multi-populatie "eiland"-model.
- Multi-Eilandgeheugen: De zoekruimte is verdeeld in $m$ onafhankelijke eilanden. Elk eiland onderhoudt een buffer met hoogscorende programma's.
- Clustering & Sampling: Programma's binnen een eiland worden geklasterd op basis van hun validatiescores. Het systeem gebruikt Boltzmann-sampling om clusters te selecteren voor in-context voorbeelden, waarbij een evenwicht wordt gezocht tussen exploratie (minder hoogscorende clusters) en exploitatie (hoger scorende clusters).
- Iteratieve Verfijning: In elke iteratie samplet de LLM uit de geheugenbuffer om nieuwe kandidaten te genereren, wat effectief impliciete mutatie en crossover uitvoert via prompt-geconditioneerde generatie.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Nieuw Kader: De introductie van LLM-FE, dat feature engineering presenteert als een door LLM geleid evolutionair optimalisatieprobleem. Het integreert uniek domeinkennis, datagedreven evaluatie en langetermijngeheugen voor iteratieve verfijning.
Empirische Effectiviteit: Experimentele resultaten tonen aan dat LLM-FE consistent beter presteert dan state-of-the-art baselines (zowel klassieke methoden zoals OpenFE/AutoFeat als op LLM gebaseerde methoden zoals CAAFE/FeatLLM) over diverse tabulaire datasets, taken en voorspellingsmodellen.
Componentanalyse: Door middel van uitgebreide ablatiestudies benadrukken de auteurs de kritieke rollen van domeinkennis, evolutionaire zoektocht, datagedreven feedback en datasamples bij het sturen van de LLM om efficiënt de feature-ruimte te verkennen en impactvolle features te ontdekken.

Experimentele Resultaten

De auteurs evalueerden LLM-FE met GPT-3.5-Turbo en Llama-3.1-8B-Instruct als backbones over 19 classificatie- en 10 regressiedatasets. Het kader werd getest tegen baselines met XGBoost, MLP en TabPFN als downstream voorspellers.

Prestaties: LLM-FE behaalde de laagste gemiddelde rang (wat de beste algehele prestatie aangeeft) over zowel classificatie- als regressietaken. Het verbeterde consistent de voorspellende prestaties ten opzichte van baselines met ruwe data en andere feature engineering-methoden.
Generaliseerbaarheid: Het kader toonde robuustheid over verschillende LLM-backbones en voorspellingsmodelarchitecturen. Features gegenereerd door LLM-FE verbeterden de prestaties voor op bomen gebaseerde modellen, neurale netwerken en transformer-gebaseerde tabulaire modellen.
Complexiteit & Biasmitigatie: In tegenstelling tot naïeve LLM-prompting die de neiging heeft om eenvoudige operatoren (optelling, aftrekking) te bevoordelen, slaagde de evolutionaire verfijning in LLM-FE erin complexe transformaties te ontdekken (bijvoorbeeld group-by-aggregaties, residuen, sigmoid-functies). Ongeveer 45% van de ontdekte features werd geclassificeerd als complex, in vergelijking met verwaarloosbare hoeveelheden in baseline LLM-methoden.
Efficiëntie: Een Pareto-analyse van prestaties versus runtime toonde aan dat LLM-FE op de Pareto-grens ligt, waarbij het hogere nauwkeurigheid bereikt dan concurrenten zoals CAAFE en OCTree met vergelijkbare of lagere rekentarieven.
Ablatiestudies: Het verwijderen van domeinkennis veroorzaakte een aanzienlijke daling in prestaties (van ~0,687 naar ~0,626 nauwkeurigheid), wat het belang ervan onderstreept. Evenzo leidde het verwijderen van evolutionaire verfijning tot de grootste daling (naar ~0,587), wat de noodzaak van iteratieve datagedreven feedback benadrukt.
Memorisatie: Experimenten op datasets die na de trainingscutoff-data van de LLM werden vrijgegeven, toonden aan dat LLM-FE consistente, bescheiden winsten boekte, wat suggereert dat verbeteringen voortkomen uit genuanceerd redeneren en evolutionaire selectie in plaats van datamemorisatie.

Betekenis en Claims

Het artikel positioneert LLM-FE als een belangrijke stap voorwaarts in het automatiseren van de datagerichte pijplijn. De betekenis ligt in het overbruggen van de kloof tussen door domeinkennis geïnformeerd redeneren en optimalisatie. Door de LLM niet alleen te behandelen als een generator maar als een evolutionaire optimalisator, overwint het kader de beperkingen van statische zoekruimten en de bias naar eenvoudige features die inherent is aan directe prompting.

De auteurs claimen dat LLM-FE een robuuste, generaliseerbare oplossing biedt voor tabulair leren die handmatige inspanning reduceert terwijl het de voorspellende prestaties verbetert. Ze benadrukken dat het kader is ontworpen om domeinexperts aan te vullen, niet te vervangen, en interpreteerbare, door hypothesen gedreven features biedt die kunnen worden beoordeeld en gevalideerd. Het werk suggereert dat het combineren van LLM's met evolutionaire zoekmechanismen een levensvatbaar pad is naar het ontdekken van hoogwaardige, interpreteerbare features die moeilijk handmatig te engineeren zijn.