🤖 machine learning

TopoFE: topology-aware LLM-guided Automated Feature Engineering

TOPOFE is een topologiebewust multi-eiland evolutionair framework dat LLM-gestuurde geautomatiseerde feature engineering verbetert door familie-gespecialiseerde exploratie, adaptief promptgeheugen en topologie-gestuurde kennisoverdracht te integreren om de beperkingen van staatloze generatie en homogene zoektocht te overwinnen, waardoor diverse en hoogpresterende feature-programma's over 29 tabulaire datasets worden ontdekt.

Oorspronkelijke auteurs: Sha Li, Naren Ramakrishnan

Gepubliceerd 2026-07-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Sha Li, Naren Ramakrishnan

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren om slimme beslissingen te nemen, zoals het voorspellen of een leningaanvrager zijn geld zal terugbetalen of of een patiënt een specifieke ziekte heeft. De computer begint niet met de antwoorden; hij moet naar een spreadsheet met ruwe gegevens kijken—getallen, categorieën en datums—en ontdekken welke patronen er toe doen. Dit proces wordt machine learning genoemd. Maar hier zit de crux: de ruwe gegevens zijn vaak rommelig en moeilijk te begrijpen. Net zoals een chef geen heerlijke soep kan maken met alleen maar ongesneden groenten, kan een computer vaak geen de beste patronen vinden tenzij de gegevens eerst worden getransformeerd. Deze transformatiestap wordt feature engineering genoemd. Het is de kunst van het nemen van ruwe getallen en deze bij elkaar te mengen om nieuwe, slimmere aanwijzingen te creëren die de computer helpen de waarheid te zien. Lange tijd moesten mensen dit handmatig doen, waarbij ze gokten welke combinaties van getallen nuttig zouden kunnen zijn. Recentelijk zijn we begonnen met het gebruiken van superintelligente computerprogramma's genaamd Large Language Models (LLMs) om te helpen. Denk aan deze LLM's als briljante, erudiete assistenten die veel weten over wiskunde en wetenschap en nieuwe manieren kunnen voorstellen om de data te mengen. Echter, zelfs deze briljante assistenten hebben een probleem: ze raken soms in een sleur, waarbij ze steeds dezelfde soorten mengsels voorstellen, of ze vergeten wat ze eerder hebben geprobeerd, waardoor ze tijd verspillen aan doodlopende wegen.

Dit is waar een nieuw framework genaamd TOPOFE in beeld komt. De onderzoekers, Sha Li en Naren Ramakrishnan van Virginia Tech, realiseerden zich dat de ruimte van mogelijke datamengsels zo groot en gevarieerd is dat een enkele, uniforme zoekstrategie niet voldoende is. Ze stelden een systeem voor dat de zoektocht naar de beste dataclues behandelt als een team van gespecialiseerde ontdekkingsreizigers die in verschillende gebieden werken, in plaats van één grote menigte.

In plaats van één grote groep computerprogramma's die allemaal tegelijkertijd aan het probleem tegelijkertijd proberen te werken, verdeelt TOPOFE het werk in vijf afzonderlijke "eilanden". Elk eiland is een specialistisch team dat zich richt op een specifiek type wiskundige truc. Eén eiland kijkt alleen naar eenvoudige rekenkunde, zoals optellen of vermenigvuldigen van getallen. Een ander richt zich op statistiek, zoals gemiddelden en tellingen. Een derde kijkt naar tijdgebaseerde patronen, zoals hoe de verkopen de afgelopen week zijn veranderd. De laatste handelt relaties tussen verschillende groepen af, en de laatste houdt zich bezig met gebogen, niet-lineaire vormen. Door deze specialisten gescheiden te houden, zorgt het systeem ervoor dat geen enkel type wiskundige truc de overhand krijgt en de ontdekking van de anderen blokkeert.

Maar de echte magie gebeurt wanneer deze eilanden met elkaar communiceren. In oudere systemen, als een team vastliep, wisselden ze misschien willekeurig ideeën uit met een ander team, wat vaak niet hielp. TOPOFE is slimmer. Het gebruikt een "topologiegrafiek", wat een dynamische kaart is die leert welke teams het beste bij elkaar kunnen helpen. Als het "Tijd"-eiland vastloopt, controleert het systeem de kaart en ziet dat het "Rekenkunde"-eiland de beste ideeën heeft om hen te helpen. Het activeert dan een speciale gebeurtenis waarbij de twee teams hun beste ideeën combineren om iets totaal nieuws te creëren—een "hybride" feature die geen van beide teams alleen had kunnen uitvinden. Het kan bijvoorbeeld een tijdgebaseerd gemiddelde combineren met een delingoperatie om een gloednieuwe, zeer voorspellende aanwijzing te creëren.

Het systeem heeft ook een "geheugen" dat leert van zijn eigen fouten. Als een bepaalde wiskundige truc herhaaldelijk faalt op een specifieke dataset, onthoudt het systeem dit en stopt het met het voorstellen ervan, terwijl het de trucs die wel werken, versterkt. Dit gebeurt zonder dat de hoofdcomputer-hersenen opnieuw getraind hoeven te worden, wat de zoektocht ongelooflijk efficiënt maakt.

De onderzoekers testten dit idee op 29 verschillende real-world datasets, variërend van het voorspellen van hartziekten tot het voorspellen van de huur van fietsen. Ze ontdekten dat TOPOFE consequent beter presteerde dan de beste bestaande methoden. Het vond niet alleen betere antwoorden; het vond diversere antwoorden. Terwijl andere methoden vaak eindigden met een stapel zeer vergelijkbare aanwijzingen (redundantie), produceerden de gespecialiseerde eilanden en de slimme teamwork van TOFE een set aanwijzingen die meer terrein besloegen en goed werkten met verschillende soorten voorspellingsmodellen. De studie suggereert dat door de zoektocht te organiseren in gespecialiseerde, communicerende groepen en ze te laten leren wanneer ze ideeën moeten uitwisselen, we veel krachtigere manieren kunnen ontsluiten om computers te leren onze data te begrijpen. De resultaten laten zien dat deze aanpak robuust is, goed werkt zelfs wanneer de onderliggende computer-"hersenen" veranderen, wat bewijst dat het geheime ingrediënt in de structuur van de zoektocht zelf zit, en niet alleen in de intelligentie van het model.

Technische Samenvatting: TOPOFE

Probleemstelling

Automatische Feature Engineering (AutoFE) voor tabulaire data is fundamenteel een programma-syntheseprobleem gericht op het ontdekken van voorspellende transformaties uit een exponentieel grote zoekruimte. Hoewel recente Large Language Model (LLM) benaderingen de expressiviteit van AutoFE hebben uitgebreid voorbij vooraf gedefinieerde operatorbibliotheken, lijden ze aan drie kritieke structurele beperkingen:

Homogene Zoekdynamiek: Bestaande LLM-evolutionaire methoden opereren over een enkele, ongedifferentieerde populatie. Dit veroorzaakt dat de zoekopdracht instort naar een smalle subset van transformatietypen (bijv. rekenkundige interacties) zodra enkele hoogpresterende motieven de ervaring-buffer verzadigen, waardoor orthogonale families (bijv. temporele dynamiek, relationele coderingen) onderbelicht blijven.
Stateloze LLM-querying: Feature-generatie mist een persistent geheugen van eerdere evaluaties. Voorstellen worden gegenereerd op basis van statische prompts zonder cumulatieve adaptatie aan dataset-specifieke patronen, wat leidt tot herhaalde, onproductieve suggesties.
Rigide Transferstructuur: Wanneer meerdere populaties worden gebruikt, is migratie doorgaans periodiek of willekeurig. Er is geen principieel mechanisme om te detecteren wanneer lokale zoekopdrachten zijn gestagneerd of om te identificeren welke bronfamilie het meest complementair is aan een stagnerend doel, wat de ontdekking van complexe cross-familie composities verhindert.

Methodologie: TOPOFE

TOPOFE (Topology-Aware LLM-Guided Automated Feature Engineering) herformuleert AutoFE als een graafgestuurde multi-island evolutionaire zoekopdracht. Het deelt de feature-programruimte op in semantisch coherente "transformatiefamilies" en coördineert hun exploratie via drie kerncomponenten:

1. Multi-Island Decompositie (Inductieve Bias Decompositie)

De programruimte $\mathcal{P}$ wordt gepartitioneerd in $M$ toegewezen eilanden (islands), die elk een specifieke transformatiefamilie toegewezen krijgen (bijv. rekenkundige interacties, statistische aggregaten, temporele features, relationele coderingen, niet-lineaire univariate mappen).

Eilandstatus: Elk eiland $i$ onderhoudt een populatie $\Pi_i$ , een elite-archief $A_i$ , een acceptatie/afwijzingsgeschiedenis $H_i$ en een prompt-geheugenvector $\rho_i$ .
Gespecialiseerde Exploratie: Binnen elk eiland voert de LLM mutatie- en crossover-operaties uit, geconditioneerd op de specifieke familie-inductieve bias en de geaccumuleerde geschiedenis van het eiland, wat voortijdige convergentie naar één enkel transformatietype voorkomt.

2. Prompt Adaptation Memory (PAM)

Om stateless generatie aan te pakken, implementeert TOPOFE een lichtgewicht, per-eiland geheugenmechanisme dat LLM-voorstellen aanpast zonder parameter-updates.

Mechanisme: Na elke generatie vat het systeem de geaccepteerde en afgewezen programmapatronen uit een sliding window samen in een natuurlijke taal "prefer/avoid"-signaal ( $\rho_i$ ).
Conditionering: Dit signaal wordt bij elke LLM-prompt geïnjecteerd samen met de taakmetadata en elite-demonstraties, wat zorgt voor cumulatieve, dataset-specifieke adaptatie gedurende de zoekopdracht.

3. Topology-Aware Cross-Island Transfer

Om features te ontdekken die operators uit meerdere families vereisen (bijv. een temporele feature gecombineerd met een rekenkundige ratio), gebruikt TOPOFE een geleerde, gerichte topologiegraaf $G(t)$ .

Verzadigingsdetectie: Transfer is niet periodiek maar wordt getriggerd door een verzadigingscriterium. Een eiland wordt als verzadigd beschouwd wanneer de marginale verbetering over een sliding window onder een drempelwaarde $\epsilon$ valt, wat duidt op lokale zoekuitputting.
Adaptieve Routing: Bij verzadiging raadpleegt het systeem de topologiegraaf om een precursor-eiland $j^*$ te selecteren die de empirisch waargenomen transfer-utiliteit $w_{j \to i}$ maximaliseert.
Hybride Synthese: In plaats van programma's te kopiëren, voert de LLM een hybride synthese uit. Het ontvangt programma's van zowel het verzadigde doel-eiland als het geselecteerde precursor-eiland als context, en genereert een nieuw programma dat structurele elementen van beide families combineert.
Graaf-leren: De randgewichten in de topologiegraaf worden online bijgewerkt via een exponentieel voortschrijdend gemiddelde op basis van de geobserveerde fitness-winst van transfer-events, waardoor een data-gedreven model van inter-familie complementariteit wordt geleerd.

Belangrijkste Bijdragen

Topology-Aware Formulering: Het artikel stelt voor om AutoFE te formuleren als een graafgestuurde multi-island zoekopdracht waarbij de migratietopologie niet vaststaat maar online wordt geleerd via een bandit-stijl regel gebaseerd op empirische transfer-utiliteit.
Saturation-Triggered Adaptive Transfer: Een utiliteits-gebaseerd criterium triggert cross-island transfer alleen wanneer de lokale zoekopdracht is uitgeput, gekoppeld aan een Prompt Adaptation Memory die cumulatieve adaptatie mogelijk maakt zonder parameter-updates.
Principieel Evaluatiekader: De auteurs introduceren drie doelgerichte metrieken:
- Mean Pairwise Output Correlation (MPOC): Meet feature-redundantie.
- Effective Rank (EffRank): Meet subspace-dekking.
- Topology Graph Specialisation Score (TGSS): Kwantificeert de mate waarin de topologiegraaf taakspecifieke transfer-kennis verwerft.
Empirische Validatie: Uitgebreide experimenten op 29 publieke tabulaire datasets (19 classificatie, 10 regressie) tonen consistente verbeteringen aan ten opzichte van state-of-the-art klassieke en LLM-gebaseerde AutoFE-methoden.

Resultaten

Voorspellende Prestaties: TOPOFE behaalde de beste prestaties op 15 van de 19 classificatie-datasets en 9 van de 10 regressie-datasets. De prestatiewinsten waren het meest uitgesproken op datasets die complexe cross-familie interacties vereisen (bijv. balance-scale, heart, bike), waar single-population methoden faalden om noodzakelijke compositionele features te ontdekken.
Robuustheid: Het framework bleef stabiel over verschillende LLM-backbones (Qwen2.5-Coder, Qwen3-8B, GPT-4o-mini) en verschillende downstream-predictors (XGBoost, CatBoost, MLP, TabPFN), wat bevestigt dat de winsten worden gedreven door de architecturale mechanismen in plaats van specifieke modelcapaciteiten.
Feature Diversiteit: TOPOFE produceerde feature-sets met aanzienlijk lagere redundantie (lagere MPOC) en hogere subspace-dekking (hogere EffRank) vergeleken met baselines. Dit werd toegeschreven aan de expliciete redundantie-filter en het vermogen om structureel orthogonale templates te importeren via hybride synthese.
Topology Specialisatie: De TGSS-metriek bevestigde dat de topologiegraaf succesvol taakspecifieke transferpaden heeft geleerd. Datasets met hoge TGSS-waarden (wat wijst op sterke geleerde voorkeuren voor specifieke cross-familie transfers) correleerden met grotere prestatiewinsten ten opzichte van single-family baselines.

Betekenis en Claims

Het artikel claimt dat inter-familie complementariteit een leerbare en exploiteerbare grootheid is die bestaande AutoFE-methoden onbenut laten. Door verder te gaan dan homogene zoekopdrachten en statische prompting, demonstreert TOPOFE dat:

Gestructureerde decompositie van de programruimte de diversiteit behoudt en voortijdige convergentie voorkomt.
Adaptieve, verzadigings-getriggerde transfer toestaat dat het systeem complexe, compositionele features ontdekt die onbereikbaar zijn voor single-family grammatica's.
De geleerde topologiegraaf fungeert als een principieel mechanisme om de kennisstroom precies te routeren waar en wanneer deze het meest waardevol is.

De auteurs concluderen dat hun aanpak veelbelovende richtingen opent voor automatische familie-schema inductie en taaktype-specifieke transfer-scheduling, waarmee een nieuw paradigma wordt gevestigd voor LLM-gestuurde feature engineering dat een balans vindt tussen gespecialiseerde exploitatie en gestructureerde exploratie.