Causally-Guided Automated Feature Engineering with Multi-Agent Reinforcement Learning

1. Probleemstelling

Automated Feature Engineering (AFE) heeft als doel om automatisch hoogwaardige representaties te construeren uit ruwe tabulaire data. Bestaande methoden vertrouwen echter voornamelijk op statistische heuristieken (zoals correlaties). Dit leidt tot kwetsbare modellen die falen wanneer de data-distributie verschuift (distribution shift), wat een groot risico vormt voor toepassingen in veiligheidskritieke domeinen zoals chemische procesoptimalisatie, farmacie en energiesystemen.

De kernuitdagingen zijn:

• Kwetsbaarheid: Correlatie-gedreven features verliezen hun voorspellende kracht zodra de onderliggende mechanismen veranderen, zelfs als de statistische correlatie tijdelijk stabiel lijkt.
• Combinatorische explosie: De ruimte van mogelijke feature-transformaties groeit exponentieel met de dimensionaliteit, wat zoekstrategieën computatief zwaar maakt.
• Gebrek aan causaliteit: Bestaande AFE-methoden negeren vaak causale relaties, waardoor ze geen onderscheid maken tussen spurious correlations (schijnverbanden) en echte causale drijvers.

2. Methodologie: Het CAFE Framework

CAFE (Causally-Guided Automated Feature Engineering) reformuleert AFE als een causaal geleid sequentieel beslissingsproces. Het framework combineert causale ontdekking met multi-agent versterkende leer (Reinforcement Learning - RL) in twee fasen.

Fase I: Causale Ontdekking als Soft Inductieve Prior

In plaats van causale structuren als harde constraints te gebruiken, worden ze gebruikt als flexibele richtlijnen.

• Causale Grafiek: Er wordt een Directed Acyclic Graph (DAG) geleerd over de features en het doelvariabele (target) met behulp van NOTEARS met Lasso-regularisatie.
• Feature Groepering: Features worden gecategoriseerd op basis van hun causale relatie tot de target:
  1. Directe oorzaken: Features die direct naar de target leiden.
  2. Indirecte oorzaken: Features die via paden van lengte $\geq 2$ naar de target leiden.
  3. Niet-causale features: Andere variabelen.
• Soft Prior: Deze groepen dienen als "soft inductieve priors" die de zoekruimte sturen zonder strikte beperkingen op te leggen, waardoor flexibiliteit behouden blijft bij imperfecte causale ontdekking.

Fase II: Cascaderende Multi-Agent Deep Q-Learning

De zoekruimte voor transformaties wordt verkennd door een architectuur met drie gespecialiseerde agents die sequentieel beslissingen nemen:

1. Primary Group Agent ($\pi_1$): Selecteert een causale feature-groep (direct, indirect, of anders).
2. Operator Agent ($\pi_o$): Kiest een transformatie-operator (bijv. wiskundige bewerkingen, interacties) uit een bibliotheek.
3. Secondary Group Agent ($\pi_2$): Selecteert een partner-groep voor binaire operaties.

Belangrijke componenten:

• Causaal Geleide Exploratie: De agents gebruiken strategieën die prioriteit geven aan causaal plausibele interacties (bijv. directe oorzaken combineren met indirecte), maar houden ook rekening met wederzijdse informatie (Mutual Information) en diversiteit om causale fouten te compenseren.
• Causaal Gevormde Beloning (Reward Shaping): De beloningsfunctie ($R_t$) balanceert voorspellende prestaties met causale consistentie en transformatiediversiteit.
  $$R_t = R_{perf,t} \cdot (1 + \alpha \cdot \Psi_{causal,t}) + \lambda_{div}H(\pi_t) - \lambda_{comp}C(F^g_t)$$
  Hierbij wordt een bonus gegeven voor het gebruik van causaal relevante features, terwijl complexiteit wordt gestraft om overfitting te voorkomen.
• Robuustheid: Transformaties hebben ingebouwde veiligheidsmechanismen (bijv. beschermde deling, logaritmen met $\epsilon$) om numerieke stabiliteit te garanderen.

3. Kernbijdragen

1. Formulering: AFE wordt geformuleerd als een causaal geleid sequentieel beslissingsproces, wat een verschuiving betekent van puur statistische heuristieken naar het benutten van stabiele causale mechanismen.
2. Drie Principes: Introductie van (1) zachte causale inductieve bias, (2) causale structuur-bewuste exploratie, en (3) causaal gevormde beloningsfuncties.
3. CAFE Framework: Een tweefasig systeem dat causale grafieken koppelt aan cascaderende multi-agent RL voor strategische feature-construktie.
4. Empirische Validatie: Uitgebreide tests op 15 publieke benchmarks tonen consistente verbeteringen in prestaties, robuustheid en interpretatie.

4. Resultaten

De auteurs hebben CAFE getest op 15 datasets (classificatie en regressie) en vergeleken met 10 baselines, waaronder statistische methoden, traditionele AFE (AutoFeat), en moderne RL/LLM-methoden.

• Voorspellende Prestaties: CAFE behaalde op 13 van de 15 datasets de beste resultaten, met verbeteringen tot 7% ten opzichte van sterke baselines (zoals GRFG en ELLM-FT).
• Efficiëntie: Hoewel elke episode computatiever is door de causale analyse, convergeert CAFE 40-70% sneller (minder episodes) naar de optimale prestatie dan niet-causale methoden.
• Robuustheid onder Verschuivingen: Onder gecontroleerde covariaat-verschuivingen (distribution shift) vertoonde CAFE een prestatiedaling van slechts ~7,1%, vergeleken met ~28,1% voor de beste niet-causale multi-agent baseline (GRFG). Dit is een verbetering van ongeveer 4x.
• Interpreteerbaarheid: Features gegenereerd door CAFE tonen een 58,6% lagere variatie in SHAP-waarden onder ruis, wat aangeeft dat de modelverklaringen stabieler en betrouwbaarder zijn.

5. Betekenis en Conclusie

CAFE demonstreert dat het integreren van causale structuur als een zachte inductieve prior (in plaats van een rigide constraint) de robuustheid en efficiëntie van geautomatiseerd feature engineering aanzienlijk verbetert.

• Voor Safety-Critical AI: De methode is cruciaal voor domeinen waar systemen moeten opereren onder veranderende omstandigheden, omdat het zorgt voor features die gebaseerd zijn op onderliggende mechanismen in plaats van toevallige correlaties.
• Paradigmaverschuiving: Het paper stelt een nieuw paradigma voor waarbij causale redenering en versterkende leer worden gecombineerd om zowel de voorspellende kracht als de betrouwbaarheid van AI-systemen te verhogen.
• Toekomstperspectief: Hoewel de methode afhankelijk is van de kwaliteit van de causale ontdekking (en momenteel lineaire aannames maakt), biedt het een solide basis voor toekomstig werk gericht op niet-lineaire causaliteit, tijdsreeksen en robuustheid tegen verborgen confounders.

Kortom, CAFE biedt een oplossing voor het fundamentele probleem van "brittle" features in AI door causale stabiliteit te prioriteren, wat leidt tot modellen die beter generaliseren naar nieuwe en veranderende data-distributies.