KompeteAI: Accelerated Autonomous Multi-Agent System for End-to-End Pipeline Generation for Machine Learning Problems

1. Het Probleem

Recente AutoML-systemen die zijn gebaseerd op Large Language Models (LLM's) tonen indrukwekkende capaciteiten, maar kampen met drie fundamentele beperkingen:

• Beperkte exploratiestrategieën: Bestaande methoden gebruiken vaak "one-shot" generatie (geen iteratieve verfijning) of Monte Carlo Tree Search (MCTS) die moeite heeft om sterke deeloplossingen uit verschillende takken effectief te combineren. Waardevolle inzichten worden vaak te vroeg verworpen.
• Gebrek aan externe kennis: Hoewel Retrieval-Augmented Generation (RAG) potentieel biedt om de hypotheseruimte te vergroten, wordt dit in huidige systemen vaak alleen in de vroege fasen toegepast, wat leidt tot kennisverval en gebrek aan innovatie in latere stadia.
• Executie-bottleneck: Het valideren van een oplossing vereist volledige code-uitvoering, wat uren kan duren. Fouten die pas laat in het proces worden ontdekt, dwingen tot volledige hertraining, wat de feedbackcyclus vertraagt en grote wijzigingen ontmoedigt.

2. Methodologie: KompeteAI

KompeteAI is een autonoom multi-agent framework dat een gestructureerde, meerstaps aanpak voor het genereren van ML-pipelines hanteert. Het systeem is opgebouwd uit drie hoofdfasen:

A. Pipeline Setup

Voor de zoektocht worden kerncomponenten voorbereid:

• Reader Agent: Analyseert de datasetstructuur en initialiseert de data voor RAG.
• Metric Agent: Bouwt unit-tests en definieert evaluatiemetrics.
• Validator Agent: Partitioneert data en past pre-processing toe.
• Baseliner Agent: Genereert een initiële oplossing om een ondergrens voor prestaties te stellen.

B. Tree Initialization & Representatie

Het systeem bouwt een zoekboom waarbij elke knoop een code-segment vertegenwoordigt en elk niveau een specifiek pipeline-component:

• EDA (Exploratory Data Analysis): Verzamelt inzichten.
• FE (Feature Engineering): Concrete implementaties van feature-transformaties.
• MT (Model Training): Implementaties van modelarchitecturen.
  De "Ideation Process" gebruikt vier gespecialiseerde agents:

1. Insighter: Genereert ideeën gebaseerd op EDA-resultaten en externe kennis.
2. Checker: Valideert logica en consistentie.
3. Coder: Schrijft de uitvoerbare code.
4. Debugger: Lost runtime-fouten op met een versnelde loop (minder iteraties voor snelle detectie).

C. Tree-Guided Exploration (De Kerninnovaties)

Het systeem wisselt af tussen twee operatoren om de boom te verrijken:

1. Adding (Toevoegen): Dynamisch genereren van nieuwe ideeën voor FE en MT-niveaus. Dit wordt aangedreven door een adaptieve RAG-module die continu externe kennis haalt uit Kaggle-notebooks en arXiv-papers, niet alleen aan het begin.
2. Merging (Samenvoegen): In tegenstelling tot eerdere methoden die alleen eindresultaten samenvoegen, combineert KompeteAI succesvolle deeloplossingen (FE en MT componenten) op een gecontroleerde manier. Het gebruikt korte- en langetermijngeheugenbuffers om mislukte combinaties te onthouden en te voorkomen dat dezelfde fouten opnieuw worden gemaakt.

D. Versnelde Evaluatie (Scoring Model)

Om de executie-bottleneck op te lossen, introduceert KompeteAI een voorspellend scoremodel:

• In plaats van volledige training, wordt een versnelde training uitgevoerd met minder epochs en kleinere datasets.
• Een LLM voorspelt de uiteindelijke prestaties op basis van deze vroege metrics, beschrijvingen van het model, en vergelijking met "anchor"-ideeën.
• Dit stelt het systeem in staat zwakke oplossingen vroeg te verwijderen en meer hypotheses te testen binnen hetzelfde tijdsbestek.

3. Belangrijkste Bijdragen

1. Gedecomponeerde Multi-Agent Architectuur: Een state-of-the-art framework dat de ML-werkstroom opsplits in discrete stadia, waardoor agents kunnen specialiseren. Het introduceert nieuwe "Adding" en "Merging" operatoren die externe kennis dynamisch integreren en optimale deeloplossingen systematisch combineren.
2. Versnelde Evaluatie- en Debugging Paradigma: Een tweeledige oplossing voor de uitvoeringstijd: een voorspellend scoremodel en een versnelde debug-loop. Dit verkort de feedbackcyclus aanzienlijk.
3. Nieuwe Benchmark (Kompete-bench): De auteurs identificeren dat de bestaande benchmark (MLE-Bench) vertekend is door het gebruik van gesplitste trainingsdata en privé-leaderboards. Kompete-bench is een nieuw, zorgvuldig samengesteld benchmark met recente, real-world problemen (2024-2025) om memorisatie en bias te minimaliseren.

4. Resultaten

• MLE-Bench Prestaties: KompeteAI presteert gemiddeld 3% beter dan toonaangevende methoden (zoals RD-agent, AIDE, ML-Master en MLE-STAR) op de MLE-Bench Lite subset, met een medaille-ratio van 51,5% (tegenover 48,5% voor de beste concurrent).
• Snelheid: Door de versnellingsmethoden (scoring model + versnelde debugging) kan het systeem 6,9 keer meer iteraties uitvoeren binnen hetzelfde tijdsbestek vergeleken met een systeem zonder deze versnellingen.
• Kompete-bench Prestaties: Op de nieuwe benchmark, waar agents moeten concurreren tegen menselijke deelnemers in recente competities, slaagt KompeteAI erin om in 14% van de gevallen menselijke prestaties te overtreffen ("percent humans beaten"). Dit is significant hoger dan andere systemen (die vaak rond de 3-11% blijven).
• Ablatie Studies: Het verwijderen van RAG, Merging of het Scoring Model leidt tot een drastische daling in prestaties, wat aantoont dat alle componenten essentieel zijn, vooral voor complexe, recente taken.

5. Betekenis en Conclusie

KompeteAI vertegenwoordigt een belangrijke stap voorwaarts in het veld van autonoom Machine Learning. Het bewijst dat een combinatie van dynamische zoekstrategieën (via tree-based operators), continue integratie van externe kennis (RAG) en efficiënte evaluatiemethoden (scoring models) leidt tot superieure resultaten.

De paper benadrukt ook de urgentie van betere benchmarks; de huidige stand van zaken in AutoML-evaluatie is vertekend door methodologische tekortkomingen in bestaande datasets. Kompete-bench biedt een robuuster kader om de werkelijke probleemoplossende capaciteit van AI-agenten te meten. Het systeem toont aan dat autonome agents niet alleen bestaande methoden kunnen repliceren, maar door slimme combinatie en exploratie ook nieuwe, superieure oplossingen kunnen vinden die concurreren met menselijke experts.