OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms

1. Probleemstelling

Het artikel adresseert het hoge frictieproces van het overbrengen van machine learning (ML) onderzoek van theoretische hypothesen naar productieklare, gevalideerde implementaties. Hoewel bestaande automatiseringstechnieken zoals Neural Architecture Search (NAS) en AutoML succesvol hyperparameters en laagkeuzes binnen vaste algoritmische structuren hebben geoptimaliseerd, hebben zij het probleem van het ontdekken van volledig nieuwe algoritmische logica niet opgelost. Op dit moment blijft het vertalen van nieuwe, niet-intuïtieve ideeën naar uitvoerbare, foutloze code die integreert met standaardpipelines (bijv. scikit-learn) een handmatig, debug-intensief streven. De auteurs stellen voor de rol van Large Language Models (LLM's) te verschuiven van statische tekstgeneratoren naar uitvoerbare leersystemen die in staat zijn tot autonome algoritmische ontdekking.

2. Methodologie: Het OMEGA-kader

OMEGA is een end-to-end kader dat is ontworpen om de levenscyclus van ML-algoritmecreatie te automatiseren, van idee-generatie tot uitvoerbare code-evaluatie. Het werkt via vier hoofdfasen:

A. Idee-generatie

Het kader maakt gebruik van twee complementaire benaderingen om algoritmische concepten te genereren:

1. LLM Ontologie-zoekopdracht: Het systeem prikt LLM's met een lijst van bestaande modellen en onderzoeksprincipes om unieke modificaties te genereren (10 per model). Deze ideeën worden geparseerd en gebruikt als prompts voor codegeneratie.
2. Door mensen geprompte ideeën: Menselijke onderzoekers kunnen nieuwe concepten rechtstreeks in het kader indienen, die samen met door LLM gegenereerde ideeën worden verwerkt.

B. Codegeneratie & Zelfherstel

Zodra een idee is gedefinieerd, genereert de LLM code met twee strikte beperkingen:

1. Scikit-Learn-conformiteit: Gegenereerde modellen moeten erven van BaseEstimator en de methoden .fit() en .predict() implementeren. Dit zorgt ervoor dat de modellen fungeren als een Domain-Specific Language (DSL) die compatibel is met bestaande ML-workflows.
2. Zelfherstellende pipeline: Om uitvoerbaarheid te waarborgen, hanteert het kader een iteratieve debug-lus. Als codegeneratie faalt, wordt de foutstacktrace teruggevoerd naar de LLM om de code te regenereren. Dit proces wordt herhaald voor een vast aantal pogingen; als de code niet kan worden gerepareerd, wordt deze verworpen. Dit zorgt ervoor dat alleen foutloze, compileerbare code doorgaat naar evaluatie.

C. Evaluatie: Infinity-Bench

Om de gegenereerde algoritmen te beoordelen, introduceren de auteurs Infinity-Bench, een benchmarkrepository met 20 diverse classificatiedatasets (gehaald uit scikit-learn en OpenML).

• Diversiteit: De datasets variëren in grootte, type kenmerken (numeriek/categorisch) en domein (biologie, geneeskunde, onderwijs).
• Maatstaf: In plaats van ruwe nauwkeurigheid (die varieert per datasetmoeilijkheid), maakt het kader gebruik van een Min-Max Genormaliseerde Rangschikkingsscore.
  • Voor elke dataset $d$ wordt de score $n_{m,d}$ berekend door de nauwkeurigheid van het model ($s_{m,d}$) te normaliseren tegen de slechtste ($min_d$) en beste ($max_d$) modellen:
    $$n_{m,d} = \frac{s_{m,d} - min_d}{max_d - min_d}$$
  • De uiteindelijke prestatiescore is het gemiddelde van deze genormaliseerde rangschikkingen over alle 20 datasets.

D. Bibliotheekcreatie

Best presterende modellen worden verpakt in een Python-bibliotheek (omega-models), wat naadloze integratie in standaardworkflows mogelijk maakt.

3. Belangrijkste Bijdragen

1. OMEGA-kader: Een geautomatiseerd, end-to-end systeem dat eenvoudige prompts omzet in compileerfoutvrije, scikit-learn-compatibele ML-classificatoren.
2. Infinity-Bench: Een robuuste benchmark voor het evalueren van classificatiemodellen op basis van relatieve prestaties en robuustheid over 20 diverse datasets.
3. Ontdekking van nieuwe algoritmen: De generatie van twee specifieke nieuwe algoritmen die gevestigde baselines overtreffen:
   • MetaSynthesisClassifier: Een door mensen geprompte gestapeld generalisatiemodel.
   • DirectionalForest: Een door een LLM autonoom gegenereerd ensemble dat gebruikmaakt van kenmerkrichtheid.
4. LLM-vergelijkende analyse: Een studie die de codegeneratiecapaciteiten vergelijkt van vier toonaangevende LLM's (Gemini 2.5 Flash, GPT-4.1 mini, Claude Sonnet 4.5 en xAI's grok-code-fast-1).
5. Zelfverbeteringsstrategie: Een analyse van recursieve zelfprompting, waarbij de effectiviteit wordt vergeleken van het verbeteren van de prompt versus het iteratief verbeteren van de code.

4. Resultaten

A. Prestaties versus Baselines

Het OMEGA-kader slaagde erin modellen te genereren die standaard scikit-learn baselines (bijv. RandomForest, MLPClassifier, LogisticRegression) overtroffen.

• Toppresteerders: De top 3-modellen in de benchmark werden gegenereerd door OMEGA (MetaSynthesisClassifier, VotingEnsembleClassifier en een door de gebruiker geprompte variant), met Min-Max scores van respectievelijk 0,9474, 0,9445 en 0,9401.
• Baseline-vergelijking: Standaard scikit-learn modellen scoorden lager (bijv. RandomForest op 0,9285, LogisticRegression op 0,8708).

B. Analyse van Nieuwe Algoritmen

• MetaSynthesisClassifier: Maakt gebruik van een hiërarchische gestapelde generalisatiebenadering. Het traint basisschatters op data waarbij specifieke steekproeven zijn uitgesloten (om lekkage te voorkomen) en gebruikt een meta-schatter om de optimale weging van deze basisvoorspellingen te leren. Het toonde uitzonderlijke robuustheid over verschillende variëteiten van complexiteit.
• DirectionalForest: Een autonome ontdekking die kenmerkrichtheid integreert. Het berekent een richtingsvector op basis van het teken van afwijkingen tussen klassgemiddelden en het globale gemiddelde. Het transformeert invoerkenmerken ($x_{dir} = x \odot d$) voordat het beslisbomen traint, wat effectief de richting van kenmerkgewicht normaliseert en de variantie in hoogdimensionale ruimtes vermindert.

C. LLM-vergelijking

• Gemini 2.5 Flash bleek de beste presteerder voor het genereren van uitvoerbare classificatiemodellen, met de hoogste gemiddelde score (0,9162) over 10 diverse prompts.
• Promptkwaliteit versus Modelidentiteit: Hoewel Gemini leidde, was het prestatieverschil tussen modellen relatief klein, wat suggereert dat de kwaliteit van de initiële prompt vaak kritischer is dan de specifieke gebruikte LLM.

D. Zelfverbetering (Prompt versus Code)

De auteurs testten of het itereren op de prompt of de code betere resultaten opleverde:

• Vinding: Prompttuning presteerde consequent beter dan alleen-code-optimatie voor bijna alle LLM's.
• Voorbeeld: Voor Claude leverden promptverbeteringen een winst van 8,88% op ten opzichte van de basis, terwijl codeverbeteringen slechts 4,85% opleverden.
• Implicatie: Het verfijnen van de conceptuele instructies die aan de LLM worden gegeven, is effectiever dan het vragen om zijn eigen code te debuggen in deze context.

5. Betekenis

Het OMEGA-kader vertegenwoordigt een belangrijke stap richting geautomatiseerd AI-onderzoek. Door de kloof te overbruggen tussen idee-generatie en uitvoerbare, gevalideerde code, verlaagt het de drempel voor het ontdekken van nieuwe ML-algoritmen.

• Schaalbaarheid: Het toont aan dat LLM's kunnen redeneren over algoritmische logica en concurrerende, productieklare code kunnen genereren zonder menselijke tussenkomst.
• Democratisering: Door deze modellen te verpakken, stelt het kader zowel technische als niet-technische engineers in staat om gebruik te maken van door LLM gegenereerde algoritmen.
• Toekomstig Onderzoek: Het succes van "AI-wetenschappers" op dit gebied suggereert een toekomst waarin de volledige onderzoekslijn – van hypothese tot paper – volledig geautomatiseerd is, wat het tempo van ML-innovatie potentieel kan versnellen buiten menselijke handmatige afleiding.