🤖 AI

OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms

Die Arbeit stellt OMEGA vor, ein End-to-End-Framework, das die KI-Forschung automatisiert, indem es strukturiertes Meta-Prompt-Engineering mit der Generierung ausführbaren Codes kombiniert, um neuartige Machine-Learning-Klassifikatoren zu erstellen, die auf 20 Benchmark-Datensätzen die Baselines von scikit-learn übertreffen.

Ursprüngliche Autoren: Jeremy Nixon, Annika Singh

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jeremy Nixon, Annika Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die perfekte Maschine zu bauen, um einen riesigen Haufen durcheinandergeratener Spielzeuge zu sortieren. Traditionell bräuchten Sie einen menschlichen Experten, der die Sortiermaschine entwirft, die Anweisungen schreibt, sie testet, Fehler behebt und es dann erneut versucht. Dieser Artikel stellt ein neues System namens OMEGA vor, das wie eine „super-automatisierte Werkstatt" fungiert, um diesen gesamten Prozess für Sie zu übernehmen.

So funktioniert OMEGA, aufgeschlüsselt in einfache Konzepte:

1. Die Ideenfabrik (Erstellen des Bauplans)

Normalerweise kommen Menschen auf die Ideen für neue Sortiermaschinen. OMEGA ändert dies, indem es dem Computer erlaubt, eigene Ideen zu entwickeln.

Wie es funktioniert: Sie können dem System entweder einen einfachen Hinweis geben (wie „bessere Sortierer erstellen") oder den Computer eigenständig brainstormen lassen. Es fungiert wie ein kreativer Architekt, der 10 verschiedene Wege skizziert, eine Maschine auf Basis bekannter Regeln zu bauen.
Die Analogie: Stellen Sie es sich wie einen Koch vor, der nicht nur einem Kochbuch folgt, sondern neue Gerichte erfindet, indem er Zutaten auf eine Weise mischt, die noch niemand zuvor versucht hat.

2. Die selbstheilende Werkstatt (Schreiben des Codes)

Sobald der Computer eine Idee hat, versucht er, die eigentlichen Anweisungen (Code) zu schreiben, um die Maschine zu bauen. Aber Computer machen beim Schreiben von Code oft Fehler.

Der „Selbstheilungs"-Trick: OMEGA verfügt über einen eingebauten Mechanismus. Wenn der Code abbricht oder einen Fehler enthält, liest das System die Fehlermeldung, erkennt, was schiefgelaufen ist, und versucht, es automatisch zu beheben. Es versucht so lange weiter, bis die Maschine perfekt funktioniert.
Die Analogie: Stellen Sie sich einen Roboter vor, der eine Lego-Burg baut. Wenn ein Teil nicht passt, gibt der Roboter nicht auf; er überprüft sofort die Anweisungen, tauscht das Teil aus und versucht es erneut, bis die Burg ohne menschliche Hilfe stabil steht.

3. Das große Rennen (Der „Infinity-Bench")

Um zu sehen, ob diese neuen Maschinen tatsächlich gut sind, setzt OMEGA sie in ein massives Rennen gegen 20 verschiedene Standard-Sortierherausforderungen (Datensätze).

Die Wertungstabelle: Anstatt nur zu schauen, wer am schnellsten ist, betrachtet das System, wie gut sie im Vergleich zu den „Standard"-Maschinen abschneiden, die alle anderen verwenden (wie die in einer beliebten Werkzeugkiste namens scikit-learn).
Das Ergebnis: Der Artikel behauptet, dass OMEGA zwei neue Maschinen geschaffen hat, die in diesem Rennen schneller und genauer liefen als die Standard-Tools.
- Die „MetaSynthesis"-Maschine: Diese ist wie ein Team von Experten. Sie nimmt die Meinungen mehrerer verschiedener einfacher Maschinen, kombiniert sie und verwendet einen „klugen Manager", um zu entscheiden, welchem Experten für jedes spezifische Spielzeug vertraut werden soll.
- Die „Directional Forest"-Maschine: Diese ist wie eine Gruppe von Wanderern, die sich alle darauf einigen, welche Richtung „Norden" ist, bevor sie loslaufen. Indem sie sich zuerst auf die Richtung der Daten einigen, machen sie weniger Fehler beim Aufteilen der Spielzeuge.

4. Der Denkleistungstest (Vergleich von KI-Modellen)

Die Forscher testeten auch vier verschiedene „KI-Gehirne" (Large Language Models), um zu sehen, welches am besten darin war, diese Maschinen zu entwerfen.

Die Erkenntnisse: Sie stellten fest, dass das spezifische KI-Modell eine Rolle spielte, aber die Qualität der ursprünglichen Idee (des Prompts) noch wichtiger war.
Die Wendung: Als sie der KI erlaubten, ihre eigenen Anweisungen (Prompts) zu verbessern, anstatt nur den Code zu reparieren, wurden die Ergebnisse deutlich besser. Es ist, als würde man einem Schüler sagen: „Hier ist ein besserer Weg zu lernen", anstatt nur „Hier ist der Lösungsschlüssel".

Zusammenfassung

Kurz gesagt ist OMEGA ein Framework, das eine einfache Idee in ein funktionierendes, fehlerfreies maschinelles Lernwerkzeug verwandelt, ohne dass ein menschlicher Programmierer Fehler beheben muss. Es bewies, dass KI nicht nur Code schreiben, sondern auch neue Wege erfinden kann, Probleme zu lösen, die besser sind als die aktuellen Standardwerkzeuge. Der Artikel stellt diese neuen Werkzeuge für jeden zum Download und zur Nutzung bereit.

1. Problemstellung

Das Papier adressiert den reibungsintensiven Prozess der Überführung von maschinellem Lernen (ML) aus theoretischen Hypothesen in produktionsreife, validierte Implementierungen. Während bestehende Automatisierungstechniken wie Neural Architecture Search (NAS) und AutoML erfolgreich Hyperparameter und Schichtauswahlen innerhalb fester algorithmischer Strukturen optimiert haben, haben sie das Problem der Entdeckung völlig neuer algorithmischer Logik nicht gelöst. Derzeit bleibt die Übersetzung neuartiger, nicht-intuitiver Ideen in ausführbaren, fehlerfreien Code, der sich in Standard-Pipelines (z. B. scikit-learn) integriert, eine manuelle, stark debug-lastige Aufgabe. Die Autoren schlagen vor, die Rolle von Large Language Models (LLMs) von statischen Textgeneratoren zu ausführbaren Lernsystemen zu verändern, die zur autonomen algorithmischen Entdeckung fähig sind.

2. Methodik: Das OMEGA-Framework

OMEGA ist ein End-to-End-Framework, das den Lebenszyklus der ML-Algorithmus-Erstellung automatisiert, von der Ideenfindung bis zur Evaluierung ausführbaren Codes. Es arbeitet durch vier Hauptphasen:

A. Ideenfindung

Das Framework nutzt zwei komplementäre Ansätze zur Generierung algorithmischer Konzepte:

LLM-Ontologiesuche: Das System promptet LLMs mit einer Liste bestehender Modelle und Forschungsprinzipien, um einzigartige Modifikationen zu generieren (10 pro Modell). Diese Ideen werden geparst und als Prompts für die Code-Generierung verwendet.
Vom Menschen eingebrachte Ideen: Menschliche Forscher können neue Konzepte direkt in das Framework einreichen, die gemeinsam mit den von LLMs generierten Ideen verarbeitet werden.

B. Code-Generierung und Selbstheilung

Sobald eine Idee definiert ist, generiert das LLM Code unter zwei strengen Einschränkungen:

Scikit-Learn-Konformität: Generierte Modelle müssen von BaseEstimator erben und die Methoden .fit() und .predict() implementieren. Dies stellt sicher, dass die Modelle als domänenspezifische Sprache (DSL) fungieren, die mit bestehenden ML-Workflows kompatibel ist.
Selbstheilungs-Pipeline: Um die Ausführungsfähigkeit sicherzustellen, setzt das Framework eine iterative Debugging-Schleife ein. Falls die Code-Generierung fehlschlägt, wird der Fehler-Stack-Trace zurück an das LLM gefüttert, um den Code neu zu generieren. Dieser Prozess wiederholt sich für eine festgelegte Anzahl von Versuchen; kann der Code nicht repariert werden, wird er verworfen. Dies stellt sicher, dass nur fehlerfreier, kompilierbarer Code zur Evaluierung gelangt.

C. Evaluierung: Infinity-Bench

Um die generierten Algorithmen zu bewerten, stellen die Autoren Infinity-Bench vor, ein Benchmark-Repository mit 20 diversen Klassifizierungsdatensätzen (bezogen aus scikit-learn und OpenML).

Vielfalt: Die Datensätze variieren in Größe, Merkmalsarten (numerisch/kategorisch) und Domäne (Biologie, Medizin, Bildung).
Metrik: Anstelle der rohen Genauigkeit (die je nach Schwierigkeitsgrad des Datensatzes variiert), verwendet das Framework einen Min-Max-normalisierten Rang-Score.
- Für jeden Datensatz $d$ wird der Score $n_{m,d}$ berechnet, indem die Genauigkeit des Modells ( $s_{m,d}$ ) gegen das schlechteste ( $min_d$ ) und das beste ( $max_d$ ) Modell normalisiert wird:
  $n_{m,d} = \frac{s_{m,d} - min_d}{max_d - min_d}$
- Der endgültige Leistungsscore ist der Durchschnitt dieser normalisierten Ränge über alle 20 Datensätze.

D. Bibliothekserstellung

Top-performende Modelle werden in eine Python-Bibliothek (omega-models) verpackt, die eine nahtlose Integration in Standard-Workflows ermöglicht.

3. Hauptbeiträge

OMEGA-Framework: Ein automatisiertes, End-to-End-System, das einfache Prompts in kompilierungsfehlerfreien, scikit-learn-kompatiblen ML-Klassifizierer umwandelt.
Infinity-Bench: Ein robuster Benchmark zur Evaluierung von Klassifizierungsmodellen basierend auf relativer Leistung und Robustheit über 20 diverse Datensätze hinweg.
Entdeckung neuer Algorithmen: Die Generierung zweier spezifischer neuer Algorithmen, die etablierte Baselines übertreffen:
- MetaSynthesisClassifier: Ein vom Menschen prompteter gestapelter Generalisierungsmodell.
- DirectionalForest: Ein autonom vom LLM generiertes Ensemble, das die Merkmalsrichtung nutzt.
Vergleichende LLM-Analyse: Eine Studie, die die Code-Generierungsfähigkeiten von vier führenden LLMs vergleicht (Gemini 2.5 Flash, GPT-4.1 mini, Claude Sonnet 4.5 und xAI's grok-code-fast-1).
Selbstverbesserungsstrategie: Eine Analyse des rekursiven Selbst-Promptings, die die Wirksamkeit der Verbesserung des Prompts im Vergleich zur iterativen Verbesserung des Codes vergleicht.

4. Ergebnisse

A. Leistung im Vergleich zu Baselines

Das OMEGA-Framework generierte erfolgreich Modelle, die Standard-Scikit-Learn-Baselines (z. B. RandomForest, MLPClassifier, LogisticRegression) übertrafen.

Top-Performer: Die Top-3-Modelle im Benchmark wurden von OMEGA generiert (MetaSynthesisClassifier, VotingEnsembleClassifier und eine vom Benutzer promptete Variante) und erreichten Min-Max-Scores von 0,9474, 0,9445 bzw. 0,9401.
Vergleich mit Baselines: Standard-Scikit-Learn-Modelle rangierten niedriger (z. B. RandomForest bei 0,9285, LogisticRegression bei 0,8708).

B. Analyse neuer Algorithmen

MetaSynthesisClassifier: Nutzt einen hierarchischen Ansatz der gestapelten Generalisierung. Es trainiert Basisschätzer auf Daten unter Ausschluss spezifischer Stichproben (um Leckagen zu verhindern) und verwendet einen Metaschätzer, um die optimale Gewichtung dieser Basisvorhersagen zu erlernen. Es zeigte außergewöhnliche Robustheit über verschiedene Mannigfaltigkeitskomplexitäten hinweg.
DirectionalForest: Eine autonome Entdeckung, die die Merkmalsrichtung einbezieht. Es berechnet einen Richtungsvektor basierend auf dem Vorzeichen der Abweichungen zwischen Klassenmitteln und dem globalen Mittel. Es transformiert Eingabemerkmale ( $x_{dir} = x \odot d$ ) vor dem Training von Entscheidungsbäumen, normalisiert effektiv die Richtung der Merkmalswichtigkeit und reduziert die Varianz in hochdimensionalen Räumen.

C. LLM-Vergleich

Gemini 2.5 Flash erwies sich als bester Performer für die Generierung ausführbarer Klassifizierungsmodelle und erreichte den höchsten Durchschnittsscore (0,9162) über 10 diverse Prompts hinweg.
Prompt-Qualität vs. Modell-Identität: Obwohl Gemini führte, war die Leistungslücke zwischen den Modellen relativ gering, was darauf hindeutet, dass die Qualität des initialen Prompts oft kritischer ist als das spezifische verwendete LLM.

D. Selbstverbesserung (Prompt vs. Code)

Die Autoren testeten, ob die Iteration am Prompt oder am Code zu besseren Ergebnissen führt:

Ergebnis: Prompt-Tuning übertraf die reine Code-Optimierung bei fast allen LLMs konsistent.
Beispiel: Für Claude erzielten Prompt-Verbesserungen einen Gewinn von 8,88% gegenüber der Basis, wohingegen Code-Verbesserungen nur 4,85% erbrachten.
Implikation: In diesem Kontext ist die Verfeinerung der konzeptionellen Anweisungen an das LLM effektiver als die Aufforderung, seinen eigenen Code zu debuggen.

5. Bedeutung

Das OMEGA-Framework stellt einen bedeutenden Schritt hin zur automatisierten KI-Forschung dar. Durch die Überbrückung der Lücke zwischen Ideenfindung und ausführbarem, validiertem Code senkt es die Hürde für die Entdeckung neuer ML-Algorithmen.

Skalierbarkeit: Es zeigt, dass LLMs über algorithmische Logik reasoning können und wettbewerbsfähigen, produktionsreifen Code ohne menschliches Eingreifen generieren können.
Demokratisierung: Durch die Verpackung dieser Modelle ermöglicht das Framework sowohl technischen als auch nicht-technischen Ingenieuren, LLM-generierte Algorithmen zu nutzen.
Zukünftige Forschung: Der Erfolg von „KI-Wissenschaftlern" in diesem Bereich deutet auf eine Zukunft hin, in der die gesamte Forschungs-Pipeline – von der Hypothese bis zum Papier – vollständig automatisiert ist, was das Tempo der ML-Innovation über die menschliche manuelle Herleitung hinaus potenziell beschleunigen könnte.