CoMind: Towards Community-Driven Agents for Machine Learning Engineering

Die Arbeit stellt CoMind vor, ein Multi-Agenten-System, das durch die Einbindung in eine simulierte Forschungscommunity und einen iterativen Parallel-Explorationsmechanismus einen neuen State-of-the-Art in der Automatisierung von Machine-Learning-Engineering auf Kaggle-Wettbewerben erreicht und dabei die meisten menschlichen Konkurrenten übertrifft.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein junger, brillanter Ingenieur, der an einem riesigen, internationalen Wettbewerb teilnimmt. Das Ziel: Die besten Modelle zu bauen, um beispielsweise Krankheiten in Röntgenbildern zu erkennen oder Aktienkurse vorherzusagen.

In der Vergangenheit arbeiteten solche KI-Agenten (also Computerprogramme, die wie Menschen denken und handeln können) oft wie Einsiedler. Sie saßen in einem dunklen Raum, schauten nur auf ihre eigenen Notizen und versuchten, das Problem allein zu lösen. Das ist wie ein Koch, der versucht, ein neues Rezept zu erfinden, ohne jemals in ein Restaurant zu gehen, keine Kochbücher zu lesen und niemanden zu fragen, wie andere das machen.

Die Forscher von CoMind haben gesagt: „Das ist nicht der richtige Weg!" In der echten Welt (und auf Plattformen wie Kaggle) gewinnen die besten Teams, weil sie gemeinsam arbeiten. Sie lesen, was andere geschrieben haben, diskutieren in Foren, kopieren gute Ideen und verbessern sie.

Hier ist die einfache Erklärung, wie CoMind das nachmacht:

1. Der neue Raum: „MLE-Live" (Die simulierte Welt)

Stellen Sie sich vor, die Forscher haben eine Zeitmaschine gebaut. Sie nehmen alte Wettbewerbe und simulieren sie so, als würden sie jetzt gerade stattfinden.

• Das Besondere: Die KI darf nicht alles sofort wissen. Sie darf nur auf Informationen zugreifen, die vor einem bestimmten Zeitpunkt von anderen Teilnehmern veröffentlicht wurden.
• Warum? Damit die KI genau so fair getestet wird wie ein echter Mensch. Sie muss lernen, aus dem „Schwarmwissen" der Community zu schöpfen, statt einfach nur die Lösung im Internet nachzuschlagen.

2. Das Team: CoMind (Der Orchester-Leiter)

CoMind ist keine einzelne KI, sondern ein Team aus fünf spezialisierten Robotern, die wie ein gut geöltes Orchester zusammenarbeiten. Jeder hat eine ganz bestimmte Aufgabe:

• Der Dirigent (Coordinator): Er hält den Takt. Er entscheidet, welche Ideen verfolgt werden und verteilt die Arbeit an die anderen. Er ist der Manager, der sicherstellt, dass alle am selben Strang ziehen.
• Der Detektiv (Analyzer): Er liest Tausende von Forenbeiträgen und Code-Stücken der anderen Teilnehmer. Er sucht nach Mustern: „Was funktioniert gut? Wo liegen die Fehler? Welche neuen Tricks haben die anderen entdeckt?" Er fasst das alles für das Team zusammen.
• Der Träumer (Idea Proposer): Dieser Roboter ist der kreative Kopf. Basierend auf den Erkenntnissen des Detektivs spuckt er verrückte, aber geniale neue Ideen aus. „Was wäre, wenn wir das Bild nicht nur glätten, sondern es in Wellen zerlegen?"
• Die Handwerker (Coding Agents): Das sind die fleißigen Arbeiter. Sie nehmen die Ideen des Träumers und bauen den eigentlichen Code. Sie programmieren, testen, debuggen und versuchen, die Idee in die Realität umzusetzen. Es gibt mehrere von ihnen, die parallel arbeiten, um schnell voranzukommen.
• Der Prüfer (Evaluator): Er ist der strenge Lehrer. Er nimmt die fertigen Programme und testet sie streng nach den offiziellen Regeln. Er sagt: „Das funktioniert gut, das ist eine Medaille wert" oder „Das ist noch nicht fertig, probieren Sie es nochmal."

3. Der Prozess: Ein Kreislauf aus Lernen und Bauen

Stellen Sie sich vor, CoMind ist wie ein Schwarm von Bienen, der einen neuen Honigtopf sucht:

1. Sie fliegen los und sammeln Nektar (lesen die Foren und den Code der anderen).
2. Sie kommen zurück und teilen die Informationen (Der Detektiv fasst zusammen).
3. Der Schwarm brainstormt neue Wege, wie man den Nektar effizienter sammeln kann (Der Träumer).
4. Die Arbeiter bauen neue Flugrouten (Die Handwerker programmieren).
5. Der Prüfer testet, ob die neue Route schneller ist.
6. Wenn es funktioniert, teilen sie die neue Route mit dem ganzen Schwarm (Community), und der Kreislauf beginnt von vorne – nur mit noch mehr Wissen.

Das Ergebnis: Warum ist das so toll?

Die Forscher haben CoMind auf 75 alte Wettbewerbe losgelassen und es hat sich wie ein Meisterkoch verhalten, der die besten Rezepte aller anderen geklaut und perfektioniert hat.

• Es gewann in 36 % der Fälle eine Medaille (Gold, Silber oder Bronze). Das ist ein neuer Weltrekord für KI-Agenten.
• Noch beeindruckender: Sie haben CoMind in 8 echten, laufenden Wettbewerben getestet. Dort schlug es im Durchschnitt 92,6 % aller menschlichen Teilnehmer. In einem Wettbewerb landete es sogar in den Top 1 %.

Fazit

CoMind zeigt uns, dass die Zukunft der KI nicht darin liegt, dass einzelne Super-Computer alles allein herausfinden. Die Zukunft liegt in sozialen KI-Agenten, die lernen, zuzuhören, zu diskutieren und das Wissen der ganzen Gemeinschaft zu nutzen, um Probleme zu lösen, die für einen einzelnen zu groß wären. Es ist der Unterschied zwischen einem einsamen Genie und einem genialen Team.

Technische Zusammenfassung

Problemstellung

Große Sprachmodelle (LLM) zeigen vielversprechende Fähigkeiten bei der Automatisierung von Machine-Learning-Engineering (MLE)-Aufgaben. Bisherige Agenten-Systeme arbeiten jedoch typischerweise isoliert an einem gegebenen Forschungsproblem. Sie nutzen nicht das kollektive Wissen der breiteren Forschungscommunity, wie es menschliche Experten in Wettbewerben (z. B. Kaggle) tun, wo Fortschritte durch den Austausch von Diskussionen, geteiltem Code und gemeinsamen Erkenntnissen vorangetrieben werden.
Dieser Mangel an Interaktion führt dazu, dass aktuelle Agenten dazu neigen, sich in repetitiven Strategien zu verfangen und ihre Leistung zu stagnieren. Es fehlt an einem Rahmenwerk, das die Fähigkeit von Agenten bewertet, dynamisches externes Wissen zu nutzen, sowie an Architekturen, die diese Nutzung systematisch ermöglichen.

Methodik

Das Paper stellt zwei Hauptkomponenten vor: ein Evaluierungsframework und ein neues Multi-Agenten-System.

1. MLE-Live: Ein Live-Evaluierungsframework

Um die Lücke zwischen isolierter Automatisierung und community-getriebener Forschung zu schließen, wurde MLE-Live entwickelt.

• Simulation der Community: Das Framework erweitert den bestehenden MLE-Bench um eine realistische Simulation von Kaggle-Wettbewerben. Es stellt Zeitstempel für öffentliche Diskussionen, geteilte Code-Kernel (Notebooks) und Referenz-Datasets bereit.
• Fairness & Realismus: Es werden nur Ressourcen berücksichtigt, die vor dem Wettbewerbsende öffentlich verfügbar waren. Dies verhindert Datenlecks und stellt sicher, dass Agenten denselben Informationszugang haben wie menschliche Teilnehmer.
• Datensatz: Das Framework umfasst Daten aus 75 vergangenen Kaggle-Wettbewerben (12.951 Diskussionen, 15.733 Kernel).

2. CoMind: Ein Community-getriebenes Multi-Agenten-System

CoMind ist ein LLM-basierter Agent, der speziell darauf ausgelegt ist, externes Wissen zu nutzen und Lösungen iterativ zu verfeinern. Die Architektur besteht aus fünf spezialisierten Agenten-Rollen, die in einem koordinierten Workflow zusammenarbeiten:

1. Coordinator (Koordinator): Steuert den Gesamtworkflow. Er wählt vielversprechende Kernel und Datasets aus der Community aus, verwaltet die Ressourcenzuteilung und synthetisiert die Ideen in konkrete Lösungsentwürfe (Solution Drafts).
2. Analyzer (Analyst): Verarbeitet die rohen Community-Artefakte (Kernels, Diskussionen). Er bewertet diese nach vier Dimensionen: Neuartigkeit, Machbarkeit, Effektivität und Effizienz und erstellt strukturierte analytische Berichte.
3. Idea Proposer (Ideen-Generator): Nutzt die Berichte des Analyzers und sein eigenes Gedächtnis, um neue, kreative Lösungsansätze zu brainstormen. Dieser Prozess durchläuft Phasen des Brainstormings, Filterns und der Integration in das Gedächtnis, um Strategien über die Zeit zu verfeinern.
4. Coding Agent (Codier-Agent): Setzt die abstrakten Lösungsentwürfe in ausführbaren Code um. Er arbeitet iterativ (ReAct-Stil), nutzt persistente Jupyter-Notebook-Sitzungen und wird von einem Monitor-LLM überwacht, um Fehler frühzeitig zu erkennen.
5. Evaluator (Bewerter): Stellt eine objektive Bewertung sicher, indem er die Lösungen auf einem validierten Datensatz testet, der strikt vom Testset getrennt ist. Er verwaltet eine globale Leaderboard-Ansicht für alle Experimente.

Mechanismus: CoMind nutzt einen iterativen parallelen Explorationsmechanismus. Mehrere Agenten entwickeln gleichzeitig verschiedene Lösungen, um die Breite der Exploration mit der Tiefe der Implementierung auszugleichen. Erfolgreiche Ergebnisse werden zurück in die simulierte Community eingespeist, um den Wissenspool für nachfolgende Iterationen zu erweitern.

Wichtige Beiträge

1. MLE-Live: Das erste Framework zur Evaluierung von ML-Agenten in einem community-getriebenen Setting, das die dynamische Interaktion und den Wissensaustausch realer Wettbewerbe simuliert.
2. CoMind: Ein neuartiger Agent, der durch systematische Nutzung kollektiven Wissens und iterative parallele Exploration neue Maßstäbe setzt.
3. Community-Driven Collaboration: Eine Architektur, die es Agenten ermöglicht, kontinuierlich Wissen zu akkumulieren und Strategien basierend auf externen Erkenntnissen anzupassen, anstatt nur isoliert zu suchen.

Ergebnisse

Die Evaluation erfolgte in zwei Szenarien: statische Benchmarks und Live-Wettbewerbe.

• Statische Evaluation (MLE-Bench): Auf 75 vergangenen Kaggle-Wettbewerben erreichte CoMind eine Medaillenquote (Any Medal) von 36 %. Dies stellt einen neuen State-of-the-Art dar und übertrifft führende Baselines wie Neo (34,22 %) und ML-Master (29,30 %) signifikant, insbesondere bei schwierigen Aufgaben.
• Live-Evaluation: CoMind wurde in acht laufenden Kaggle-Wettbewerben eingesetzt.
  • Im Durchschnitt schlug CoMind 92,6 % der menschlichen Teilnehmer.
  • Es erreichte den Top 5 %-Bereich auf drei offiziellen Leaderboards.
  • Auf einem Leaderboard platzierte es sich in den Top 1 %.
• Ablationsstudie: Der Vergleich mit Varianten (z. B. AIDE+RAG oder AIDE+Code) zeigte, dass CoMind durch seine tiefere, strategische Community-Integration und den parallelen Explorationsansatz überlegen ist. Das Entfernen des Zugriffs auf öffentliche Ressourcen führte zu einem signifikanten Leistungsabfall.
• Code-Komplexität: CoMind generiert im Durchschnitt längeren und komplexeren Code als Baselines, was auf eine tiefere Exploration und robustere Lösungen hindeutet.

Bedeutung

Dieses Paper markiert einen Paradigmenwechsel in der Automatisierung von Machine Learning. Es beweist, dass die Nachahmung der menschlichen Forschungspraxis – insbesondere die aktive Einbindung in eine Community und die Nutzung geteilten Wissens – entscheidend für den Erfolg von autonomen Agenten ist.

• Praktische Relevanz: CoMind demonstriert, dass KI-Agenten nicht nur theoretische Aufgaben lösen, sondern in realen, wettbewerbsintensiven Umgebungen mit menschlichen Experten konkurrieren und diese übertreffen können.
• Zukunftsausblick: Das Framework MLE-Live bietet eine solide Basis für zukünftige Forschung in Bereichen wie wissenschaftlicher Entdeckung, Open-Source-Entwicklung und Robotik, wo kollaborative Dynamiken essenziell sind.

Zusammenfassend zeigt CoMind, dass die Integration von „kollektiver Intelligenz" in Agenten-Architekturen der Schlüssel ist, um die Grenzen der autonomen ML-Entwicklung zu überwinden.