EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery

Die Arbeit stellt EvoScientist vor, ein sich selbst weiterentwickelndes Multi-Agenten-Framework, das durch persistente Erinnerung und eine Evolution Manager-Agenten-Strategie die Effizienz und Qualität von KI-gestützter wissenschaftlicher Entdeckung im Vergleich zu statischen Systemen signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine Gruppe von drei sehr intelligenten Robotern, die gemeinsam ein wissenschaftliches Labor leiten. Ihr Ziel ist es, völlig neue Entdeckungen zu machen – von neuen Medikamenten bis hin zu besseren Computerprogrammen.

Das Problem bei den bisherigen Robotern war: Sie waren wie starre Handwerker. Wenn sie einen Fehler machten, vergaßen sie ihn sofort. Wenn sie einen Weg probierten, der nicht funktionierte, versuchten sie beim nächsten Mal genau denselben falschen Weg erneut. Sie lernten nicht aus ihrer Vergangenheit.

Die Forscher von Huawei haben nun EvoScientist entwickelt. Das ist wie ein lebendiges, lernendes Team, das sich mit jedem Versuch schlauer macht.

Hier ist die einfache Erklärung, wie das funktioniert, mit ein paar lustigen Vergleichen:

1. Das Team: Drei Spezialisten

Stellen Sie sich EvoScientist wie eine kleine Firma vor, die aus drei Mitarbeitern besteht:

• Der Forscher (Researcher Agent): Er ist der Träumer. Er sitzt am Schreibtisch, liest Bücher und denkt sich verrückte, neue Ideen aus. „Was wäre, wenn wir das so machen?"
• Der Ingenieur (Engineer Agent): Er ist der Praktiker. Er nimmt die Ideen des Forschers und baut sie in Code um. Er führt Experimente durch und schaut, ob die Maschine läuft oder ob sie raucht.
• Der Chef der Evolution (Evolution Manager Agent): Das ist der wichtigste neue Mitarbeiter! Er ist wie ein Gedächtnis-Archivar. Er sitzt nicht am Schreibtisch, sondern beobachtet alles. Wenn der Forscher eine gute Idee hatte, schreibt er sie in ein „Buch der Erfolge". Wenn der Ingenieur einen Fehler macht, schreibt er in ein „Buch der Fehler", damit niemand diesen Fehler jemals wiederholt.

2. Die zwei magischen Bücher (Das Gedächtnis)

Das Besondere an EvoScientist ist, dass es zwei spezielle Bücher hat, die nie ausgehen:

• Das Buch der Ideen (Ideation Memory):

  • Was drin steht: „Hey, Idee X war super, weil sie einfach und neu war." UND: „Vergiss Idee Y, die war total unmöglich, weil wir keine Daten dafür haben."
  • Der Effekt: Wenn der Forscher eine neue Aufgabe bekommt, liest er erst in diesem Buch. Er weiß sofort: „Ah, ich sollte nicht wieder diesen Weg gehen, der hat schon mal nicht funktioniert." Er wird also klüger und vermeidet Sackgassen.

• Das Buch der Experimente (Experimentation Memory):

  • Was drin steht: „Um diesen Code zum Laufen zu bringen, musst du zuerst die Daten so und so vorbereiten." UND: „Wenn der Computer abstürzt, liegt es meistens an diesem einen Fehler."
  • Der Effekt: Der Ingenieur muss das Rad nicht neu erfinden. Er greift auf die besten Lösungen zurück, die das Team schon einmal gefunden hat.

3. Der Kreislauf des Lernens (Selbst-Entwicklung)

Stellen Sie sich vor, Sie spielen ein Videospiel.

• Frühere Roboter: Sie starben an der gleichen Stelle im Spiel, versuchten es nochmal, starben wieder an derselben Stelle und gaben dann auf.
• EvoScientist: Sie sterben an einer Stelle. Der „Chef der Evolution" schreibt sofort in sein Notizbuch: „Achtung, hier gibt es einen Abgrund!" Beim nächsten Level lesen alle Roboter das Notizbuch und laufen sicher um den Abgrund herum.

Das Team wird mit jedem Versuch besser. Es ist wie ein Sportler, der nach jedem Training seine Muskeln aufbaut und seine Technik verfeinert.

4. Was haben sie erreicht?

Die Forscher haben EvoScientist getestet, indem sie es gebeten haben, echte wissenschaftliche Forschungsarbeiten zu schreiben.

• Das Ergebnis: Das Team hat sechs vollständige wissenschaftliche Arbeiten verfasst.
• Der Erfolg: Alle sechs wurden von einer echten wissenschaftlichen Konferenz (ICAIS 2025) angenommen! Eine davon gewann sogar den Preis für das beste Papier.
• Der Vergleich: EvoScientist war deutlich besser als andere bekannte KI-Systeme, die keine solche „Gedächtnis-Funktion" haben. Sie machten weniger Fehler beim Programmieren und hatten kreativere Ideen.

Zusammenfassung in einem Satz

EvoScientist ist wie ein wissenschaftliches Team, das nicht nur arbeitet, sondern aus jedem Erfolg und jedem Misserfolg lernt, um beim nächsten Mal noch klüger, schneller und erfolgreicher zu sein – ganz ohne menschliche Hilfe, aber mit einem unerschöpflichen Gedächtnis.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery" auf Deutsch:

1. Problemstellung

Die wissenschaftliche Entdeckung ist ein komplexer, iterativer Prozess, der Hypothesenbildung, Experimentdesign, Implementierung und Validierung umfasst. Obwohl Large Language Models (LLMs) und Multi-Agenten-Systeme Fortschritte in der Automatisierung einzelner Schritte gezeigt haben, leiden die aktuellen State-of-the-Art-Systeme (wie AI Scientist oder Virtual Scientist) unter einer wesentlichen Einschränkung: Sie basieren auf statischen, manuell entworfenen Pipelines.

Diese Systeme:

• Passen ihre Strategien zur Ideen- oder Code-Generierung nicht basierend auf gesammelten Interaktionshistorien an.
• Wiederholen häufig gescheiterte Experimente oder verfolgen unpraktische Forschungsrichtungen.
• Versäumen es, aus vorherigen Erfolgen und Misserfolgen zu lernen, was zu einer systematischen Verschwendung von Ressourcen und einer Übersehen vielversprechender Richtungen führt.

Es fehlt also an einem Mechanismus, der es KI-Systemen ermöglicht, sich durch persistente Erfahrung kontinuierlich weiterzuentwickeln.

2. Methodik: EvoScientist Framework

EvoScientist ist ein sich selbst entwickelndes Multi-Agenten-Framework, das wissenschaftliche Entdeckung als Lernproblem formuliert. Das System besteht aus drei spezialisierten Agenten und zwei persistenten Speichermodulen, die durch einen Evolutionsmanager koordiniert werden.

A. Die Agenten

1. Researcher Agent (RA): Verantwortlich für die Generierung wissenschaftlicher Ideen und Forschungsvorschläge. Er führt einen baumstrukturierten Suchprozess (Idea Tree Search) durch, der auf Literatur und gespeicherten Erkenntnissen basiert.
2. Engineer Agent (EA): Verantwortlich für die Implementierung und Ausführung von Experimenten. Er sucht nach ausführbarem Code, führt Tests durch und analysiert Fehler.
3. Evolution Manager Agent (EMA): Der zentrale Koordinator, der Interaktionshistorien analysiert, Erkenntnisse extrahiert und diese in die persistenten Speicher speist, um zukünftige Entscheidungen zu verbessern.

B. Persistente Speichermodule

Das Herzstück der Evolution sind zwei spezialisierte Speicher, die durch Embedding-basierte Abfragen (Retrieval) abgerufen werden:

1. Ideation Memory ($M_I$):
   • Speichert vielversprechende Forschungsrichtungen, die aus den besten Ideen abgeleitet wurden.
   • Dokumentiert gescheiterte Richtungen, die während der Validierung identifiziert wurden, um zukünftige Agenten vor diesen Fallen zu warnen.
2. Experimentation Memory ($M_E$):
   • Erfasst effektive Strategien zur Datenverarbeitung und Modelltraining, die aus erfolgreichen Code-Suchpfaden und den besten Implementierungen abgeleitet wurden.
   • Dient als Wissensbasis für den Engineer Agent, um die Erfolgsrate der Code-Ausführung zu erhöhen.

C. Evolutionsmechanismen

Der EMA implementiert drei spezifische Evolutionsprozesse:

1. Idea Direction Evolution: Zusammenfassung vielversprechender Richtungen aus Top-Ideen für die $M_I$.
2. Idea Validation Evolution: Analyse von Misserfolgen (z. B. wenn kein Code gefunden wird oder die Ergebnisse schlechter als Baselines sind), um die $M_I$ mit „Do-not-repeat"-Hinweisen zu aktualisieren.
3. Experiment Strategy Evolution: Extraktion wiederverwendbarer Strategien (Daten-Pipelines, Hyperparameter, Debugging-Muster) aus erfolgreichen Code-Läufen für die $M_E$.

Der Workflow durchläuft vier Phasen: Initialisierung, Hyperparameter-Tuning, Implementierung der vorgeschlagenen Methode und Ablationsstudien. In jeder Phase nutzt der EA den $M_E$, um Fehler zu vermeiden und die Erfolgsrate zu steigern.

3. Wichtige Beiträge

1. Einführung von EvoScientist: Ein selbst-evolvierendes Multi-Agenten-System mit drei spezialisierten Agenten und zwei persistenten Speichern, das die Qualität generierter Ideen und die Zuverlässigkeit der Code-Generierung verbessert.
2. Drei Selbst-Evolutionsmechanismen: Entwicklung von Mechanismen für die Evolution von Ideenrichtungen, Ideenvalidierung und Experimentstrategien, die es dem System ermöglichen, aus kumulierten Ergebnissen und Fehlern zu lernen.
3. Empirische Validierung: Nachweis, dass EvoScientist im Vergleich zu starken Open-Source- und kommerziellen Baselines (wie AI Scientist-v2, Virtual Scientist, Hypogenic) überlegene Ergebnisse liefert.

4. Ergebnisse

Die Evaluation umfasste drei Hauptbereiche: Ideen-Generierung, Code-Generierung und End-to-End-Entdeckung.

• Ideen-Generierung:
  • EvoScientist übertraf 7 Baselines (4 Open-Source, 3 kommerziell) signifikant in den Kategorien Neuartigkeit (Novelty), Durchführbarkeit (Feasibility), Relevanz und Klarheit.
  • Sowohl automatische Bewertungen (durch LLMs) als auch menschliche Expertenbewertungen bestätigten diese Überlegenheit.
• Code-Generierung & Ausführung:
  • Durch die Evolution der Experimentstrategien stieg die durchschnittliche Erfolgsrate der Code-Ausführung von 34,39 % auf 44,56 %.
  • Besonders in schwierigen Phasen (wie der Implementierung der vorgeschlagenen Methode) zeigte sich eine messbare Verbesserung, was die Wirksamkeit des Speichers für Fehlervermeidung unterstreicht.
• End-to-End Scientific Discovery:
  • In einem realen Szenario generierte EvoScientist 6 vollständige Forschungsarbeiten, die alle beim ICAIS 2025 (International Conference on AI Scientists) angenommen wurden.
  • Zwei dieser Arbeiten erhielten Auszeichnungen: den Best Paper Award und den AI Reviewer's Appraisal Award.
  • Die Peer-Reviews lobten die methodische Neuartigkeit und die robuste experimentelle Validierung, kritisierten jedoch teilweise das Fehlen tieferer theoretischer Formalisierung (was als Bereich für menschliche Forscher definiert wurde).

5. Bedeutung und Fazit

EvoScientist adressiert eine kritische Lücke in der aktuellen KI-forschung: Die Unfähigkeit bestehender Systeme, aus der eigenen Erfahrung zu lernen. Durch die Einführung von persistenter Erinnerung und Selbst-Evolution verwandelt das System Interaktionshistorien von bloßen Ausführungsprotokollen in eine wertvolle Wissensressource.

Die Ergebnisse belegen, dass Multi-Agenten-Systeme, die über statische Pipelines hinausgehen und sich kontinuierlich anpassen, nicht nur effizienter sind, sondern auch qualitativ hochwertigere wissenschaftliche Beiträge leisten können, die von der akademischen Gemeinschaft anerkannt werden. EvoScientist stellt einen wichtigen Schritt hin zu autonomen, lernfähigen KI-Wissenschaftlern dar, die menschliche Forscher unterstützen, indem sie den Raum der möglichen Experimente systematisch und lernend durchsuchen.

Einschränkungen: Das System konzentriert sich derzeit auf rechnerische Forschungsaufgaben (Simulation und Code). Die Generalisierung auf Domänen, die physische Experimente erfordern (z. B. Materialwissenschaft), bleibt eine zukünftige Herausforderung. Zudem dient das System als Entscheidungsunterstützung und ersetzt keine menschliche Expertenbewertung, insbesondere bei ethischen Aspekten und theoretischer Tiefe.