Mimosa Framework: Toward Evolving Multi-Agent Systems for Scientific Research

Das Paper stellt Mimosa vor, ein Open-Source-Framework für sich entwickelnde Multi-Agenten-Systeme, das durch dynamische Werkzeugentdeckung, Workflow-Generierung und iteratives Feedback auf Basis von LLMs wissenschaftliche Forschungsprozesse automatisiert und dabei auf dem ScienceAgentBench Benchmark signifikant besser abschneidet als statische Ansätze.

Das Wesentliche

🌱 Mimosa: Der selbstlernende Wissenschafts-Assistent

Stellen Sie sich vor, Sie wollen ein riesiges, kompliziertes Puzzle lösen – vielleicht die Struktur eines neuen Medikaments finden oder das Klima besser verstehen. In der Vergangenheit mussten Wissenschaftler das Puzzle Stück für Stück selbst zusammenfügen. Heute gibt es KI-Systeme, die das für sie tun sollen. Aber die meisten dieser heutigen Systeme sind wie starre Roboter: Sie können nur genau das tun, wofür sie programmiert wurden. Wenn sich die Aufgabe ändert oder ein Werkzeug kaputtgeht, stecken sie fest.

Das Team hinter dem Mimosa-Framework hat eine Lösung entwickelt, die sich eher wie eine lebendige Pflanze (daher der Name Mimosa, eine Pflanze, die sich bei Berührung bewegt) verhält. Sie passt sich an, wächst und lernt aus Fehlern.

Hier ist, wie es funktioniert, in vier einfachen Schritten:

1. Das Problem: Der starre Bauplan

Stellen Sie sich einen Architekten vor, der einen Hausbau plant.

• Die alten Systeme: Der Architekt zeichnet einen Plan, und die Bauarbeiter müssen sich strikt daran halten. Wenn der Lieferant keine Ziegel mehr hat, aber nur Holz, kann der Architekt den Plan nicht ändern. Das Haus wird nicht fertig.
• Das Problem in der Wissenschaft: Viele KI-Systeme für die Forschung sind genau so. Sie haben einen festen Arbeitsablauf. Wenn die Forschung einen unerwarteten Weg nimmt, scheitern sie.

2. Die Lösung: Ein dynamisches Team von Spezialisten

Mimosa baut kein starres Team, sondern ein flexibles Netzwerk von Spezialisten.
Stellen Sie sich ein Orchester vor.

• Der Dirigent (Meta-Orchestrator): Er ist nicht starr. Er hört zu, wie die Musiker spielen. Wenn die Geige zu laut ist, sagt er nicht einfach „Halt!", sondern er ändert den Takt oder bittet einen anderen Musiker, die Melodie zu übernehmen.
• Die Musiker (Agenten): Jeder hat eine spezielle Aufgabe (z. B. Daten sammeln, berechnen, prüfen). Sie können Werkzeuge nutzen (wie eine Datenbank oder ein Rechenprogramm), die sie gerade brauchen.

3. Der Motor: Lernen durch „Versuch und Irrtum"

Das ist das Herzstück von Mimosa. Es funktioniert wie ein Koch, der ein neues Rezept entwickelt:

1. Der erste Versuch: Der Koch (die KI) versucht, ein Gericht zu kochen.
2. Der Kritiker (Judge): Ein erfahrener Food-Blogger (eine andere KI) schmeckt das Gericht. Er sagt nicht nur „Lecker" oder „Nicht lecker", sondern gibt detaillierte Tipps: „Zu viel Salz, aber die Temperatur war perfekt."
3. Die Anpassung: Der Koch ändert das Rezept basierend auf dem Feedback. Vielleicht nimmt er weniger Salz oder fügt einen neuen Schritt hinzu.
4. Wiederholung: Dieser Prozess läuft immer wieder. Das Rezept wird mit jedem Versuch besser, bis es perfekt ist.

In der Wissenschaft bedeutet das: Mimosa erstellt einen Plan, führt ihn aus, lässt ihn bewerten und verbessert den Plan automatisch, bis das Ergebnis stimmt.

4. Die Werkzeuge: Ein riesiges Werkzeugregal

Mimosa nutzt ein System namens MCP (Model Context Protocol).
Stellen Sie sich das wie ein universelles Werkzeugregal vor.

• Früher musste man für jeden neuen Hammer (neues Software-Tool) den ganzen Roboter umbauen.
• Mit Mimosa kann das System einfach das Regal öffnen, den passenden Hammer (z. B. ein Programm zur DNA-Analyse) herausnehmen und sofort benutzen. Es kann sogar neue Werkzeuge finden, die es vorher noch nicht kannte.

🏆 Was hat Mimosa erreicht?

Die Forscher haben Mimosa an einem großen Testgelände namens ScienceAgentBench getestet. Das war wie eine Art „Olympiade" für KI-Wissenschaftler mit 102 verschiedenen Aufgaben (von Biologie bis Psychologie).

• Das Ergebnis: Mit einer bestimmten KI-Version (DeepSeek-V3.2) erreichte Mimosa eine Erfolgsrate von 43,1 %.
• Der Vergleich: Einfache KI-Systeme (nur ein einziger Roboter) schafften oft nur 3–10 %. Starre Teams schafften es besser, aber Mimosa, das sich selbst verbessert hat, war am erfolgreichsten.

💡 Warum ist das wichtig?

1. Keine starren Regeln mehr: Wissenschaft ist chaotisch. Mimosa kann mit dem Chaos umgehen, weil es seinen Plan ändern kann, wenn etwas schiefgeht.
2. Nachvollziehbarkeit: Jeder Schritt, den Mimosa macht, wird aufgezeichnet. Man kann später genau nachsehen, wie das Ergebnis zustande kam. Das ist wie ein Lesebuch für die Wissenschaft, das Fehler vermeidet.
3. Offenheit: Mimosa ist Open Source. Das bedeutet, jeder kann es nutzen, verbessern und anpassen. Es ist kein geschlossenes System einer einzelnen Firma.

Zusammenfassung in einem Satz

Mimosa ist wie ein kluger, selbstlernender Wissenschafts-Manager, der ein Team von Spezialisten zusammenstellt, deren Pläne ständig verbessert und die richtigen Werkzeuge auswählt, um komplexe Forschungsfragen zu lösen – und das alles ohne menschliches Eingreifen.

Es ist ein großer Schritt weg von „starrer Automatisierung" hin zu „echter, anpassungsfähiger Intelligenz" in der Wissenschaft.

Technische Zusammenfassung

1. Problemstellung und Kontext

Autonome wissenschaftliche Forschung (ASR) und selbstfahrende Labore (SDLs) versprechen, die Geschwindigkeit der Wissensgenerierung zu erhöhen. Aktuelle Systeme, die auf Large Language Models (LLMs) und Agentenarchitekturen basieren, stoßen jedoch auf zwei wesentliche Grenzen:

• Starre Workflows: Bestehende Systeme nutzen fest definierte Pipelines und Tool-Sets. Sie können sich nicht dynamisch an neue Instrumente, Software-Bibliotheken oder unerwartete experimentelle Ergebnisse anpassen.
• Limitationen bei langen Horizonten: Einzelne Agenten leiden unter „semantischem Drift" (Verlust des Ziels über lange Interaktionsketten), Halluzinationen und der Erschöpfung des Kontextfensters.
• Reproduzierbarkeitskrise: Die Fragmentierung von Methoden und das Fehlen transparenter, auditierbarer Arbeitsabläufe erschweren die Verifizierung wissenschaftlicher Ergebnisse.

Das Ziel ist es, ein System zu schaffen, das nicht nur Aufgaben automatisiert, sondern seine eigene Koordinationslogik und Tool-Nutzung basierend auf experimentellem Feedback iterativ verbessert.

2. Methodik: Das Mimosa-Framework

Mimosa ist ein Open-Source-Framework für evolvierende Multi-Agenten-Systeme, das Workflows nicht statisch definiert, sondern dynamisch synthetisiert und verfeinert. Die Architektur besteht aus fünf Schichten:

• Schicht 0 (Optional – Planung): Zerlegt übergeordnete wissenschaftliche Ziele in einzelne, ausführbare Aufgaben. Im aktuellen Benchmark wird dieser Schritt umgangen, um den Fokus auf die Task-Ebene zu legen.
• Schicht 1 (Tool Discovery): Nutzt das Model Context Protocol (MCP) und das Begleitprojekt Toolomics, um verfügbare Rechenressourcen und wissenschaftliche Tools als dynamisch entdeckbare Dienste zu exponieren. Dies ermöglicht eine modulare Integration neuer Tools ohne Änderung der Kernlogik.
• Schicht 2 (Meta-Orchestrierung): Das Herzstück des Systems.
  • Initialisierung: Für eine neue Aufgabe wird im Workflow-Archiv nach ähnlichen vorherigen Aufgaben gesucht (Case-Based Retrieval). Falls keine gefunden werden, wird ein Workflow de novo generiert.
  • Iterative Verfeinerung: Ein Meta-Orchestrator führt eine Single-Incumbent Local Search durch. Er nimmt den aktuell besten Workflow, schlägt eine Mutation vor (Änderung von Prompts, Hinzufügen/Entfernen von Agenten, Neuverdrahtung von Kanten) und generiert einen neuen Kandidaten-Workflow.
• Schicht 3 (Agent Execution): Die ausgeführten Workflows bestehen aus Knoten, die als SmolAgent CodeAgent (Hugging Face) implementiert sind. Diese Agenten generieren und führen direkt Python-Code aus, um MCP-Tools aufzurufen. Dieser „Code-as-Action"-Ansatz erlaubt komplexe Operationen wie Schleifen, Datenfilterung und die Nutzung etablierter Bibliotheken (z. B. RDKit, BioPython), die über starre JSON-Tool-Calls hinausgehen.
• Schicht 4 (Evaluation / Judge): Ein LLM-basierter „Judge" bewertet die Ausführungstraces basierend auf vier Kriterien: Zielausrichtung, Kollaborationseffizienz, Output-Qualität und Plausibilität der Antwort. Dieses Feedback treibt die nächste Iteration der Workflow-Optimierung an.

Kerninnovation: Mimosa behandelt die Workflow-Topologie als lernbare Variable. Das System optimiert die Struktur der Agenten-Interaktion, nicht nur die Parameter innerhalb eines festen Ablaufs.

3. Wichtige Beiträge

• Evolvierende Workflow-Topologie: Einführung eines Frameworks, das Multi-Agenten-Workflows dynamisch synthetisiert und durch experimentelles Feedback iterativ verbessert, anstatt auf starre Pipelines zu setzen.
• Dynamische Tool-Integration: Nutzung von MCP und Toolomics für eine tool-agnostische, skalierbare Integration wissenschaftlicher Software und Laborinstrumente.
• Code-Generierende Agenten: Einsatz von Agenten, die Python-Code schreiben und ausführen, um komplexe wissenschaftliche Analysen durchzuführen, was die Flexibilität und Ausdruckskraft gegenüber reinen Tool-Calls erhöht.
• Auditierbarkeit und Reproduzierbarkeit: Das System protokolliert jeden Ausführungsschritt vollständig. Workflows werden archiviert, was eine Überprüfung und potenzielle Replikation von Analysen ermöglicht.
• Open-Source-Plattform: Veröffentlichung von Mimosa und Toolomics unter der Apache 2.0-Lizenz, um eine offene Basis für community-getriebene ASR zu schaffen.

4. Ergebnisse

Die Evaluation erfolgte auf dem ScienceAgentBench, einem Benchmark mit 102 datengesteuerten Entdeckungsaufgaben aus vier wissenschaftlichen Disziplinen.

• Leistungssteigerung: Mit dem Modell DeepSeek-V3.2 erreichte Mimosa im Modus „Iterative Learning" eine Success Rate (SR) von 43,1 %.
  • Dies übertrifft die Single-Agent-Baseline (38,2 %) und die statische Multi-Agent-Konfiguration (32,4 %).
  • Im Vergleich zu GPT-4o (SR 21,6 % im iterativen Modus) und Claude Haiku (SR 30,3 %) zeigt sich, dass die Effektivität der evolutionären Optimierung stark vom zugrunde liegenden Modell abhängt.
• Modellabhängigkeit: Die Ergebnisse zeigen, dass Multi-Agenten-Zerlegung nicht universell vorteilhaft ist. Modelle mit schwächerer Single-Agent-Basis profitieren stark von der Zerlegung, während starke Modelle (wie DeepSeek-V3.2) zunächst unter statischer Orchestrierung leiden, aber durch iterative Anpassung (Learning) die besten Ergebnisse erzielen.
• Kosten-Nutzen: DeepSeek-V3.2 bietet eine hervorragende Kosten-Leistung (ca. 1,7 $ pro Task), die mit den besten bisherigen Ergebnissen auf dem Benchmark mithalten kann, jedoch zu einem Bruchteil der Kosten von teureren Reasoning-Modellen (wie o1-preview).
• Konvergenz: Die Performance steigt über die ersten 8 Iterationen an, zeigt dann jedoch abnehmende Grenzerträge, was auf die Grenzen der Single-Incumbent-Suchstrategie hindeutet.

5. Bedeutung und Ausblick

Mimosa markiert einen Paradigmenwechsel von „brittle" (zerbrechlichen), expertenentworfenen Pipelines hin zu adaptiven, lernenden Multi-Agenten-Systemen.

• Wissenschaftliche Reproduzierbarkeit: Durch die vollständige Protokollierung und die Tool-agnostische Architektur bietet Mimosa einen Weg, wissenschaftliche Analysen auditierbar und replizierbar zu machen.
• Ressourceneffizienz: Das Framework demonstriert, dass durch geschickte Zerlegung von Aufgaben und iterative Optimierung auch mit kostengünstigeren Modellen (wie DeepSeek-V3.2) Spitzenleistungen erzielt werden können, was die Umweltauswirkungen und Kosten von ASR senken könnte.
• Zukünftige Richtungen: Die Autoren sehen Potenzial in der Erweiterung auf populationsbasierte Suchstrategien (um lokale Optima zu vermeiden), der Verbesserung des Judge-Feedbacks (zur Vermeidung von Bias) und der Anwendung auf die vollständige Reproduktion veröffentlichter Studien.

Zusammenfassend stellt Mimosa einen robusten, offenen und evolutionären Ansatz dar, der die Automatisierung wissenschaftlicher Forschung über statische Automatisierung hinaushebt und sich an die Komplexität und Dynamik realer wissenschaftlicher Entdeckungsprozesse anpasst.