SciFi: A Safe, Lightweight, User-Friendly, and Fully Autonomous Agentic AI Workflow for Scientific Applications

Die Arbeit stellt „SciFi" vor, ein sicheres, leichtgewichtiges und benutzerfreundliches Framework für autonome Agenten-Arbeitsabläufe in der Wissenschaft, das durch eine isolierte Ausführungsumgebung, eine dreischichtige Agentenschleife und einen selbstbewertenden „do-until"-Mechanismus zuverlässige End-to-End-Automatisierung bei minimaler menschlicher Intervention ermöglicht.

Das Wesentliche

🚀 SciFi: Der selbstständige wissenschaftliche Assistent

Stell dir vor, du bist ein Wissenschaftler, der jeden Tag mit einem riesigen Berg an Daten, komplizierten Maschinen und endlosen Code-Fehlern zu kämpfen hat. Normalerweise müsstest du alles selbst Schritt für Schritt programmieren, testen und reparieren.

SciFi ist wie ein neuer, super-intelligenter Roboter-Mitarbeiter, der genau das für dich erledigt. Aber er ist nicht irgendein Roboter: Er ist sicher, leichtgewichtig und versteht genau, was er tun soll, ohne dass du ihm jede Sekunde hinterherlaufen musst.

Hier ist, wie SciFi funktioniert, erklärt mit ein paar einfachen Bildern:

1. Der sichere Labor-Käfig (Sicherheit & Isolation)

Stell dir vor, dein Roboter arbeitet in einem gläsernen Labor-Käfig.

• Das Problem: Wenn ein gewöhnlicher KI-Assistent versucht, etwas zu reparieren, könnte er versehentlich den ganzen Computer lahmlegen oder wichtige Daten löschen.
• Die SciFi-Lösung: SciFi arbeitet in einem isolierten „Container" (wie eine unsichtbare Box). Er darf nur das anfassen, was ihm erlaubt ist. Wenn er etwas kaputt macht, passiert das nur in der Box. Dein echter Computer und die Daten der Welt bleiben sicher. Er kann also wild experimentieren, ohne Angst zu haben, dass er die ganze Forschungseinrichtung abstürzt.

2. Der Dreiklang aus Planen, Machen und Prüfen (Der Agenten-Loop)

SciFi ist nicht wie ein einfacher Chatbot, der nur eine Antwort gibt. Er arbeitet in einem drei-stufigen Kreislauf, der sich immer wiederholt:

1. Der Planer (Pre-Scan): Er liest deine Aufgabe und überlegt: „Was muss ich tun? Welche Werkzeuge brauche ich?"
2. Der Macher (Work): Er setzt den Plan um. Er schreibt Code, startet Programme oder analysiert Daten.
3. Der Prüfer (Review): Ein zweiter, strenger Roboter schaut sich das Ergebnis an. „Hast du wirklich das erreicht, was ich wollte? Ist das Ergebnis korrekt?"

Das Geniale daran: Wenn der Prüfer sagt „Nein, das stimmt nicht", gibt es keine Panik. Der Roboter geht einfach zurück zum Planer, versucht es nochmal, lernt aus dem Fehler und probiert es erneut. Er macht das so lange, bis er die Aufgabe perfekt gelöst hat. Das nennt man einen „Do-Until"-Mechanismus (Mache es, bis es fertig ist).

3. Der Werkzeugkasten mit Gedächtnis (Skills & Erinnerung)

SciFi vergisst nicht, was er gelernt hat.

• Skills (Fertigkeiten): Stell dir vor, SciFi hat ein Handbuch mit bewährten Rezepten. Wenn er weiß, wie man eine bestimmte Software installiert, speichert er das als „Skill". Beim nächsten Mal muss er nicht neu erfinden, wie man das macht, sondern nutzt einfach das Rezept. Das spart Zeit.
• Erinnerung (Memory): Wenn er bei einer Aufgabe scheitert, schreibt er sich einen Zettel: „Achtung, hier ist der Fehler passiert." Beim nächsten Versuch liest er diesen Zettel und vermeidet den Fehler. So wird er mit der Zeit immer besser.

4. Was kann SciFi eigentlich? (Die Experimente)

Die Autoren haben SciFi an vier verschiedenen Arten von Aufgaben getestet:

• Der Alltag (Einfache Aufgaben): SciFi kann ganz normale Dinge wie das Erstellen von Diagrammen oder das Analysieren von Datenblättern erledigen. Hier reicht oft ein einfacher Satz wie „Mach mir ein Diagramm aus diesen Zahlen" (natürliche Sprache).
• Der Nachbau (Komplexe Reproduktion): SciFi konnte einen kompletten wissenschaftlichen Artikel nachbauen. Er hat den Code heruntergeladen, die Umgebung eingerichtet, die Berechnungen durchgeführt und die Grafiken erstellt – alles allein, ohne dass ein Mensch dazwischen musste.
• Der Halboffene Fall (Firmware-Design): Das war schwierig. Hier musste SciFi Hardware-Code schreiben, der auf echten Chips läuft.
  • Ergebnis: Wenn die Aufgabe sehr genau beschrieben war, hat SciFi sie perfekt gelöst. Wenn die Beschreibung nur ein paar vage Hinweise enthielt, hat er sich etwas mehr Zeit genommen und musste öfter raten, aber er hat es trotzdem geschafft.
• Die offene Herausforderung (Kreatives Forschen): Hier gab es ein Rätsel aus der Teilchenphysik (LHC Olympics), bei dem niemand genau wusste, wie man es löst.
  • Ergebnis: SciFi allein kam nicht auf die beste Lösung. Aber als ein Mensch ihm einen kleinen Tipp gab („Versuche diese spezielle Methode"), fand SciFi sofort die perfekte Lösung.
  • Die Lehre: SciFi ist ein fantastischer Ausführender, aber für völlig neue, kreative Durchbrüche braucht er noch einen menschlichen Mentor, der die Richtung weist.

🎯 Das Fazit in einem Satz

SciFi ist wie ein hochqualifizierter, unermüdlicher Praktikant, der in einem sicheren Käfig arbeitet, aus Fehlern lernt und sich selbst prüft. Er übernimmt die langweilige, repetitive Arbeit (wie Daten sortieren oder Code testen), damit die menschlichen Wissenschaftler mehr Zeit haben, um über wirklich neue und kreative Ideen nachzudenken.

Es ist nicht der Ersatz für den Wissenschaftler, sondern der perfekte Partner, der die Arbeit schneller, sicherer und effizienter macht.

Technische Zusammenfassung

1. Problemstellung

Trotz der Fortschritte bei agenter KI (KI-Agenten, die durch iterative Schleifen aus Planung, Aktion und Überprüfung autonom Ziele verfolgen) bestehen erhebliche Herausforderungen für den zuverlässigen Einsatz in der realen wissenschaftlichen Forschung. Bestehende Systeme sind oft entweder reine Forschungsprototypen ohne wiederverwendbare Werkzeuge oder zu komplex und undurchsichtig für den unbeaufsichtigten Betrieb.

Ein spezifisches Problem in der Wissenschaft ist, dass viele Aufgaben zwar klare Ziele haben (z. B. Datenvisualisierung, Optimierung, Debugging von Instrumentierung), aber eine stark angepasste Ausführung erfordern. Diese „geschlossenen Schleifen" (closed-loop) wissenschaftlichen Aufgaben sind schwer in wiederverwendbare, ausführbare Verfahren zu überführen, da sie oft iterative Versuche, den Umgang mit spezialisierten Tools und die Interaktion mit geteilten Infrastrukturen erfordern. Bestehende Agenten scheitern hier oft an der Zuverlässigkeit oder benötigen zu viel menschliche Aufsicht.

2. Methodik: Das SciFi-Framework

Die Autoren stellen SciFi vor, ein sicheres, leichtgewichtiges und benutzerfreundliches Framework für autonome wissenschaftliche Aufgaben. Das System basiert auf drei Kernprinzipien:

A. Sicherheit und Ressourcen-Isolation

Um unbeaufsichtigte Ausführung ohne Risiken für geteilte Infrastrukturen zu ermöglichen, läuft der gesamte Workflow in einem isolierten Container-Laufzeitumgebung (z. B. Apptainer).

• Isolation: Der Agent und alle Tools laufen in einem Container mit einem unveränderlichen Dateisystem (SquashFS). Schreibzugriffe sind nur auf kontrollierte Ebenen beschränkt.
• Ressourcen-Management: Der Zugriff auf GPU, Netzwerk und Speicher erfolgt über explizite, aufgabenbezogene Regeln („Default-Deny"-Logik). Nicht explizit genehmigte Ressourcen sind nicht erreichbar.

B. Benutzerfreundlichkeit und Drei-Schichten-Agenten-Schleife

Das System nutzt eine drei-Schichten-Agenten-Schleife (Pre-Scan → Work → Review), die durch einen selbstbewertenden „Do-Until"-Mechanismus gesteuert wird.

1. Pre-Scan-Agent: Analysiert die Aufgabenbeschreibung (SAM), bestimmt die Unterstruktur, Abhängigkeiten und wählt das geeignete LLM-Modell.
2. Work-Agent: Führt die eigentliche Aufgabe aus (Code schreiben, Tools nutzen).
3. Review-Agent: Überprüft unabhängig, ob die erwarteten Kriterien erfüllt sind.

• Iterative Verfeinerung: Bei einem Fehler wird die Schleife wiederholt. Der Review-Agent speichert Fehlermuster und Lösungsvorschläge im Speicher, um den Pre-Scan-Agenten in der nächsten Iteration besser zu informieren.
• Modell-Agnostisch: Das System kann verschiedene LLMs (Open-Weight und kommerziell) nutzen und diese je nach Teilaufgabe und Kosten-Ranking austauschen.

C. Erweiterbarkeit und LLM-native Architektur

Das Framework ist „LLM-nativ". Nur kritische, deterministische Komponenten (Sicherheit, Container-Management, Parsing) sind in festem Code implementiert. Das gesamte Verhalten wird durch System-Prompts und modulare „Skills" definiert.

• SAM (Self-Assessed Module): Aufgaben werden als strukturierte Markdown-Blöcke definiert (Kontext, To-Do, Erwartung). Dies ermöglicht eine deterministische Extraktion der Erfolgskriterien.
• Skill Library: Wiederverwendbare Kontexte für häufige Probleme (z. B. Software-Installation, Job-Submission) beschleunigen die Konvergenz.
• Audit & History: Jede LLM-Aufruf wird protokolliert, um Reproduzierbarkeit zu gewährleisten und zukünftiges Fine-Tuning zu ermöglichen.

3. Wichtige Beiträge

• Sichere autonome Ausführung: Ein Framework, das es erlaubt, wissenschaftliche Workflows ohne menschliche Bestätigung bei jedem Schritt laufen zu lassen, ohne die Integrität des Host-Systems zu gefährden.
• Strukturierte Aufgabenbeschreibung (SAM): Eine Methode, um Aufgaben in verifizierbare Einheiten zu zerlegen, die für Agenten maschinenlesbar sind, aber für Menschen natürlich formuliert werden können.
• Hybride Steuerung: Die Kombination aus deterministischen Systemregeln und flexiblen LLM-Entscheidungen, unterstützt durch ein mehrstufiges Review-System.
• Skalierbarkeit: Das System funktioniert mit verschiedenen Modellstärken und passt die Modellwahl dynamisch an die Komplexität der Teilaufgaben an.

4. Ergebnisse und Experimente

Das Framework wurde an vier repräsentativen Experimenten aus dem Bereich der Hochenergiephysik (HEP) getestet:

1. Grundlegende wissenschaftliche Aufgaben:

   • Aufgaben reichten von Datei-I/O über Datenvisualisierung bis hin zu ML-Training.
   • Ergebnis: Das System löste alle Aufgaben autonom. Überraschenderweise führten einfache natürliche Sprachbeschreibungen (NL) bei einfachen Aufgaben oft zu schnelleren Ergebnissen als detaillierte Anweisungen, da der Agent den Suchraum effizienter erkunden konnte.

2. Vollständige Reproduktion wissenschaftlicher Ergebnisse (Closed-Loop):

   • Reproduktion eines Papers zur schnellen Kalorimeter-Simulation (Calo-VQ).
   • Ergebnis: Der Agent führte die gesamte Pipeline durch (Umgebung einrichten, Code anpassen, SLURM-Jobs starten, Plots erstellen) in ca. 15 Minuten und 69 Iterationen. Er löste Probleme wie GLIBC-Inkompatibilitäten und Download-Timeouts autonom.

3. Semi-geschlossene Schleifen: Firmware-Design (RTL):

   • Aufgaben umfassten das Debugging von Verilog-Code, das Vervollständigen von teilweise implementiertem Code und das Erstellen von Wrappern von Grund auf.
   • Ergebnis: Bei komplexen Aufgaben (Task 3) zeigten detaillierte, expertenbasierte Beschreibungen (Exhaustive/EX) eine deutlich höhere Effizienz und Erfolgsrate als minimale Hinweise. Das System konnte jedoch auch mit wenig Führung durch iterative Wiederholung und Nutzung des gemeinsamen Speichers (TaskGroup Memory) zum Erfolg kommen.

4. Offene Aufgaben: LHC Olympics Anomaly Detection:

   • Ein offenes Problem zur Erkennung von Anomalien in Teilchenkollisionen.
   • Ergebnis: Bei rein offenen Beschreibungen scheiterte der Agent oft, da der Suchraum zu groß war. Mit menschlicher Führung (Interactive) oder einer detaillierten, expertenbasierten Anleitung (Guided) konnte das System jedoch eine Lösung finden (Kombination aus CWoLa und VAE), die die Zielmetrik (AUC > 0.78) übertraf. Dies zeigt, dass menschliches Expertenwissen für hochkreative oder sehr offene Aufgaben noch unverzichtbar ist.

5. Bedeutung und Ausblick

SciFi demonstriert, dass autonome Agenten-Systeme für gut definierte, geschlossene wissenschaftliche Aufgaben sicher und effektiv eingesetzt werden können.

• Effizienzsteigerung: Das Framework ermöglicht es Forschern, repetitive technische Aufgaben zu delegieren und sich auf kreative und offene wissenschaftliche Fragen zu konzentrieren.
• Zuverlässigkeit: Durch die strikte Isolation und den mehrstufigen Review-Prozess wird das Risiko von Fehlern oder Sicherheitsverletzungen minimiert.
• Zukunft: Das System legt den Grundstein für eine Zusammenarbeit zwischen Mensch und KI („Human-in-the-Loop"), bei der KI die Ausführung übernimmt und der Mensch die strategische Richtung und das Fachwissen beisteuert. Mit fortschrittlicheren Modellen und weiterem Fine-Tuning könnte sich der Anwendungsbereich von geschlossenen zu halb-offenen und schließlich zu vollständig offenen wissenschaftlichen Entdeckungen erweitern.

Zusammenfassend bietet SciFi einen praktischen, sicheren und skalierbaren Ansatz, um den Einsatz von agenter KI in der wissenschaftlichen Forschung zu demokratisieren und zu beschleunigen.