Hierarchical Server Architecture for Agentic Science

Stellen Sie sich die Welt der Supercomputer nicht als ein einzelnes, riesiges Gehirn in einem kalten Raum vor, sondern als ein gewaltiges, chaotisches Universum aus verschiedenen Maschinen. Einige sind massive, traditionelle Supercomputer (HPC), die jahrelang Zahlen berechnen; andere sind flexible Cloud-Server, die sich augenblicklich hochfahren können; und einige sind winzige „Edge“-Geräte, die direkt neben Sensoren sitzen. Jahrzehntelang mussten Wissenschaftler die ultimativen Reiseführer sein, die jede einzelne Maschine manuell überprüften, um zu sehen, ob sie die richtige Software, genügend Speicher oder die richtige Netzwerkgeschwindigkeit besaß, bevor sie ihre Experimente durchführen konnten. Es war, als versuche man, einen ganz bestimmten Schraubenschlüssel in einer Werkstatt zu finden, in der jedes Werkzeug in einer anderen Sprache beschriftet ist.

Hier kommt „Agentic Science“ ins Spiel. Dies ist eine neue Denkweise, bei der Computer nicht einfach nur auf Befehle warten; sie sprechen miteinander. Anstatt dass ein Mensch fragt: „Hast du eine GPU?“, kann ein intelligentes Computerprogramm (ein „Agent“) fragen: „Ich muss eine Simulation ausführen, die eine spezifische Art von Grafikkarte und 500 Gigabyte Speicher erfordert. Wer kann mir helfen?“ Das Papier, das Sie gleich lesen werden, untersucht, wie man ein System aufbaut, in dem diese intelligenten Agenten verhandeln, die perfekte Maschine finden und mit der Arbeit beginnen können, ohne dass ein Mensch jedes Detail jedes Servers in der Welt kennen muss.

---

Der digitale Vermittlungsdienst

In diesem Papier schlagen Vanessa Sochat und Daniel Milroy vom Lawrence Livermore National Laboratory einen neuen Weg vor, dieses chaotische Universum der Computer zu organisieren. Sie nennen es eine Hierarchische Server-Architektur. Um dies zu verstehen, stellen Sie sich ein riesiges, intergalaktisches Reisebüro vor.

In den alten Zeiten mussten Sie, wenn Sie eine Reise buchen wollten, jede Fluggesellschaft, jedes Hotel und jeden Bahnhof einzeln anrufen, um zu fragen, ob sie einen Sitzplatz frei haben. In dem hier beschriebenen neuen System haben Sie ein Hub (das Hauptreisebüro) und eine Flotte von Sekretären (Agenten, die für die Fluggesellschaften arbeiten). Sie sagen dem Hub Ihre Bedürfnisse: „Ich brauche einen Flug nach Mars, der morgen startet, mit einer vegetarischen Mahlzeit.“ Der Hub prüft die Flugzeuge nicht selbst; stattdessen fragt er stattdessen sofort alle seine Sekretäre gleichzeitig ab.

Jeder Sekretär ist ein intelligenter Assistent, der einen spezifischen Computer (einen „Worker“) repräsentiert. Er verfügt über ein spezielles Toolkit, das es ihm ermöglicht, in den Bestand seines eigenen Computers hineinzuschauen. Er prüft: Haben wir die richtige Software? Ist der Speicher voll? Ist das Netzwerk schnell genug? Dann sendet er einen Vorschlag an das Hub zurück: „Ich kann es machen!“ oder „Ich bin zu beschäftigt“ oder „Ich habe nicht die richtigen Teile“.

Der „Resource Secretary“ und die 51 Werkzeuge

Die Magie dieses Systems liegt im Resource Secretary, einem Softwarestück, das als universeller Übersetzer fungiert. Die Autoren haben eine Bibliothek mit 51 verschiedenen „Providern“ (Werkzeugen, die nach Dingen wie Speicherplatz, Arbeitsspeicher oder Softwarepaketen suchen) erstellt. Diese Werkzeuge funktionieren sowohl für echte Computer als auch für simulierte, künstliche Computer.

Betrachten Sie diese Provider als eine Reihe spezialisierter Taschenlampen. Eine Taschenlampe prüft auf „Slurm“ (einen gängigen Job-Manager), eine andere auf „Kubernetes“ (einen Cloud-Manager), eine weitere auf „Docker“ (Container) und so weiter. Wenn ein Sekretär-Agent eine Anfrage erhält, schaltet er die richtigen Taschenlampen ein, um zu sehen, was tatsächlich im Raum vorhanden ist. Wenn ein Benutzer nach einer spezifischen Version eines Softwareprogramms fragt, nutzt der Agent diese Werkzeuge, um sie zu finden, anstatt nur zu raten.

Die große Simulation: 20.000 Tests

Um zu sehen, ob diese Idee tatsächlich funktioniert, haben die Autoren nicht nur davon geträumt; sie haben eine massive Simulation durchgeführt. Sie erstellten 200 künstliche Computer (Worker) mit unterschiedlichen Persönlichkeiten:

• HPC-Archetyp: Große, traditionelle Supercomputer mit strengen Regeln.
• Cloud-Archetyp: Flexibel, vielfältig und manchmal chaotisch.
• Standalone-Archetyp: Kleine, einzelne Maschinen wie ein leistungsstarker Laptop oder ein Edge-Gerät.

Anschließend generierten sie 19.973 Verhandlungstests. In diesen Tests baten sie die Agenten, Ressourcen für Jobs mit unterschiedlichen Detailgraden zu finden. Einige Anfragen waren vage („Ich brauche einen Computer“), während andere unglaublich spezifisch waren („Ich brauche einen Computer mit 128 CPUs, 1 TB RAM, einer spezifischen Netzwerkgeschwindigkeit und einem Container namens 'Singularity'“).

Was sie fanden: Gut darin, „Nein“ zu sagen, schwierig beim „Ja“

Die Ergebnisse waren eine Mischung aus beeindruckendem Erfolg und klaren Lehren.

Die gute Nachricht: Die Agenten waren überraschend gut darin, herauszufinden, ob ein Computer eine Aufgabe erledigen könnte. Sie erreichten eine Gesamtgenauigkeit von 87,71 %. Das bedeutet, dass sie, wenn sie sagten: „Ja, das kann ich machen“ oder „Nein, das kann ich nicht“, meistens richtig lagen. Sie waren besonders geschickt darin, zu erkennen, wenn ein Computer eine Aufgabe nicht bewältigen konnte (wie zum Beispiel wenn eine erforderliche Software fehlte).

Die schlechte Nachricht (und das „Warum“): Die Agenten machten Fehler hauptsächlich dann, wenn sie zu selbstbewusst waren. In 1.611 Fällen behauptete der Agent, ein Computer sei kompatibel, obwohl er es tatsächlich nicht war. Der Hauptschuldige? Softwareversionen.
Stellen Sie sich vor, ein Benutzer fragt nach „Python 3.9“. Der Agent sieht zwar „Python 3.9“ installiert, erkennt aber nicht, dass die spezifische Bibliothek, die für den Job benötigt wird, tatsächlich die Version 3.8 ist. Der Agent geriet zwischen der Hauptsoftware und deren Abhängigkeiten in Verwirrung. Die Autoren schlagen vor, dass die Werkzeuge, die die Agenten nutzen, präziser sein müssen und ihnen die exakten Versionsnummern anstelle einer allgemeinen Liste liefern sollten.

Das Spezifitätsproblem: Die Agenten hatten es am schwersten mit zwei Extremen zu tun:

1. Zu vage: Wenn ein Benutzer nur sagte „Ich brauche einen Computer“, ohne zu sagen, welche Software er benötigt, hatte der Agent nicht genügend Informationen, um eine gute Entscheidung zu treffen.
2. Zu spezifisch: Wenn die Anfrage sehr komplex wurde (wie die Frage nach einer spezifischen Container-Technologie), verloren sich die Agenten manchmal oder nutzten die falsche „Taschenlampe“, um nachzusehen, was zu Fehlern führte.

Das Auswahlrennen: Wer bekommt den Job?

Sob ien die Agenten Computer gefunden hatten, die den Job erledigen konnten, musste das System den besten auswählen. Die Autoren testeten ihre „agentische“ Auswahlstrategie gegen 6 traditionelle Strategien (wie „wähle den ersten verfügbaren“ oder „wähle den günstigsten“).

• Geschwindigkeit: Die traditionellen Methoden waren blitzschnell (sie dauerten weniger als eine Millisekunde). Der KI-Agent war langsamer und benötigte etwa 2,19 Sekunden pro Entscheidung. Die Autoren geben zu, dass dies ein Kompromiss ist: Die KI ist klüger, braucht aber einen Moment zum Nachdenken.
• Kosten: Der KI-Agent war überraschend gut darin, Geld zu sparen. Er wählte manchmal eine etwas teurere Maschine, wenn dies bedeutete, dass der Job schneller fertig wäre – eine Nuance, die einfache „Günstigster zuerst“-Regeln oft übersehen. Die Autoren merken jedoch an, dass ihre Simulation nicht vollständig berücksichtigte, wie viel schneller ein Job auf einer besseren Maschine laufen würde, was dies nur zu einem Hinweis darauf macht, was möglich ist.

Das Urteil

Dieses Papier behauptet nicht, das Problem der Computerplanung für immer gelöst zu haben. Stattdessen beweist es, dass ein hierarchisches, agentenbasiertes System ein praktikabler Weg ist, um eine Mischung aus verschiedenen Computern zu verwalten. Es zeigt, dass wir ein System bauen können, in dem Computer miteinander sprechen, um die richtigen Ressourcen zu finden, mit einer Genauigkeit von fast 88 %.

Die Autoren kommen zu dem Schluss, dass die „Sekretärs-Agenten“ zwar großartig darin sind, schlechte Optionen auszuschließen, aber bessere Werkzeuge benötigen, um komplexe Softwareversionen und sehr spezifische Anfragen zu handhaben. Sie weisen auch darauf hin, dass die KI zwar langsamer als eine einfache Regel ist, ihre Fähigkeit, Kontext zu verstehen und flexible Entscheidungen zu treffen, sie jedoch zu einem mächtigen Werkzeug für die Zukunft der Wissenschaft macht. Das System ist bereit, in der realen Welt getestet zu werden, speziell für die „Genesis Mission“, ein Projekt, das darauf abzielt, die wissenschaftliche Entdeckung zu automatisieren.

Kurz gesagt: Die Zukunft des Supercomputings besteht nicht nur darin, größere Maschinen zu bauen; es geht darum, ihnen beizubringen, wie sie miteinander sprechen, verhandeln und die perfekte Übereinstimmung für jede Aufgabe finden, während Menschen einen Schritt zurücktreten und die Agenten die schwere Arbeit erledigen lassen.