Hierarchical Server Architecture for Agentic Science

Stel je de wereld van supercomputers niet voor als één enkele, gigantische hersenpan in een koude kamer, maar als een uitgestrekt, chaotisch universum van verschillende machines. Sommige zijn enorme, traditionele supercomputers (HPC) die jarenlang getallen kraken; andere zijn flexibele cloudservers die direct kunnen opstarten; en sommige zijn kleine "edge"-apparaten die vlak naast sensoren zitten. Decennialang moesten wetenschappers de ultieme gidsen zijn, waarbij ze elke machine handmatig controleerden om te zien of deze de juiste software, genoeg geheugen en de juiste netwerksnelheid had voordat ze hun experimenten konden uitvoeren. Het was alsof je probeerde een specifiek type moersleutel te vinden in een garage waar elk gereedschap in een andere taal is gelabeld.

Maak kennis met "Agentic Science". Dit is een nieuwe manier van denken waarbij computers niet alleen wachten op bevelen, maar met elkaar praten. In plaats van dat een mens vraagt: "Heb je een GPU?", kan een slim computerprogramma (een "agent") vragen: "Ik moet een simulatie draaien die een specifief type grafische kaart en 500 gigabyte aan geheugen vereist. Wie kan mij helpen?" Het artikel dat u zult lezen, onderzoekt hoe men een systeem kan bouwen waarin deze slimme agents kunnen onderhandelen, de perfecte machine kunnen vinden en aan het werk kunnen gaan zonder dat een mens elk detail van elke server in de wereld hoeft te kennen.

---

De Digitale Matchmakingservice

In dit artikel stellen Vanessa Sochat en Daniel Milroy van het Lawrence Livermore National Laboratory een nieuwe manier voor om dit chaotische universum van computers te organiseren. Ze noemen het een Hiërarchische Serverarchitectuur. Om dit te begrijpen, kunt u het zich voorstellen als een gigantisch, intergalactisch reisbureau.

In de oude dagen, als u een reis wilde boeken, moest u elke luchtvaartmaatschappij, elk hotel en elk treinstation afzonderlijk bellen om te vragen of ze nog een zitplaats hadden. In het nieuwe systeem dat hier wordt beschreven, heeft u een Hub (het hoofdreisbureau) en een vloot Secretarissen (agents die voor de luchtvaartmaatschappijen werken). U vertelt de Hub uw behoeften: "Ik heb een vlucht naar Mars nodig, vertrekkend morgen, met een vegetarische maaltijd." De Hub controleert niet zelf de vliegtuigen; in plaats daarvan vraagt hij onmiddellijk aan al zijn Secretarissen tegelijk.

Elke Secretaris is een slimme assistent die een specifieke computer (een "worker") vertegenwoordigt. Zij hebben een speciale toolkit waarmee ze in de inventaris van hun eigen computer kunnen kijken. Ze controleren: Hebben we de juiste software? Is het geheugen vol? Is het netwerk snel genoeg? Vervolgens sturen ze een voorstel terug naar de Hub: "Ik kan het doen!" of "Ik ben te druk" of "Ik heb de juiste onderdelen niet."

De "Resource Secretary" en de 51 Tools

De magie van dit systeem ligt in de Resource Secretary, een stuk software dat fungeert als een universele vertaler. De auteurs bouwden een bibliotheek met 51 verschillende "providers" (tools die controleren op zaken zoals opslag, geheugen of softwarepakketten). Deze tools werken voor echte computers en zelfs voor nep, gesimuleerde computers.

Beschouw deze providers als een set gespecialiseerde zaklampen. Eén zaklamp controleert op "Slurm" (een veelvoorkomende jobmanager), een andere voor "Kubernetes" (een cloudmanager), een andere voor "Docker" (containers), enzovoort. Wanneer een Secretary Agent een verzoek krijgt, schijnt hij met de juiste zaklampen om te zien wat er daadwerkelijk in de kamer staat. Als een gebruiker vraagt om een specifieke versie van een softwareprogramma, gebruikt de agent deze tools om die te vinden, in plaats van simpelweg te gokken.

De Grote Simulatie: 20.000 Tests

Om te zien of dit idee daadwerkelijk werkt, hebben de auteurs niet alleen gedroomd; ze hebben een enorme simulatie uitgevoerd. Ze creëerden 200 nepcomputers (workers) met verschillende persoonlijkheden:

• HPC Archetype: Grote, traditionele supercomputers met strikte regels.
• Cloud Archetype: Flexibel, gevarieerd en soms rommelig.
• Standalone Archetype: Kleine, individuele machines zoals een krachtige laptop of een edge-device.

Vervolgens genereerden ze 19.973 onderhandelings-tests. In deze tests vroegen ze de agents om middelen te vinden voor taken met variërende niveaus van detail. Sommige verzoeken waren vaag ("Ik heb een computer nodig"), terwijl andere ongelooflijk specifiek waren ("Ik heb een computer nodig met 128 CPU's, 1TB RAM, een specifieke netwerksnelheid en een container genaamd 'Singularity'").

Wat ze vonden: Goed in "Nee" zeggen, lastig in "Ja" zeggen

De resultaten waren een mix van indrukwekkend succes en duidelijke lessen geleerd.

Het goede nieuws: De agents waren verrassend goed in het uitzoeken of een computer een taak kon uitvoeren. Ze behaalden een algehele nauwkeurigheid van 87,71%. Dit betekent dat wanneer ze zeiden: "Ja, ik kan dit" of "Nee, dat kan ik niet", ze meestal gelijk hadden. Ze waren vooral bekwaam in het herkennen wanneer een computer een taak niet kon uitvoeren (zoals wanneer een vereiste software ontbrak).

Het slechte nieuws (en de "waarom"): De agents maakten vooral fouten wanneer ze te zelfverzekerd waren. In 1.611 gevallen zei de agent dat een computer compatibel was, terwijl dat in werkelijkheid niet zo was. De hoofdschuldige? Softwareversies.
Stel je voor dat een gebruiker vraagt om "Python 3.9". De agent ziet misschien dat "Python 3.9" geïnstalleerd is, maar merkt niet dat de specifieke bibliotheek die nodig is voor de taak eigenlijk versie 3.8 is. De agent raakte in de war tussen de hoofdsoftware en de afhankelijkheden ervan. De auteurs suggereren dat de tools die de agents gebruiken nauwkeuriger moeten zijn, door ze de exacte versienummers te geven in plaats van alleen een algemene lijst.

Het specificiteitsprobleem: De agents hadden de meeste moeite met twee extremen:

1. Te vaag: Als een gebruiker alleen zei "Ik heb een computer nodig" zonder aan te geven welke software nodig was, had de agent niet genoeg informatie om een goede beslissing te nemen.
2. Te specifiek: Wanneer het verzoek zeer complex werd (zoals vragen om een specifieke containertechnologie), raakten de agents soms de weg kwijt of gebruikten ze de verkeerde "zaklamp" om te controleren, wat leidde tot fouten.

De Selectiewedstrijd: Wie krijgt de baan?

Zod eens de agents computers hadden gevonden die de taak konden uitvoeren, moest het systeem de beste kiezen. De auteurs testten hun "Agentic" selectiestrategie tegenover 6 traditionele strategieën (zoals "kies de eerste beschikbare" of "kies de goedkoopste").

• Snelheid: De traditionele methoden waren razendsnel (ze namen minder dan een milliseconde). De AI-agent was langzamer en deed er ongeveer 2,19 seconden over per beslissing. De auteurs geven toe dat dit een afweging is: de AI is slimmer, maar heeft een moment nodig om na te denken.
• Kosten: De AI-agent was verrassend goed in het besparen van geld. Soms koos hij een iets duurdere machine als dat betekende dat de taak sneller klaar zou zijn, een nuance die eenvoudige "goedkoopst eerst"-regels vaak missen. De auteurs merken echter op dat hun simulatie niet volledig rekening hield met hoe veel sneller een taak zou kunnen draaien op een betere machine, dus dit is slechts een aanwijzing van wat er mogelijk is.

Het eindoordeel

Dit artikel beweert niet dat het het probleem van computerplanning voor altijd heeft opgelost. In plaats daarvan bewijst het dat een hiërarchisch, agent-gebaseerd systeem een levensvatbare manier is om een mix van verschillende computers te beheren. Het laat zien dat we een systeem kunnen bouwen waarbij computers met elkaar praten om de juiste middelen te vinden, met een nauwkeurigheid van bijna 88%.

De auteurs concluderen dat, hoewel de "secretaris-agents" geweldig zijn in het uitsluiten van slechte opties, ze betere tools nodig hebben om complexe softwareversies en zeer specifieke verzoeken aan te kunnen. Ze wijzen er ook op dat, hoewel de AI langzamer is dan een simpele regel, het vermogen om context te begrijpen en flexibele keuzes te maken het een krachtig instrument maakt voor de toekomst van de wetenschap. Het systeem is klaar om in de echte wereld te worden getest, specifiek voor de "Genesis Mission", een project dat gericht is op het automatiseren van wetenschappelijke ontdekkingen.

Kortom, de toekomst van supercomputing gaat niet alleen over het bouwen van grotere machines; het gaat over het leren van computers hoe ze moeten praten, onderhandelen en de perfecte match kunnen vinden voor elke taak, terwijl mensen een stap terug doen en de agents het zware werk laten doen.