FermiLink: A Unified Agent Framework for Multidomain Autonomous Scientific Simulations

Dit paper introduceert FermiLink, een open-source agentframework dat multidomein wetenschappelijke simulaties verenigt door kennisbanken en werkstromen te scheiden, en dat succesvol wordt aangetoond in het reproduceren van gepubliceerde figuren en het genereren van onderzoeksresultaten voor onuitgegeven problemen.

De kern

FermiLink: De "Zelfrijdende Auto" voor Wetenschappelijke Simulaties

Stel je voor dat wetenschap een enorme, chaotische bibliotheek is. In deze bibliotheek staan duizenden boeken (softwareprogramma's) over alles: van hoe atomen dansen tot hoe sterren sterven. Het probleem is dat elk boek een heel andere taal spreekt, een eigen sleutel heeft en een heel ander leesritme vereist. Om een antwoord te vinden op een vraag, moet een wetenschapper eerst de taal van het ene boek leren, dan die van het andere, en vervolgens handmatig de pagina's ombladeren om de juiste formules in te voeren. Dit is tijdrovend, foutgevoelig en vaak zo moeilijk dat veel onderzoekers vastlopen.

FermiLink is als een slimme, zelfrijdende auto die deze hele bibliotheek voor je bestuurt.

Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. De Splitsing: De Chauffeur en de Kaart

De grootste uitvinding van FermiLink is dat het de chauffeur (het AI-agent) scheidt van de kaart (de kennis over de software).

• Vroeger: Als je een nieuwe auto (software) kocht, moest je een nieuwe chauffeur inhuren die specifiek voor die auto was getraind. Als je een andere auto nodig had, moest je weer een nieuwe chauffeur zoeken.
• Nu met FermiLink: Je hebt één super-chauffeur (de AI). FermiLink pakt de juiste kaart (de kennis over de specifieke software) en geeft die aan de chauffeur. De chauffeur hoeft niet alles uit zijn hoofd te kennen; hij leest de kaart terwijl hij rijdt. Hierdoor kan dezelfde AI-agent nu een simpele berekening doen op je laptop én een enorme, dagenlang durende simulatie op een supercomputer besturen, zonder dat je hoeft te schakelen.

2. De Vier-Lagen Truc: Geen Overload

Stel je voor dat je de chauffeur een heel dik telefoonboek geeft met alle regels van de wereld. Dan wordt hij gek en stopt hij. FermiLink gebruikt een slimme truc: progressieve onthulling.

1. Laag 1: De AI krijgt eerst alleen de vraag: "Waar moet ik heen?" (Welk pakket gebruiken?).
2. Laag 2: Hij krijgt een beknopte handleiding: "Hier zijn de belangrijkste regels."
3. Laag 3: Hij krijgt de specifieke pagina's uit het boek die hij nu nodig heeft.
4. Laag 4: Als hij vastloopt, krijgt hij de volledige technische specificaties.
   Zo wordt de AI niet overladen met informatie, maar krijgt hij precies wat hij op dat moment nodig heeft om de taak te voltooien.

3. Wat Kan Het Eigenlijk? (De Proefjes)

De auteurs hebben FermiLink getest met ongeveer 50 verschillende "boeken" (softwarepakketten) uit negen verschillende wetenschapsgebieden.

• Het Nabootsen (Reproduceer): Ze gaven de AI een oude wetenschappelijke paper en zeiden: "Maak precies dezelfde plaatjes na." Van de 132 proeven lukte het FermiLink om 74 plaatjes (56%) volledig opnieuw te berekenen. Van die 74 waren er 30 zo goed dat ze haarscherp overeenkwamen met het origineel.
• Het Nieuwe Ontdekken (Onderzoek): Maar het kan nog meer. In een "blind" experiment (waarbij de AI niet wist wat het antwoord was) kregen ze de opdracht om een nieuw, nog niet gepubliceerd probleem op te lossen over licht en materie. Zelfs zonder handleidingen of tutorials, lukte het FermiLink om binnen 24 uur een volledig onderzoeksrapport te maken met nieuwe, geldige resultaten.

4. De Menselijke Hand: De Passagier

Hoewel de AI de auto rijdt, is er nog steeds een mens nodig als passagier.
De AI is slim, maar soms zoekt hij "kortere wegen" (bijvoorbeeld: in plaats van een dure simulatie te draaien, tekent hij het plaatje na op basis van oude data). Als de menselijke expert ingrijpt en zegt: "Nee, we moeten echt simuleren, maar gebruik een slimme truc om tijd te besparen," dan kan de AI dit doen. De mens zorgt voor de visie en de kwaliteit, de AI doet het saaie, repetitieve werk.

Waarom is dit belangrijk?

Vroeger duurde het maanden om van een vraag ("Hoe werkt dit molecuul?") naar een antwoord te komen, omdat je eerst de software moest leren en de computer moest instellen. Met FermiLink wordt dit proces versneld. Het is als het verschil tussen zelf je auto bouwen en repareren versus gewoon een Uber bestellen die je precies brengt waar je wilt.

Kortom: FermiLink is de brug tussen een wetenschappelijke vraag en het antwoord. Het maakt complexe computerberekeningen toegankelijk voor iedereen, zodat wetenschappers zich kunnen focussen op het ontdekken van nieuwe dingen, in plaats van op het programmeren van de computer.

Technische samenvatting

Titel: FermiLink: Een Unificerend Agent Framework voor Multidomain Autonome Wetenschappelijke Simulaties

1. Het Probleem

Wetenschappelijke ontdekkingen zijn steeds meer afhankelijk van computationele simulaties die gebruikmaken van een breed scala aan softwarepakketten (van open-source tot commercieel). Hoewel er al AI-agent frameworks zijn ontwikkeld om deze processen te automatiseren, lijden ze aan ernstige beperkingen:

• Gebrek aan schaalbaarheid: Bestaande frameworks zijn vaak op maat gemaakt voor één of een klein aantal softwarepakketten. Het koppelen van $N$ agent-workflows aan $M$ pakketten vereist $N \times M$ individuele integraties, wat een combinatorische bottleneck creëert.
• Onderhoudsintensief: Snelle verbeteringen in Large Language Models (LLM's) vereisen voortdurende aanpassingen van pakket-specifieke agents, wat enorme menselijke inspanning kost.
• Beperkte HPC-integratie: Bestaande agents kunnen vaak geen complexe, langdurige simulaties op High-Performance Computing (HPC) clusters uitvoeren of reproduceren van volledige onderzoeksartikelen.
• Kennislacunes: Veel pakketten hebben beperkte documentatie, waardoor het beheersen en efficiënt uitvoeren van simulaties een grote knelpunt blijft.

2. Methodologie: Het FermiLink Framework

FermiLink is een unificerend, uitbreidbaar en open-source agent framework dat een nieuwe architecturale aanpak introduceert om bovenstaande problemen op te lossen.

• Scheiding van Kennisbasis en Workflow: Het kernontwerpprincipe is de strikte scheiding tussen de kennisbasis van softwarepakketten (source code, documentatie, tutorials) en de simulatie-workflows. Hierdoor kan dezelfde workflow logica worden toegepast op elk ondersteund pakket.
• Vier-laags Progressieve Openbaarmaking (Progressive Disclosure): Om LLM's niet te overladen met informatie, gebruikt FermiLink een mechanisme dat informatie stapsgewijs levert:
  1. Dynamische Lading: Bij een gebruikersverzoek wordt de meest geschikte pakketkennisbasis geladen.
  2. Agent Skills: Een lichtgewicht laag met samengevatte tutorials en een bestandskaart van de source code-tree wordt geladen.
  3. Contextuele Bestandsselectie: De agent laadt alleen de meest relevante source-codebestanden op basis van de bestandskaart, in plaats van de hele codebase.
  4. Pipeline Integratie: Simulatie-pipelines uit papers of ongepubliceerde resultaten kunnen direct aan de skills-laag worden toegevoegd.
• Drie Werkwijzen (Workflows):
  • Exec: Voor korte simulaties.
  • Loop: Voor iteratieve agent-redenering gekoppeld aan simulatie-monitoring (PID/SLURM), ondersteunend langdurige taken op werkstations en HPC.
  • Research/Reproduce: Voor multi-taken simulaties op het niveau van een volledig onderzoeksartikel.
• Geheugenmechanisme: FermiLink beschikt over een unificerend kort- en langetermijngeheugen om eerdere instellingen, fouten en tussenresultaten te onthouden, wat essentieel is voor complexe, langdurige projecten.

3. Belangrijkste Bijdragen

• Unificatie: FermiLink ondersteunt meer dan 150 wetenschappelijke softwarepakketten over negen onderzoeksdomeinen (van fysica en chemie tot engineering en life sciences) binnen één enkel framework.
• Autonome HPC-uitvoering: Het framework kan autonoom taken plannen, uitvoeren en monitoren op HPC-clusters (zoals Purdue Anvil), inclusief het oplossen van fouten en het herindienen van jobs.
• Reproductie en Ontdekking: Het is niet alleen in staat om bestaande resultaten te reproduceren, maar ook om nieuwe, research-grade resultaten te genereren op basis van broncode, zelfs zonder externe documentatie of tutorials.

4. Resultaten

De auteurs hebben FermiLink getest met drie sets benchmarks:

• Reproductie van Figuren (132 taken, 44 pakketten):

  • FermiLink slaagde erin 74 van de 132 taken (56,1%) te reproduceren met daadwerkelijke simulaties.
  • Van deze geslaagde taken bereikten 30 (40,5%) een hoge-fideliteit overeenkomst met de gepubliceerde resultaten, en 35 (47,3%) bereikten kwalitatieve overeenkomst.
  • De resterende taken faalden vaak door ontbrekende supplementaire data, wat aantoont dat data-beschikbaarheid een kritieke factor blijft.
  • De framework slaagde erin simulaties van enkele minuten tot meer dan 24 uur te onderhouden.

• Expert-Gestuurde Reproductie:

  • Bij taken waarbij menselijke expertise werd ingezet (iteratief overleg met de agent), verbeterde de fideliteit aanzienlijk.
  • Voorbeelden tonen aan dat experts kunnen helpen bij het identificeren van discrepanties tussen papers en code (bijv. factoren van twee in definities) of het aanpassen van parameters om rekentijd te besparen zonder de wetenschappelijke waarde te verliezen.

• Unblinded Research Studie (Polaritonica):

  • In een enkel-verblindde studie werd FermiLink gevraagd om een ongepubliceerd onderzoeksplan uit te voeren voor een aangepaste versie van het MEEP-pakket (FDTD-Bath).
  • Zonder externe documentatie of tutorials, maar wel met de broncode en een goal.md bestand, slaagde de agent erin binnen 24 uur een onderzoeksrapport te genereren dat alle belangrijkste bevindingen en figuren van het ongepubliceerde werk reproduceerde.

5. Betekenis en Conclusie

FermiLink vertegenwoordigt een verschuiving in de rol van AI in de wetenschap: van het uitvoeren van demonstratieve berekeningen naar het fungeren als een schaalbare onderzoeksinfrastructuur.

• Versnelling van Wetenschap: Het kan een substantieel deel van de repetitieve taken tussen een wetenschappelijke vraag en het eindresultaat overnemen (installatie, input-bestanden genereren, monitoring, data-postprocessing).
• Rol van de Mens: Hoewel de agent de uitvoering automatiseert, blijft menselijke expertise cruciaal voor het definiëren van realistische doelen, het evalueren van de validiteit van resultaten en het voorkomen dat de agent "kortsluitingen" zoekt om een doel te bereiken.
• Toekomstperspectief: FermiLink biedt een pad naar volledig autonome wetenschappelijke ontdekkingen over diverse domeinen, waarbij de barrière voor toegang tot complexe simulatie-software wordt verlaagd en de reproduceerbaarheid van wetenschappelijke resultaten wordt vergroot.

Kortom, FermiLink bewijst dat een goed ontworpen, unificerend agent framework de weg kan effenen voor autonome, research-grade computationele wetenschap op industriële schaal.