AI-Supervisor: Autonomous AI Research Supervision via a Persistent Research World Model

Dit paper introduceert AutoProf, een multi-agent framework dat een persistent wereldmodel in de vorm van een kennisgrafiek gebruikt om autonoom en zelfcorrigerend het volledige onderzoeksproces te sturen, van literatuurstudie en het ontdekken van gaten tot methodenontwikkeling en het schrijven van papers.

De kern

Stel je voor dat wetenschappelijk onderzoek momenteel lijkt op een gigantische, zeer dure fabriek. Om daar te werken, moet je lid zijn van een exclusieve club (een universiteit of groot bedrijf). Als je gewoon nieuwsgierig bent en een idee hebt, maar geen lid bent van die club, krijg je geen toegang tot de machines, de experts of de kennis. Je kunt je idee niet echt uitproberen.

AI-Supervisor is een nieuw idee om die fabriek te vervangen door een persoonlijke, onuitputtelijke onderzoeksteam dat in je computer woont. Het stelt iedereen in staat om hun eigen wetenschappelijke avontuur te beginnen, puur gedreven door nieuwsgierigheid.

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. Het "Levende Kaartspel" (Het Research World Model)

Stel je voor dat je een ontdekkingsreiziger bent. De meeste AI-systemen werken als een GPS die alleen de weg wijst die je al kent. Ze lezen een boek en schrijven een samenvatting. Maar ze weten niet wat er onder de grond zit.

AI-Supervisor doet iets anders. Het bouwt een levend, digitaal kaartspel van de hele wetenschappelijke wereld.

• Dit kaartspel is geen statisch document; het groeit en verandert.
• Het weet niet alleen wat er geschreven staat, maar ook of het waar is. Elke feitelijke claim op de kaart krijgt een label: "Gecontroleerd" (groen) of "Nog niet bewezen" (rood).
• Als een nieuw experiment faalt, wordt de kaart direct aangepast. Het onthoudt niet alleen feiten, maar ook waar de valkuilen zitten. Het is alsof je een team hebt dat een gigantische, voortdurend bijgewerkte wiki bouwt, waar elke fout direct wordt gecorrigeerd.

2. Het "Jury-Panel" (Multi-Agent Consensus)

Stel je voor dat je een idee hebt. In de oude wereld zou je misschien één expert vragen: "Is dit goed?" Als die expert een fout maakt, is je hele project fout.

AI-Supervisor werkt als een jury van 5 tot 7 verschillende experts die allemaal tegelijk aan het werk zijn:

• De Onderzoekers: Ze zoeken elk naar bewijs in hun eigen hoekje.
• De Kritische Blik: Ze kijken naar elkaars werk. "Heb jij dit ook gezien? Is jouw bewijs sterk genoeg?"
• De Voorzitter: Deze agent verzamelt alle meningen. Als drie experts zeggen "Ja, dit werkt" en twee zeggen "Nee, dat klopt niet", dan wordt het pas als waarheid op de kaart gezet als er een meerderheid is.

Dit voorkomt dat één "domme" AI-agent een heleboel onzin verzint. Ze moeten het met elkaar eens worden voordat iets serieus wordt genomen.

3. De "Duitse Knoop Oplossen" (Cross-Domain Zoeken)

Stel je voor dat je vastloopt in een probleem. Je probeert het op te lossen met gereedschap uit je eigen gereedschapskist, maar het lukt niet.

• Normale AI: Zegt: "Probeer het maar nog eens harder met hetzelfde gereedschap."
• AI-Supervisor: Zegt: "Waarom lukt het niet? Laten we kijken naar de oorsprong van het probleem."

Het systeem gebruikt een trucje genaamd "5x Waarom" (een techniek uit de industrie). Het vraagt zich af: "Waarom werkt dit niet?" -> "Omdat de temperatuur te hoog is." -> "Waarom?" -> "Omdat het koelsysteem niet snel genoeg reageert."
Zodra het de echte oorzaak (het mechanisme) heeft gevonden, kijkt het niet meer naar andere computerboeken, maar naar andere vakgebieden. Misschien is het antwoord te vinden in de biologie (hoe koelen mierenkolonies?) of in de financiële wiskunde. Het haalt ideeën uit totaal andere werelden en past ze op jouw probleem toe.

4. De "Zelfcorrigerende Loop"

Dit is het belangrijkste verschil met andere systemen.

• Andere systemen: Schrijven een paper, hopen dat het goed is, en hopen dat het wordt geaccepteerd.
• AI-Supervisor: Is als een eigenaar van een restaurant die constant proeft.
  • Als het eten (het onderzoek) niet lekker smaakt (de resultaten zijn slecht), stopt het niet met koken.
  • Het gaat terug naar de keuken, kijkt naar het recept, en vraagt: "Hebben we de verkeerde ingrediënten gebruikt? Moeten we een ander restaurant (een ander wetenschapsgebied) raadplegen?"
  • Het proces herhaalt zich tot het eten perfect is. Het systeem "leert" van elke mislukking en slaat die op in het kaartspel, zodat het nooit dezelfde fout twee keer maakt.

Waarom is dit belangrijk?

Vandaag de dag wordt wetenschap bepaald door wie het meeste geld heeft of bij welke grote universiteit je werkt. AI-Supervisor democratiseert dit.

• Iedereen kan een wetenschapper zijn: Je hebt geen PhD nodig, alleen een vraag.
• Het is eerlijker: Omdat het systeem feiten controleert en niet alleen tekst genereert, zijn de resultaten betrouwbaarder.
• Het bouwt een gemeenschappelijke kennisbank: Stel je voor dat elke onderzoeker zijn eigen kaartspel heeft, en die kaartspellen praten met elkaar. Dan hebben we binnenkort een wereldwijd, levend brein dat alle kennis van de mensheid combineert en voortdurend verbetert.

Kortom: AI-Supervisor is niet zomaar een schrijfmachine die tekst produceert. Het is een autonoom ontdekkingsreiziger met een onuitputtelijk geheugen, een jury van experts en de moed om naar andere werelden te kijken om de moeilijkste puzzels op te lossen.

Technische samenvatting

Probleemstelling

Bestaande systemen voor geautomatiseerd wetenschappelijk onderzoek functioneren doorgaans als stateless, lineaire pijplijnen. Ze genereren output zonder een blijvend begrip van het onderzoekslandschap te behouden. Deze systemen verwerken papers sequentieel, stellen ideeën voor zonder gestructureerde analyse van bestaande gaten (gaps), en missen mechanismen waarbij agenten elkaars bevindingen kunnen verifiëren, uitdagen of verfijnen.

De huidige AI-onderzoeksomgeving is sterk afhankelijk van institutionele supervisie (universiteiten, grote bedrijven), wat persoonlijke nieuwsgierigheid en gediversifieerde onderzoeksrichtingen beperkt. Bestaande tools (zoals AI Scientist of AI-Researcher) automatiseren de uitvoering van onderzoek (idee-generatie, code schrijven), maar laten de moeilijkste taak – de onderzoeks-supervisie (het identificeren van echte gaten, het valideren van claims, het ontwerpen van experimenten) – aan mensen over. Ze behandelen onderzoek als een tekstgeneratie-taak in plaats van actieve exploratie en interactie met een kenniswereld.

Methodologie: AI-Supervisor

Het paper introduceert AI-Supervisor, een multi-agent orkestratieframework dat onderzoekssupervisie automatiseert via een Persistent Research World Model (RWM). In plaats van een statische lijn, is dit een dynamisch systeem waar agenten samenwerken rondom een gedeeld geheugen.

1. Persistent Research World Model (RWM)

Het hart van het systeem is een continu evoluerende Kennisgrafiek (Knowledge Graph), gedefinieerd als $W = (V, E, U, M)$:

• Geknoopte typen ($V$): Papers, methoden, modules, benchmarks, gaten (gaps) en beperkingen.
• Gerelateerde randen ($E$): Relaties zoals "proposes", "uses", "evaluated_on", "has_limitation".
• Onzekerheidsannotatie ($U$): Elke knooppunt en rand heeft een status: $U=1$ (onverifieerd) of $U=0$ (verifieerd/empirisch getoetst).
• Metrieken ($M$): Randen dragen prestatiegegevens (bijv. nauwkeurigheid, F1-score).
• Functie: Het RWM dient als gedeeld geheugen, orkestratie-ruggengraat en kwaliteitscontrolemechanisme. Het groeit over sessies en projecten heen, waardoor kennis kan worden overgedragen.

2. Multi-Agent Consensus Protocol

Agenten werken niet in een vaste volgorde, maar via een consensusmechanisme:

• Ronde 1 (Onafhankelijk): Meerdere agenten onderzoeken onafhankelijk methoden, benchmarks en aannames.
• Ronde 2 (Gedeelde zichtbaarheid): Alle agenten zien elkaars bevindingen en kunnen deze verifiëren of uitdagen.
• Orkestrator: Een centrale agent aggregatie de bewijzen. Alleen bevindingen die door meerdere agenten worden bevestigd (corroborated) of empirisch getoetst, krijgen de status $U=0$ en worden opgeslagen in het RWM. Dit voorkomt dat fouten van één agent zich door de hele pijplijn verspreiden.

3. Zelfcorrigerende Ontwikkelingsloops

Het systeem gebruikt een mechanisme-gebaseerde aanpak voor het oplossen van gaten:

• Root-cause analyse (5-WHY): Een gevonden gat wordt ontbonden tot een abstract mechanisme (bijv. van "methoden falen bij distributiewijziging" naar "optimatie onder non-stationariteit").
• Cross-domain zoektocht: Het systeem zoekt naar oplossingen in andere wetenschappelijke domeinen die hetzelfde abstracte mechanisme bestuderen, en vertaalt de terminologie.
• Kwaliteitspoort (Quality Gate): Een iteratieve lus met 10 criteria (noviteit, statistische significantie, reproduceerbaarheid, etc.). Als een methode faalt, wordt de richting opnieuw beoordeeld (niet gewoon dieper zoeken), en wordt de zoektocht herleid naar de juiste fase.

Belangrijkste Bijdragen

1. Eerste systeem met een Persistent Research World Model: Een kennisgrafiek die tijdens het onderzoek evolueert, met onzekerheidsannotaties en prestatie-metrieken, in plaats van een statische, vooraf gebouwde grafiek.
2. Zelfcorrigerende multi-agent consensus: Een protocol dat empirisch geteste gaten genereert door parallelle agenten hun bevindingen te laten verifiëren voordat deze worden opgeslagen.
3. Cross-domain zelfverbetering: Een mechanisme om falende modules te analyseren en oplossingen te zoeken in andere wetenschappelijke velden, geleid door een strikte kwaliteitspoort.
4. Model-onafhankelijkheid: Het framework werkt met alle mainstream LLM's (GPT-4, Claude, LLaMA, Qwen, etc.) en schaalt elastisch met het token-budget.

Experimentele Resultaten

Het team evalueerde AI-Supervisor op 27 taken uit de Scientist-Bench en andere curatieve datasets:

• Kwaliteit van Gat-ontdekking: AI-Supervisor behaalde een best alignment van 4.44/5 (tegenover 4.15 voor LLM-only brainstorming) en een perfect recall (1.000). De gestructureerde extractie uit het RWM leidt tot gaten die gebaseerd zijn op structurele analyse in plaats van tekstpatronen.
• Methodologische Innovatie: Door cross-domain zoektochten met mechanisme-analyse te combineren, scoorde het systeem 32% hoger in methoden-novelty (20.6/25) dan binnen-domein zoektochten. Naïeve cross-domain zoektochten (zonder mechanisme-analyse) presteerden slecht, wat aantoont dat de 5-WHY-analyse cruciaal is.
• Persistente Kennis: In sequentiële projecten (RLHF -> Constitutional AI) vond het persistente RWM 16 cross-project connecties en 3/3 cross-project inzichten. State-of-the-art baselines (gebaseerd op context-vensters of statische grafieken) vonden geen structurele connecties.
• Schalbaarheid: Het systeem schaalt elastisch. Met meer agenten (van 1 naar 7) werden de gaten specifieker en minder talrijk, maar bleef de kwaliteit stabiel. De "sweet spot" bleek bij 3 agenten.
• Kostenefficiëntie: Een volledige run kost tussen de $8 en $16 (met efficiënte modellen) en dekt alle 5 fasen van het onderzoek (literatuur, validatie, gat-analyse, ontwikkeling, evaluatie), terwijl bestaande systemen vaak menselijke tussenkomst vereisen of minder fasen dekken.

Betekenis en Toekomstperspectief

AI-Supervisor markeert een verschuiving van passieve tekstgeneratie naar actieve kennisexploratie. Het stelt dat onderzoeksupervisie zelf kan worden geautomatiseerd, waardoor individuen met persoonlijke nieuwsgierigheid toegang krijgen tot een professioneel "onderzoeksteam" zonder institutionele achtergrond.

De visie voor de toekomst omvat:

• Verdeelde Kennisnetwerken: RWM's van verschillende onderzoekers die verifieerde kennis (U=0) uitwisselen.
• Gemeenschapsgevalideerde Wereldmodellen: Een verschuiving van reputatie gebaseerd op papieren naar reputatie gebaseerd op bijdragen aan een gedeelde, door de gemeenschap gevalideerde kennisgrafiek.
• Democratisering van Onderzoek: Het verkleinen van de kloof tussen gevestigde instituten en individuele onderzoekers door toegang tot wereldklasse supervisie te bieden.

Kortom, AI-Supervisor biedt een architectuur waarbij AI-agenten niet alleen tekst schrijven, maar actief bouwen aan een gestructureerd, bewezen en continu groeiend begrip van het wetenschappelijke landschap.