Talk Freely, Execute Strictly: Schema-Gated Agentic AI for Flexible and Reproducible Scientific Workflows

Dit paper introduceert schema-gated agentic AI als een oplossing die de tegenstrijdige eisen van deterministische uitvoering en conversatieve flexibiliteit in wetenschappelijke workflows verenigt door conversatie en uitvoeringsautoriteit te scheiden.

Joel Strickland, Arjun Vijeta, Chris Moores, Oliwia Bodek, Bogdan Nenchev, Thomas Whitehead, Charles Phillips, Karl Tassenberg, Gareth Conduit, Ben Pellegrini

Gepubliceerd Mon, 09 Ma
📖 4 min leestijd☕ Koffiepauze-leesvoer

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een recept voor een complexe taart wilt bakken, maar in plaats van een boekje met duidelijke instructies, praat je gewoon met een super-slimme, maar soms wat flinke kok (de AI).

Je zegt: "Maak die taart, maar maak hem een beetje lichter en gebruik blauwe bessen."

Deze paper, getiteld "Talk Freely, Execute Strictly" (Praat vrij, voer strikt uit), gaat over het probleem dat ontstaat in dit scenario, en hoe we het kunnen oplossen voor wetenschappers en onderzoekers.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Vrije" Kok vs. De "Strenge" Regels

In de wetenschap moet alles nauwkeurig en reproduceerbaar zijn. Als je vandaag een experiment doet, moet iemand anders morgen exact hetzelfde resultaat kunnen krijgen.

  • De oude manier (Workflow-systemen): Dit is als een strakke kookschool. Je moet eerst een gedetailleerd plan opschrijven (een "schema"). Je mag niet improviseren. Het is veilig en foutloos, maar saai en lastig als je snel iets wilt proberen.
  • De nieuwe manier (AI-chatbots): Dit is de vrije kok. Je praat gewoon, en de AI schrijft het code-recept voor je. Het is heel flexibel en snel, maar de AI kan soms "hallucineren" (dromen dat er blauwe bessen in zitten, terwijl je rode hebt gebruikt) of een stap overslaan. Je weet niet precies wat er gebeurd is, en je kunt het resultaat niet makkelijk controleren.

Het dilemma: Je wilt de vrijheid van de chat, maar de veiligheid van het strakke plan. Tot nu toe kon je maar één van beide hebben.

2. De Oplossing: De "Schema-poort" (Schema-Gated Orchestration)

De auteurs van dit paper hebben een slimme oplossing bedacht: De Schema-poort.

Stel je voor dat de AI (de kok) en de computer (de oven) niet direct met elkaar praten. Er zit een strenge keurmeester tussenin.

  1. Praat Vrij (Talk Freely): Jij praat met de AI. Je zegt: "Bak die taart, maar maak hem lichter." De AI denkt na, bedenkt een plan, en zegt: "Oké, ik ga 50% minder suiker gebruiken en blauwe bessen toevoegen."
  2. De Poort (The Gate): Voordat de AI iets doet, moet zijn plan door de keurmeester. De keurmeester kijkt niet naar of het plan "leuk" is, maar of het past in het strakke recept.
    • Vraag de keurmeester: "Zit er een stap voor het toevoegen van bessen?"
    • Vraag de keurmeester: "Is de hoeveelheid suiker een getal en niet een woord?"
    • Vraag de keurmeester: "Hebben we de blauwe bessen in het systeem?"
  3. Strikt Uitvoeren (Execute Strictly):
    • Als het plan niet past in de regels: De keurmeester zegt: "Stop! Je hebt geen blauwe bessen in het systeem. Zeg het maar tegen de kok, en vraag of hij rode bessen gebruikt of dat we eerst bessen moeten bestellen." (Dit is de "verduidelijking vóór uitvoering").
    • Als het plan wel past: De keurmeester geeft groen licht. De computer voert het exact uit, en schrijft elk detail op in een logboek.

3. Waarom is dit zo'n groot iets?

Vroeger was het zo:

  • Of je had een vrije AI die snel werk deed, maar je wist niet of het resultaat waar was (geen controle).
  • Of je had een strenge AI die alles controleerde, maar je moest alles zelf in detail opschrijven (geen vrijheid).

Met deze nieuwe methode ("Schema-Gated") krijg je het beste van twee werelden:

  • Je kunt vrij praten en ideeën uitwisselen met de AI.
  • Maar de AI kan niets doen totdat het plan is gecontroleerd op een machine-leesbaar stramien (het schema).

Het is alsof je een vriendelijke gids hebt die je door een veiligheidslab leidt. Je mag alles vragen en bespreken, maar niemand mag een deur openen of een knop indrukken zonder dat de beveiliging eerst heeft gecontroleerd of het veilig is.

4. De Resultaten van het Onderzoek

De auteurs hebben 20 verschillende systemen onderzocht (van simpele chatbots tot complexe wetenschappelijke software). Ze hebben ze beoordeeld op twee schalen:

  1. Hoe vrij kan je praten? (Conversational Flexibility)
  2. Hoe zeker weten we dat het werkt? (Execution Determinism)

Ze ontdekten dat er tot nu toe geen systeem was dat op beide gebieden een 10 haalde. De meeste systemen moesten kiezen: of vrij, of veilig.

Maar ze zagen een nieuwe zone ontstaan (de "Schema-Gated" zone). Systemen die werken met deze "keurmeester-poort" (zoals bepaalde Microsoft- en OpenAI-tools) komen het dichtst bij de ideale situatie: je kunt vrij praten, maar de uitvoering is altijd veilig en controleerbaar.

Samenvatting in één zin

Deze paper stelt voor om AI te laten praten als een vrijdenkende vriend, maar te laten werken als een strakke robot, waarbij een onzichtbare keurmeester (het schema) ervoor zorgt dat de vriend nooit iets doet wat de robot niet mag doen. Zo krijgen wetenschappers de snelheid van AI zonder het risico op fouten.