Dual-Agent Framework for Cross-Model Verified Translation of Natural-Language Protocols into Robotic Laboratory Platform

Technische Samenvatting: Dual-Agent Framework voor Cross-Model Geverifieerde Vertaling van Natuurlijke Taal Protocollen naar een Robotisch Laboratoriumplatform

1. Probleemstelling

Biologische experimentele protocollen zijn traditioneel geschreven in ongestructureerde natuurlijke taal, terwijl automatisatiesystemen voor zelfsturende laboratoria vertrouwen op vooraf gedefinieerde, deterministische besturingscommando's. Dit creëert een significante "semantische kloof" die autonome uitvoering belemmert. Deze uitdaging is bijzonder acuut bij microplate-gebaseerde experimenten (bijv. ELISA, Bradford-assays), die gelijktijdige coördinatie vereisen van well-mapping, monster-reagenscombinaties, replica-plaatsing en parallel dispenseren.

Huidige benaderingen kampen met twee primaire beperkingen:

1. Variabiliteit en Complexiteit: Microplate-protocollen vertonen een hoge variabiliteit in structuur en expressie. Zelfs binnen één assay-type (bijv. ELISA) variëren stappen, de omgang met reagentia en condities sterk. Het omzetten hiervan naar uitvoerbare structuren vereist structureel redeneren en contextueel begrip, niet louter keyword-matching.
2. Betrouwbaarheid van LLM's: Hoewel Large Language Models (LLM's) veelbelovend zijn in het interpreteren van wetenschappelijke tekst, worstelen single end-to-end LLM's vaak met het produceren van betrouwbare meerstapsplannen. Ze zijn gevoelig voor "hallucinaties", gecategoriseerd als:
   • Executie-hallucinaties: Het genereren van besturingscommando's die de specificaties van apparatuur schenden (bijv. onjuist gebruik van tips, onmogelijke vloeistofafhandeling-sequenties).
   • Redeneer-hallucinaties: Ontbrekende stappen, fouten in de volgorde of verkeerde interpretatie van condities.
     Het direct gebruiken van LLM-outputs voor robotbesturing brengt risico's op uitvoeringsfouten met zich mee. Bovendien missen single-model benaderingen expliciete mechanismen om uitvoerbaarheid te verifiëren, waardoor fouten ongedetecteerd kunnen voortplanten.

2. Methodologie

De studie stelt een Dual-Agent Framework voor dat de semantische kloof overbrugt via een driestaps-pipeline: Protocol Structurering, Deterministische Command Mapping, en Cross-Model Verificatie. Het framework werkt op een op maat gemaakt robotisch laboratoriumplatform (KIMM BioForge-1), uitgerust met een SCARA-robot voor plaattransport, een gantry-robot voor vloeistofafhandeling en een plate reader.

Kerncomponenten:

• Parser Agent (LLM-gebaseerd):
  • Converteert ongestructureerde natuurlijke taal protocollen naar een gestructureerde representatie met behulp van een beperkte interpretatie-prompt.
  • Scheidt stappen expliciet in twee domeinen: <MANUAL> (door de gebruiker uitgevoerde taken zoals verdunning) en <INSTRUMENT> (geautomatiseerde taken zoals vloeistofafhandeling en incubatie). Deze scheiding zorgt ervoor dat de daaropvolgende mapping engine alleen op uitvoerbare stappen opereert.
  • Produceert een genormaliseerde structuur met tags zoals <KIT_TITLE>, <MANUAL> en <INSTRUMENT>.
• Rule-Based Mapping Engine:
  • Dient als een deterministische uitvoeringslaag die het gestructureerde protocol vertaalt naar device-level besturingscommando's.
  • Past vooraf gedefinieerde regels toe voor coördinaten-mapping (het groeperen van wells voor multi-channel pipetteren), vloeistofafhandeling, tip-beheer (om kruiscontaminatie te voorkomen), plaattransport en omgevingscontrole.
  • Deze laag absorbeert de granulariteitskloof tussen semantische eenheden en uitvoeringseenheden (bijv. het uitbreiden van een enkele "Wash 4×" stap naar 34 device-level commando's).
• Validation Agent (Heterogene LLM):
  • Een distinct LLM (verschillend van de Parser) voert cross-verificatie uit van de gegenereerde command-sequentie tegenover het originele protocol.
  • Verifieert drie criteria: Volledigheid (geen ontbrekende stappen), Parameter Nauwkeurigheid (correcte conversie van volumes, tijden, temperaturen) en Executie Volgorde (naleving van instrument-constraints).
  • Indien fouten worden gedetecteerd, genereert de agent gestructureerde feedback (fouttype, locatie, instructie) om een zelfcorrectie-loop te triggeren, waarbij het gestructureerde protocol en de command-sequentie opnieuw worden gegenereerd.

Experimenteel Ontwerp:

• Dataset: 30 willekeurig geselecteerde ELISA-protocollen uit 1.000 online verzamelde protocollen, variërend in beschrijvingsstijl en format.
• Ground Truth: Geconstrueerd in twee lagen: (1) Gestructureerd Protocol GT en (2) Device-level Control Command GT, gelabeld door deskundige reviewers.
• Model Pool: 7 Parser modellen (variërend van GPT-5 tot lokale Llama modellen) en 3 Validator modellen (GPT-5, llama-4-maverick, Claude Sonnet 4.6).
• Metrics:
  • Parameter Nauwkeurigheid: Aggregeert correcte parameters over de gestructureerde en command-lagen, waarbij over-generatie wordt bestraft.
  • Pass Rate: Gecategoriseerd per pogingsnummer (1ste Poging, 2de Poging, 3de Poging, Definitief Falen) binnen een limiet van 3 pogingen.
  • Latency: Gemiddelde verwerkingstijd per protocol.

3. Belangrijkste Resultaten

• Effectiviteit van Cross-Model Verificatie:
  • De effectiviteit van de zelfcorrectie-loop hangt sterk af van de kritische verificatiecapaciteit van de Validator, en niet enkel van model-heterogeniteit.
  • Validators zoals llama-4-maverick en GPT-5 (wanneer gebruikt als validators voor hun eigen familie's parsers) waren te permissief, wat resulteerde in een verwaarloosbare verbetering van de nauwkeurigheid en een hoog "Definitief Falen"-percentage.
  • De Claude Sonnet 4.6 Validator demonstreerde sterke verificatiecapaciteiten. Het induceerde regeneratie voor alle Parser modellen, wat de nauwkeurigheid aanzienlijk verbeterde. Bijvoorbeeld, de nauwkeurigheid van GPT-4.1-mini steeg van ~0.4 naar ~0.7–0.8, en llama-3.3-70b verbeterde van 0.2 naar 0.35–0.4.
  • Cross-model combinaties (verschillende families) presteerden beter dan self-validation combinaties, wat bevestigingsvooroordelen (confirmation bias) verminderde.
• Nauwkeurigheid–Latency Trade-off:
  • Kleine lokale modellen (bijv. GPT-4.1-nano) zijn snel maar hebben een lage baseline nauwkeurigheid. Echter, wanneer ze gekoppeld worden aan een sterke Validator (Claude), stijgt hun effectieve nauwkeurigheid aanzienlijk zonder de latency te verhogen, waardoor de Pareto-frontier naar boven verschuift.
  • Dit suggereert een praktische implementatiestrategie: het gebruik van kleine, on-premise modellen met een sterke externe validator om een hoge betrouwbaarheid te bereiken terwijl de dataprivacy en lage latency behouden blijven.
• Hybrid vs. End-to-End:
  • Het voorgestelde hybride framework (LLM + Rule-Based Engine) presteerde significant beter dan een end-to-end LLM benadering (waarbij de LLM direct device-commando's genereert) in zowel Parameter Nauwkeurigheid als Latency.
  • De rule-based engine elimineerde executie-hallucinaties (bijv. ongeldig gebruik van tips), wat bewijst dat het scheiden van semantische interpretatie van deterministische constraint-handhaving superieur is.
• End-to-End Demonstratie:
  • Het framework voerde succesvol twee experimenten uit op het robotische platform: een eenvoudige dispensing procedure en een Bradford-assay voor totale eiwitkwantificatie.
  • Met GPT-5 als Parser en Claude Sonnet 4.6 als Validator, slaagden beide protocollen voor de verificatie op de 1ste poging zonder regeneratie, wat resulteerde in succesvolle fysieke uitvoering en een accurate standaardcurve generatie.

4. Betekenis en Claims

Het artikel claimt een flexibele, model-agnostische benadering te bieden om de semantische kloof te verkleinen tussen natuurlijke taal protocollen en microplate-gebaseerde zelfsturende laboratoria. De specifieke bijdragen zijn:

1. Geïntegreerd Framework: Het presenteert een enkele pipeline die semantische structurering, deterministische command mapping en cross-model verificatie afhandelt, wat de volledige vertaling van natuurlijke taal naar fysieke robotuitvoering mogelijk maakt.
2. Lichtgewicht Nauwkeurigheidsherstel: Het demonstreert dat mid- en small-sized LLM's een vertaalnauwkeurigheid kunnen bereiken die die van grote cloud-modellen benadert door middel van inference-time correctie (gebruikmakend van een heterogene Validator) zonder dat extra training of fine-tuning nodig is.
3. Architecturale Validatie: Het valideert dat een hybride architectuur (LLM voor semantiek + Rule-based voor constraints) superieur is aan end-to-end LLM mapping voor robotbesturing, en effectief hallucinaties mitigeert.
4. Human-in-the-Loop Paradigma: Het systeem verschuift de rol van de onderzoeker van script schrijven en debuggen naar experimenteel ontwerp en supervisie, wat aansluit bij de visie van autonome laboratoria.

De auteurs merken bescheiden op dat de huidige validatie beperkt is tot microplate-gebaseerde procedures (ELISA, verdunning, dispensing) en dat generalisatie naar andere experimenttypen (bijv. celcultuur, PCR) het uitbreiden van de rule-based engine vereist, wat de modulaire opzet ondersteunt.