Measuring Mid-2025 LLM-Assistance on Novice Performance in Biology

Titel: Het meten van LLM-ondersteuning van midden-2025 op de prestaties van beginners in de biologie

Auteurs: Shen Zhou Hong, Alex Kleinman, Alyssa Mathiowetz, et al. (Active Site en partners)
Datum: 18 februari 2026

1. Het Probleem en de Context

Grote Taalmodellen (LLMs) tonen steeds sterkere prestaties op biologische benchmarks, wat zorgen heeft opgewekt dat ze novice-acteurs (mensen met weinig ervaring) kunnen helpen om "dubbelgebruik"-vaardigheden te verwerven, zoals het synthetiseren van virussen (reverse genetics). Hoewel LLMs experts op benchmarks overtreffen, is het onduidelijk of dit vertaalt naar verbeterde prestaties in een fysiek laboratorium. Bestaande benchmarks (zoals VCT en LAB-Bench) testen vaak feitelijke kennis in digitale omgevingen en missen de noodzaak van "tacit knowledge" (impliciete kennis), zoals handvaardigheid, asepsis en het oplossen van praktische problemen in een lab. Er is een gebrek aan empirisch bewijs uit gerandomiseerde gecontroleerde trials (RCT's) die de impact van LLM's op fysieke laboratoriumtaken van beginners meten.

2. Methodologie

De auteurs hebben een pre-geregistreerde, onderzoeker-verblindde, gerandomiseerde gecontroleerde trial (RCT) uitgevoerd.

• Deelnemers: 153 deelnemers met minimale eerdere laboratoriumervaring (voornamelijk studenten). Ze werden willekeurig toegewezen aan twee groepen:
  • Internet-groep (Controle): Toegang tot internet, zoekmachines, Wikipedia, YouTube, en forums (alleen leesrechten), maar geen toegang tot LLM's of communicatie-apps.
  • LLM-groep (Interventie): Toegang tot dezelfde internetbronnen plus toegang tot de meest geavanceerde LLM's van midden-2025 (Anthropic Opus 4/Sonnet 4, OpenAI o3/GPT-4o/GPT-5, Google Gemini 2.5). Veiligheidsfilters waren uitgeschakeld om maximale capaciteit te testen.
• Duur en Setting: 8 weken (juni-augustus 2025), 39 sessies van 4 uur in een BSL-2 laboratorium (Cambridge, MA).
• Taken: Deelnemers moesten onafhankelijk vijf taken uitvoeren die een virale reverse-genetics workflow simuleren:
  1. Micropipetteren (Pre-taak).
  2. Mammaliene celkweek (Task 2).
  3. Moleculaire klonering (Task 3).
  4. Virusproductie (rAAV rescue) (Task 4).
  5. RNA-kwantificering (Task 5).
• Design: De taken werden gedefinieerd door hoge-level doelen zonder gedetailleerde protocollen. Deelnemers moesten zelf reagentia en apparatuur identificeren uit een inventarislijst. Er was geen menselijke instructie.
• Statistiek: Primair eindpunt was het succesvol voltooien van de kernsequentie (celkweek, klonering, virusproductie). Er werden zowel Frequentistische analyses (Fisher's exact test) als Bayesiaanse hiërarchische modellen gebruikt om het effect te schatten, inclusief een "out-of-sample" schatting voor een "typische" taak.

3. Belangrijkste Resultaten

• Hoofdeindpunt (Voltooiing): Er was geen significant verschil in het succesvol voltooien van de volledige reverse-genetics workflow tussen de LLM-groep en de Internet-groep.
  • LLM-groep: 5,2% succes (4 van 77).
  • Internet-groep: 6,6% succes (5 van 76).
  • P-waarde: 0,759 (niet significant).
• Individuele Taken:
  • Voor de meeste individuele taken was er geen significant verschil in het eindresultaat.
  • Uitzondering (Celkweek): De LLM-groep had een numeriek hogere succesrate (68,8% vs 55,3%, P=0,059). In de "Per-Protocol Set" (deelnemers die de volledige studie voltooinden) was dit verschil significant (79,7% vs 62,5%, P=0,025).
• Bayesiaanse Pooled Analyse: Omdat de voltooiingspercentages laag waren, werd een post-hoc Bayesiaanse analyse uitgevoerd over alle taken heen.
  • Dit suggereert een ongeveer 1,4-voudige toename (95% CrI 0,74–2,62) in de kans op succes voor een "typische" reverse-genetics taak met LLM-ondersteuning.
  • De posterior kans op een positief effect varieerde tussen 81% en 96% voor het doorlopen van tussenstappen.
• Voortgang en Efficiëntie:
  • De LLM-groep slaagde er sneller in om de eerste stappen te zetten en verder te komen in de protocollen, zelfs als ze de taak niet volledig voltooiden.
  • Bij celkweek bereikte de LLM-groep succes ongeveer 6 dagen eerder dan de Internet-groep.
  • Deelnemers in de LLM-groep waren echter vaak niet in staat om complexe taken zoals moleculaire klonering correct uit te voeren; LLM's genereerden vaak foutieve sequenties of reagentia-adviezen.
• Gebruikspatronen: Deelnemers gebruikten LLM's intensief (gemiddeld 23 prompts per dag), maar vonden YouTube vaak nuttiger dan de LLM's zelf. De vertrouwen in de LLM's nam af naarmate de studie vorderde, terwijl het vertrouwen van de controlegroep toenam.

4. Belangrijkste Bijdragen

1. Grootste RCT op dit gebied: Dit is de grootste publieke studie die de impact van LLM's op de prestaties van beginners in fysieke biologische laboratoria meet.
2. Kloof tussen Benchmarks en Realiteit: Het bewijs dat sterke prestaties op digitale benchmarks (in silico) niet noodzakelijk leiden tot significante verbetering in fysieke uitvoering (in vivo) door beginners. De beperkingen liggen in de "tacit knowledge" en het vermogen om fouten in LLM-outputs te detecteren.
3. Methodologische Innovatie: Het introduceren van gedetailleerde procesmetingen (stap-voor-stap voortgang) in plaats van alleen binair succes/falen, wat subtielere effecten van AI-ondersteuning blootlegt.
4. Beleid en Bioveiligheid: Het biedt een empirische basis voor bioveiligheidsbeleid, wat suggereert dat huidige AI-risico's voor beginners misschien minder acuut zijn dan theoretische projecties doen vermoeden, maar dat er wel een bescheiden "uplift" is.

5. Betekenis en Conclusie

De studie concludeert dat LLM's van midden-2025 geen substantiële toename veroorzaken in het onafhankelijk voltooien van complexe laboratoriumprocedures door beginners binnen de gegeven tijdspanne. Hoewel er een bescheiden prestatievoordeel is (vooral bij het versnellen van de voortgang en bij celkweek), zijn de modellen nog niet krachtig genoeg om beginners volledig te laten slagen in complexe workflows zoals virusproductie zonder menselijke expertise.

De resultaten benadrukken dat:

• Tacit knowledge (handvaardigheid, visuele beoordeling) een grote barrière blijft die tekstuele AI-middelen moeilijk kan overbruggen.
• Elicitatie-problemen: Beginners hebben moeite om de juiste prompts te formuleren om accurate, specifieke laboratoriumadviezen te krijgen.
• Validatie: AI-beveiligingsbeoordelingen moeten worden gevalideerd in fysieke wereldscenario's en niet alleen op basis van digitale benchmarks.

De studie pleit voor een adaptief, evidence-based beleid voor bioveiligheid dat rekening houdt met de evolutie van zowel modelcapaciteiten als de vaardigheden van gebruikers.