Position: AI Agents in Scientific Teams Should Be Studied as Human-Agent Systems

Technische Samenvatting: AI-agenten in wetenschappelijke teams moeten worden bestudeerd als mens-agent-systemen

Probleemstelling
Het artikel identificeert een kritische lacune in de huidige literatuur met betrekking tot op Large Language Models (LLM's) gebaseerde "AI-wetenschappers". Terwijl bestaand onderzoek steeds meer focust op de autonome capaciteiten van agenten om wetenschappelijke ontdekkingen te verrichten, negeert dit perspectief grotendeels de sociale en collaboratieve dynamiek die inherent is aan wetenschappelijke teamwork. Huidige systemen behandelen menselijke participatie vaak als beperkt tot het stellen van hoogwaardige doelen en de uiteindelijke verificatie, waarbij ze er niet in slagen de iteratieve, gezamenlijke samenwerking te verklaren die typerend is voor mens-mens teams. De auteurs stellen dat het bestuderen van AI-wetenschappers in isolatie de "sociale aspecten van wetenschappelijk teamwork" negeert en er niet in slaagt nabije risico's aan te pakken, zoals de homogenisering van wetenschappelijke nieuwsgierigheid en de reductie van de diversiteit aan onderwerpen, die ontstaan wanneer agenten worden ingezet zonder rekening te houden met mens-agent-dynamiek.

Methodologie
De auteurs hanteren een veelzijdige aanpak die literatuuronderzoek, empirische analyse en casestudy-onderzoek combineert via de lens van Mens-Agent-Systemen (HAS).

1. Literatuuronderzoek & Toepassing van Taxonomie: De auteurs beoordelen recente AI-wetenschaps-systemen (bijv. AI Scientist v2, Kosmos, Co-Scientist, Denario) en categoriseren deze op basis van het primaire kanaal van menselijke feedback. Ze adopteren een taxonomie van Zou et al. (2025a) om deze systemen te analyseren over drie dimensies:

   • Type: Evaluatief (kwaliteitsbeoordeling), Sturend (instructies/kritiek), of Corrigerend (bewerkingen/correcties).
   • Granulariteit: Grof (enkele beoordeling voor een output) of Fijn (gerichte stap-voor-stap feedback).
   • Fase: Pre-taak (planning), Mid-taak (executie), of Post-taak (evaluatie).
     Het overzicht laat zien dat de meeste systemen vertrouwen op feedback op artefactniveau (post-taak) of op het niveau van de ontdekkingsfase (mid-taak), terwijl zeer weinig ondersteuning bieden voor flexibele, asynchrone of fijnmazige interventie.

2. Voorlopig Empirisch Experiment: Om het gedrag van agenten met betrekking tot feedback te testen, voerden de auteurs een experiment uit met een ReAct-gebaseerde agent-harness met GPT-5-mini op de AstaBench End-to-End Discovery (E2E) benchmark. Ze vergeleken drie condities:

   • Een baseline planning-centrische agent.
   • Een agent met een "vraag de gebruiker"-tool en een feedback-taxonomie in de system prompt.
   • Een agent met expliciete instructies per stap om altijd de "vraag de gebruiker"-tool aan te roepen.
     De studie maakte gebruik van een LLM-als-rechter (LLM-as-a-judge) om het type, de granulariteit en de fase van de feedbackverzoeken te classificeren.

3. Casestudy-analyse: De auteurs analyseerden gepubliceerde verslagen van wetenschappers die samenwerken met agenten (bijv. "Vibe-coding" van een resultaat in de complexiteitstheorie met Gemini 3 Pro; verminderde natuurkundige modellering met GPT-5) om kwalitatief patronen van wederzijdse augmentatie en synergie te illustreren.

4. Theoretische Modellering: De auteurs stellen een conceptueel nut-model voor HAS voor, gedefinieerd als $U(H, A) = CA(H, A) - CD(H, A)$, waarbij $CA$ het samenwerkingsvoordeel (complementariteit) vertegenwoordigt en $CD$ het samenwerkingsnadeel (coördinatiekosten) vertegenwoordigt.

Belangrijkste Resultaten

• Feedbackbeperkingen: Het literatuuronderzoek geeft aan dat de meerderheid van de AI-wetenschaps-systemen menselijke interactie beperkt tot toezichthoudende rollen (afbakening, audit, goedkeuring) in plaats van duurzame, iteratieve samenwerking. Feedback op artefactniveau is het meest voorkomend, terwijl asynchrone sturing en fijnmazige onderbreking zeldzaam zijn.
• Agent Feedbackgedrag: In het voorlopige experiment faalde de agent zonder expliciete instructies per stap om te weten wanneer hij hulp moest vragen, en maakte vaak aannames in ambigue situaties. Wanneer de agent werd gedwongen om bij elke stap te vragen, was het dominante feedbacktype evaluatief (voorkomend tijdens de taak), gevolgd door sturend (pre-taak). Corrigerende feedback werd zelden gevraagd. Dit suggereert dat huidige agenten moeite hebben met zelfregulatie over wanneer zij fijnmazige, corrigerende menselijke input moeten zoeken.
• Bewijs van Risico's: Het artikel citeert bewijs dat AI-geaugmenteerd onderzoek drie keer zoveel papers kan produceren met een reductie van 5% in de diversiteit van onderzochte onderwerpen. Het benadrukt ook de risico's van hallucinaties, proliferatie van bias en het potentieel voor "de-skilling" (verlies van vaardigheden) bij junior onderzoekers die deliberatieve processen uitbesteden.
• Synergiepatronen: Casestudies toonden aan dat effectieve synergie optreedt wanneer mensen zorgen voor conceptuele inkadering, domeinoordeel en epistemische verificatie, terwijl agenten de implementatie en het opstellen van teksten versnellen. Deze synergie is echter fragiel; zonder deskundig toezicht vertonen agenten faalmodi zoals voortijdige zelfverzekerdheid en het gladstrijken van complexe kwesties.

Belangrijkste Bijdragen

1. Herformulering van de Analyse-eenheid: Het artikel pleit voor een verschuiving van de onderzoeksfocus van autonome "AI-wetenschappers" naar Mens-Agent-Systemen (HAS), waarbij de mens-agent-combinatie de analyse-eenheid is.
2. Taxonomie van Interactie: Het biedt een gestructureerde categorisering van huidige AI-wetenschaps-systemen op basis van feedbackkanalen (artefact, fase, planning, asynchroon) en dimensies (type, granulariteit, fase), waarbij de schaarste aan systemen die diepe, iteratieve samenwerking ondersteunen wordt benadrukt.
3. Risicobeheersingskader: Het stelt dat een HAS-lens essentieel is voor het beperken van nabije risico's, inclusief hallucinaties, bias en de erosie van wetenschappelijke expertise, door ervoor te zorgen dat menselijk toezicht geïntegreerd blijft in de ontdekkingscycli in plaats van te worden teruggebracht tot post-hoc beoordeling.
4. Voorstel voor Wiskundig Kader: De auteurs introduceren een nut-model ($U = CA - CD$) om toekomstig onderzoek te begeleiden bij het maximaliseren van het samenwerkingsvoordeel terwijl de coördinatiekosten worden geminimaliseerd.
5. Evaluatiepaden: Het artikel stelt een gefaseerde evaluatiestrategie voor voor HAS, bewegend van goedkope proxies (bijv. beoordelingstijd, interventiedichtheid, gesimuleerde oracle-synergie) naar duurdere Centaur-evaluaties (vergelijkingen van HAS tegenover mensen en agenten alleen), om de beoordeling van mens-agent-synergie haalbaar te maken.

Betekenis en Claims
Het artikel beweert dat het bestuderen van AI-wetenschappers als HAS zowel onderbelicht als ondergewaardeerd is. De betekenis ligt in:

• Beperken van Nabije Risico's: Door menselijke participatie centraal te stellen, biedt de HAS-lens concrete paden om hallucinaties te detecteren, bias te voorkomen en wetenschappelijke vaardigheden te behouden die anders door overmatige afhankelijkheid van automatisering zouden kunnen degraderen.
• Ontsluiten van Synergie: Het suggereert dat echte wetenschappelijke doorbraken een "mens-agent-synergie" kunnen vereisen waarbij het gecombineerde team beter presteert dan elk lid alleen, een staat die momenteel ontoegankelijk is voor volledig autonome agenten of mensen die in isolatie werken.
• Pragmatische Onderzoeksrichting: De auteurs beargumenteren dat het adopteren van de HAS-lens een pragmatische route is naar veilige en effectieve mens-agent co-ontdekking. Ze roepen op tot nieuw onderzoek om wiskundige kaders en evaluatiemetrieken te ontwikkelen die specif