Position: AI Agents in Scientific Teams Should Be Studied as Human-Agent Systems

Technisches Resümee: KI-Agenten in wissenschaftlichen Teams sollten als Mensch-Agent-Systeme untersucht werden

Problemstellung
Das Paper identifiziert eine kritische Lücke in der aktuellen Literatur bezüglich der auf Large Language Models (LLM) basierenden „KI-Wissenschaftler“ (AI Scientists). Während sich die bestehende Forschung zunehmend auf die autonomen Fähigkeiten von Agenten zur Durchführung wissenschaftlicher Entdeckungen konzentriert, vernachigt diese Perspektive weitgehend die sozialen und kollaborativen Dynamiken, die für die wissenschaftliche Teamarbeit charakteristisch sind. Aktuelle Systeme behandeln die menschliche Beteiligung oft nur als auf die Festlegung hochrangiger Ziele und die abschließende Verifizierung beschränkt, wodurch die iterative, gemeinsame Kollaboration, wie sie in Mensch-Mensch-Teams typisch ist, unberücksichtigt bleibt. Die Autoren argumentieren, dass die isolierte Untersuchung von KI-Wissenschaftlern die „sozialen Aspekte der wissenschaftlichen Teamarbeit“ ignoriert und es versäumt, die kurzfristigen Risiken zu adressieren – wie etwa die Homogenisierung der wissenschaftlichen Untersuchung und die Reduzierung der Themenvielfalt –, die entstehen, wenn Agenten ohne Berücksichtigung der Mensch-Agent-Dynamiken eingesetzt werden.

Methodik
Die Autoren verwenden einen facettenreichen Ansatz, der Literaturrecherche, empirische Analyse und Fallstudienuntersuchungen durch die Linse der Mensch-Agent-Systeme (HAS) kombelt.

1. Literaturrecherche & Anwendung einer Taxonomie: Die Autoren untersuchen aktuelle KI-Wissenschaftler-Systeme (z. B. AI Scientist v2, Kosmos, Co-Scientist, Denario) und kategorisieren sie basierend auf dem primären Kanal des menschlichen Feedbacks. Sie wenden eine Taxonomie von Zou et al. (2025a) an, um diese Systeme über drei Dimensionen zu analysieren:

   • Typ: Evaluativ (Qualitätsbewertung), Anleitung (Instruktionen/Kritik) oder Korrektiv (Edits/Fehlerbehebungen).
   • Granularität: Grob (einzelne Bewertung für ein Ergebnis) oder Fein (gezieltes, schrittweises Feedback).
   • Phase: Vor der Aufgabe (Planung), während der Aufgabe (Ausführung) oder nach der Aufgabe (Evaluierung).
     Die Rezension zeigt, dass die meisten Systeme auf Feedback auf Artefakt-Ebene (Post-Task) oder auf Ebene der Entdeckungsphase (Mid-Task) angewiesen sind, wobei nur sehr wenige flexible, asynchrone oder feingranulare Interventionen unterstützen.

2. Vorläufiges empirisches Experiment: Um das Verhalten von Agenten in Bezug auf Feedback zu testen, führten die Autoren ein Experiment mit einem ReAct-basierten Agenten-Harness mit GPT-5-mini auf dem AstaBench End-to-End Discovery (E2E) Benchmark durch. Sie verglichen drei Bedingungen:

   • Einen Baseline-Agenten mit planungszentriertem Fokus.
   • Einen Agenten mit einem „Ask User“-Tool und einer Feedback-Taxonomie im System-Prompt.
   • Einen Agenten mit expliziten pro-Schritt-Instruktionen, stets das „Ask User“-Tool aufzurufen.
     Die Studie nutzte ein LLM-as-a-Judge, um den Typ, die Granularität und die Phase der Feedback-Anfragen zu klassifizieren.

3. Fallstudienanalyse: Die Autoren analysierten veröffentlichte Berichte über Wissenschaftler, die mit Agenten kollaborieren (z. B. „Vibe-coding“ eines Komplexitätstheorie-Ergebnisses mit Gemini 3 Pro; reduzierte Physikmodellierung mit GPT-5), um Muster gegenseitiger Augmentierung und Synergie qualitativ zu illustrieren.

4. Theoretische Modellierung: Die Autoren schlagen ein Toy-Utility-Modell für HAS vor, definiert als $U(H, A) = CA(H, A) - CD(H, A)$, wobei $CA$ den Kollaborationsvorteil (Komplementarität) und $CD$ den Kollaborationsnachteil (Koordinationskosten) darstellt.

Kernergebnisse

• Feedback-Beschränkungen: Die Literaturrecherche zeigt, dass die Mehrheit der KI-Wissenschaftler-Systeme die menschliche Interaktion auf Aufsichtsrollen (Scoping, Auditierung, Genehmigung) beschränkt, statt eine dauerhafte, iterative Kollaboration zuzulassen. Feedback auf Artefakt-Ebene ist am häufigsten, während asynchrone Steuerung und feingranulare Unterbrechung selten sind.
• Agenten-Feedback-Verhalten: Im vorläufigen Experiment versagte der Agent ohne explizite pro-Schritt-Instruktionen dabei, zu wissen, wann er um Hilfe bitten sollte, und traf stattdessen oft Annahmen in ambivalenten Situationen. Wenn er gezwungen wurde, bei jedem Schritt zu fragen, war der dominante Feedback-Typ evaluativ (während der Aufgabe), gefolgt von Anleitung (vor der Aufgabe). Korrektives Feedback wurde selten angefordert. Dies deutet darauf hin, dass aktuelle Agenten Schwierigkeiten haben, selbst zu regulieren, wann sie feingranuliertes, korrektives menschliches Input suchen sollten.
• Risiko-Evidenz: Das Paper zitiert Belege dafür, dass KI-augmentierte Forschung dreimal so viele Paper produzieren kann, jedoch mit einer Reduktion der Vielfalt der untersuchten Themen um 5 %. Es hebt zudem die Risiken von Halluzinationen, der Proliferation von Bias und der potenziellen „De-Skilling“-Effekte bei Nachwuchsforschern hervor, die deliberative Prozesse auslagern.
• Synergie-Muster: Fallstudien zeigten, dass effektive Synergie entsteht, wenn Menschen konzeptionelle Rahmung, fachliche Urteilskraft und epistemische Verifikation bereitstellen, während Agenten die Implementierung und das Entwerfen beschleunigen. Diese Synergie ist jedoch fragil; ohne Expertenaufsicht zeigen Agenten Fehlermodi wie verfrühte Zuversicht und das Glätten komplexer Probleme.

Zentrale Beiträge

1. Neudefinition der Analyseeinheit: Das Paper plädiert dafür, den Forschungsfokus von autonomen „KI-Wissenschaftlern“ auf Mensch-Agent-Systeme (HAS) zu verschieben, wobei das Paar aus Mensch und Agent die Analyseeinheit bildet.
2. Taxonomie der Interaktion: Es bietet eine strukturierte Kategorisierung aktueller KI-Wissenschaftler-Systeme basierend auf Feedback-Kanälen (Artefakt, Phase, Planung, asynchron) und Dimensionen (Typ, Granularität, Phase) und hebt die Knappheit an Systemen hervor, die tiefe, iterative Kollaboration unterstützen.
3. Rahmen zur Risikominderung: Es postuliert, dass eine HAS-Linse essenziell ist, um kurzfristige Risiken wie Halluzinationen, Bias und den Erosionsprozess wissenschaftlicher Expertise zu mildern, indem sichergestellt wird, dass die menschliche Aufsicht integraler Bestandteil der Entdeckungsschleifen bleibt und nicht auf eine Post-hoc-Überprüfung reduziert wird.
4. Vorschlag eines mathematischen Rahmens: Die Autoren führen ein Nutzenmodell ($U = CA - CD$) ein, um zukünftige Forschungen zu leiten, die darauf abzielen, den Kollaborationsvorteil zu maximieren und die Koordinationskosten zu minim Minimieren.
5. Evaluationspfade: Das Paper schlägt eine gestufte Evaluationsstrategie für HAS vor, die von kostengünstigen Proxys (z. B. Review-Zeit, Interventionsdichte, simulierte Oracle-Synergie) zu aufwendigeren Centaur-Evaluierungen (Vergleiche von HAS gegenüber Menschen und Agenten allein) übergeht, um die Bewertung der Mensch-Agent-Synergie machbar zu machen.

Bedeutung und Behauptungen
Das Paper behauptet, dass die Untersuchung von KI-Wissenschaftlern als HAS sowohl unterforscht als auch unterbewertet ist. Seine Bedeutung liegt in:

• Minderung kurzfristiger Risiken: Durch die Zentrierung der menschlichen Beteiligung bietet die HAS-Linse konkrete Wege, um Halluzinationen zu erkennen, Bias zu verhindern und wissenschaftliche Fähigkeiten zu bewahren, die durch übermäßige Automatisierung verloren gehen könnten.
• Erschließung von Synergien: Es legt nahe, dass echte wissenschaftliche Durchbrüche eine „Mensch-Agent-Synergie“ erfordern können, bei der das kombinierte Team die Leistung der einzelnen Mitglieder übertrifft – ein Zustand, der für vollautonome Agenten oder isoliert arbeitende Menschen derzeit unzugänglich ist.
• Pragmatische Forschungsrichtung: Die Autoren argumenten, dass die Übernahme der HAS-Linse ein pragmatischer Weg ist, um eine sichere und effektive Mensch-Agent-Ko-Entdeckung zu erreichen. Sie fordern neue Forschung zur Entwicklung mathematischer Rahmenbedingungen und Metriken, die spezifisch auf die Dynamik der Mensch-KI-Synergie in der wissenschaftlichen Entdeckung abzielen, anstatt Agenten als isolierte Optimierungslöser zu betrachten.

Das Paper schließt damit, dass die Evaluierung von HAS zwar komplex und kostspielig ist, ein gestufter Ansatz unter Verwendung leichtgewichtiger Metriken jedoch die Nützlichkeit dieser Systeme validieren kann, um letztlich ein wissenschaftliches Umfeld zu fördern, in dem KI die menschliche Deliberation ergänzt, statt sie zu ersetzen.