Multi-Turn Evaluation of Deep Research Agents Under Process-Level Feedback
Dieses Paper führt ein Multi-Turn-Evaluationsframework für Deep-Research-Agenten unter Verwendung einer neuartigen Feedbackmethode auf Prozessebene namens Research Gap Inference ein und zeigt auf, dass, während eine einzelne Runde gezielten Feedbacks die Berichtsqualität signifikant verbessert, nachfolgende Durchgänge keine kumulativen Gewinne erzielen können, da die Agenten in Bezug auf zuvor erfüllte Kriterien zurückfallen, was darauf hindeutet, dass eine zuverlässige Multi-Turn-Verbesserung für aktuelle Architekturen noch nicht erreichbar ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein Team von hochintelligenten Forschungsassistenten (genannt Deep Research Agents) engagiert, um einen detaillierten Bericht über ein komplexes Thema zu schreiben, wie etwa „Die Geschichte der Deepfake-Technologie“ oder „Die finanzielle Gesundheit eines bestimmten Unternehmens“.
Normalerweise testen wir diese Assistenten, indem wir ihnen eine Frage stellen, sie einen Entwurf schreiben lassen und dann diesen einzelnen Entwurf bewerten. Aber im echten Leben akzeptiert man, wenn man von einem menschlichen Forscher einen Entwurf erhält, diesen selten einfach so. Man gibt ihm Feedback wie: „Sie haben einige wichtige Gesetze übersehen“ oder „Ihre Quellen sind zu vage“, und bittet ihn, den Text umzuschreiben.
Diese Arbeit stellt die Frage: Können diese KI-Assistenten tatsächlich besser werden, wenn man ihnen Feedback gibt, oder vermasseln sie alles, wenn sie versuchen, ihre eigene Arbeit zu korrigieren?
Die Forscher testeten dies auf zwei verschiedene Arten der Feedback-Gabe:
1. Der „Selbstreflexions“-Test (Der blind geführte Editor)
In diesem Szenario wird der KI gesagt: „Schau dir deinen Bericht an, finde deine eigenen Fehler und korrigiere sie.“ Es erfolgt keine externe Hilfe.
- Das Ergebnis: Es war, als würde man einen Schüler bitten, seinen eigenen Aufsatz zu bewerten, ohne dass ein Lehrer einen Lösungsschlüssel bereitstellt. Die KI gab sich Mühe, suchte verstärkt im Internet und las mehr Quellen, konnte aber nicht erkennen, was eigentlich falsch war.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, ein leckendes Boot zu reparieren, während Sie eine Augenbinde tragen. Sie hämmern vielleicht auf das Holz und fügen mehr Planken hinzu (tun also mehr Arbeit), aber weil Sie das Loch nicht sehen können, hämmern Sie vielleicht versehentlich ein neues Loch an einer anderen Stelle hinein. Das Ergebnis? Das Boot ist immer noch undicht, oder es leckt vielleicht sogar noch mehr. Die Punktzahl der KI änderte sich kaum oder wurde sogar schlechter.
2. Der „Prozess-Ebene-Feedback“-Test (Der strategische Coach)
Hier sagten die Forscher nicht einfach nur „korrigiere das“. Sie verwendeten ein spezielles Werkzeug namens RGI (Research Gap Inference). Dieses Tool analysierte den Bericht der KI und das Bewertungsraster, um herauszufinden, wie die KI versagt hatte.
Anstatt zu sagen „Füge ein Fakt über X hinzu“, war das Feedback eher wie ein Coach, der sagt: „Du suchst nach dem falschen Typ von Quellen,“ oder „Du behandelst dieses Thema zu allgemein und musst tiefer in spezifische Details eintauchen,“ oder „Du hast die wichtigsten Rechtsdokumente übersehen.“
- Das Ergebnis: Dies wirkte bei den ersten Korrekturdurchläufen Wunder. Die KI verstand die Strategie, ging zurück in die Bibliothek, fand die richtigen Bücher und schrieb einen viel besseren Bericht. Ihre Punktzahlen stiegen signifikant an (um etwa 8 bis 15 Punkte).
- Die Analogie: Dies ist wie ein Coach, der einem Läufer sagt: „Du hast nicht zu wenig Energie, deine Schuhe haben die falsche Größe.“ Sobald die KI die richtigen Schuhe hatte (die richtige Forschungsstrategie), lief sie viel schneller und besser.
Der Haken: Das „Umschreib“-Problem
Die Forscher baten die KI dann, es noch einmal zu versuchen (ein dritter Durchgang). Sie erwarteten, dass die Punktzahlen immer weiter steigen würden.
- Das Ergebnis: Bei den meisten KI-Modellen stoppte die Verbesserung. Tatsächlich passierte es, dass sie, als sie versuchten, die verbleibenden kleinen Probleme zu beheben, die Teile beschädigten, die bereits funktionierten.
- Die Analogie: Stellen Sie sich einen Koch vor, der eine großartige Suppe zubereitet. Der Coach sagt: „Gib eine Prise Salz hinzu.“ Der Koch fügt Salz hinzu, und die Suppe ist perfekt. Aber dann sagt der Coach: „Jetzt korrigiere die Garnitur.“ Der Koch, der perfekt sein will, entscheidet sich, den ganzen Topf wegzuschmeißen und von vorne zu beginnen. Im Prozess, einen neuen Topf zu kochen, vergisst er, das Salz hinzuzufügen, das er gerade erst hinzugefügt hat, oder er vermasselt das Gemüse, das er beim ersten Mal richtig hinbekommen hatte.
- Warum? Die in dieser Studie verwendeten KI-Modelle arbeiten dadurch, dass sie den gesamten Bericht jedes Mal von Grund auf neu schreiben. Sie haben kein Gedächtnis dafür, „was beim letzten Mal gut war“. Wenn sie also versuchen, eine Sache zu korrigieren, verlieren sie oft die Dinge, die sie bereits korrigiert hatten.
Die eine Ausnahme: Das „vorsichtige“ Modell
Ein spezifisches KI-Modell (DeepSeek-V4-Flash) verhielt sich anders. Es warf nicht den ganzen Topf weg. Es behielt den Großteil der guten Suppe bei und fügte nur die neuen Zutaten hinzu. Es verbesserte seine Punktzahl auch in der dritten Runde erneut.
- Die Kosten: Dieses „vorsichtige“ Modell war jedoch unglaublich teuer und langsam. Es verbrauchte etwa viermal mehr Rechenleistung und brauchte viel länger zum „Nachdenken“ als die anderen. Es war wie ein Koch, der sich weigert, irgendetwas wegzuwerfen, und jede einzelne Zutat akribisch prüft, was ewig dauert und ein Vermögen kostet.
Das Fazit
- KI kann sich nicht selbst korrigieren: Wenn man einer KI sagt: „Korrigiere deine eigenen Fehler“, macht sie meistens die Dinge nur schlimmer oder es ändert sich gar nichts, weil sie das große Ganze nicht sieht.
- Strategisches Feedback funktioniert: Wenn man der KI sagt, wie sie recherchieren soll (z. B. „Suche nach offiziellen Dokumenten, nicht nach Blogposts“), kann sie einen viel besseren Bericht schreiben.
- Der „Vollständiges Umschreiben“-Fehler: Aktuelle KI-Forschungswerkzeuge sind wie Künstler, die ihre gesamte Leinwand löschen, jedes Mal, wenn sie einen neuen Pinselstrich hinzufügen wollen. Dies macht es sehr schwierig, einen Bericht Schritt für Schritt zu verbessern, ohne versehentlich die bereits guten Teile zu löschen. Um wirklich zuverlässige, mehrstufige Verbesserungen zu erzielen, benötigen wir eine KI, die sich daran erinnern kann, was sie richtig gemacht hat, und nur das ändert, was repariert werden muss, anstatt jedes Mal von vorne zu beginnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.