Evaluating Deep Research Agents on Expert Consulting Work: A Benchmark with Verifiers, Rubrics, and Cognitive Traps
Dieser Beitrag stellt einen rigorosen Benchmark zur Bewertung von Deep-Research-Agenten bei Expertenkonsultationsaufgaben vor, der von SME verfasste Prompts mit kognitiven Fallen verwendet, und zeigt, dass aktuelle Frontier-Modelle (Claude, o3 und Gemini) aufgrund unterschiedlicher Fehlermodi wie Halluzinationen, Rechenfehlern und inkonsistenter Schlussfolgerungen durchweg niedrige Akzeptanzraten erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen ein Team hochintelligenter Forschungsassistenten ein, um eine komplexe Aufgabe zu erledigen: Sie müssen einen chaotischen Stapel von Dokumenten lesen, spezifische Zahlen finden, einige Berechnungen durchführen und einen professionellen Bericht für einen CEO verfassen. Wenn sie auch nur eine Zahl falsch angeben, könnte der CEO einen milliardenschweren Fehler begehen.
Dieser Artikel ist wie ein strenges Vorstellungsgespräch für drei der fortschrittlichsten verfügbaren KI-Forschungsassistenten (Claude, o3 und Gemini). Die Autoren von Deccan AI Research wollten herausfinden, ob diese KIs tatsächlich die Art von detaillierter, hochriskanter Arbeit leisten können, die menschliche Managementberater durchführen, oder ob sie lediglich gut darin sind, einfache Wissensfragen zu beantworten.
Hier ist die Aufschlüsselung ihres Experiments, unter Verwendung einfacher Analogien:
1. Der Test: Ein „Fallenreicher" Hindernisparcours
Die meisten vorherigen Tests für KIs waren wie die Frage: „Was ist die Hauptstadt von Frankreich?" (Faktisches Abrufen). Dieser Test war anders. Die Autoren schufen 42 komplexe Szenarien auf Basis echter Beratungsarbeit.
Stellen Sie sich diese Szenarien als einen Überlebensparcours vor, der darauf ausgelegt ist, die KIs zu täuschen. Die den KIs vorgelegten Dokumente enthielten „kognitive Fallen", wie zum Beispiel:
- Die „Rote-Hering"-Fallen: Eine Datei mit 100 Seiten Text, aber die Antwort ist in einer winzigen Fußnote auf Seite 98 versteckt.
- Die „Widerspruchs"-Fallen: Ein Dokument besagt, der Preis betrage 50 USD, aber eine Fußnote sagt: „Es sei denn, es ist Dienstag, dann sind es 60 USD."
- Die „Mathe-Falle": Die Aufforderung nach einem Durchschnitt, wobei die korrekte Methode einen gewichteten Durchschnitt erfordert (wie die Berechnung Ihrer Note basierend darauf, wie stark jede Prüfung zählt).
Wenn eine KI nur oberflächlich las oder riet, würde sie durchfallen.
2. Die Richter: Zwei Bewertungsebenen
Der Artikel ließ die KI nicht einfach die KI bewerten. Sie verwendeten ein zweistufiges Bewertungssystem:
- Ebene 1: Die Roboter-Prüfer (Verifizierer): Dies sind strenge, automatisierte Prüfungen. Hat die KI die Datei erstellt? Hat sie die richtigen Zahlen verwendet? Hat sie die richtigen Quellen zitiert? Wenn die KI auch nur einen mathematischen Schritt falsch ausführen, markierte diese Ebene dies als Durchfall.
- Ebene 2: Der menschliche Experte (der Fachexperte): Ein echter menschlicher Berater (mit über 15 Jahren Erfahrung) las den KI-Bericht. Er bewertete ihn anhand von fünf Kriterien:
- Datenintegrität: Haben Sie Fakten erfunden?
- Analytische Strenge: Ist Ihre Logik schlüssig?
- Relevanz: Haben Sie die Frage beantwortet oder nur herumgeredet?
- Ausführung: Haben Sie die Mathematik richtig berechnet?
- Format: Ist der Bericht professionell und verwendbar?
Die Endnote kombinierte diese beiden Ebenen. Um den Test zu „bestehen", musste eine KI sowohl die Roboter-Prüfer bestehen als auch den menschlichen Experten beeindrucken.
3. Die Ergebnisse: Die „Bestehensquote" war erschreckend niedrig
Von insgesamt 126 Versuchen (42 Aufgaben × 3 KIs) bestand fast niemand.
- Gemini bestand etwa 21 % der Zeit.
- Claude und o3 bestanden nur 9,5 % der Zeit.
Mit anderen Worten: Wenn Sie eine dieser KIs für ein Millionen-Dollar-Beratungsprojekt einstellen, besteht eine 79- bis 90-prozentige Wahrscheinlichkeit, dass sie keinen brauchbaren, genauen Bericht liefern.
4. Wie jede KI versagte (die „Persönlichkeiten" des Versagens)
Der Artikel ergab, dass jede KI auf ihre eigene, einzigartige Weise versagte, wie drei verschiedene Schüler bei einer schwierigen Prüfung:
Claude (Der selbstbewusste Fälscher):
- Stärke: Es war am besten darin, tatsächlich die finalen Dateien zu erstellen (wie Word-Dokumente oder Excel-Tabellen). Es vergaß selten, die Aufgabe abzugeben.
- Schwäche: Es war am wahrscheinlichsten, zu lügen. Wenn es keine Antwort in den Dokumenten finden konnte, erfand es selbstbewusst eine Zahl oder eine Quelle, um die Lücke zu füllen. Es war wie ein Schüler, der einen schönen Aufsatz schrieb, aber alle Fakten erfand.
o3 (Der sorgfältige, aber ungeschickte Mathematiker):
- Stärke: Wenn es reasoning betrieb, war seine Logik oft die sauberste.
- Schwäche: Es ließ häufig erforderliche Abschnitte des Berichts weg oder machte kaskadierende Rechenfehler. Wenn es Schritt eins vermasselte, war der Rest der Mathematik falsch. Es ignorierte manchmal auch Anweisungen, eine Datei zu erstellen, und gab stattdessen nur eine Textantwort.
Gemini (Die Achterbahn):
- Stärke: Wenn es funktionierte, war es oft das Beste. Es hatte die höchste Anzahl an „perfekten" Bewertungen.
- Schwäche: Es war unzuverlässig. Es hatte die höchste Anzahl an „Null"-Bewertungen. Manchmal stürzte es ab, weigerte sich zu antworten oder produzierte eine Datei mit kaputtem Code. Es war wie ein Schüler, der entweder die Prüfung mit Bravour bestand oder so schlecht versagte, dass er nicht einmal erschien.
5. Die große Erkenntnis
Der Artikel kommt zu dem Schluss, dass diese KI-Agenten zwar beeindruckend sind, aber noch nicht bereit für hochriskante, entscheidungsrelevante Arbeit sind.
Wenn ein menschlicher Berater einen Fehler macht, ist es meist ein kleiner Ausrutscher. Wenn diese KIs einen Fehler machen, ist es oft ein katastrophales Versagen: Sie könnten eine gefälschte Quelle erfinden, die Software zum Absturz bringen oder eine kritische Fußnote übersehen, die die gesamte Geschäftsentscheidung verändert.
Die Autoren bereiten derzeit eine zweite, größere Version dieses Tests vor, aber vorerst ist die Botschaft klar: Vertrauen Sie diesen KIs noch nicht mit den milliardenschweren Entscheidungen Ihres Unternehmens. Sie lernen noch, wie man verlässliche Forscher sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.