🤖 AI

VeriTrace: Evolving Mental Models for Deep Research Agents

Das Papier stellt VeriTrace vor, ein kognitives Graph-Framework, das Deep-Research-Agenten durch die Implementierung expliziter regulatorischer Schleifen zur Evolution mentaler Modelle verbessert und damit die Leistung auf Benchmarks wie DeepResearch Bench und DeepConsult im Vergleich zu bestehenden Systemen signifikant steigert.

Ursprüngliche Autoren: Haolang Zhao, Yunbo Long, Lukas Beckenbauer, Alexandra Brintrup

Veröffentlicht 2026-05-26

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haolang Zhao, Yunbo Long, Lukas Beckenbauer, Alexandra Brintrup

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem „Verloren in der Bibliothek"

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein riesiges, komplexes Rätsel zu lösen. Sie haben ein Team von Forschern (die KI), das Millionen von Büchern und Artikeln lesen kann.

Das Problem:
In früheren Systemen würde der Detektiv alle Informationen einfach in einen riesigen, unordentlichen Stapel Papier auf seinem Schreibtisch werfen. Je mehr er las, desto höher wurde der Stapel. Aber weil der Stapel nur eine flache Ansammlung war, passierte dem Detektiv oft Folgendes:

Er vergaß, was er bereits wusste.
Er wurde durch widersprüchliche Fakten verwirrt.
Er suchte immer wieder nach demselben Ding, weil er nicht merkte, dass er die Antwort bereits gefunden hatte.
Er steckte in einer „falschen Theorie" fest und suchte weiterhin nach Beweisen, die sie stützten, selbst wenn die Beweise das Gegenteil bewiesen.

Das ist das, was passiert, wenn eine KI versucht, „tiefgehende Forschung" ohne ein gutes System zu betreiben. Sie verlässt sich auf die rohe Denkkraft der KI (ihre „Skalierung"), um den Unrat zu sortieren, was teuer ist und oft scheitert.

Die Lösung: VeriTrace
Die Autoren entwickelten VeriTrace, das wie eine intelligente, lebendige Landkarte für den Detektiv fungiert. Anstelle eines unordentlichen Papierstapels baut die KI einen dynamischen „kognitiven Graphen". Stellen Sie sich diesen Graphen als Bauplan einer Baustelle vor, der sich verändert, während das Gebäude errichtet wird.

Das Papier argumentiert, dass die KI, um tiefgehende Forschung gut zu betreiben, drei spezifische „Regelkreise" (Regeln des Engagements) benötigt, um ihre mentale Landkarte genau zu halten.

Die drei „Regelkreise" (Das Geheimrezept)

Das Papier identifiziert drei spezifische Wege, wie die KI ihr Denken aktualisiert. Hier ist, wie sie funktionieren, unter Verwendung der Analogie einer Detektiv-Klebeplatte:

1. Interpretatives Update (Der „Schrank"-Check)

Der alte Weg: Wenn ein Detektiv einen neuen Hinweis findet, klebt er ihn einfach an die Platte. Er prüft nicht, ob er zu dem passt, was er bereits weiß.
Der VeriTrace-Weg: Bevor der Detektiv einen neuen Hinweis an die Platte klebt, fragt er: „Bestätigt dies, was ich denke? Widerspricht es meiner Theorie? Ist es eine Lücke, die ich füllen muss? Oder ist es eine Überraschung?"
Die Analogie: Stellen Sie sich vor, Sie ordnen einen Schrank. Sie werfen neue Kleidung nicht einfach auf den Boden. Sie prüfen: „Habe ich bereits ein rotes Hemd? Ist dies ein neuer Stil? Passt dies zum Outfit, das ich zusammenstelle?"
Warum es wichtig ist: Dies verhindert, dass die KI durch Rauschen abgelenkt wird. Es stellt sicher, dass jedes neue Informationsteil in den richtigen „Konzept"-Eimer sortiert wird und das mentale Modell scharf bleibt.

2. Abweichungs-Feedback (Die „GPS-Neuberechnung")

Der alte Weg: Der Detektiv hat einen Plan: „Geh zur Bibliothek." Er geht hin, aber die Bibliothek ist geschlossen. Er versucht einfach, wieder zur Bibliothek zu gehen, oder er wandert ziellos umher.
Der VeriTrace-Weg: Bevor er losgeht, setzt der Detektiv eine spezifische Erwartung: „Ich erwarte, ein bestimmtes Buch im obersten Regal zu finden." Wenn er ankommt und das Buch nicht da ist, fragt das System: „Warum? Fehlt das Buch? Ist die Bibliothek geschlossen? Ist das Buch unter einem anderen Namen?"
Die Analogie: Denken Sie an ein GPS. Wenn Sie eine Abfahrt verpassen, sagt das GPS nicht einfach „Fahren Sie weiter". Es analysiert, warum Sie sie verpasst haben (Verkehr, falsche Straße), und schlägt sofort eine neue Route vor (umkehren, Umleitung nehmen).
Warum es wichtig ist: Dies verhindert, dass die KI Zeit damit verschwendet, dieselbe gescheiterte Suche immer wieder zu wiederholen. Es hilft der KI, Strategien zu wechseln (z. B. „Die Bibliothek ist geschlossen, lass uns stattdessen die Archive prüfen").

3. Schemarevision (Das „Neuzeichnen der Landkarte")

Der alte Weg: Der Detektiv ist überzeugt, dass der Mörder ein Butler ist. Er sucht weiterhin nach Butlern, selbst wenn alle Beweise auf den Gärtner hindeuten. Er steckt in seinem ursprünglichen Rahmen fest.
Der VeriTrace-Weg: Wenn sich die Hinweise häufen und zeigen, dass die „Butler-Theorie" völlig falsch ist, hört der Detektiv auf zu suchen und zeichnet die gesamte Landkarte neu. Er erkennt: „Warte, der Mörder ist keine Person; es ist ein Konzern." Er reißt die alte Platte herunter und baut eine neue, die der Realität entspricht.
Die Analogie: Stellen Sie sich vor, Sie spielen Tetris. Sie versuchen immer wieder, einen quadratischen Block in ein dreieckiges Loch zu passen. Schließlich erkennen Sie, dass das gesamte Level-Layout falsch ist. Sie zwingen den Block nicht einfach; Sie strukturieren das gesamte Spielbrett neu, damit die Teile passen.
Warum es wichtig ist: Dies ermöglicht es der KI, zuzugeben, dass sie sich nicht nur in den Details, sondern in der Struktur des Problems geirrt hat. Es verhindert, dass die KI Stunden damit verschwendet, ein Puzzle zu lösen, das falsch formuliert war.

Wie VeriTrace in der Praxis funktioniert

Das System ist wie eine Baumannschaft aufgebaut:

Der Planer: Der Vorarbeiter, der den Bauplan (den kognitiven Graphen) betrachtet und entscheidet, als Nächstes zu bauen.
Die Sucher: Die Arbeiter, die hinausgehen und Materialien (Webseiten) finden.
Der Leser: Der Inspektor, der die Materialien prüft und genau aufschreibt, was er gefunden hat, unter Angabe der Quelle.
Der Manager: Der Architekt, der den Bauplan basierend auf dem aktualisiert, was der Inspektor gefunden hat.

Das Ergebnis:
Das Papier testete dieses System gegen andere führende KI-Forschungstools.

Auf dem „DeepResearch Bench": VeriTrace erzielte deutlich höhere Werte, insbesondere bei „Insight" (der Fähigkeit, Punkte zu verbinden und tiefe Bedeutung zu finden).
Auf „DeepConsult": Es gewann in mehr als 80 % der Fälle gegen andere starke Systeme.
Die zentrale Erkenntnis: Selbst wenn ein kleineres, günstigeres KI-Modell verwendet wurde, schnitt VeriTrace besser ab als Systeme, die viel größere, teurere Modelle nutzten. Dies beweist, dass ein gutes Regelkreis-System (die Schleifen) wichtiger ist als nur ein größeres Gehirn zu haben.

Zusammenfassung

VeriTrace ist eine neue Art für KI, tiefgehende Forschung zu betreiben. Anstatt einfach nur „mehr zu lesen", lehrt es die KI, ihr eigenes Denken zu organisieren, hinterfragen und neu zu strukturieren.

Interpretatives Update = Die Hinweise sortieren.
Abweichungs-Feedback = Die Route korrigieren, wenn man sich verirrt.
Schemarevision = Die Landkarte neu zeichnen, wenn die gesamte Theorie falsch ist.

Durch die Nutzung dieser drei Schleifen bleibt die KI auf Kurs, vermeidet Sackgassen und produziert viel intelligentere, genauere Forschungsberichte.

Technische Zusammenfassung: VeriTrace: Evolution mentaler Modelle für Deep-Research-Agenten

Problemstellung

Deep-Research-Agenten stehen vor der Herausforderung, sich in riesigen, strukturell voneinander abhängigen und durchgängig unsicheren Informationslandschaften zu bewegen. Bestehende Systeme versuchen, dies zu bewältigen, indem sie Zwischenergebnisse der Forschung (z. B. Gliederungen, Evidenzbanken, To-Do-Listen) externalisieren, um über das Kontextfenster des LLM hinauszuwachsen. Diese Systeme verlassen sich jedoch weitgehend auf das implizite Schlussfolgern des LLM, um diese intermediären Repräsentationen weiterzuentwickeln. Die Autoren argumentieren, dass ohne explizite Regulierung diese Zwischenschichten leicht durch Informationen gemischter Qualität kontaminiert werden, was dazu führt, dass sich Fehler entlang der Abhängigkeiten fortpflanzen. Folglich ersetzen aktuelle Systeme oft die Modellgröße durch das Fehlen von Regulierungsmechanismen, was zu einer Leistungsverschlechterung führt, wenn die Backbone-Modelle festgelegt sind oder wenn Aufgaben hochgradig unsicher werden.

Das Kernproblem besteht darin, zu identifizieren, welche Regulierungsschleifen notwendig sind, um einem Agenten zu ermöglichen, sein „mentales Modell" (seine intermediäre Repräsentation der Aufgabe) an Unübersichtlichkeiten anzupassen, das Aufgabenverständnis kontinuierlich mit der Realität abzugleichen und sich in eine gesunde Richtung weiterzuentwickeln.

Methodik: Das VeriTrace-Framework

Die Autoren schlagen VeriTrace vor, ein kognitiv-graphbasiertes Framework, das drei Regulierungsschleifen explizit implementiert, um die Evolution des mentalen Modells des Agenten zu steuern. Das System behandelt die Zwischenschicht nicht als statischen Speicher, sondern als dynamische Repräsentation des Lernstatus des Agenten, der Evidenz-Erkenntnisse und der Unsicherheiten.

1. Struktur des Kognitiven Graphen

Das mentale Modell des Agenten wird als Kognitiver Graph $G_t = (S_t, C_t)$ instanziiert:

Knoten ( $N_t$ ): Repräsentieren untersuchte Konzepte. Jeder Knoten speichert Akzeptanzkriterien, gesammelte Erkenntnisse, einen kognitiven Zustand (UNBEKANNT, TEILWEISE, BEKANNT) und ein Qualitätsprofil.
Kanten ( $E_t$ ): Repräsentieren Untersuchungsbeziehungen (strategische Fragen) zwischen Konzepten und tragen Suchverlauf und Status (zu lösen, Untersuchung, gelöst, erschöpft).
Inhalt: Knoten und Kanten speichern strukturierte Erkenntnisse, Widersprüche und Qualitätswerte, die aus einem CR-AAP-Bewertungsmechanismus (Currency, Relevance, Authority, Accuracy, Purpose) abgeleitet werden.

2. Die drei Regulierungsschleifen

VeriTrace operationalisiert drei spezifische Feedback-Schleifen, wobei Konzepte der Kognitionswissenschaft (Metakognition, prädiktive Verarbeitung sowie Assimilation/Akkommodation) als Designvokabular dienen:

Interpretives Update (Assimilation):
- Mechanismus: Wenn neue Erkenntnisse extrahiert werden, werden sie nicht passiv akkumuliert. Stattdessen interpretiert der Cognitive Graph Manager sie im Hinblick auf den aktuellen Graphzustand. Erkenntnisse werden als bestätigend, widersprüchlich, lückenschließend oder überraschend klassifiziert.
- Funktion: Dies gestaltet aktiv, was als verwertbare Beobachtung zählt. Es aktualisiert die restlichen Kriterien und den kognitiven Zustand des Knotens und stellt sicher, dass das System genau verfolgt, wie weit jedes Konzept gelöst ist, anstatt lediglich einen Speicherspeicher zu füllen.
- Implementierung: Verwendung eines strukturierten Update-Operators ( $\oplus_G$ ), der Erkenntnisse in eine zweistufige Struktur (itemspezifisch und übergreifend) einfügt und den kognitiven Zustand $\sigma$ aktualisiert.
Abweichungs-Feedback (Prädiktive Verarbeitung):
- Mechanismus: Vor einer Suche erklärt der Planer Erwartungen für ein Konzept. Nach einer Suche wird das Ergebnis anhand dieser Erwartungen bewertet, wobei ein Abweichungssignal $\delta_t^j$ verwendet wird, das Inhaltsrelevanz, Quellencredibility, Zugänglichkeitsbarrieren und die Stärke unerwarteter Erkenntnisse umfasst.
- Funktion: Dieses Signal leitet den Planer zu einer von fünf spezifischen Suchstrategien (Exploit, Verify, Substitute, Pivot, Explore), anstatt einen undifferenzierten Wiederholungsversuch auszulösen. Es ermöglicht dem System, zwischen einem strategischen Fehler (falsche Quelle) und einem Framing-Fehler (falsches Konzept) zu unterscheiden.
- Implementierung: Eine Abbildung $\pi: D \to A_{search}$ partitioniert den Abweichungsraum, um die optimale nächste Aktion auszuwählen.
Schemarevision (Akkommodation):
- Mechanismus: Wenn akkumuliertes Feedback darauf hindeutet, dass das aktuelle Framing selbst von der Realität abweicht (z. B. häufen sich Widersprüche oder Abweichungssignale persistieren in derselben Region), schlägt der Agent eine strukturelle Umstrukturierungsoperation vor.
- Funktion: Dies schreibt Konzeptbeschriftungen, Relationen und Untersuchungsziele um, während bestehende Evidenz erhalten bleibt (Invariant I1). Es ermöglicht dem Agenten, aus einem falschen anfänglichen Framing auszubrechen, anstatt darin gefangen zu bleiben.
- Implementierung: Fünf strukturelle Operatoren ( $R_{conc}, R_{aug}, R_{pivot}, R_{prune}, R_{correct}$ ) modifizieren die Graph-Topologie. Beispielsweise konkretisiert $R_{conc}$ einen Platzhalter-Knoten in spezifische Entitäten, und $R_{pivot}$ rotiert die Abhängigkeitsachse, wenn sich Evidenz nach Entität statt nach Dimension ko-lokalisiert.

3. Systemdynamik

Das System wechselt zwischen Assimilation (Verteilung von Suchaufgaben und Aktualisierung des Graphen) und Akkommodation (Vorschlag struktureller Umstrukturierungen). Eine Schreibpipeline verarbeitet den finalen Graphen und den Evidenzspeicher, um einen Bericht zu erstellen, und stellt dabei die Nachverfolgbarkeit von Zitaten durch einen dreischichtigen Prozess (Outline Planner, Section Planner, Section Writer) sicher, der den Informationszugriff strikt begrenzt.

Hauptbeiträge

Identifikation von Regulierungsschleifen: Die Arbeit identifiziert drei explizite Feedback-Schleifen (interpretives Update, Abweichungs-Feedback, Schemarevision) als zentrale Mechanismen zur Regulierung des mentalen Modells eines Agenten unter Unsicherheit.
VeriTrace-Implementierung: Ein kognitiv-graphbasiertes Framework, das Forschung um Konzepte herum organisiert und nicht um Teilaufgaben, und das die drei Schleifen explizit implementiert, um die Bewahrung von Evidenz unter struktureller Revision zu ermöglichen.
Empirische Validierung: Umfassende Experimente, die zeigen, dass explizite Regulierungsschleifen die Leistung bei Deep Research über das hinaus verbessern, was allein durch die Skalierung der Backbone-Modelle erreichbar ist.

Ergebnisse

Die Autoren bewerteten VeriTrace auf DeepResearch Bench (DRB) und DeepConsult.

Leistungssteigerungen: Unter Verwendung abgestimmter Qwen3.5-27B-Backbones übertraf VeriTrace die stärkste abgestimmte Baseline (WebWeaver) um 4,22 Prozentpunkte (pp) in der Dimension Insight und um 1,49 pp beim Overall-Score von DRB. Auf DeepConsult erreichte es eine um 5,9 pp höhere Gesamtgewinnrate.
State-of-the-Art Open Source: Mit einem Config-DeepSeek-Backbone (DeepSeek-V4-Pro) erreichte VeriTrace das stärkste reproduzierbare Open-Source-Ergebnis auf DRB (Overall 55,77, Insight 59,56).
Ablationsstudien:
- Das Entfernen des Abweichungs-Feedbacks (A1) verursachte den größten einzelnen Abfall (−1,65 pp), wobei das Suchvolumen um 31 % inflationsartig anstieg, während die Erfolgsraten sanken.
- Das Entfernen der Schemarevision (A2) und des interpretiven Updates (A3) verschlechterte die Leistung bei Abfragen, die strukturelle Anpassungen erfordern, signifikant (−4,75 pp bzw. −5,18 pp auf der akkommodations-sensitiven Teilmenge).
- Die vollständige Ablation (Afull) ließ die Leistung unter die Baseline fallen, was bestätigt, dass die Regulierungsschleifen nicht lediglich additiv, sondern grundlegend sind.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass die scheinbar „skalierungshungrige" Natur von Deep Research teilweise auf fehlende Regulierungsschleifen zurückzuführen ist, wobei die Modellgröße das Fehlen von Regulierung ersetzt. VeriTrace zeigt, dass explizite Regulierung „Spielraum" entlang anderer Achsen schaffen kann als Skalierung allein.

Jenseits der Skalierung: Selbst mit kleineren Backbones ermöglicht das regulierte mentale Modell von VeriTrace, Baselines zu übertreffen, die viel größere Frontier-Modelle (z. B. Claude-Sonnet-4.5) verwenden, und zwar in der Dimension Insight. Dies legt nahe, dass die Qualität des Schlussfolgerungsprozesses (worauf das Modell schließt) ebenso kritisch ist wie die rohe Schlussfolgerungskraft des Modells.
Operationalisierung der Selbstregulierung: Die Arbeit operationalisiert Selbstregulierung (Metakognition, prädiktive Verarbeitung) als ausführbaren Mechanismus und nicht als Metapher. Sie bietet ein Designvokabular für den Aufbau von Agenten, die sich an langfristige, unsichere Aufgaben anpassen können, indem sie ihre internen Aufgabenmodelle kontinuierlich mit der externen Realität abgleichen.
Grenzen: Die Autoren stellen fest, dass die Bewertung derzeit auf DeepResearch Bench und DeepConsult zentriert ist und die Generalisierbarkeit auf andere Open-Environment-Aufgaben (z. B. Web-Navigation, wissenschaftliche Entdeckung) noch validiert werden muss. Darüber hinaus sind Umstrukturierungsauslöser heuristisch, und das System baut den Graphen derzeit pro Aufgabe von Grund auf neu auf, ohne übergreifende Transferfähigkeit zwischen Aufgaben.