🤖 AI

Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification

Dieser Beitrag stellt DeepVerifier vor, ein sich selbst weiterentwickelndes Framework, das Deep Research Agents durch Skalierung zur Inferenzzeit verbessert, indem es Ausgaben iterativ anhand von Rubriken verifiziert und verfeinert, die aus einer neuartigen Fehlertaxonomie abgeleitet sind, und dabei erhebliche Genauigkeitssteigerungen ohne zusätzliches Training erzielt, während ein entsprechender Datensatz veröffentlicht wird, um die Open-Source-Weiterentwicklung zu unterstützen.

Ursprüngliche Autoren: Yuxuan Wan, Tianqing Fang, Zaitang Li, Yintong Huo, Wenxuan Wang, Haitao Mi, Dong Yu, Michael R. Lyu

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuxuan Wan, Tianqing Fang, Zaitang Li, Yintong Huo, Wenxuan Wang, Haitao Mi, Dong Yu, Michael R. Lyu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber manchmal übermütigen Forschungsassistenten namens „Deep Research Agent" (DRA). Dieser Assistent ist hervorragend darin, Informationen zu finden, Hunderte von Websites zu lesen und Berichte zu verfassen. Wie jeder Mensch macht er jedoch manchmal Fehler: Er könnte die falsche Website lesen, eine Frage missverstehen oder selbstbewusst eine Tatsache behaupten, die nicht wahr ist.

Normalerweise müssen Sie, wenn dieser Assistent einen Fehler macht, ihn stoppen, erklären, was schiefgelaufen ist, und hoffen, dass er beim nächsten Mal besser abschneidet. Aber was wäre, wenn der Assistent seine eigene Arbeit überprüfen könnte, bevor Sie sie überhaupt zu sehen bekommen, seine eigenen Fehler findet und sie sofort korrigiert?

Genau das schlägt diese Arbeit vor. Sie haben ein System namens DeepVerifier entwickelt, das wie ein „selbstkorrigierender Redakteur" für diese KI-Agenten fungiert.

Hier ist die Funktionsweise, aufgeteilt in einfache Konzepte:

1. Das Problem: Die „Alles-oder-Nichts"-Falle

Wenn eine KI versucht, ein schwieriges Problem zu lösen (wie „Finden Sie die früheste Veröffentlichung eines bestimmten Forschers"), gerät sie oft in ein Labyrinth von Schritten. Wenn Sie eine Standard-KI bitten, „zu überprüfen, ob diese Antwort richtig ist", scheitert sie häufig, weil das Überprüfen einer komplexen Antwort genauso schwierig ist wie das Lösen des Problems an sich. Es ist, als würde man einen Schüler bitten, seinen eigenen 50-seitigen Aufsatz ohne Bewertungsschema zu benoten; er könnte subtile Fehler übersehen.

2. Die Lösung: Das „Bewertungsschema" und der „Stempel"

Die Forscher stellten fest, dass das Überprüfen einer Antwort tatsächlich einfacher ist als das Erstellen einer. Sie nennen dies die „Asymmetrie der Verifikation".

Um dies zu ermöglichen, schufen sie eine Fehler-Taxonomie. Stellen Sie sich dies als eine riesige Checkliste für jede Art von Fehler vor, die eine KI machen kann. Sie analysierten Tausende vergangener Fehler und kategorisierten sie in 5 Hauptgruppen und 13 Untergruppen (z. B. „Falsche Quelle verwendet", „Anweisungen falsch gelesen" oder „Eine Tatsache erfunden").

DeepVerifier nutzt diese Checkliste, um als strenger Redakteur zu agieren:

Der Dekomponierer: Anstatt die KI zu bitten, den gesamten unübersichtlichen Bericht erneut zu lesen, zerlegt dieses Modul das Problem in winzige, einfache Fragen. Statt „Ist der gesamte Bericht richtig?", fragt es: „Hat Quelle X tatsächlich Y gesagt?" oder „Stimmt diese Zahl im neuesten Bericht?"
Der Verifizierer: Er beantwortet diese winzigen Fragen mithilfe der Checkliste.
Der Richter: Er vergibt eine Punktzahl (1 bis 4) und spezifisches Feedback. Wenn die Antwort falsch ist, sagt er nicht nur „Nein". Er sagt: „Sie haben für diese Tatsache die falsche Quelle verwendet. Gehen Sie zurück und finden Sie das Originaldokument."

3. Die Magie: „Selbstentwicklung" zur Laufzeit

Das Coolste ist, dass dies während die KI arbeitet geschieht, ohne dass das Gehirn der KI neu trainiert werden muss (was teuer und langsam ist).

Stellen Sie sich vor, die KI schreibt eine Antwort. DeepVerifier liest sie, findet einen Mangel und sagt: „Hey, Sie haben dieses Detail übersehen." Die KI nutzt dieses Feedback, um die Antwort umzuschreiben. Sie tun dies in einer Schleife (wie eine Runde Korrekturlesen).

Runde 1: KI schreibt Antwort.
Runde 2: DeepVerifier findet Fehler, KI korrigiert sie.
Runde 3: DeepVerifier findet weitere subtile Fehler, KI korrigiert erneut.

Die Arbeit zeigt, dass die KI mit nur wenigen Runden dieses „Selbstkorrektur"-Verfahrens deutlich intelligenter wird. Bei schwierigen Tests (wie dem GAIA-Benchmark) stieg die Genauigkeit der KI um 8 % bis 11 %. Das ist ein gewaltiger Sprung für eine KI, die nicht neu trainiert wurde, sondern lediglich eine bessere Methode erhielt, um ihre eigene Arbeit zu überprüfen.

4. Das Geschenk an die Gemeinschaft: „DeepVerifier-4K"

Die Forscher hielten diesen Trick nicht nur für sich. Sie erkannten, dass Open-Source-KI-Modelle (die kostenlosen) gut darin werden müssen, diese Selbstüberprüfung durchzuführen, und dass sie dafür Übung benötigen.

Daher erstellten sie einen Datensatz namens DeepVerifier-4K. Stellen Sie sich dies als ein „Trainingsmanual" vor, das 4.646 Beispiele enthält von:

Einer KI, die einen Fehler macht.
Dem „Redakteur" (DeepVerifier), der genau aufzeigt, was schiefgelaufen ist, unter Verwendung der Checkliste.
Der KI, die den Fehler korrigiert.

Sie nutzten dieses Manual, um Open-Source-Modellen beizubringen, ihre eigenen Redakteure zu sein. Das Ergebnis? Diese Open-Modelle wurden deutlich besser im Schlussfolgern und beim Aufspüren ihrer eigenen Fehler und schlossen die Lücke zu den teuren, proprietären Modellen.

Zusammenfassung

Kurz gesagt lehrt diese Arbeit KI-Agenten, innezuhalten und nachzudenken, bevor sie ihre Arbeit einreichen. Indem sie große Probleme in kleine, überprüfbare Fakten zerlegen und eine strenge Checkliste häufiger Fehler verwenden, können sich KI-Modelle in Echtzeit selbst korrigieren. Es ist, als würde man der KI einen Spiegel und ein Regelbuch geben, wodurch sie ihre Antworten sofort weiterentwickeln und verbessern kann, ohne dass ein Lehrer sie von Grund auf neu trainieren muss.

1. Problemstellung

Deep Research Agents (DRAs), die durch Large Language Models (LLMs) angetrieben werden, verändern die automatisierte Wissensentdeckung, leiden jedoch unter Zuverlässigkeitsproblemen. Häufige Fehlermodi umfassen Halluzinationen, falsche API-Nutzung, die Abhängigkeit von unvollständigen Sekundärquellen und Fehler im Schlussfolgern.

Einschränkungen bestehender Ansätze: Bestehende Methoden konzentrieren sich primär auf die Verbesserung der Policy-Fähigkeiten durch Nachtraining (Supervised Fine-Tuning oder Reinforcement Learning). Zwar existiert „Test-Time Scaling" (z. B. Best-of-N Sampling), doch scheitert dies oft, da verschiedene Rollouts dazu neigen, dieselben systematischen Fehler zu wiederholen.
Die Lücke: Es fehlt an skalierbaren, automatisierten Frameworks, die es Agenten ermöglichen, sich während der Inferenz durch die Verifizierung ihrer eigenen Ausgaben, die Generierung zielgerichteten Feedbacks und die Verfeinerung von Antworten selbst zu entwickeln, ohne zusätzliches Training. Darüber hinaus ist die Generierung hochwertiger Feedbacks schwierig, da sie ausgefeilte Schlussfolgerungsfähigkeiten erfordert.

2. Methodik

Die Autoren schlagen DeepVerifier vor, ein Framework, das die Asymmetrie der Verifizierung (die Überprüfung einer Antwort ist oft einfacher als deren Generierung) nutzt, um eine iterative Selbstverbesserung zu ermöglichen. Die Methodik besteht aus drei Kernkomponenten:

A. DRA-Fehler-Taxonomie

Um die Verifizierung zu steuern, erstellten die Autoren eine systematische Taxonomie von Agentenfehlern, die auf einer Analyse von 555 Fehlerpunkten aus dem WebAggregatorQA-Datensatz basiert.

Struktur: Die Taxonomie klassifiziert Fehler in 5 Hauptkategorien und 13 Unterkategorien.
Wichtige Erkenntnisse: Der häufigste Fehlermodus ist das „Finden von Quellen" (z. B. Konsultierung falscher Beweise, generische Suchen), gefolgt von „Schlussfolgern" (voreilige Schlussfolgerungen, Halluzinationen).
Verwendung: Diese Taxonomie dient als Grundlage für die Erstellung strukturierter Rubriken, die den Verifizierungsprozess leiten.

B. Das DeepVerifier-Framework

DeepVerifier ist eine dreistufige, multi-modulare Pipeline, die entwickelt wurde, um komplexe Verifizierungsaufgaben zu zerlegen:

Decomposition Agent (Zerlegungs-Agent):
- Anstatt einen LLM zu bitten, die gesamte komplexe Aufgabe erneut zu lösen (was fehleranfällig ist), fasst dieser Agent die ursprüngliche Trajektorie zusammen und identifiziert potenzielle Fehlerpunkte basierend auf der Fehler-Taxonomie.
- Er formuliert hochwirksame Folgefragen, die spezifische Schwachstellen adressieren (z. B. „Stellt Quelle X Claim Y explizit dar?").
Verification Agent (Verifizierungs-Agent):
- Führt die Folgefragen unter Verwendung externer Tools (Web-Suche, Code-Ausführung) aus, um konkrete Beweise zu sammeln.
Judge Agent (Richter-Agent):
- Bewertet die ursprüngliche Antwort im Vergleich zur Trajektorienzusammenfassung, der Liste potenzieller Fehler und den aus den Folgefragen gewonnenen Beweisen.
- Gibt eine rubrikbasierte Bewertung (1–4) und detailliertes, handlungsorientiertes Feedback aus.

C. Test-Time Scaling & Selbstentwicklung

Iterative Schleife: Der Agent generiert eine Antwort $\rightarrow$ DeepVerifier prüft sie $\rightarrow$ Feedback wird bereitgestellt $\rightarrow$ Der Agent versucht es erneut/verfeinert die Antwort.
Rubrik-gesteuertes Feedback: Das Feedback ist nicht generisch; es leitet sich aus der spezifischen Fehler-Taxonomie ab, wodurch der Agent genau weiß, warum er gescheitert ist (z. B. „Sie haben sich auf eine generische Suche statt auf eine Primärquelle verlassen").
Kein Training erforderlich: Dieser Prozess findet vollständig zur Inferenzzeit statt und erfordert keine Gradienten-Updates des Basismodells.

D. DeepVerifier-4K-Datensatz

Um Open-Source-Modellen zu ermöglichen, robuste Verifizierungsfähigkeiten zu entwickeln, erstellten die Autoren DeepVerifier-4K, einen kuratierten Supervised Fine-Tuning (SFT)-Datensatz mit 4.646 hochwertigen Prompt-Antwort-Paaren. Diese Paare konzentrieren sich auf den Reflexions- und Selbstkritik-Prozess und ermöglichen es Open-Modellen (wie Qwen), zu lernen, wie sie ihre eigenen Ausgaben verifizieren und verfeinern können.

3. Hauptbeiträge

Formalisierung der Agenten-Reflexion: Das Papier formalisiert eine Reflexionspipeline für DRAs, die die Verifizierungsasymmetrie ausnutzt und über eine ganzheitliche Bewertung hinausgeht hin zu gezieltem Beweis-Checking.
DRA-Fehler-Taxonomie: Die Erstellung einer umfassenden, automatisch konstruierten Taxonomie (5 Klassen, 13 Unterklassen), die Agentenfehler systematisch kategorisiert und als Blaupause für rubrikbasierte Belohnungen dient.
DeepVerifier-Framework: Ein Plug-and-Play-Modul, das Verifizierung und Feedback-Generierung integriert und dabei Standard-„Agent-as-Judge"- sowie LLM-Richter-Baselines übertrifft.
DeepVerifier-4K-Datensatz: Ein hochwertiger SFT-Datensatz, der der Open-Community zur Verfügung gestellt wird, um Modelle in Reflexion und Selbstkritik zu trainieren und so die Knappheit an Daten für diese spezifische Fähigkeit zu adressieren.

4. Experimentelle Ergebnisse

Verifizierungsleistung (Meta-Evaluation)

DeepVerifier schneidet deutlich besser ab als herkömmliche „Agent-as-Judge"- und Standard-LLM-Richter.
Metrik: Es erzielt eine Verbesserung von 12 %–48 % bei den Meta-Evaluation-F1-Scores.
Ablation: Das Entfernen des Zerlegungsmoduls führt zu hoher Präzision, aber niedriger Recall (subtile Fehler werden übersehen). Das Entfernen des Verifizierungsmoduls führt zu schlechter Genauigkeit. Die vollständige Pipeline balanciert beides aus.

Inference-Time Scaling (Leistungssteigerungen)

Closed-Source-Modelle (Claude-3.7-Sonnet):
- Auf dem GAIA-Benchmark verbesserte sich die Genauigkeit um 8 %–11 % (z. B. stieg GAIA-Web von ~52 % auf ~63,5 %).
- Auf XBench-DeepSearch betrugen die Gewinne 6 %.
- Auf BrowseComp (extrem schwierig) betrugen die Gewinne 5 %.
Open-Source-Modelle (Qwen3-8B / DeepVerifier-8B):
- Modelle, die auf DeepVerifier-4K feinabgestimmt wurden, zeigten überlegene Reflexionsfähigkeiten.
- DeepVerifier-8B erzielte nach 10 Reflexionsrunden einen Genauigkeitsgewinn von 5,5 % und übertraf damit deutlich das Basis-Qwen3-8B sowie CK-Pro-8B (nur auf Standarddaten trainiert).

Skalierungstrends

Die Leistung erreicht typischerweise ihren Höhepunkt bei 3–4 Feedback-Runden.
Frühe Runden beheben viele Fehler (Falsch $\to$ Richtig), doch spätere Runden bergen das Risiko einer Überkorrektur (Richtig $\to$ Falsch). Das Framework enthält einen Early-Stopping-Mechanismus, wenn der Verifizierer eine Antwort akzeptiert.

5. Bedeutung und Auswirkung

Paradigmenwechsel: Das Papier verlagert den Fokus vom reinen Training besserer Agenten hin zum Scaling der Verifizierung zur Inferenzzeit. Es zeigt, dass Agenten sich effektiv selbst korrigieren können, ohne zusätzliche Trainingskosten.
Skalierbarkeit: Der Ansatz ist modellagnostisch und funktioniert effektiv sowohl mit leistungsstarken Closed-Source-APIs als auch mit feinabgestimmten Open-Source-Modellen.
Ressourceneffizienz: Durch die Zerlegung der Verifizierung in kleine Teilaufgaben anstatt des erneuten Lösen des gesamten Problems bietet es einen besseren Trade-off zwischen Genauigkeit und Kosten im Vergleich zu Brute-Force-Methoden wie Best-of-N.
Beitrag zur Community: Die Veröffentlichung der Fehler-Taxonomie und des DeepVerifier-4K-Datensatzes liefert eine kritische Grundlage für zukünftige Forschung in reflexionsgesteuerter Reinforcement Learning (RL) und der Entwicklung vertrauenswürdiger Agenten.

Zusammenfassend etabliert diese Arbeit, dass strukturierte, rubrikgesteuerte Verifizierung ein leistungsfähiger Mechanismus ist, um die Zuverlässigkeit von Deep Research Agents zu skalieren und die Inferenzzeit-Berechnung in einen selbstverbessernden Kreislauf zu verwandeln, der die Genauigkeit bei komplexen, mehrstufigen Schlussfolgerungsaufgaben erheblich steigert.