WebAggregator: Enhancing Compositional Reasoning Capabilities of Deep Research Agent Foundation Models
Das Papier stellt WebAggregator vor, eine Pipeline zur Datensynthese, die tiefe Forschungsagenten durch einen kuratierten SFT-Datensatz mit 10.000 Einträgen von einer stark auf Abruf basierenden hin zu einer auf Komposition ausgerichteten Argumentation verschiebt, wodurch ein 32B-Modell in Benchmarks überlegene Systeme überrundet und belegt, dass die kompositorische Argumentation und nicht der Abruf die primäre Engstelle für Forschungsagenten der nächsten Generation darstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der "Googler" versus der "Detektiv"
Stellen Sie sich vor, Sie stellen einen Forschungsassistenten ein.
- Der alte Weg (Aktuelle KI-Agenten): Sie fragen sie: "Wer hat den Preis 2024 gewonnen?" Sie öffnen sofort einen Browser, tippen die Frage bei Google ein, finden eine Liste und zeigen auf den obersten Namen. Dies ist Informationsbeschaffung. Es ist schnell, aber es ist wie ein Papagei, der das wiederholt, was er hört. Wenn die Antwort erfordert, drei verschiedene Fakten von drei verschiedenen Websites zu verbinden, um ein Rätsel zu lösen, gerät der Papagei in Verwirrung.
- Das neue Ziel (Tiefe Recherche): Sie fragen: "Unter allen Ländern, die größer als 2 Millionen Quadratkilometer sind, welches hatte zwischen 2010 und 2020 die volatilste Wirtschaft?" Um dies zu beantworten, kann der Agent die Antwort nicht einfach "finden". Er muss:
- Eine Liste großer Länder finden.
- Wirtschaftsdaten für jedes Land finden.
- Komplexe Mathematik betreiben, um die "Volatilität" zu berechnen.
- Die Ergebnisse vergleichen.
Dies ist kompositionelles Schlussfolgern. Es ist wie ein Detektiv, der Hinweise zusammensetzt, um ein Rätsel zu lösen, anstatt nur eine Schlagzeile zu lesen.
Das Papier argumentiert, dass aktuelle KI-Agenten großartige "Googler" sind, aber schreckliche "Detektive". Sie verlassen sich zu sehr darauf, den richtigen Link zu finden, und zu wenig darauf, tief über das Gefundene nachzudenken.
Die Lösung: WebAggregator (Das "Trainingszentrum")
Um dies zu beheben, entwickelten die Forscher ein System namens WebAggregator. Betrachten Sie dies nicht als neue KI, sondern als ein spezialisiertes Trainingslager, das einen "Googler" in einen "Detektiv" verwandeln soll.
Das System arbeitet in zwei Hauptphasen, wie ein Zwei-Personen-Team, das eine schwierige Prüfung erstellt:
Der proaktive Entdecker (Der Sammler):
Stellen Sie sich einen Roboter vor, der in eine riesige Bibliothek mit einem einzigen Buch geschickt wird. Seine Aufgabe ist es, dieses Buch zu öffnen, einen Verweis auf ein anderes Buch zu finden, zu diesem Buch zu gehen, ein Foto zu finden, eine Datei herunterzuladen und einen versteckten Knopf zu drücken. Er sammelt einen riesigen Haufen verstreuter, unordentlicher Informationen aus dem gesamten Web.- Im Papier: Dieser Agent besucht echte Websites, lädt Dateien herunter und navigiert durch komplexe Seiten, um Rohdaten zu sammeln.
Der Vorschlaggeber für kompositionelle Logik (Der Puzzle-Meister):
Sobald der Sammler den Datenhaufen hat, betrachtet ihn der Puzzle-Meister und sagt: "Okay, basierend auf diesem Durcheinander, lassen Sie uns eine Frage erstellen, die nicht beantwortet werden kann, indem man nur eine Seite betrachtet."- Sie verwenden einen strengen Satz von Regeln (12 Arten von Logik), um die Frage so zu zwingen, dass sie Mathematik, Filterung, Vergleich und Zeitreisen (temporales Schlussfolgern) erfordert.
- Beispiel: Anstatt zu fragen: "Was ist das BIP Chinas?", fragen sie: "Berechnen Sie die Standardabweichung des BIP-Wachstums Chinas im Vergleich zu seiner Urbanisierungsrate über das letzte Jahrzehnt."
Das Ergebnis: Ein neuer Datensatz und eine intelligentere KI
Das Team nutzte dieses System, um WebAggregatorQA zu erstellen, einen Datensatz mit etwa 10.000 extrem schwierigen Fragen. Anschließend nutzten sie diese Fragen, um ein neues KI-Modell (genannt WebAggregator) zu trainieren.
Hier ist, was passierte, als sie dieses neue Modell testeten:
Die "Abruf-Falle": Die Forscher testeten erstklassige KI-Modelle (wie GPT-4.1 und Claude-3.7) an diesen schwierigen Fragen. Selbst wenn sie den Modelle alle korrekten Websites und Dokumente gaben, die zur Lösung des Problems benötigt wurden, scheiterten die Modelle dennoch.
- Die Metapher: Es ist, als würde man einem Schüler ein Lehrbuch mit der exakten Antwort hervorgehoben geben, aber er kann das Matheproblem trotzdem nicht lösen, weil er nicht versteht, wie man die Berechnung durchführt.
- Die Erkenntnis: Das Flaschenhals-Problem ist nicht das Finden der Information; es ist das Schlussfolgern damit.
Die Transformation: Als sie ihre Modelle auf dem WebAggregator-Datensatz trainierten, änderten die Agenten ihr Verhalten:
- Vorher: Sie klickten fieberhaft auf Buttons und öffneten Links (hohe Werkzeugnutzung, geringes Denken).
- Nachher: Sie klickten weniger auf Buttons, verbrachten aber mehr Zeit mit "Denken" (internes Schlussfolgern), um die Punkte zu verbinden.
- Leistung: Das neue WebAggregator-32B-Modell schlug die besten bestehenden Modelle bei diesen schwierigen Schlussfolgerungsaufgaben und bewies, dass das Training an "Detektivarbeit" die KI intelligenter macht.
Das Fazit
Das Papier kommt zu dem Schluss, dass KI, um wirklich zu einem "Deep Research"-Agenten zu werden, der wissenschaftliche Entdeckungen ermöglichen kann, wir aufhören müssen, uns darauf zu konzentrieren, wie gut sie das Web durchsuchen kann. Stattdessen müssen wir uns darauf konzentrieren, wie gut sie verstreute Informationsstücke zusammenfügen kann, um zu einer logischen Schlussfolgerung zu gelangen.
Kurz gesagt: Das Papier baute ein Fitnessstudio, in dem KI-Agenten üben, komplexe Rätsel mit echten Webdaten zu lösen. Das Ergebnis ist ein Agent, der weniger ein hektischer Web-Surfer und mehr ein nachdenklicher, logischer Forscher ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.