DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research
Die Arbeit stellt DR Tulu vor, ein quelloffenes Deep-Research-Modell, das durch Reinforcement Learning mit sich entwickelnden Rubriken (RLER) trainiert wurde, bei dem Bewertungskriterien gemeinsam mit der Policy weiterentwickelt werden, wodurch es bestehende Open-Source-Agenten bei langformatigen Forschungsaufgaben übertreffen und proprietäre Systeme kontern kann, während es gleichzeitig deutlich kosteneffizienter ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Einen Roboter zum Forscher ausbilden
Stellen Sie sich vor, Sie möchten einem Roboter beibringen, einen langen, detaillierten Forschungsbericht über ein komplexes Thema zu schreiben, wie etwa „Wie verursachen genetische Mutationen seltene Krankheiten?" oder „Was ist die Geschichte der erneuerbaren Energien?"
Die meisten heutigen KI-Modelle sind wie Schüler, die nur für kurze Tests lernen. Sie sind hervorragend darin, einfache Fragen zu beantworten wie „Was ist die Hauptstadt von Frankreich?", aber sie haben Schwierigkeiten, wenn man sie auffordert, einen 20-seitigen Bericht zu schreiben, der das Durchsuchen hunderter Websites, das Überprüfen von Fakten und das Zitieren von Quellen erfordert.
Die Autoren dieses Papers haben eine neue KI namens DR Tulu entwickelt. Es ist das erste quelloffene Modell, das speziell darauf trainiert wurde, ein „Deep Researcher" (tiefgehender Forscher) zu sein. Es rät nicht einfach nur; es plant, sucht im Web, liest Fachartikel und schreibt einen langen, gut belegten Bericht.
Das Problem: Wie bewertet man einen langen Bericht?
Um eine KI zu verbessern, verwendet man normalerweise eine Methode namens Reinforcement Learning (Bestärkendes Lernen). Stellen Sie sich das wie das Trainieren eines Hundes vor:
- Der Hund (KI) führt einen Trick aus.
- Wenn er es richtig macht, bekommt er einen Leckerbissen (eine Belohnung).
- Wenn er es falsch macht, bekommt er keinen Leckerbissen.
Das Problem bei langen Forschungsberichten ist, dass es schwer zu wissen ist, wie ein „guter" Bericht aussieht.
- Statische Rubriken (Der alte Weg): Stellen Sie sich einen Lehrer vor, der dem Hund eine feste Checkliste gibt: „Muss 5 Absätze haben. Muss das Jahr 1990 erwähnen." Wenn der Hund einen brillanten Bericht über 1991 schreibt, besteht der Lehrer ihn nicht, weil er die starre Checkliste nicht befolgt hat. Die Checkliste weiß nicht, was der Hund tatsächlich gefunden hat.
- Das „Closed-Book"-Problem: Wenn Sie eine KI bitten, die Checkliste allein basierend auf dem zu erstellen, was sie bereits weiß, könnte sie neue Fakten verpassen, die sie gerade im Internet entdeckt hat.
Die Lösung: „Evolving Rubrics" (Der intelligente Lehrer)
Das Paper stellt eine neue Methode namens RLER (Reinforcement Learning with Evolving Rubrics) vor.
Stellen Sie sich einen intelligenten Lehrer vor, der keine feste Checkliste verwendet. Stattdessen beobachtet der Lehrer den Schüler (die KI) bei der Forschung in Echtzeit.
- Der Schüler sucht: Der Schüler geht raus, findet neue Fakten und schreibt einen Entwurf.
- Der Lehrer passt sich an: Der intelligente Lehrer betrachtet, was der Schüler gefunden hat. „Oh, ich wusste nicht, dass dieser Fakt existiert! Ich sollte eine neue Regel zu meiner Checkliste hinzufügen: 'Muss diesen neuen Fakt erklären.'"
- Der Feedback-Loop: Der Lehrer aktualisiert die Checkliste, während der Schüler lernt. Wenn der Schüler versucht zu schummeln (wie das Kopieren von Text ohne ihn zu lesen), fügt der Lehrer sofort eine Regel hinzu: „Kein Schummeln erlaubt."
In technischen Begriffen nennt das Paper diese Evolving Rubrics (sich entwickelnde Bewertungskriterien). Es sind Bewertungskriterien, die sich ändern und intelligenter werden, während die KI mehr Informationen erkundet. Dies ermöglicht es der KI, von ihren eigenen Entdeckungen zu lernen, anstatt an einem statischen Satz von Regeln festzuhängen.
Das Ergebnis: Ein Super-Forscher zum Sparpreis
Die Autoren haben DR Tulu mit dieser „intelligenten Lehrer"-Methode trainiert. Hier ist, was passiert ist:
- Es ist intelligenter: DR Tulu hat andere quelloffene Forschungsmodelle um ein Vielfaches übertroffen. Es schrieb bessere Berichte, fand genauere Fakten und zitierte Quellen korrekt.
- Es konkurriert mit den Giganten: Es schnitt genauso gut ab (und manchmal besser) als teure, proprietäre Systeme großer Unternehmen wie OpenAI und Google.
- Es ist günstig: Das ist der größte Gewinn. Die teuren Systeme kosten etwa 1,80 $ pro Frage. DR Tulu kostet etwa 0,002 $ pro Frage. Das ist ungefähr 1.000-mal günstiger.
Der „Genetische Krankheit"-Test
Um zu beweisen, dass es wirklich funktioniert, gab das Team DR Tulu eine sehr schwierige Aufgabe: die Analyse genetischer Mutationen, um zu sehen, ob sie mit bestimmten Medikamenten behandelt werden können. Dies ist eine Aufgabe, die normalerweise menschlichen medizinischen Experten vorbehalten ist.
- DR Tulu durchsuchte erfolgreich medizinische Datenbanken, fand relevante Fachartikel und erstellte einen zusammengefassten Bericht.
- Es konnte auf dieser Aufgabe mit den teuersten, closed-source KI-Systemen konkurrieren.
- Andere quelloffene Modelle scheiterten, weil sie die richtigen Zitate nicht finden oder die Fakten nicht verifizieren konnten.
Das Werkzeugset: „dr-agent-lib"
Das Paper veröffentlichte auch eine „Werkzeugkiste" namens dr-agent-lib.
- Stellen Sie sich dies als ein Schweizer Taschenmesser für KI-Forscher vor.
- Es ermöglicht der KI, verschiedene Werkzeuge zu nutzen: Google-Suche, das Lesen spezifischer Webseiten und die Suche nach wissenschaftlichen Artikeln.
- Entscheidend ist, dass die KI lernt, das richtige Werkzeug für den Job auszuwählen. Wenn die Frage die Wissenschaft betrifft, nutzt sie das Werkzeug „Paper Search". Wenn es um allgemeine Nachrichten geht, nutzt sie „Web Search". Sie nutzt nicht blindlings nur ein Werkzeug.
Zusammenfassung
Das Paper stellt DR Tulu vor, eine quelloffene KI, die lernt, tiefgehende, langformatige Forschung zu betreiben. Sie verwendet eine spezielle Trainingsmethode (Evolving Rubrics), bei der sich die „Bewertungsregeln" der KI in Echtzeit basierend auf dem aktualisieren, was die KI entdeckt. Dies macht die KI viel intelligenter, genauer und erheblich günstiger als die derzeit fortschrittlichsten Forschungswerkzeuge. Die Autoren haben den Code, die Daten und das Modell geteilt, damit jeder sie nutzen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.