Bittensor Agent Arenas as a Trajectory Primitive: Distilling a Shopping Agent from ShoppingBench Subnet Traces
Diese Arbeit zeigt, dass eine anreizkonforme Bittensor-Agenten-Arena (SN15) qualitativ hochwertige, diverse agentische Trajektorien generieren kann, die, wenn sie gefiltert und zum Post-Training eines Qwen3-4B-Modells verwendet werden, die ShoppingBench-Performance signifikant von 18,0 % auf 42,7 % ASR steigern und gleichzeitig die Verzerrungen synthetischer Daten sowie das Rauschen ungefilterter Produktionsprotokolle vermeiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber unerfahrenen Roboter-Assistenten beizubringen, wie man für Sie einkauft. Sie möchten, dass er das perfekte Objekt basierend auf Ihren spezifischen Regeln findet (Preis, Farbe, Versandgeschwindigkeit), aber der Roboter macht ständig Fehler oder gibt zu schnell auf.
In dieser Arbeit geht es darum, wie die Autoren eine riesige, automatisierte Trainings-Arena gebaut haben, um diesen Roboter zu lehren, anstatt ihm lediglich ein Lehrbuch mit „richtigen“ Antworten zu geben.
Hier ist die Aufschlüsselung ihres Ansatzes unter Verwendung einfacher Analogien:
1. Das Problem: Das „Lehrbuch“ vs. die „reale Welt“
Normalerweise verwenden Wissenschaftler zwei Methoden, um diese Roboter zu trainieren, und beide haben Schwächen:
- Das falsche Lehrbuch (Synthetische Daten): Sie bitten eine superintelligente KI, sich einen Einkäufer vorzustellen und aufzuschreiben, was sie tun würde.
- Der Fehler: Die KI schreibt nur das auf, was sie bereits zu können glaubt. Es ist, als würde ein Schüler nur für eine Prüfung lernen, indem er den Lösungsschlüssel liest. Dabei übersieht er die seltsamen, schwierigen oder kreativen Lösungen, die echte Menschen finden.
- Das reale Protokoll (Produktionsdaten): Sie zeichnen auf, was echte Roboter in der Praxis tun.
- Der Fehler: Diese Protokolle sind chaotisch. Viele Roboter nutzen „Abkürzungen“ (wie das bloße Erraten der Antwort, ohne tatsächlich zu suchen), um schnell eine hohe Punktzahl zu erreichen. Wenn Sie Ihren neuen Roboter mit diesen Protokollen lehren, lernt er die Abkürzungen statt der eigentlichen Fähigkeiten.
2. Die Lösung: Die „Einkaufs-Arena“ (SN15)
Die Autoren bauten eine spezielle digitale Arena namens SN15 auf einem Netzwerk namens Bittendor. Stellen Sie sich dies als eine 24/7 Einkaufs-Olympiade vor.
- Die Teilnehmer: Anstatt eines einzelnen KI-Modells reichen hunderte verschiedene Teams (Miner) ihre eigenen Einkaufs-Roboter ein, um gegeneinander anzutreten.
- Der Preis: Die Gewinner erhalten digitale Token (Geld). Dies schafft einen starken Anreiz. Da sie gewinnen wollen, versucht jedes Team ständig, neue und bessere Wege einzuführen, einzukaufen, auf die ihre Konkurrenten noch nicht gekommen sind.
- Der Schiedsrichter: Jedes Mal, wenn ein Roboter versucht, etwas zu kaufen, beobachtet eine spezielle „Richter-KI“ den gesamten Prozess. Sie prüft nicht nur, ob der Roboter das richtige Objekt gefunden hat; sie prüft, wie der Roboter gedacht hat. Hat er sorgfältig gesucht? Hat er den Preis geprüft? Hat er sich erholt, als er feststeckte?
- Der rotierende Test: Um zu verhindern, dass Roboter einfach nur die Antworten auswendig lernen, ändern sich die Testfragen (Einkaufstätigkeiten) ständig und sind so gruppiert, dass ein Roboter nicht schummeln kann, indem er eine leicht umformulierte Version einer Frage sieht, die er bereits gelöst hat.
3. Der Filter: Die „echten“ Athleten auswählen
Die Arena produziert eine gewaltige Flut an Daten (einen „Wasserfall“). Aber nicht alle davon sind nützlich.
- Der Filter: Die Autoren bauten ein Sieb, um die Spreu vom Weizen zu trennen.
- Sie warfen Roboter heraus, die nur als „Erzähler“ fungierten (also eine Geschichte über eine Suche erzählten, die eigentlich von einem Computer-Skript durchgeführt wurde).
- Sie behielten nur die Roboter, die die Arbeit tatsächlich selbst erledigt haben (Werkzeuge aufgerufen, gesucht und geschlussfolgert).
- Sie warfen auch jeden Roboter heraus, der keine hohe Punktzahl von der „Richter-KI“ für seine Qualität des Schlussfolgerns erreichte.
4. Das Ergebnis: Ein klügerer Roboter
Sie nahmen einen kleinen Open-Source-Roboter (Qwen3-4B) und trainierten ihn nur mit den gefilterten, hochwertigen Daten aus dieser Arena.
- Vor dem Training: Der Roboter war wie ein Anfänger beim Einkaufen und fand die richtige Antwort nur in 18 % der Fälle.
- Nach dem Training: Der Roboter wurde zum Profi und fand die richtige Antwort in 42,7 % der Fälle.
- Der Vergleich: Dieser neue Roboter schnitt fast so gut ab wie die besten Roboter der Welt, die mit massiven, teuren synthetischen Datensätzen trainiert wurden, aber die Autoren erreichten dies mit nur einem Bruchteil der Daten (nur einem Tag voller Arena-Output).
5. Der Haken (Was sie nicht gelöst haben)
Das Paper ist ehrlich darüber, was noch fehlt.
- Die „Pass@1“ vs. „Pass@8“ Lücke: Der Roboter ist großartig, wenn man ihn 8 Mal versuchen lässt und die beste Antwort wählt (53 % Erfolgsquote), aber wenn er nur einen Versuch hat, sinkt er auf 3-4 %.
- Das fehlende Puzzleteil: Die Autoren erkannten, dass ihre Trainingsdaten eine bestimmte Art von „Übungsrunde“ vermissen ließen, bei der der Roboter versucht, scheitert und aus dem Fehler Schritt für Schritt lernt. Sie identifizierten, dass das Hinzufügen dieser spezifischen Art von Daten der Schlüssel ist, um den Roboter auf die nächste Stufe (48,7 % Erfolg) zu heben.
Zusammenfassung
Das Paper argumentiert, dass wir, anstatt zu versuchen, bessere Lehrbücher zu schreiben oder chaotische Protokolle aufzubereiten, lieber anreizgesteuerte Wettbewerbe schaffen sollten, in denen KI-Agenten darum kämpfen, Probleme zu lösen. Dieser Wettbewerb generiert natürlich die perfekten, vielfältigen und hochwertigen „Trainingsdaten“, die benötigt werden, um kleinere, günstigere KI-Modelle dazu zu bringen, kompetente Agenten zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.