AgentFloor: How Far Up the tool use Ladder Can Small Open-Weight Models Go?
Die Arbeit stellt AgentFloor vor, ein gestuftes Benchmark-Verfahren, das zeigt, dass kleine Open-Weight-Modelle die meisten routinemäßigen Tool-Use-Aufgaben mit kurzem Zeithorizont in agentic Workflows effektiv bewältigen können, wobei große Frontier-Modelle nur für komplexe Planungen mit langem Zeithorizont vorbehalten bleiben, während bei niedrigeren Kosten eine vergleichbare aggregierte Leistung erzielt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie leiten ein belebtes Lieferunternehmen. Jedes Mal, wenn ein Kunde eine Bestellung aufgibt, muss Ihr System Dutzende winziger Entscheidungen treffen: „Adresse prüfen", „Preis nachschlagen", „Lager anrufen", „Etikett drucken".
Lange Zeit galt die Regel: „Verwenden Sie für jede einzelne Entscheidung unseren teuersten, super-intelligenten CEO." Selbst für einfache Aufgaben wie „Adresse prüfen" würden Sie den CEO einsetzen. Es funktioniert, kostet aber ein Vermögen und dauert lange.
Die Arbeit AgentFloor stellt eine einfache Frage: Brauchen wir wirklich den CEO für jede einzelne Aufgabe? Oder können wir für die Routinejobs einen klugen, schnellen und günstigen Praktikanten einstellen und den CEO nur für die wirklich schwierigen Probleme aufsparen?
Um dies herauszufinden, entwickelten die Forscher einen riesigen, 30-stufigen Hindernisparcours (einen Benchmark), der testen sollte, wie gut verschiedene KI-„Arbeiter" Werkzeuge einsetzen können. Sie testeten 16 verschiedene KI-Modelle unterschiedlicher Größe (von winzigen „Praktikanten" bis hin zu massiven „CEOs") gegen das derzeitige Top-Modell (GPT-5).
Hier ist das Ergebnis, erklärt durch ein paar einfache Analogien:
1. Die „Leiter" der Schwierigkeit
Die Forscher ordneten die Aufgaben in eine 6-stufige Leiter ein. Je höher Sie klettern, desto schwieriger werden die Jobs:
- Stufen 1 & 2 (Das Erdgeschoss): Einfache Anweisungen und die Nutzung eines einzelnen Werkzeugs (wie das Nachschlagen einer Telefonnummer).
- Stufen 3 & 4 (Die Mitte): Das Verketten von zwei Werkzeugen oder eine Entscheidung basierend auf einem Ergebnis (wie „Wenn der Preis hoch ist, rufen Sie den Manager an").
- Stufen 5 & 6 (Der Gipfel): Komplexe Planung, bei der Sie Regeln über längere Zeit im Gedächtnis behalten und viele Schritte koordinieren müssen, ohne den Überblick zu verlieren.
2. Die Ergebnisse: Wer kann was erklimmen?
Die Studie enthüllte eine klare „Grenze", an der kleine Modelle aufhören, die Aufgabe zu bewältigen.
- Das Erdgeschoss (Stufen 1 & 2): Die kleinen, günstigen Modelle (die „Praktikanten") sind tatsächlich besser oder genauso gut wie der teure CEO. Sie können einfachen Anweisungen folgen und einzelne Werkzeuge perfekt einsetzen. Tatsächlich waren die kleinen Modelle so schnell und günstig, dass sie die gleiche Arbeitsmenge für 15-mal weniger Geld und 2,5-mal schneller erledigen konnten.
- Die mittleren Stufen (Stufen 3 & 4): Die kleinen Modelle leisten immer noch hervorragende Arbeit. Sie liegen der Leistung des CEOs sehr nahe. Die Studie konnte nicht mit 100-prozentiger statistischer Sicherheit sagen, dass sie exakt gleichwertig sind, aber sie waren nah genug, um nützlich zu sein.
- Der Gipfel (Stufen 5 & 6): Hier zeigt sich die Lücke. Wenn die Aufgabe langfristige Planung erfordert und das gleichzeitige Erinnern vieler Regeln, beginnen die kleinen Modelle zu straucheln. Sie geraten in Verwirrung, laufen „Schritte" aus (wie ein Läufer, der müde wird) oder erfinden Werkzeuge, die nicht existieren. Der große CEO (GPT-5) ist hier immer noch besser, aber selbst der CEO ist nicht perfekt; er scheitert bei diesen schwierigsten Aufgaben immer noch ziemlich häufig.
3. Der „magische Fix" funktionierte nicht
Die Forscher versuchten, den kleinen Modellen eine „Spickzettel" (einen speziellen Prompt) zu geben, um ihnen zu helfen, die höheren Stufen zu erklimmen, in der Hoffnung, sie damit so klug wie den CEO zu machen.
- Das Ergebnis: Es funktionierte nicht universell. Ein Trick, der einem bestimmten Modell half, machte ein anderes Modell manchmal schlechter. Es ist, als würde man einem Marathonläufer ein bestimmtes Paar Laufschuhe geben; es könnte diesem Läufer helfen, aber jemand anderen ins Stolpern bringen. Es gibt keinen einzelnen „magischen Knopf", der ein kleines Modell für komplexe Planung sofort so klug macht wie ein großes.
4. Die große Erkenntnis: Die „Smart Routing"-Strategie
Die Arbeit schlägt eine neue Art vor, KI-Systeme aufzubauen, die sie Routing nennen.
Anstatt das teure, langsame, super-intelligente KI-Modell für alles zu verwenden, sollten Sie ein System bauen, das wie ein kluger Manager agiert:
- Senden Sie die einfachen, Routinejobs (Daten prüfen, einfache Nachschlagen) an die kleinen, günstigen Modelle. Sie sind schnell, günstig und bei dieser Arbeit genauso gut.
- Bewahren Sie die große, teure KI nur für die seltenen, komplexen Jobs auf, die tiefgehende Planung und Langzeitgedächtnis erfordern.
Das Fazit
Sie brauchen keinen Ferrari, um zum Lebensmittelgeschäft zu fahren; ein zuverlässiges Fahrrad ist für diese Fahrt schneller und günstiger.
Die Arbeit beweist, dass für die überwiegende Mehrheit der „routinehaften" KI-Aufgaben (wie das Überprüfen einer Datenbank oder die Nutzung eines einzelnen Werkzeugs) kleine, Open-Source-Modelle bereits gut genug sind. Sie benötigen die massiven, teuren „Frontier"-Modelle nur für die allerhöchste Ebene komplexer Planung, und selbst dann sind sie noch nicht perfekt.
Indem Unternehmen den richtigen „Arbeiter" für den richtigen Job einsetzen, können sie eine massive Menge an Geld sparen und ihre Systeme beschleunigen, ohne an Qualität zu verlieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.