Scaffold Effects on GAIA: A Controlled Comparison
Diese präregistrierte kontrollierte Studie zeigt, dass die Wahl des Scaffolds die Leistung von Agenten auf GAIA-Benchmarks signifikant beeinflusst, was offenlegt, dass die gemessenen Leistungsfähigkeit-Scores hochgradig scaffold-abhängig sind und dass die antizipierte Reduktion der Scaffold-Sensitivität mit zunehmender Modellverbesserung nicht eintritt, wobei strukturierte Multi-Agenten-Designs oft erhebliche Genauigkeitsgewinne gegenüber Standard-ReAct-Ansätzen erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu beurteilen, wie gut ein Koch bei der Zubereitung einer komplexen Mahlzeit ist. Sie haben drei verschiedene Küchen (Gerüste), um ihn zu testen:
- Der Solo-Koch (ReAct): Der Koch denkt nach, greift nach einer Zutat, kocht, denkt erneut nach und greift nach der nächsten Zutat, alles in einem kontinuierlichen Strom.
- Das Küchenteam (Planner-Actor-Rater): Ein Manager schreibt ein Rezept, ein Koch führt die Schritte aus und ein Kritiker kostet das Gericht nach jedem Schritt, um sicherzustellen, dass es richtig ist, bevor er weitermacht.
- Blaupause & Erbauer (Planner-then-Executor): Zuerst schreibt ein Planer eine detaillierte Schritt-für-Schritt-Blaupause ohne Werkzeuge. Dann nimmt ein Erbauer diese Blaupause und baut das Gericht.
Diese Studie stellte eine einfache Frage: Verändert die Küche, in die man den Koch stellt, wie gut er wirkt?
Die Antwort ist ein klares Ja. Tatsächlich ist die „Küche“ genauso wichtig wie das tatsächliche Talent des Kochs.
Die große Entdeckung: Die „Küche“ zählt mehr als man denkt
Die Forscher testeten fünf verschiedene „Köche“ (KI-Modelle von Anthropic, Google und OpenAI) an einer Reihe schwieriger Rätsel (genannt GAIA). Sie fanden heraus, dass ein einfacher Wechsel des Küchen-Setups die Punktzahl eines Modells um 28 Prozentpunkte verändern konnte.
Um dies einzuordnen: Wenn Sie ein Modell in einer „Solo-Koch“-Küche testen würden und es eine Punktzahl von 56 % erreichte, aber dann dasselbe Modell in ein „Küchenteam“-Setup versetzen würden, könnte es plötzlich eine Punktzahl von 84 % erreichen. Der Koch hat sich nicht verändert; die Art und Weise, wie er arbeiten durfte, hat sich geändert.
Das bedeutet, wenn wir Schlagzeilen lesen wie „Modell X ist 80 % intelligent“, dann ist diese Zahl nicht nur über das Modell. Sie ist eine Mischung aus dem Gehirn des Modells plus den spezifischen Anweisungen und Werkzeugen, die es erhalten hat. Wenn Sie zwei Modelle in unterschiedlichen Küchen vergleichen, vergleichen Sie nicht ihre Gehirne, sondern ihre Küchen.
Mythos entlarvt: „Intelligentere“ Modelle brauchen nicht weniger Hilfe
Die Forscher hatten eine Vermutung (Hypothese), dass die leistungsfähigsten „Frontier“-Modelle so intelligent sein würden, dass sie die Küchen-Konfiguration kaum beachten würden. Sie dachten, ein Super-Gehirn könnte mit einer chaotischen Küche genauso gut umgehen wie mit einer sauberen.
Sie lagen falsch.
Tatsächlich profitierte das leistungsfähigste Modell, das sie testeten (Anthropics Opus), bei schwierigen Aufgaben am meisten von einer strukturierten, organisierten Küche (dem „Küchenteam“-Setup). Das „intelligenteste“ Modell war nicht das unabhängigste; es war dasjenste, das am meisten von einem Manager und einem Kritiker profitierte. Der Abstand zwischen der besten und der schlechtesten Leistung schrumpfte bei den smarten Modellen nicht, sondern blieb groß oder wurde sogar größer.
Die Überraschung: „Familie“ vs. „Rang“
Eine weitere Überraschung war, dass der Vorteil einer schicken Küche davon abhing, zu welcher Familie das Modell gehörte, und nicht nur davon, wie hoch es eingestuft war.
- Die Anthropic-Familie (Haiku, Sonnet, Opus) erhielt alle einen enormen Schub durch das „Küchenteam“-Setup.
- Die Modelle von Google und OpenAI erhielten diesen gleichen Schub nicht.
Es ist so, als würde man sagen, dass ein bestimmter Automotor viel besser mit einer bestimmten Marke Kraftstoff läuft, aber eine andere Marke von Motor ist es egal. Man kann nicht einfach davon ausgehen, dass ein Modell höherer Stufe immer mehr von besseren Werkzeugen profitiert; es hängt davon ab, wer den Motor gebaut hat.
Kosten und Effizienz
Die Studie betrachtete auch die „Rechnung“ (Kosten).
- Der „Solo-Koch“ (ReAct) war am teuersten und am langsamsten. Er machte viele Fehler und musste oft neu anfangen.
- Die „Küchenteam“- und „Blaupause“-Setups waren schneller, machten weniger Fehler und konnten sich besser erholen, wenn während der Aufgabe etwas schiefging.
- Der Gewinner: Eine spezifische Kombination aus Googles Gemini-Modell mit dem „Blaupause“-Setup war die günstigste und genaueste Option für die schwierigsten Aufgaben.
Das Fazit
Dieses Paper sagt uns, dass Fähigkeitszahlen konditional sind. Man kann nicht sagen, ein Modell sei „X % fähig“ im luftleeren Raum. Man muss sagen: „X % fähig, wenn man dieses spezifische Set an Anweisungen und Werkzeugen verwendet.“
Wenn Sie wissen wollen, wie gut eine KI wirklich ist, können Sie nicht nur auf einen Wert schauen. Sie müssen erkennen, dass der Wert eine Momentaufnahme des Modells plus des Gerüsts ist, das es stützt. Wenn Sie das Gerüst ändern, ändert sich der Wert, manchmal drastisch. Die „Lücke“ zwischen dem, was ein Modell kann, und dem, was es in einem Test tatsächlich tut, ist riesig, und sie wird nicht zwangsläufig kleiner, nur weil das Modell intelligenter wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.