Doing More with Less: A Survey on Routing Strategies for Resource Optimisation in Large Language Model-Based Systems
Diese Übersicht bietet einen umfassenden Überblick über Routing-Strategien in auf Large Language Models basierenden Systemen und analysiert, wie die dynamische Weiterleitung von Abfragen an geeignete Modelle den Ressourcenverbrauch optimieren, Kosten senken und die Leistung steigern kann, indem die Ineffizienzen monolithischer Architekturen adressiert werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der jedes Mal, wenn Sie eine Frage stellen, ein Team von Experten herbeieilt, um sie zu beantworten. Einige sind brillant, aber langsam und teuer, wie ein Nobelpreisträger, der nach Stunden abgerechnet wird. Andere sind schnell und günstig, wie ein wissbegieriger Freund, der die meisten Dinge bewältigen kann, aber bei einem wirklich kniffligen Rätsel stolpern könnte. In der Welt der künstlichen Intelligenz sind diese „Experten“ Große Sprachmodelle (LLMs). Momentan sind die meisten Computersysteme aufgebaut wie ein eigensinniges Restaurant, das jede einzelne Bestellung, von einem einfachen Glas Wasser bis hin zu einem komplexen Fünf-Gänge-Menü, an den teuersten Koch in der Küche schickt. Das funktioniert zwar, ist aber verschwenderisch, langsam und verbraucht viel Energie. Die große Frage, die sich Wissenschaftler stellen, lautet: Wie können wir einen klügeren „Maitre d'“ bauen, der sich Ihre Bestellung ansieht und sofort entscheidet, ob er sie dem schnellen, günstigen Helfer oder dem teuren Genie schickt? Dies ist das Herzstück eines neuen Feldes namens „Routing“, und dabei geht es darum, mit weniger Aufwand mehr zu erreichen.
Dieses Papier mit dem Titel „Doing More with Less“ ist eine umfassende Tour durch die verschiedenen Wege, wie Forscher versuchen, diesen klugen Maitre d' zu bauen. Die Autoren, ein Team aus Frankreich, haben nicht nur einen neuen Trick erfunden; sie haben die gesamte Landschaft der derzeit getesteten Strategien gesammelt und organisiert. Sie fanden heraus, dass der beste Weg, Geld und Energie zu sparen, nicht darin besteht, ein einziges riesiges Gehirn für alles zu verwenden, sondern ein System zu schaffen, das Fragen basierend auf der Schwierigkeit der Frage an das richtige Werkzeug weiterleitet. Sie entdeckten, dass man oft ein winziges, günstiges Modell für einfache Grüße verwenden kann und die großen, teuren Modelle nur für die wirklich schwierigen Logikrätsel aufspart. Sie warnen jedoch auch davor, dass dies noch kein Zauberstab ist. Einige Methoden sind großartig darin, Geld zu sparen, könnten aber bei der Genauigkeit danebenliegen, während andere zu kompliziert sind, um in der realen Welt betrieben zu werden. Das Papier legt nahe, dass die Zukunft in „adaptiven“ Systemen liegt, die lernen und ihre Meinung ändern können, wenn neue Werkzeuge verfügbar werden, anstatt an einen starren Satz von Regeln gebunden zu sein.
Das große Problem: Der „Einheitskoch“ für alles
Betrachten Sie einen Large Language Model (LLM) wie einen superintelligenten Koch. Einige Köche sind Generalisten; sie können fast alles kochen, von einem Sandwich bis hin zu einem Soufflé. Aber sie sind teuer einzustellen und brauchen lange für ihre Arbeit. Andere Köche sind Spezialisten; vielleicht sind sie fantastisch darin, Pizza zu machen, aber schrecklich darin, Kuchen zu backen.
Momentan sind die meisten KI-Systeme wie ein Restaurant, das das Menü ignoriert. Wenn Sie nach einem Glas Wasser fragen, ruft das System den teuersten, leistungsfähigsten Koch (wie GPT-4 oder Claude), um es zu erledigen. Das ist eine enorme Verschwendung. Es kostet viel Geld, verbraucht eine Menge Strom und dauert länger als nötig. Das Papier argumentiert, dass wir einen „Router“ brauchen – einen klugen Kellner –, der sich Ihre Anfrage ansieht und entscheidet: „Hey, das ist nur eine einfache Frage. Schicken wir sie an den schnellen, günstigen Praktikanten.“ Aber wenn Sie eine komplexe Mathefrage stellen, sollte der Kellner sagen: „Okay, das braucht den Chefkoch.“
Die drei großen Fragen, die das Papier beantwortet
Die Autoren unterteilen das Problem in drei einfache Fragen: Was sollen wir optimieren? Wann treffen wir die Entscheidung? und Wie bauen wir den Router tatsächlich?
1. Was versuchen wir zu sparen?
Die meisten Menschen denken, dass nur Geld zählt. Aber das Papier weist darauf hin, dass wir auch die Zeit (Latenz) und die Umwelt (Energie) berücksichtigen müssen.
- Geld: Jedes Mal, wenn eine KI eine Frage beantwortet, kostet dies ein winziges bisschen Geld pro Wort (Token).
- Zeit: Zu warten, bis eine langsame, leistungsstarke KI auf ein einfaches „Hallo“ antwortet, ist nervig.
- Der Planet: Große KI-Modelle verbrauchen viel Strom. Wenn wir ein kleineres Modell für 80 % unserer Fragen verwenden können, sparen wir eine massive Menge an Energie und reduzieren unseren CO2-Fußabdruck.
2. Wann entscheiden wir?
Das Papier identifiziert zwei Hauptmomente, in denen der „Kellner“ eine Wahl treffen kann:
- Vor der Generierung (Pre-generation): Der Kellner sieht sich Ihre Frage an, bevor überhaupt jemand anfängt zu kochen. Er schätzt: „Das sieht wie eine einfache Pizza-Bestellung aus“, und schickt sie sofort an den günstigen Koch. Das ist schnell und spart Geld, weil der große Koch gar nicht erst involviert wird.
- Nach der Generierung (Post-generation/Cascade): Der Kellner lässt zuerst den günstigen Koch versuchen. Wenn die Antwort schlecht aussieht oder der Koch unsicher scheint, schickt der Kellner die Frage dann an den teuren Koch. Das ist so, als würde man eine Pizza bestellen, ein Stück probieren und, wenn es verbrannt ist, den Chefkoch rufen, um eine neue zu machen. Das ist sicherer, aber langsamer und kann teurer werden, wenn der günstige Koch oft versagt.
3. Wie bauen wir den Kellner?
Dies ist der interessanteste Teil. Das Papier rezensiert Dutzende von verschiedenen „Kellner“-Strategien, die sie in vier Hauptfamilien gruppieren:
- Der „Ähnlichkeits“-Kellner (Similarity-based): Dieser Kellner führt ein Sammelalbum vergangener Fragen. Wenn Sie eine Frage stellen, die einer Frage ähnelt, die Sie letzte Woche gestellt haben, schickt der Kellner sie an denselben Koch, der damals geantwortet hat. Es ist wie zu sagen: „Als Sie letztes Mal nach Katzen gefragt haben, war der Katzen-Experte großartig, also schicke ich diese Katzen-Frage auch an ihn.“
- Der „Lehrer“-Kellner (Supervised): Dieser Kellner wird wie ein Schüler trainiert. Er lernt, Muster zu erkennen. Zum Beispiel lernt er, dass Fragen über „Mathematik“ meist einen Mathe-Spezialisten benötigen, und Fragen über „Witze“ ein kreatives Modell brauchen. Es ist wie ein Schüler, der ein Lehrbuch darüber auswendig gelernt hat, „Welcher Koch bedient welches Gericht“.
- Der „Zocker“-Kellner (Reinforcement Learning): Dieser Kellner lernt durch Versuch und Irrtum, wie ein Videospiel-Charakter. Er probiert verschiedene Köche aus, sieht, ob die Antwort gut war, und erhält eine „Belohnung“, wenn er Geld gespart und eine gute Antwort erhalten hat. Mit der Zeit lernt er die beste Strategie, ohne ein Lehrbuch zu benötigen.
- Der „Selbstreflektierende“ Kellner (Generative): Hier spricht die KI mit sich selbst. Der Kellner fragt den günstigen Koch: „Bist du sicher, dass du das beantworten kannst?“ Wenn der Koch sagt: „Ich bin mir nicht sicher“, schickt der Kellner die Frage sofort an den großen Koch. Es ist, als würde man einen Freund fragen: „Weißt du das?“, und wenn er zögert, ruft man den Experten an.
Was das Papier ausschließt (Die „Lass es bleiben“-Liste)
Die Autoren sind sehr deutlich darüber, was nicht als eine gute Routing-Strategie zählt. Sie sagen ausdrücklich, dass das bloße Sammeln von Antworten von fünf verschiedenen Köchen (genannt „Ensemble-Methoden“) nicht dasselbe ist wie Routing. Das ist so, als würde man fünf Pizzas bestellen und die schlechten wegwerfen; das ist zu teuer. Das Ziel ist es, den richtigen Koch zu wählen, bevor man anfängt zu kochen, nicht alles zu kochen und dann zu wählen.
Sie merken auch an, dass einige Methoden, wie etwa die KI darum zu bitten, ihr eigenes Vertrauen einzuschätzen, knifflig sein können. Manchmal ist die KI übermäßig selbstbewusst und sagt: „Ich weiß das!“, obwohl sie es eigentlich nicht weiß. Dies kann zu schlechten Antworten führen, wenn das System dem falschen Koch vertraut.
Das Urteil: Es ist vielversprechend, aber nicht perfekt
Das Papier kommt zu dem Schluss, dass Routing ein mächtiges Werkzeug ist, aber noch kein gelöstes Rätsel darstellt.
- Es funktioniert: In vielen Tests kann intelligentes Routing die Kosten um die Hälfte oder mehr senken, während die Antworten genauso gut bleiben wie bei der Verwendung der großen Modelle.
- Es ist knifflig: Die beste Strategie hängt von der Situation ab. Manchmal funktioniert ein „Ähnlichkeits“-Ansatz am besten, ein anderes Mal ist ein „Lehrer“-Ansatz besser.
- Die Zukunft: Die Autoren schlagen vor, dass der nächste große Schritt darin besteht, diese Router „adaptiv“ zu machen. Momentan muss man, wenn man einen neuen Koch in die Küche bringt, oft das gesamte Kellner-System neu trainieren. Das Ziel der Zukunft ist ein Kellner, der die Fähigkeiten eines neuen Chefs sofort versteht und ihn nutzen kann, ohne dass eine lange Trainingsphase erforderlich ist.
Kurz gesagt: Dieses Papier ist ein Leitfaden für den Bau smarterer, günstigerer und grünerer KI-Systeme. Es sagt uns, dass wir keinen Vorschlaghammer brauchen, um eine Nuss zu knacken. Indem wir ein smartes System bauen, das weiß, wann es einen kleinen Hammer und wann es einen großen braucht, können wir KI schneller, billiger und besser für den Planeten machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.