🤖 AI

Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation

Dieses Paper stellt „Pandora's Router“ vor, ein Framework, das das klassische Problem der Pandora-Box anwendet, um KI-Anfragen effizient unter heterogenen Spezialisten zu routen, indem es die Kosten der Wertermittlung optimal gegen den potenziellen Gewinn an Allokationsqualität abwägt und zeigt, dass dieser Ansatz die Leistung einer erschöpfenden Schätzung erreicht, während er den Einsatz teurer Schätzer signifikant reduziert.

Ursprüngliche Autoren: Adam Fisch, Shubhendu Trivedi, Fantine Huot, William W. Cohen, Michael Kaisers, Mirella Lapata, Kate Larson, Jacob Eisenstein

Veröffentlicht 2026-08-25

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adam Fisch, Shubhendu Trivedi, Fantine Huot, William W. Cohen, Michael Kaisers, Mirella Lapata, Kate Larson, Jacob Eisenstein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der rasant expandierenden Landschaft der künstlichen Intelligenz ist eine neue Herausforderung entstanden, bei der es weniger darum geht, intelligentere Maschinen zu bauen, als vielmehr darum, sie klug zu verwalten. Heute verlassen sich Organisationen nicht auf ein einziges, monolithisches Gehirn, um jedes Problem zu lösen. Stattdessen setzen sie ein diverses Ökosystem spezialisierter Modelle ein: Einige sind klein, schnell und kostengünstig, konzipiert für einfache Aufgaben; andere sind massiv, langsam und teuer, reserviert für komplexes Denken oder tiefe Analysen. Es gibt auch Modelle, die mit externen Werkzeugen wie Suchmaschinen oder spezialisierten Datenbanken ausgestattet sind, welche die Genauigkeit verbessern können, aber auch ihre eigenen Kosten verursachen. Die zentrale Frage für jeden, der diese Systeme betreibt, ist, wie man entscheidet, welches Werkzeug für eine bestimmte Aufgabe zu verwenden ist. Wenn man eine einfache Anfrage an ein riesiges, teures Modell sendet, verschwendet man Geld. Wenn man ein schwieriges, nuanciertes Problem an ein billiges, einfaches Modell sendet, erhält man eine mangelhafte Antwort. Das Ziel ist es, jede Anfrage an den Spezialisten zu leiten, der mit der höchsten Wahrscheinlichkeit am erfolgreichsten ist und dabei die geringstmöglichen Kosten verursacht.

Diese Entscheidung zu treffen, ist jedoch nicht kostenlos. Um zu wissen, welches Modell für eine bestimmte Frage am besten geeignet ist, muss ein System zuerst die Qualität der Antwort abschätzen, die jedes Modell liefern würde. Dieser Schätzprozess selbst kommt in zwei Ausprägungen vor. Ein „billiger“ Schätzer könnte sich die Frage ansehen und basierend auf allgemeinen Mustern raten, was schnell, aber oft verrauscht und unzuverlässig ist. Ein „kostspieliger“ Schätzer könnte tatsächlich eine Teilversion der Aufgabe ausführen oder ein leistungsfähigeres Modell konsultieren, um eine präzise Vorhersage zu treffen, aber dies kostet Zeit und Geld. Das Dilemma ist ein klassischer Kompromiss: Zahlt man dafür, eine bessere Vermutung zu erhalten, bevor man seine Wahl trifft, oder rät man einfach basierend auf den billigen Informationen, die man bereits hat? Wenn man zu oft zahlt, frisst der Preis der Überprüfung die Ersparnisse auf. Wenn man zu selten prüft, trifft man schlechte Routing-Entscheidungen.

Forscher bei Google DeepMind haben dieses Problem gelöst, indem sie es als ein bekanntes Rätsel aus der Wirtschaftswissenschaft namens „Pandoras Büchse“ formulierten. Stellen Sie sich eine Person vor, der mehrere versiegelte Boxen präsentiert werden, von denen jede einen verborgenen Wert unbekannter Höhe enthält. Die Person kennt die allgemeine Verteilung der Preise, aber nicht den spezifischen Inhalt einer einzelnen Box. Um zu sehen, was sich darin befindet, muss sie eine Gebühr bezahlen, um die Box zu öffnen. Das Ziel ist es, den Wert des Preises zu maximieren, den man am Ende erhält, abzüglich der gesamten Gebühren, die zum Öffnen der Boxen gezahlt wurden. Die optimale Strategie, die vor Jahrzehnten entdeckt wurde, besteht darin, einen „Reservierungspreis“ für jede Box zu berechnen – einen spezifischen Schwellenwert, der der Person sagt, ob der potenzielle Gewinn durch das Öffnen der Box die Kosten der Gebühr wert ist. Wenn die aktuelle beste Option bereits besser als dieser Schwellenwert ist, ist es klüger, die Box ganz zu überspringen.

Die Forscher wandten diese Logik auf das KI-Modell-Routing an, indem sie jedes verfügbare KI-Modell als eine versiegelte Box behandelten. Die „billige“ Wertschätzung ist die erste Vermutung, während die „kostspielige“ Schätzung der Akt des Öffnens der Box ist, um das wahre Potenzial zu sehen. Sie entwickelten ein System, das sie „Pandora's Router“ nennen, welches diese Reservierungspreise für jedes Modell und jede eingehende Frage berechnet. Das System entscheidet dynamisch, ob der zusätzliche Aufwand für eine genauere Prüfung gerechtfertigt ist. Wenn die billige Vermutung darauf hindeutet, dass ein Modell wahrscheinlich das beste ist, oder wenn die Kosten der Prüfung zu hoch sind, überspringt der Router die teure Prüfung und legt sich auf eine Entscheidung fest. Wenn die billige Vermutung unsicher ist und die Kosten der Prüfung niedrig sind, zahlt der Router, um eine bessere Schätzung zu erhalten, bevor er entscheidet.

Um diesen Ansatz zu testen, führten das Team Experimente in drei sehr unterschiedlichen realen Szenarien durch. Das erste beinhaltete mathematisches Denken, wobei Modelle zwischen einem schnellen, basalen Solver und einem langsameren, leistungsfähigeren Modell wählen mussten, das eine verlängerte schrittweise Argumentation durchführen kann. Das zweite Szenario konzentrierte sich auf Retrieval-Augmented Generation, bei dem das System entscheiden musste, ob es ein Modell verwendet, das sich lediglich auf sein internes Wissen verlässt, oder eines, das dafür bezahlt, zuerst eine Datenbank mit Dokumenten zu durchsuchen. Das dritte war ein groß angelegtes Benchmark-Verfahren mit über einhundert verschiedenen Sprachmodellen, die von winzig bis massiv reichten, wobei das System das richtige Modell für eine Vielzahl allgemeiner Wissensfragen auswählen musste.

Die Ergebnisse zeigten, dass Pandora's Router den Kompromiss zwischen Kosten und Genauigkeit erfolgreich navigierte. In Situationen, in denen die teure Prüfung kostengünstig durchzuführen war, fragte das System diese häufig ab und erreichte eine Leistung, die nahezu identisch mit einem System war, das jedes Mal alle Modelle prüfte. Aber als die Kosten der Prüfung stiegen, wurde der Router viel selektiver und übersprang die teuren Prüfungen immer dann, wenn die billige Vermutung aussagekräftig genug war. Dies ermöglichte es dem System, hochwertige Routing-Entscheidungen zu treffen und gleichzeitig deutlich weniger Geld auszugeben als der „Alles-prüfen“-Ansatz. In der Tat erreichte der Router in allen drei Bereichen die Qualität der erschöpfenden Prüfung, während er die teuren Schätzer weita viel seltener abfragte, und fand so den optimalen Punkt, an dem die Kosten der Information den Wert der dadurch ermöglichten Entscheidung rechtfertigten.

Die Forscher untersuchten auch eine dezentralere Version dieses Problems, die sie „Pandora's Bidder“ nannten. In diesem Aufbau, anstatt dass ein zentraler Manager alle Entscheidungen trifft, agieren die einzelnen KI-Modelle selbst als Bieter. Jedes Modell sieht den Preis des besten konkurrierenden Angebots und muss entscheiden, ob es seine eigenen Ressourcen investiert, um eine Selbsteinschätzung durchzuführen, um den Auftrag gewinnen zu können. Dies spiegelt einen Marktplatz wider, auf dem Spezialisten selbst entscheiden, ob es sich lohnt, ihre eigenen Schätzungen zu verfeinern, bevor sie einen Vertrag annehmen. Die Studie fand heraus, dass die dezentrale Logik die Effizienz verbesserte, wenn die konkurrierenden Schätzungen genau waren. Wenn die konkurrierenden Schätzungen jedoch verrauscht oder unzuverlässig waren, handelten die strategischen Modelle manchmal in ihrem eigenen Selbstinteresse auf eine Weise, die die Gesamtleistung des Systems beeinträchtigte, was die Spannung zwischen individuellem Profit und kollektiver Effizienz verdeutlicht, die in der zentralisierten Version nicht existiert.

Letztendlich zeigt die Arbeit, dass die Entscheidung darüber, wie KI-Modelle zu bewerten sind, selbst ein komplexes Optimierungsproblem darstellt. Indem die Forscher die Wertschätzung als eine kostspielige Aktivität behandelten, die gegen ihren Nutzen abgewogen werden muss, statt als einen kostenlosen oder festen Schritt, schufen sie einen Rahmen, der sich an die ökonomischen Realitäten der Nutzung von KI anpasst. Das System vertraut weder blind den billigen Vermutungen noch zahlt es blind für teure Prüfungen; stattdessen berechnet es den präzisen Moment, in dem der Wert des Wissens mehr wiegt als der Preis des Herausfindens. Dieser Ansatz bietet einen praktischen Weg nach vorn für die Verwaltung heterogener KI-Systeme und stellt sicher, dass das richtige Werkzeug für die richtige Aufgabe verwendet wird, ohne Ressourcen durch unnötige Prüfungen zu verschwenden.

Technisches Resümee: Pandoras KI-Modell-Routing-Box

Problemstellung

Da KI-Systeme zunehmend auf heterogenen Modellfamilien basieren – von kleinen, schnellen Modellen bis hin zu großen, teuren oder durch Retrieval-Augmentation spezialisierten Experten – wird das Problem der effizienten Zuweisung von Eingaben zum am besten geeigneten Modell kritisch. Bestehende Routing-Ansätze versuchen typischerweise, den erwarteten Ertrag (Qualität) jedes Spezialisten für eine gegebene Eingabe zu schätzen und wählen den Maximierer. Diese Methoden behandeln die Wertschätzung jedoch oft als kostenfreie Operation. In der Realität besteht ein grundlegender Tradeoff: Günstige Schätzer (z. B. embedding-basierte Prädiktoren) sind schnell, aber verrauscht, während genaue Schätzer (z. B. feinabgestimmte Modelle mit Zugriff auf partielle Reasoning-Spuren oder Retrieval-Ergebnisse) teuer sind.

Das zentrale Problem ist die effiziente Allokation mit kostspieliger Wertschätzung. Das System muss nicht nur entscheiden, welchen Spezialisten es auswählt, sondern auch, welche Wertschätzer abgefragt werden sollen, um diese Entscheidung zu fundieren. Das Ziel ist es, den erwarteten Ertrag des ausgewählten Spezialisten abzüglich der Gesamtkosten des Schätzprozesses zu maximieren. Dies beinhaltet die Frage, wann der „Wert der Information“ (Value of Information), die durch eine kostspielige, genaue Schätzung gewonnen wird, deren Rechenaufwand rechtfertigt.

Methodik

Die Arbeit formalisiert dieses Routing-Problem als Instanz von Pandoras Box, einem klassischen Problem aus der Suchtheorie und Operations Research (Weitzman, 1979). In dieser Analogie ist jeder Spezialist eine „Box“ mit einem verborgenen Wert. Der Router hat standardmäßig Zugriff auf einen günstigen, verrauschten Schätzer ( $f_m$ ) und kann eine Kostenstelle ( $c_m$ ) bezahlen, um die Box zu „öffnen“ und einen genaueren Schätzer ( $g_m$ ) zu beobachten.

1. Pandoras Router (Zentralisierte Umgebung)

In der zentralisierten Umgebung kontrolliert ein einzelner Router die Allokation. Die Autoren schlagen Pandoras Router vor, eine Policy, die auf Reservierungspreisen basiert.

Signalmodell: Die Beziehung zwischen dem günstigen Schätzer $f_m$ und dem kostspieligen Schätzer $g_m$ wird mittels eines Gaußschen Signalmodells modelliert: $G_m | F = f \sim \mathcal{N}(\mu_m, \sigma_m^2)$ . Der Mittelwert $\mu_m$ ist eine Funktion der günstigen Schätzer, und $\sigma_m$ erfasst die verbleibende Unsicherheit.
Reservierungspreis ( $u^{rsv}_m$ ): Definiert als der Wert der Alternativoption, bei dem der erwartete Nutzen des Öffnens von Box $m$ den Inspektionskosten exakt entspricht. Er erfüllt $\mathbb{E}[(G_m - u^{rsv}_m)^+] = c_m$ .
Nicht-obligatorische Inspektion: Im Gegensatz zum klassischen Pandora's Box Problem, bei dem man die ausgewählte Box inspizieren muss, betrachtet diese Arbeit die nicht-obligatorische Variante (Doval, 2018; Beyhaghi und Kleinberg, 2019). Der Router kann einen Spezialisten auswählen, ohne für dessen Inspektion zu bezahlen (indem er den günstigen Schätzer als „versiegelte“ Option nutzt).
Algorithmus:
1. Berechne die Reservierungspreise und „Backup-Preise“ (für versiegelte Boxen) für alle Spezialisten.
2. Identifiziere einen „zurückgehaltenen“ Spezialisten, der als initiale Alternativoption dient.
3. Inspiziere die verbleibenden Spezialisten sequenziell in absteigender Reihenfolge ihrer Reservierungspreise.
4. Stoppe, wenn der aktuell beste beobachtete Wert den Reservierungspreis der verbleibenden ungeöffneten Boxen übersteigt.
5. Wähle den besten beobachteten Wert oder den zurückgehaltenen Spezialisten, falls keine Inspektion lohnenswert war.
Korrelierte Werte: Um Korrelationen zwischen Spezialisten zu handhaben (z. B. ähnliche Modelle in einem großen Pool), berechnet der Algorithmus die Reservierungspreise in jedem Schritt unter Verwendung eines multivariaten Gaußschen Posterior-Updates neu.

2. Pandoras Bieter (Dezentralisierte Umgebung)

Die Arbeit erweitert das Framework auf einen dezentralen Markt, in dem Spezialisten ihre eigene Wertschätzung kontrollieren.

Mechanismus: Ein Posted-Price-Mechanismus, bei dem die Plattform einen Preis basierend auf den besten konkurrierenden Schätzungen festlegt. Ein strategischer Spezialist muss entscheiden, ob er den Preis akzeptiert oder ablehnt.
Wert der Information (VoI): Vor der Annahme kann der Spezialist dafür bezahlen, seine Selbsteinschätzung zu verfeinern. Die Entscheidung zur Inspektion basiert darauf, ob der Preis $p$ in ein spezifisches Intervall $[p_{lo}, p_{hi}]$ fällt, in dem der erwartete Gewinn durch Verfeinerung den Kosten übersteigt.
Strategie: Der Spezialist verfeinert seinen Schätzer nur dann, wenn der Preis nahe seinem erwarteten Wert liegt (hohe Unsicherheit), und akzeptiert, wenn der verfeinerte Wert den Preis übersteigt, und lehnt andernfalls ab.

Experimentelle Domänen

Das Framework wurde über drei Domänen hinweg evaluiert:

MATH (Inference-time Scaling): Routing zwischen einem kostengünstigen Modell und einem hochpreisigen Modell. Der kostspielige Schätzer $g$ nutzt die ersten 20 Token einer Chain-of-Thought (CoT) Reasoning-Spur, um die Korrektheit vorherzusagen.
RAG (Retrieval-Augmented Generation): Routing zwischen einem Modell ohne Retrieval, einem Wikipedia-RAG-Modell und einem PubMed-RAG-Modell. Der kostspielige Schätzer $g$ bezieht Retrieval-Ergebnisse ein, um die Antwortqualität vorherzusagen.
EmbedLLM (Großskalige Auswahl): Routing unter >100 Open-Weights-Modellen. Der kostspielige Schätzer ist ein feinabgestimmtes Modell, das die Performance basierend auf dem Prompt allein vorhersagt und somit eine höhere Genauigkeit als Embedding-basierte KNN-Baselines bietet.

Kernergebnisse

Routing-Performance: Pandoras Router minimiert konsistent die Summe aus Regret (die Differenz zwischen dem tatsächlichen Ertrag des ausgewählten Spezialisten und dem optimalen Oracle-Wert) und den Inspektionskosten.
- Er erreicht die Leistung der exhaustiven Schätzung ( $g$ -always), wenn die Inspektionskosten niedrig sind.
- Er erreicht die Leistung des reinen Cheap-Routing ( $f$ -only), wenn die Inspektionskosten hoch sind.
- In mittleren Kostenregimen übertrifft er Baselines wie „Top-2“ (Abfrage der zwei besten günstigen Schätzer) und Random-Strategien signifikant und erreicht nahezu minimale Gesamtkosten über den gesamten Bereich von $c_g$ .
Dezentrale Effizienz: In der dezentralen Umgebung gelingt es Pandora's Bidder, zwischen Überinvestition und Unterinvestition in die Verfeinerung zu interpolieren. Die Arbeit stellt jedoch eine Spannung fest: Wenn konkurrierende Schätzungen verrauscht sind (z. B. basierend auf dem günstigen $f$ ), kann der strategische Bieter seinen eigenen Surplus auf Kosten der allgemeinen Allokationseffizienz maximieren.
Ablationen: Die Verwendung desselben Abfragebudgets wie bei Pandora's Router, jedoch mit der Auswahl von Boxen via Random- oder Margin-basierten Heuristiken, führte zu höherem Regret, was bestätigt, dass die Sortierung nach Reservierungspreisen entscheidend für die Effizienz ist.

Bedeutung und Beiträge

Die Arbeit beansprucht drei primäre Beiträge:

Formalisierung: Es ist die erste Arbeit, die das Modell-Routing explizit mit dem klassischen Pandora's Box Problem verbindet und das Routing mit kostspieliger Wertschätzung als Instanz von Pandora's Box mit nicht-obligatorischer Inspektion formalisiert.
Algorithmische Innovation: Sie leitet eine auf Reservierungspreisen basierende Policy mit geschlossenen Formeln für den Value-of-Information unter einem Gaußschen Signalmodell ab, was eine effiziente Berechnung optimaler Routing-Entscheidungen ermöglicht.
Dezentralisierung: Sie erweitert das Framework auf eine dezentrale Umgebung (Pandora's Bidder) und zeigt auf, wie Agenten Value-of-Information-Reasoning in auktionsbasierten Allokationsmechanismen nutzen können.

Die Autoren positionieren diese Arbeit als einen Schritt zum Verständnis der Ökonomie der Modellauswahl in heterogenen KI-Systemen und bieten ein einheitliches Framework zur Abwägung von Kosten und Genauigkeit sowohl im zentralisierten Routing als auch in dezentralen Marktplätzen. Sie räumen Einschränkungen ein, wie etwa die Abhängigkeit von einem Gaußschen Signalmodell, das möglicherweise keine Heavy Tails erfasst, sowie die myope Natur der aktuellen Bietstrategie, die keine Multi-Round-strategische Antizipation berücksichtigt.