Adapter-Augmented Bandits for Online Multi-Constrained Multi-Modal Inference Scheduling

Der Artikel stellt M-CMAB vor, einen Multi-Adapter-basierten Rahmen für das Online-Scheduling von Multi-Modal-LLM-Inferenzen, der durch die Kombination eines adaptiven Prädiktors, eines primal-dualen Constraints und eines zweiphasigen Schedulers komplexe Unsicherheiten bewältigt und dabei mehrdimensionale Budgetbeschränkungen einhält, um die Belohnung im Vergleich zu bestehenden Methoden signifikant zu steigern.

Das Wesentliche

Stell dir vor, du bist der Chef einer riesigen, hochmodernen Küche, die Gerichte für Gäste zubereitet. Aber diese Küche ist besonders: Sie kann nicht nur essen, sondern auch Bilder sehen, Töne hören und komplexe Rätsel lösen. Das sind die Multi-Modalen Sprachmodelle (MLLMs) – also die „intelligenten Köche" deiner Küche.

Das Problem ist: Du hast nicht nur eine Küche, sondern viele verschiedene Stationen:

1. Die kleine, schnelle Küche direkt am Tisch (dein eigenes Gerät, z. B. ein Smartphone). Sie ist schnell und privat, aber kann nur einfache Gerichte kochen.
2. Die riesige, professionelle Sterneküche im Hintergrund (die Cloud). Sie kann alles, ist aber langsam, kostet viel Geld für Strom und Zutaten und hat Wartezeiten.

Jeder Gast (jeder Auftrag) ist anders. Manche wollen nur ein einfaches Sandwich (Text), andere ein komplexes Menü mit Bildern und Musik (Multi-Modal). Und du hast ein strenges Budget: Du darfst nur eine bestimmte Menge Geld ausgeben und musst innerhalb einer bestimmten Zeit liefern.

Das große Dilemma: Wer macht was?

Wenn ein Gast kommt, musst du sofort entscheiden:

• Soll ich das einfache Sandwich selbst am Tisch machen? (Schnell, billig, aber vielleicht nicht perfekt).
• Oder soll ich es an die Sterneküche schicken? (Perfekt, aber teuer und langsam).

Das ist schwer, weil du nicht weißt, wie schwer das nächste Gericht sein wird und wie viel die Sterneküche gerade kostet (vielleicht ist sie gerade überlastet). Wenn du zu oft die teure Küche nutzt, bist du pleite. Wenn du zu oft die kleine Küche nutzt, sind die Gerichte schlecht.

Die Lösung: M2-CMAB – Der „intelligente Tischaufseher"

Die Autoren dieses Papers haben einen neuen Algorithmus namens M2-CMAB erfunden. Man kann sich das wie einen super-smarten Tischaufseher vorstellen, der drei besondere Werkzeuge hat:

1. Der „Koch-Assistent" mit Brille (Der Predictor)

Statt jeden Gast genau zu analysieren und dabei die ganze Küche zu verlangsamen, trägt dieser Assistent eine spezielle Brille (ein frozen backbone). Er sieht sich den Gast kurz an und sagt: „Aha, dieser Gast will ein komplexes Bild-Rätsel lösen."
Er nutzt keine teuren neuen Rezepte (kein komplettes Neulernen), sondern nur kleine, leichte Notizzettel (Adapter), die er schnell aktualisiert.

• Was er tut: Er schätzt sofort: „Wenn wir das am Tisch machen, kostet es 1 Euro und dauert 2 Sekunden. Wenn wir es in die Cloud schicken, kostet es 10 Euro und dauert 20 Sekunden."
• Der Clou: Er ist sehr schnell und verbraucht kaum Energie, weil er die schwere Arbeit (das „Sehen" und „Verstehen") von der großen Küche übernimmt, aber nur die kleinen Notizen selbst schreibt.

2. Der „Kassen-Controller" (Der Constrainer)

Dieser Controller hat ein Auge auf dein Gesamtbudget. Er weiß: „Wir haben heute nur 100 Euro und 1 Stunde Zeit."
Er nutzt eine clevere Mathematik-Methode (Lagrange-Multiplikatoren), die wie ein dynamischer Preisaufschlag funktioniert.

• Wenn du schon viel Geld ausgegeben hast, sagt der Controller: „Okay, ab jetzt kostet jede Bestellung in der Cloud für uns virtuell doppelt so viel."
• Das zwingt den Tischaufseher, vorsichtiger zu werden und mehr am Tisch zu kochen, ohne dass er das Budget komplett vergisst. Er balanciert den Hunger nach Qualität mit der Angst vor dem Geldmangel.

3. Der „Zwischen-Entscheider" (Der Scheduler)

Dieser Teil ist der eigentliche Tischaufseher, der die Entscheidung trifft. Er nutzt die Schätzungen des Koch-Assistenten und die Warnungen des Kassen-Controllers.

• Entdecken vs. Ausnutzen: Manchmal probiert er etwas Neues aus (z. B. „Mal sehen, ob die Cloud heute schneller ist als erwartet"), um zu lernen. Meistens aber wählt er die beste bekannte Option, um den Gast zufrieden zu stellen.
• Er sorgt dafür, dass du nicht zu früh pleitegehst, aber auch nicht zu viele schlechte Gerichte servierst.

Warum ist das so gut?

In Tests haben die Autoren gezeigt, dass dieser neue Tischaufseher viel besser ist als alle anderen Methoden:

• Er spart bis zu 14 % mehr Geld oder liefert 14 % bessere Gerichte als die alten Methoden.
• Er kommt fast an das Ergebnis heran, als hätte man einen Orakel (eine allwissende Kristallkugel), die genau weiß, was in der Zukunft passiert.
• Er funktioniert auch dann gut, wenn die Gäste völlig unterschiedliche Wünsche haben (manchmal nur Text, manchmal Videos) und die Preise in der Cloud schwanken.

Zusammenfassung in einem Satz

M2-CMAB ist wie ein super-intelligenter Restaurant-Manager, der mit einer Brille die Gäste schnell einschätzt, mit einem Kassen-Controller das Budget im Auge behält und mit einem klugen Plan entscheidet, wann er selbst kocht und wann er die teure Sterneküche ruft – alles, um das beste Essen zum besten Preis zu bekommen, ohne jemals pleitezugehen.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderung des Online-Schedulings für Inferenzaufgaben von Multimodalen Large Language Models (MLLMs) unter strengen Ressourcenbeschränkungen.

• Heterogenität der Aufgaben: Echte MLLM-Anfragen variieren stark in ihrer modalen Zusammensetzung (Text, Bild, Audio) und ihrer latenten Schwierigkeit.
• Heterogenität der Backends: Die Ausführung kann auf verschiedenen Backends erfolgen (z. B. lokale Geräte vs. Cloud-APIs), die sich in Kosten, Latenz und Modellkapazität unterscheiden. Diese Kosten sind zudem nicht-stationär (durch System-Jitter oder Netzwerkvariationen).
• Zielkonflikt: Das Ziel ist es, die erwartete Antwortqualität (Reward) zu maximieren, während gleichzeitig mehrere langfristige Budgetbeschränkungen (z. B. monetäre Kosten und Latenz) eingehalten werden müssen.
• Herausforderungen:
  1. Repräsentation: Wie erstellt man semantisch treue, aber für das Scheduling relevante Repräsentationen für komplexe multimodale Aufgaben?
  2. Entscheidungsfindung: Wie trifft man Online-Entscheidungen mit geringem Overhead unter irreversiblen, mehrdimensionalen Budgets, ohne die Budgets frühzeitig zu erschöpfen?

Das Problem wird als Multi-Modal Multi-Constraint Contextual Multi-Armed Bandit mit Rucksack-Beschränkungen (M2CBwK) formuliert.

2. Methodik: M2-CMAB Framework

Die Autoren schlagen M2-CMAB (Multi-modal Multi-constraint Contextual Multi-Armed Bandit) vor, ein Framework mit drei gekoppelten Komponenten:

A. Effiziente MLLM-Repräsentation (Predictor)

Statt das gesamte MLLM-Backbone für jede Entscheidung neu zu trainieren (was zu teuer und instabil wäre), wird ein frozen-backbone Ansatz verwendet:

• CLS-Attentive Pooling: Ein explizites [CLS]-Token wird als semantischer Anker am Anfang der Eingabe eingefügt. Die Aufmerksamkeitsgewichte dieses Tokens werden genutzt, um eine kompakte, kontextsensitive Task-Repräsentation ($z_t^x$) aus den versteckten Zuständen des gefrorenen Backbones zu extrahieren.
• Adapter-basierte Vorhersage: Anstatt das Backbone zu fine-tunen, werden nur leichte Adapter (Trainable Heads) verwendet. Diese Adapter nehmen die Task-Repräsentation und die Action-Embedding ($z_a$) als Eingabe und schätzen den Reward sowie die Kostenvektoren für jede Dimension (z. B. Geld, Latenz) separat ab.
• Vorteil: Dies ermöglicht eine schnelle, aufgabenspezifische Vorhersage bei minimalem Rechenaufwand und erhält die generativen Fähigkeiten des lokalen Backends.

B. Entkoppelte Langzeit-Budgetkontrolle (Constrainer)

Um die langfristigen Budgetbeschränkungen zu handhaben, wird ein Primal-Dual-Optimierungsansatz verwendet:

• Lagrange-Multiplikatoren: Für jede Budgetdimension wird ein dualer Variablenvektor $\lambda_t$ (Lagrange-Multiplikatoren) online aktualisiert.
• Online Mirror Descent (OMD): Die Dual-Variablen werden mittels OMD aktualisiert, um Strafen für Budgetverletzungen in der Zielfunktion anzupassen.
• Entkopplung: Dies entkoppelt die langfristige Budgeteinhaltung von der einzelnen Entscheidungsfindung pro Runde. Das System passt die Strafen dynamisch an, um Ressourcen für zukünftige, komplexere Aufgaben zu reservieren.

C. Zwei-Phasen-Scheduler

Der Scheduler trifft die endgültige Auswahl zwischen den Backends (Armen):

1. Initial Phase (Exploration): In den ersten $(A+1) \cdot T_0$ Runden werden Aktionen gleichmäßig abgetastet, um ein Regressionsmodell zu trainieren und den Radius $\Lambda$ des zulässigen Bereichs für die Lagrange-Multiplikatoren zu schätzen. Dies ist notwendig, um die theoretischen Regret-Grenzen zu garantieren.
2. Exploration-Exploitation Phase:
   • Es wird eine Lagrange-Score-Funktion berechnet: $S_t(a) = \hat{r}_t^a - \langle \hat{\phi}_t^a / \Phi - 1/T, \lambda_t \rangle$.
   • Eine probabilistische Sampling-Strategie wählt Aktionen basierend auf diesen Scores aus, wobei ein Hyperparameter $\rho$ das Verhältnis von Exploration zu Exploitation steuert.
   • Nach der Ausführung werden die tatsächlichen Rewards/Kosten beobachtet, die Adapter-Parameter aktualisiert und die Dual-Variablen $\lambda_{t+1}$ via OMD aktualisiert.

3. Wichtige Beiträge

1. Effiziente Repräsentation: Entwicklung eines CLS-attentiven, adapter-basierten Predictors, der auf einem gefrorenen MLLM-Backbone läuft und nur leichte Adapter für Reward/Cost-Schätzung aktualisiert.
2. Entkoppelte Constraints: Ein primal-dualer Mechanismus, der langfristige mehrdimensionale Budgets durch adaptive Lagrange-Multiplikatoren verwaltet, ohne die Online-Entscheidungsfindung zu verlangsamen.
3. Theoretische Garantien: Beweis eines Regret-Garantie unter mehrdimensionalen Rucksack-Beschränkungen. Der Beweis zeigt, dass der kumulative Regret sublinear ist, vorausgesetzt, die Schätzfehler der Predictor-Adapter sind sublinear.
4. Realistischer Benchmark: Erstellung eines umfassenden Benchmarks mit 5 Backends (lokal/cloud), 6 Datensätzen und gemischten multimodalen Aufgaben.

4. Ergebnisse und Evaluation

Die Evaluation wurde auf einem Trace-getriebenen Benchmark mit heterogenen Backends durchgeführt:

• Performance: M2-CMAB übertrifft State-of-the-Art-Baselines (wie Random, Latency-first, Money-first, BGT-planner) konsistent.
• Verbesserung: Auf dem Composite-Datensatz wurde eine bis zu 14,18 % höhere durchschnittliche Reward im Vergleich zum zweitbesten Baseline-Verfahren erzielt.
• Robustheit: Das System bleibt auch unter stark eingeschränkten Budgets („Restricted") stabil und nähert sich der Leistung eines „Oracle" (der perfekte Informationen über zukünftige Aufgaben hätte) an (Gap < 1,2 %).
• Sensitivität: Die Methode ist robust gegenüber Variationen des Hyperparameters für die Initialphase, solange ein ausgewogenes Verhältnis zwischen Schätzung und Nutzung eingehalten wird.
• Ablationsstudie: Die Entfernung des Reward-Adapters führt zu den stärksten Leistungseinbußen, was die Wichtigkeit der genauen Reward-Schätzung für das Scheduling unterstreicht.

5. Bedeutung und Ausblick

Das Paper liefert einen wesentlichen Beitrag zur effizienten Nutzung von MLLMs in ressourcenbeschränkten Umgebungen (Edge-Cloud-Kollaboration).

• Praktische Relevanz: Es ermöglicht Cloud-Anbietern und Edge-Geräten, dynamisch und kosteneffizient zwischen verschiedenen Inferenz-Backends zu wechseln, ohne die Servicequalität zu gefährden.
• Theoretischer Fortschritt: Die Erweiterung des Contextual Bandit-Frameworks auf mehrmodale Kontexte und mehrdimensionale, irreversible Budgets füllt eine Lücke in der Literatur.
• Zukunft: Die Autoren planen, Online-Regret-Garantien für spezifischere MLLM-basierte Schätzer zu etablieren und noch leichtere Task-Repräsentationen zu erforschen.

Zusammenfassend stellt M2-CMAB einen robusten, theoretisch fundierten und praktisch anwendbaren Ansatz dar, um die Komplexität multimodaler Inferenz unter realen Budgetbeschränkungen zu meistern.