🤖 machine learning

Device-Cloud Collaborative LLM Inference with Multi-Modal, Multi-Task, Multi-Turn Conversations

Dieses Paper stellt TMO vor, ein Gerät-Cloud-kollaboratives LLM-Inferenzsystem, das eine ressourcenbeschränkte Reinforcement-Learning-Strategie nutzt, um Offloading-Entscheidungen über multimodale, Multi-Task- und Multi-Turn-Konversationen hinweg dynamisch zu optimieren und dadurch die Antwortqualität, Latenz und Kosten auszubalancieren, während es gleichzeitig die Ressourcenbeschränkungen der On-Device-Bereitstellung sowie den Kommunikations-Overhead reiner Cloud-Lösungen überwindet.

Ursprüngliche Autoren: Liangqi Yuan, Dong-Jun Han, Shiqiang Wang, Christopher G. Brinton

Veröffentlicht 2026-07-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Liangqi Yuan, Dong-Jun Han, Shiqiang Wang, Christopher G. Brinton

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein superintelligentes, riesiges Gehirn, das in einer fernen Cloud lebt, und ein winziges, schlagfertiges Gehirn direkt in Ihrer Tasche. Das riesige Gehirn kann alles sehen, alles hören und unmögliche Rätsel lösen, aber es dauert lange, mit ihm zu kommunizieren, und kostet viele „digitale Münzen“, um es zu nutzen. Das Taschengehirn ist super schnell und kostenlos in der Nutzung, aber es ist etwas vergesslich und kann nur Wörter verstehen, keine Bilder oder komplexen Szenen.

Dies ist genau das Problem, das die Forscher hinter TMO (Three-M Offloading) zu lösen versuchen. Sie haben einen smarten „Verkehrskontrolleur“ gebaut, der für jede einzelne Frage, die Sie stellen, entscheidet, ob er die Aufgabe dem Taschengehirn überlässt oder sie an das riesige Cloud-Gehirn sendet. Aber hier ist der Clou: Sie stellen nicht nur eine Frage. Sie führen ein langes, mehrstufiges Gespräch (wie „Was gibt es zum Abendessen?“ gefolgt von „Wo sind die Teller?“ und dann „Kannst du das Licht einschalten?“). Zudem nehmen Sie vielleicht Fotos oder Videos auf, um dem Gehirn beim Verstehen zu helfen.

Die Forscher fanden heraus, dass einfaches Raten oder die ständige Nutzung des großen Gehirns eine schlechte Idee ist. Stattdessen haben sie einen speziellen Entscheidungsträger mittels Reinforcement Learning trainiert (denken Sie an ein Videospiel, bei dem die KI lernt, indem sie Dinge ausprobiert und Punkte für Schnelligkeit, Kosteneffizienz und Genauigkeit erhält). Diese KI lernte, ein hochkarätiges Spiel des „Ressourcenmanagements“ zu spielen.

Die große Entdeckung
Das Hauptergebnis ist, dass dieser smarte Kontrolleur drei schwierige Dinge gleichzeitig jonglieren kann: Multi-modal (Text, Fotos, Videos), Multi-task (Nachrichten bearbeiten, verlorene Gegenstände finden, Empfehlungen geben) und Multi-turn (das Gespräch am Laufen halten).

In ihren Tests, die über 21.000 Gesprächsrunden und einen benutzerdefinierten Datensatz namens M4A1 umfassten, zeigten die Ergebnisse, dass das TMO-System andere Methoden schlagen konnte. Es gelang ihm, die Antwortqualität hoch zu halten (einen Wert von etwa 1,06 auf ihrer Skala zu erreichen), während es die Wartezeit auf etwa 13,07 Sekunden und die Kosten auf 0,01371 USD (oder 13,71 Tausendstel eines Dollars) niedrig hielt. Am wichtigsten ist, dass es dies tat, ohne gegen die Regeln zu verstoßen: Es hat weder das Zeitlimit von 30 Sekunden noch das Ausgabenlimit von 0,05 USD überschritten.

Was sie ablehnten
Die Arbeit ist sehr deutlich darüber, was nicht funktioniert. Sie testeten die Verwendung eines „Routers“ (einer anderen KI, die einfach nur die Antwort errät, ohne zu lernen) und stellten fest, dass dieser versagte. Einige Router waren zu faul und ignorierten alle Fotos, während andere zu gierig waren und für jede Frage jedes einzelne Foto sendeten, was Geld und Zeit verschwendete. Die Forscher argumentierten auch gegen die Verwendung von „Expert“-Daten (bei denen ein Mensch der KI die perfekte Antwort zeigt). Sie fanden heraus, dass selbst Menschen Schwierigkeiten haben zu wissen, der perfekte Moment ist, ein Foto zu senden oder das Gehirn zu wechseln, in einem langen Gespräch, weshalb sie ihr System mit randomisierten Aktionen aufbauten. Dies zwang die KI, die Regeln des Spiels selbst zu lernen, anstatt nur einen Menschen zu kopieren, der vielleicht nur rät.

Wie sicher sind sie sich?
Die Autoren sind von ihren Ergebnissen überzeugt, sagen aber vorsichtig, dass dies Simulationen und Experimente auf Basis ihres spezifischen Datensatzes sind und keine magische Lösung für jede Situation in der realen Welt. Sie haben bewiesen, dass ihr System durch das Durchführen von tausenden Versuchen besser als die getesteten State-of-the-Art (SOTA)-Methoden wie AIwRG und PerLLM funktioniert.

Wenn sie beispielsweise testeten, was passiert, wenn die Cloud extrem langsam wird (wodurch sich die Wartezeit verzehnfacht), wechselte ihr System clever zum Taschengehirn zurück, um das Zeitlimit nicht zu überschreiten. Als sie verschiedene Arten von Geräten testeten, vom winzigen Raspberry Pi bis hin zu einem leistungsstarken iPhone 15 Pro, passte sich das System perfekt an und zeigte, dass es nicht auf die Art der Hardware ankommt, solange es die Regeln kennt.

Der „Unsicherheit“-Trick
Einer der coolsten Teile ist, wie sie mit der Tatsache umgingen, dass KI-Antworten etwas unvorhersehbar sein können. Manchmal erhält dieselbe Frage eine leicht unterschiedliche Bewertung. Um dies zu beheben, verwendeten sie eine „Nearest Neighbor“-Strategie (Nächster-Nachbar-Strategie). Stellen Sie sich vor, Sie versuchen, die Punktzahl einer neuen Frage zu erraten; anstatt blind zu raten, schaut das System auf die 5 nächsten Fragen, die es zuvor gesehen hat (seine Nachbarn), und bildet den Durchschnitt ihrer Punktzahlen. Dies half dem System, stabil zu bleiben, selbst wenn die Daten etwas chaotisch waren.

Das Fazit
Die Arbeit legt nahe, dass wir durch diese smarte, ressourcenbewusste Lernmethode das Beste aus beiden Welten erhalten können: die Geschwindigkeit und die niedrigen Kosten eines Geräts kombiniert mit der superintelligenten Multi-Vision-Power der Cloud. Es ist noch kein weltweit gelöstes Problem, aber in ihren Simulationen zeigte TMO, dass es die komplexe Realität des Gesprächs mit einer KI – während man gleichzeitig Fotos, Videos und lange Konversationen jongliert – bewältigen kann, ohne das Budget oder die Geduld zu sprengen.

Technisches Resümee: TMO – Kollaborative LLM-Inferenz zwischen Gerät und Cloud mittels Three-M-Offloading

1. Problemstellung

Die Bereitstellung von Large Language Models (LLMs) steht vor einem Dilemma: Die On-Device-Bereitstellung ist durch Rechen-, Speicher- und Energieressourcen begrenzt, was oft die Antwortqualität einschränkt, während die Cloud-Bereitstellung Latenz, Kommunikationskosten und Nutzungsgebühren verursacht. Diese Herausforderungen werden in modernen Anwendungen, die durch Three-M-Szenarien gekennzeichnet sind, verschärft:

Multi-Modal: Aufgaben erfordern diverse Datenquellen (z. B. Text, Bilder aus verschiedenen Kameraperspektiven).
Multi-Task: Anwendungen reichen von einfachem Nachrichten-Editing bis hin zu komplexer Aktivitätserkennung.
Multi-Turn: Konversationen beinhalten sequentielle Abhängigkeiten, bei denen frühere Entscheidungen die zukünftige Ressourcenverfügbarkeit und den Kontext beeinflussen.

Bestehende Frameworks versäumen es oft, die komplexen Abwägungen zwischen Antwortqualität, Latenz und Kosten über diese Dimensionen hinweg zu adressieren. Insbesondere haben sie Schwierigkeiten mit:

Optimaler Inferenzlokalität: Die Entscheidung, ob eine Aufgabe auf dem Gerät oder in der Cloud verarbeitet werden soll.
Modalitätsauswahl: Bestimmung, welche spezifischen Datenmodalitäten (z. B. welche Kameraperspektive) hochgeladen werden sollen, um den Informationsgewinn gegen die Übertragungskosten abzuwägen.
Ressourcenbeschränkungen: Anpassung an beliebige, benutzerdefinierte Ressourcenbudgets (Latenz- und Kostengrenzen) ohne erneutes Training.
Inferenz-Unsicherheit: Handhabung der stochastischen Natur von LLM-Outputs und des Fehlens von Ground-Truth-Metriken für generative Aufgaben während des Offline-Trainings.

2. Methodik: Das TMO-System

Die Autoren schlagen TMO vor, ein kollaboratives Inferenzsystem für Gerät und Cloud, das das "Three-M"-Offloading orchestriert. Der Kern von TMO ist eine ressourcenbeschränkte Reinforcement Learning (RCRL) Decision Engine.

A. Systemarchitektur

On-Device LLM: Ein leichtgewichtiges Modell (z. B. Phi-3-mini), das für die Hochgeschwindigkeits-Textverarbeitung einfacher Aufgaben optimiert ist.
Cloud LLM: Ein großskaliges, multimodales Modell (z. B. GPT-4o), das komplexe Aufgaben und diverse Dateneingaben bewältigen kann.
Decision Engine: In jeder Konversationsrunde $t$ wählt das System eine Aktion $a_t = (\ell_t, M_t)$ aus, wobei $\ell_t$ das gewählte LLM (Gerät oder Cloud) ist und $M_t$ die Teilmenge der hochzuladenden Modalitäten darstellt.

B. RCRL-Formulierung

Das Problem wird als Markov-Entscheidungsprozess (MDP) modelliert:

Zustand ( $s_t$ ): Beinhaltet ein Sliding Window der letzten $\tau$ Runden, das die vorangegangenen LLM-Auswahlen, hochgeladenen Modalitäten und Aufgabenkategorien erfasst. Entscheidend ist, dass der Zustand mit verbleibenden Ressourcenbudgets ( $\xi_t$ ) ergänzt wird, um eine ressourcenbewusste Entscheidungsfindung zu ermöglichen.
Aktion ( $a_t$ ): Auswahl des LLM-Typs und der spezifischen Modalitäten zum Hochladen.
Belohnung ( $r_t$ ): Eine zusammengesetzte Metrik, die folgendes ausbalanciert:
- Antwort-Score ( $S_{at}$ ): Geschätzte Qualität der LLM-Antwort.
- Assoziationsmetrik ( $\Lambda_{at}$ ): Relevanz zwischen Prompt und ausgewählten Modalitäten (berechnet via CLIP).
- Latenz ( $\psi_{at}$ ): Rechenzeit (Gerät) oder Kommunikations- + Inferenzzeit (Cloud).
- Nutzungskosten ( $\phi_{at}$ ): Energieverbrauch (Gerät) oder Servicegebühren (Cloud).
- Constraint-Penalty: Die Belohnung wird auf Null gesetzt, wenn der kumulative Ressourcenverbrauch das benutzerdefinierte Budget $\xi_j$ überschreitet.

C. Zentrale technische Innovationen

Umgang mit Unsicherheit via Nearest-Neighbor-Estimation: Um die nicht-deterministische Natur von LLM-Judges und Out-of-Distribution (OOD) Zustands-Aktions-Paaren während des Offline-Trainings zu adressieren, nutzt TMO eine k-Nearest-Neighbor (k-NN) Strategie. Sie schätzt den Antwort-Score für ungesehene Zustands-Aktions-Paare durch Mittelung der Scores der $k$ ähnlichsten historischen Paare, gewichtet nach der euklidischen Distanz.
Ressourcenbewusste Generalisierung: Um sicherzustellen, dass die Policy auf beliebige Benutzerbudgets ohne Retraining generalisiert, haben die Autoren:
- Die verbleibenden Budgetvektoren direkt in den Zustandsraum integriert.
  ung.
- Das Training unter Verwendung von randomisierten Ressourcenbudgets durchgeführt, die aus Verteilungen (Uniform, Normal, Hybrid) statt aus festen Werten gezogen wurden. Dies verhindert ein Overfitting auf spezifische Budgetbeschränkungen.
Aufgaben-Modalitäts-Assoziation: Das System verwendet vortrainierte CLIP-Modelle, um Ähnlichkeitswerte zwischen Text-Prompts und Bildmodalitäten zu berechnen, um die Auswahl der informativsten Datenquellen zu steuern.

3. Der M4A1-Datensatz

In Anerkennung des Mangels an geeigneten Datensätzen für dieses spezifische Problem haben die Autoren M4A1 kuratiert, den ersten Datensatz, der für die Evaluierung von multimodalem, multi-tasking, multi-turn und multi-LLM-Szenarien konzipiert wurde.

Zusammensetzung: 21.014 Konversationsrunden, abgeleitet aus dem ActionSense-Datensatz (Küchenaktivitäten mit First-Person-, Seiten- und Draufsicht-Perspektiven) sowie einem Instruction-Datensatz.
Struktur: Jede Episode umfasst 2–5 Runden, vier Aufgabenkategorien (Assistant, Recommendation, Query, Message Editing) und Interaktionen mit vier LLM-Rollen (On-device, Cloud, Reference, Judge).
Generierungsstrategie: Im Gegensatz zu Expert-Datensätzen verwendet M4A1 randomisierte Aktionen für die LLM- und Modalitätsauswahl. Dies gewährleistet eine gleichmäßige Abdeckung des Zustands-Aktions-Raums, was den k-NN-Estimator robust und varianzarm für jede Policy-Entscheidung macht.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TMO (unter Verwendung von RC-A2C, RC-PPO und RC-DQN) gegenüber mehreren Baselines:

Naive Baselines: Nur On-Device, nur Cloud und Zufallsauswahl.
LLM-as-Router: Verwendung verschiedener LLMs (Phi-3, LLaMA, Mistral, GPT-4, etc.) als Zero-Shot-Decision-Engines.
SOTA Exploration-Decision: AIwRG (Active Inference) und PerLLM (Bandit-basiert).

Wichtigste Erkenntnisse:

Performance: TMO (speziell RC-A2C) erreichte die höchste Gesamtbelohnung (0.86) im Vergleich zu allen Baselines und übertraf die LLM-as-Router-Ansätze, die Schwierigkeiten mit Constraint-Verletzungen und suboptimaler Modalitätsauswahl hatten, signifikant.
Einhaltung von Constraints: TMO hielt eine nahezu Null-Rate bei Constraint-Verletzungen über diverse Budget-Konfigurationen hinweg aufrecht, während Baselines häufig Latenz- oder Kostenlimits überschritten.
Robustheit:
- Gerätevariationen: TMO performte konsistent über diverse Hardware hinweg (vom Raspberry Pi bis zum iPhone 15 Pro) und passte seine Strategie basierend auf den Gerätekapazitäten an.
- Budget-Generalisierung: Das Training mit randomisierten Budgets ermöglichte es TMO, auf ungesehene Budgetbeschränkungen (Uniform, Normal, Hybrid) ohne Retraining zu generalisieren.
- Latenzsensitivität: Wenn die Cloud-Latenz künstlich erhöht wurde (bis zum 10-fachen), verlagerte TMO den Traffic dynamisch auf das On-Device-LLM, um die Constraints einzuhalten.
Ablationsstudien: Das Entfernen einer der Schlüsselkomponenten (LLM-Auswahllogik, Modalitätsauswahl, Ressourcenbewusstsein oder Unsicherheitsschätzung) führte zu einer signifikanten Verschlechterung der Performance, was die Notwendigkeit des vollständigen Frameworks validiert.

5. Bedeutung und Ansprüche

Die Autoren behaupten, dass TMO einen fundamentalen Wandel in den LLM-Bereitstellungsstrategien darstellt, indem es über statisches Offloading oder Single-Query-Routing hinausgeht. Die Bedeutung liegt in:

Holistischer Optimierung: Es ist das erste System, das LLM-Auswahl, multimodales Daten-Offloading und Multi-Turn-Kontext unter strengen Ressourcenbeschränkungen gemeinsam optimiert.
Praktischer Anpassbarkeit: Die ressourcenbewusste Zustandsrepräsentation und das randomisierte Training ermöglichen es dem System, sich ohne Retraining an beliebige benutzerdefinierte Ressourcenbudgets in realen Szenarien anzupassen.
Umgang mit Unsicherheit: Die vorgeschlagene Nearest-Neighbor-Estimation bietet eine robuste Methode für das Training von RL-Policies auf LLM-Inferenzdaten und adressiert die inhärente Stochastik und die Evaluierungsschwierigkeiten generativer Modelle.
Datensatz-Beitrag: Die Veröffentlichung von M4A1 schließt eine kritische Lücke in der Literatur und bietet einen standardisierten Benchmark für die Evaluierung kollaborativer Inferenz in komplexen Multi-Turn-, Multi-Modal-Umgebungen.

Die Autoren kommen zu dem Schluss, dass TMO zwar das Trade-off-Verhältnis zwischen Antwortqualität, Latenz und Kosten signifikant verbessert, zukünftige Arbeiten jedoch darauf abzielen werden, dynamische Laufzeitbedingungen (z. B. Echtzeit-Netzwerkbandbreite, Batteriestand) einzubeziehen, um eine proaktive Anpassung zu ermöglichen.