CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference

Technischer Zusammenfassung: CR2 – Kostenbewusste, risikogesteuerte Routing für drahtlose Device-Edge-LLM-Inferenz

Problemstellung
Da Large Language Models (LLMs) von zentralisierten Clouds in mobile Edge-Umgebungen migrieren, erfordert ein effizientes Serving die Balance zwischen Latenz, Energieverbrauch und Genauigkeit unter den eingeschränkten Ressourcen von Device-Edge-Systemen. Während das Routing auf Query-Ebene zwischen leichten On-Device-Modellen und stärkeren Edge-Modellen einen flexiblen Mechanismus bietet, um diesen Zielkonflikt zu navigieren, sind bestehende Routing-Methoden primär für zentralisierte Cloud-Umgebungen konzipiert. Diese früheren Ansätze optimieren Token-Level-Kosten oder statische Qualitäts-Kosten-Trade-offs, erfassen jedoch nicht die dynamischen Latenz- und Energie-Overheads, die in drahtlosen Edge-Bereitstellungen inhärent sind.

Eine kritische Lücke besteht in der für Device-Edge-Systeme erforderlichen zweistufigen Entscheidungsstruktur:

1. Lokale Entscheidung (UE): Das User Equipment (UE) muss entscheiden, ob eine Query lokal ausgeführt oder an das Edge-System delegiert wird, wobei es ausschließlich lokal verfügbare Informationen (Query-Embedding und Kostenpräferenz) nutzt, ohne Zugriff auf Edge-Modell-Scores oder den Echtzeit-Edge-Zustand zu haben.
2. Edge-Entscheidung: Nur delegierte Queries werden basierend auf dem vollständigen Systemzustand zwischen verfügbaren Edge-Modellen geroutet.

Bestehende Methoden gehen oft von globalem Wissen über Edge-Zustände aus oder behandeln das Routing als einmalige Auswahl, wobei sie das asymmetrische Entscheidungsrisiko ignorieren: Eine unnötige Delegation verursacht Kommunikationslatenz und Energieverbrauch, während eine falsche lokale Annahme irreversible Chancen auf bessere Edge-Modelle verspielt und die Benutzererfahrung verschlechtert. Darüber hinaus steuern Standard-Router das Risiko einer falschen lokalen Annahme unter partieller Information nicht explizit.

Methodik: Das CR2-Framework
Die Autoren schlagen CR2 vor, ein zweistufiges Device-Edge-Routing-Framework, das das Routing-Problem in ein einsetzbares lokales Akzeptanz-Gate und einen zustandsbewussten Edge-Selektor zerlegt.

1. System- und Kostenmodellierung:

   • Das System modelliert die End-to-End-Latenz und den Energieverbrauch unter Einbeziehung stochastischer drahtloser Bedingungen (Uplink-/Downlink-Kanalverstärkungen), Rechenlasten (Prefill- und Decodierungsstufen) sowie Device-/Edge-Leistungsprofile.
   • Eine Bereitstellungskosten wird als gewichtete Summe aus normalisierter Latenz und Energie relativ zu einem Referenzmodell definiert.
   • Das Routing-Ziel wird als Maximierung der Genauigkeit unter Einhaltung eines Bereitstellungskosten-Budgets formuliert, parametrisiert durch eine skalarisierte Nutzenfunktion $u_m = y_m - \lambda c_m$, wobei $\lambda$ ein Kosten-Gewicht ist.

2. Zweistufige Architektur:

   • Stufe 1: UE-Lokale Akzeptanz (Margin-Gate): Ein leichtes On-Device-Modul berechnet einen „Nutzen-Margin", um abzuschätzen, ob die lokale Ausführung mit der besten Edge-Alternative wettbewerbsfähig ist.
     • Es verwendet einen eingefrorenen Query-Encoder und einen leichten Scoring-Kopf.
     • Es nimmt das Query-Embedding und den vom Operator spezifizierten Kosten-Gewicht $\lambda$ als Eingabe.
     • Es greift vor der Entscheidungsfindung nicht auf Edge-Modell-Nutzen oder den Laufzeit-Zustand $\xi$ zu.
   • Stufe 2: Edge-Nutzen-Selektor: Für delegierte Queries wählt der Edge-Server das optimale Modell aus dem Edge-Pool basierend auf der vollständigen Nutzen-Schätzung (unter Einbeziehung des Laufzeit-Zustands $\xi$).

3. Training und Kalibrierung:

   • Teacher-Student-Distillation: Ein „Teacher"-Selektor wird auf Vollinformations-Daten (Query + Zustand + Korrektheits-Labels) trainiert, um Modellkorrektheit und Nutzen-Margins zu schätzen. Das On-Device-Gate wird trainiert, den vom Teacher induzierten Nutzen-Margin ($\Delta$) zwischen lokaler und Edge-Ausführung zu distillieren.
   • Verlustfunktionen: Das Gate wird unter Verwendung einer Kombination aus optimiert:
     • Sign-Verlust: Ausrichtung des Vorzeichens des vorhergesagten Margins mit der lokalen-vs.-Edge-Präferenz des Teachers.
     • Margin-Verlust: Regression des vorhergesagten Margins auf den kontinuierlichen Teacher-Margin (unter Verwendung von Huber-Verlust).
     • Monotonie-Regularisierer: Erzwingung, dass der vorhergesagte Margin in Bezug auf das Kosten-Gewicht $\lambda$ nicht abnimmt, was die strukturelle Eigenschaft widerspiegelt, dass höhere Kosten-Gewichte die lokale Ausführung begünstigen.
   • Konforme Risikokontrolle (CRC): Um das asymmetrische Risiko einer falschen lokalen Annahme zu adressieren, führen die Autoren ein CRC-Kalibrierungsverfahren ein.
     • Für ein Zielrisikoniveau $\alpha$ bildet CRC den gelernten Score auf einen kalibrierten Akzeptanzschwellenwert $\tau^*(\lambda; \alpha)$ ab.
     • Dies stellt sicher, dass das marginale Risiko einer falschen Annahme (die Wahrscheinlichkeit, lokal zu akzeptieren, wenn ein Edge-Modell strikt besser ist) unter der Annahme der Austauschbarkeit zwischen Kalibrierungs- und Testdaten durch $\alpha$ begrenzt ist.

Hauptbeiträge

1. Bereitstellungsbeschränktes Framework: Die Arbeit etabliert ein zweistufiges Routing-Framework, das die Informationsbeschränkungen der mobilen Edge-Bereitstellung explizit respektiert und die UE-lokale Akzeptanz von der Edge-Modellauswahl trennt.
2. CR2-Algorithmus: Die Autoren entwickeln CR2, das folgende Merkmale aufweist:
   • Ein UE-beobachtbares Margin-Gate, das Vollinformations-Nutzen-Margins in ein einsetzbares On-Device-Score distilliert.
   • Ein Monotonie-Regularisierer, um kohärente Entscheidungen über verschiedene Kosten-Gewicht-Betriebspunkte hinweg sicherzustellen.
   • Eine pro-$\lambda$ CRC-Kalibrierungsregel, die eine explizite Kontrolle über das marginale Risiko einer falschen Annahme bietet, ohne Edge-Modell-Scores am UE zu erfordern.
3. Empirische Leistung: Die Evaluation auf einer aus Benchmarks abgeleiteten Routing-Aufgabe (unter Verwendung von Qwen-Modellen und profilierten Bereitstellungskosten) zeigt, dass CR2 die beste einsetzbare Genauigkeits-Kosten-Pareto-Front erreicht. Sie reduziert die normalisierten Bereitstellungskosten bei gleicher Genauigkeit um bis zu 16,9 % im Vergleich zu starken Query-Level-Baselines (KNN, MLP, EmbedLLM, LLM-Rank).

Ergebnisse

• Genauigkeits-Kosten-Trade-off: CR2 übertrifft Baselines im Genauigkeits-Kosten-Diagramm konsistent. In vergrößerten Betriebsbereichen bildet sie die stärkste Front unter den einsetzbaren Methoden.
• Kostenreduktion: Bei festen Genauigkeitsniveaus (z. B. 0,81 und 0,82) reduziert CR2 die normalisierten Bereitstellungskosten um 16,9 % bzw. 16,2 % im Vergleich zu KNN.
• Risikokontrolle: Die CRC-kalibrierten Schwellenwerte steuern erfolgreich die empirische marginale Rate falscher Annahmen und halten sie innerhalb der spezifizierten Grenzen (z. B. $\alpha=0,01$), während eine wettbewerbsfähige Genauigkeit erhalten bleibt.
• Effizienz: Das On-Device-Margin-Gate ist rechnerisch leichtgewichtig (ca. 105.000 Parameter, 207.000 FLOPs) und deutlich kleiner als Vollinformations-Referenzen oder andere parametrische Router wie LLM-Rank.
• Fehlerdekomposition: Die Analyse zeigt, dass die verbleibende Leistungslücke zwischen dem einsetzbaren CR2 und dem Vollinformations-Oracle primär durch „falsche Delegierungen" (Über-Eskalation) bei niedrigeren Kosten getrieben wird, während falsche lokale Annahmen gering bleiben (<1,5 %).

Bedeutung und Behauptungen
Die Arbeit behauptet, dass CR2 die Lücke zwischen Routing auf Query-Ebene und Edge-LLM-Serving schließt, indem sie Modellauswahl unter einer zweistufigen Device-Edge-Bereitstellung formuliert. Ihre Bedeutung liegt in:

• Entkopplung: Erfolgreiche Entkopplung der lokalen Entscheidung (die mit partieller Information getroffen werden muss) von der Edge-Entscheidung (die über vollständige Information verfügt).
• Risikokontrolle: Bereitstellung eines rigorosen, verteilungsfreien Mechanismus (via CRC) zur expliziten Regulierung des Risikos einer falschen lokalen Annahme, einer kritischen Anforderung für zuverlässige Edge-Inferenz, bei der Kommunikations-Overheads kostspielig sind.
• Praktikabilität: Demonstration, dass ein leichtgewichtiges, auf eingefrorenen Encodern basierendes Gate einen Vollinformations-Oracle eng approximieren kann, was ein effizientes, kostenbewusstes Routing in realen drahtlosen Edge-Szenarien ermöglicht, ohne dichte Cross-Tier-Koordination oder globales Zustandswissen am Gerät zu erfordern.

Die Autoren schließen, dass CR2 eine robuste Lösung für die kollaborative Inferenz in mobilen Edge-Systemen bietet, die die Trade-offs zwischen Latenz, Energie und Genauigkeit ausbalanciert und dabei die strengen Informationsbeschränkungen drahtloser Edge-Bereitstellungen einhält.