CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference

Technische Samenvatting: CR2 – Kostenefficiënt Risicogestuurd Routing voor LLM-Inferentie op Draagbare Apparaten en Edge

Probleemstelling
Naarmate Large Language Models (LLM's) migreren van gecentraliseerde clouds naar mobiele edge-omgevingen, vereist efficiënte levering een evenwicht tussen latentie, energieverbruik en nauwkeurigheid onder beperkte resources op apparaten en edge. Hoewel routing op query-niveau tussen lichtgewicht modellen op het apparaat en sterkere edge-modellen een flexibel mechanisme biedt om deze afweging te navigeren, zijn bestaande routingmethoden voornamelijk ontworpen voor gecentraliseerde cloud-omgevingen. Deze eerdere benaderingen optimaliseren token-niveau kosten of statische kwaliteits-kostenafwegingen, maar slagen er niet in de dynamische latentie- en energiekosten die inherent zijn aan draadloze edge-implementaties, vast te leggen.

Er bestaat een kritieke kloof in de tweestapsbeslissingsstructuur die vereist is voor systeem op apparaten en edge:

1. Lokale Beslissing (UE): De user equipment (UE) moet beslissen of een query lokaal wordt uitgevoerd of wordt doorgestuurd naar de edge, uitsluitend gebruikmakend van lokaal beschikbare informatie (query-embedding en kostenvoorkeur), zonder toegang tot scores van edge-modellen of de real-time status van de edge.
2. Edge-beslissing: Alleen doorgestuurde queries worden gerouteerd tussen beschikbare edge-modellen op basis van de volledige systeemstatus.

Bestaande methoden gaan vaak uit van globale kennis van edge-statussen of behandelen routing als een eenmalige selectie, waarbij het asymmetrische beslissingsrisico wordt genegeerd: onnodige doorverwijzing veroorzaakt communicatielatentie en energieverbruik, terwijl een ten onrechte lokale acceptatie onherroepelijk betere edge-modellen doet mislopen, wat de gebruikerservaring verslechtert. Bovendien controleren standaard routers niet expliciet het risico van ten onrechte lokale acceptatie onder gedeeltelijke informatie.

Methodologie: Het CR2-kader
De auteurs stellen CR2 voor, een tweestaps routingkader voor apparaten en edge dat het routingprobleem decomposeert in een implementeerbare lokale acceptatiepoort en een statusbewuste edge-selecteur.

1. Systeem- en Kostenmodellering:

   • Het systeem modelleert end-to-end latentie en energieverbruik, waarbij het stochastische draadloze omstandigheden (uplink/downlink kanaalwinsten), rekenwerklasten (prefill- en decoderingsfasen) en energiprofielen van apparaten/edge integreert.
   • Er wordt een implementatiekosten gedefinieerd als een gewogen som van genormaliseerde latentie en energie, relatief aan een referentiemodel.
   • Het routingdoel wordt geformuleerd als het maximaliseren van nauwkeurigheid onder een implementatiekostenbudget, geparametriseerd door een gescalariseerde nuttigheidsfunctie $u_m = y_m - \lambda c_m$, waarbij $\lambda$ een kostenweight is.

2. Tweestapsarchitectuur:

   • Stap 1: Lokale Acceptatie door UE (Margin Gate): Een lichtgewicht module op het apparaat berekent een "nuttigheidsmarge" om te schatten of lokale uitvoering concurrerend is met het beste edge-alternatief.
     • Het maakt gebruik van een bevroren query-encoder en een lichtgewicht scoringskop.
     • Het neemt de query-embedding en de door de operator gespecificeerde kostenweight $\lambda$ als invoer.
     • Het heeft geen toegang tot nuttigheidswaarden van edge-modellen of runtime-status $\xi$ voordat de beslissing wordt genomen.
   • Stap 2: Edge Nuttigheidsselecteur: Voor doorgestuurde queries selecteert de edge-server het optimale model uit de edge-pool op basis van de volledige nuttigheidsschatting (waarbij runtime-status $\xi$ wordt geïncorporeerd).

3. Training en Kalibratie:

   • Teacher-Student Distillatie: Een "teacher"-selecteur wordt getraind op data met volledige informatie (query + status + correctielabels) om modelcorrectheid en nuttigheidsmarges te schatten. De poort op het apparaat wordt getraind om de door de teacher gegenereerde nuttigheidsmarge ($\Delta$) tussen lokale en edge-uitvoering te distilleren.
   • Verliesfuncties: De poort wordt geoptimaliseerd met een combinatie van:
     • Sign-verlies: Het afstemmen van het teken van de voorspelde marge op de voorkeur van de teacher voor lokaal versus edge.
     • Margin-verlies: Het regresseren van de voorspelde marge naar de continue teacher-marge (met behulp van Huber-verlies).
     • Monotoniteitsregularisator: Het afdwingen dat de voorspelde marge niet-dalend is met betrekking tot de kostenweight $\lambda$, wat de structurele eigenschap weerspiegelt dat hogere kostenweights lokale uitvoering begunstigen.
   • Conformal Risk Control (CRC): Om het asymmetrische risico van ten onrechte lokale acceptatie aan te pakken, introduceren de auteurs een CRC-kalibratieprocedure.
     • Voor een doelrisiconiveau $\alpha$ mapt CRC de geleerde score naar een gekalibreerde acceptatiedrempel $\tau^*(\lambda; \alpha)$.
     • Dit zorgt ervoor dat het marginale risico van ten onrechte acceptatie (de waarschijnlijkheid van lokale acceptatie wanneer een edge-model strikt beter is) wordt begrensd door $\alpha$ onder de aanname van uitwisselbaarheid tussen kalibratie- en testdata.

Belangrijkste Bijdragen

1. Implementatie-beperkt Kader: Het artikel vestigt een tweestaps routingkader dat expliciet rekening houdt met de informatiebeperkingen van mobiele edge-implementatie, door lokale acceptatie door de UE te scheiden van de selectie van edge-modellen.
2. CR2-algoritme: De auteurs ontwikkelen CR2, dat kenmerken heeft zoals:
   • Een door de UE waarneembare marginale poort die nuttigheidsmarges met volledige informatie distilleert naar een implementeerbare score op het apparaat.
   • Een monotoniteitsregularisator om coherente beslissingen te garanderen over verschillende operationele punten met kostenweights.
   • Een per-$\lambda$ CRC-kalibratieregel die expliciete controle biedt over het marginale risico van ten onrechte acceptatie zonder dat scores van edge-modellen op de UE vereist zijn.
3. Empirische Prestaties: Evaluatie op een van een benchmark afgeleid routingtaak (met Qwen-modellen en geprofileerde implementatiekosten) toont aan dat CR2 de beste implementeerbare nauwkeurigheids-kosten Pareto-grens bereikt. Het verlaagt de genormaliseerde implementatiekosten met maximaal 16,9% bij gelijke nauwkeurigheid in vergelijking met sterke baselines op query-niveau (KNN, MLP, EmbedLLM, LLM-Rank).

Resultaten

• Nauwkeurigheids-kostenafweging: CR2 presteert consistent beter dan baselines in het vlak van nauwkeurigheid versus kosten. In ingezoomde operationele regio's vormt het de sterkste grens onder implementeerbare methoden.
• Kostenreductie: Bij vaste nauwkeurigheidsniveaus (bijvoorbeeld 0,81 en 0,82) verlaagt CR2 de genormaliseerde implementatiekosten met respectievelijk 16,9% en 16,2% in vergelijking met KNN.
• Risicobesturing: De door CRC gekalibreerde drempels controleren succesvol de empirische marginale rate van ten onrechte acceptatie, waardoor deze binnen de gespecificeerde grenzen blijft (bijvoorbeeld $\alpha=0,01$) terwijl een concurrerende nauwkeurigheid wordt behouden.
• Efficiëntie: De marginale poort op het apparaat is rekenkundig lichtgewicht (ongeveer 105k parameters, 207k FLOPs), aanzienlijk kleiner dan referenties met volledige informatie of andere parametrische routers zoals LLM-Rank.
• Foutdecompositie: Analyse toont aan dat de resterende prestatiekloof tussen de implementeerbare CR2 en de oracle met volledige informatie voornamelijk wordt veroorzaakt door "ten onrechte doorverwijzingen" (over-escalatie) bij lagere kosten, terwijl ten onrechte lokale acceptatie laag blijft (<1,5%).

Betekenis en Claims
Het artikel claimt dat CR2 de kloof tussen routing op query-niveau en levering van edge-LLM's overbrugt door modelselectie te formuleren onder een tweestaps implementatie op apparaat en edge. De betekenis ligt in:

• Ontkoppeling: Het succesvol ontkoppelen van de lokale beslissing (die moet worden genomen met gedeeltelijke informatie) van de edge-beslissing (die volledige informatie heeft).
• Risicobesturing: Het bieden van een rigoureuze, distributie-vrije mechanisme (via CRC) om het risico van ten onrechte lokale acceptatie expliciet te reguleren, een kritieke vereiste voor betrouwbare edge-inferentie waar communicatie-overhead kostbaar is.
• Praktijktoepasbaarheid: Het aantonen dat een lichtgewicht, op een bevroren encoder gebaseerde poort een oracle met volledige informatie nauw kan benaderen, waardoor efficiënte, kostenefficiënte routing mogelijk wordt in real-world draadloze edge-scenario's zonder dat er dichte cross-tier-coördinatie of globale statuskennis op het apparaat vereist is.

De auteurs concluderen dat CR2 een robuuste oplossing biedt voor collaboratieve inferentie op mobiele edge, waarbij de afwegingen tussen latentie, energie en nauwkeurigheid in evenwicht worden gebracht, terwijl strikt wordt voldaan aan de informatiebeperkingen van draadloze edge-implementaties.