Technische Samenvatting: Budget-Adaptieve Routing

Probleemstelling

Edge-cloud inferentie-collaboraties voor visuele perceptie (bijv. objectdetectie) maken doorgaans gebruik van een "weak-conditioned" routingarchitectuur. In dit standaardontwerp wordt een lichtgewicht lokale detector ($M_w$) op elk frame uitgevoerd, en gebruikt een routing-estimator de tussenliggende outputs (proposals, embeddings of activaties) van de zwakke detector om te beslissen of het frame naar een sterkere, nauwkeurigere cloud-detector ($M_s$) moet worden geoffload.

Het onderzoek identificeert een structurele inefficiëntie in deze aanpak: de zwakke forward pass wordt op elk frame uitgevoerd, inclusief die welke vervolgens naar de cloud worden geoffload. Dit creëert een "impliciete computatiebelasting" (implicit compute tax). Wanneer het offload-budget ($\rho$, het fractie van de frames dat naar de cloud wordt verzonden) hoog is, betaalt het systeem de kosten van de zwakke detector ($C_w$) voor frames waar de sterke methode toch al antwoord op zal geven. Deze seriële afhankelijkheid introduceert ook onnodige latentie, aangezien de routing-beslissing niet kan worden genomen totdat de zwakke pass is voltooid.

De auteurs stellen dat dit ontwerp weliswaar noodzakelijk is bij lage offload-budgetten (waar de zwakke pass zelden wordt overgeslagen), maar suboptimaal wordt bij hoge budgetten. De kernvraag is of een estimator de noodzaak tot offloading kan voorspellen met behulp van alleen ruwe pixels (een "weak-skipping" benadering) om de zwakke detector volledig over te slaan op geoffloade frames, en zo ja, of een enkele vaste plaatsing optimaal is over alle operationele regimes.

Methodologie

Het paper stelt Budget-Adaptive Routing voor, een systeem dat dynamisch schakelt tussen twee estimator-plaatsingen op basis van het offload-budget:

1. Weak-Skipping Estimator (Pre-Weak)

In plaats van te vertrouwen op de output van de zwakke detector, voorspelt deze estimator routing-signalen direct vanuit de ruwe beeldpixels.

• Architectuur: Een zeer gecomprimeerde MobileNetV2-Lite backbone (0.15 GFLOPs, ~29× lichter dan de 4.49 GFLOPs zwakke detector).
• Trainingsdoel: De auteurs dagen de aanname uit dat ruwe pixels onvoldoende signalen bevatten. Ze introduceren een contextuele offloading beloning ($\Delta AP$), gedefinieerd als de verandering in de dataset-brede mAP als een specifiek frame door de cloud wordt verwerkt in plaats van door de edge.
  • Om de langlopende verdeling van $\Delta AP$ (waarbij de meeste frames nul winst opleveren) aan te pakken, stellen ze twee getransformeerde doelen voor:
    • OffloadBin: Een binair classificatie-doel ($1$ als $\Delta AP > 0$, anders $0$).
    • MORIC+: Een regressie-doel dat de magnitude van winsten en verliezen symmetrisch rond nul normaliseert.
• Mechanisme: De estimator geeft een score af; een drempelwaarde (thresholder) brengt dit in kaart naar een binaire offload-beslissing, waarbij het beoogde offload-ratio $\rho$ wordt gehandhaafd via een lopende kwantiel-schatting.

2. Weak-Conditioned Estimator (Post-Weak)

Dit dient als de baseline voor vergelijking en de strategie voor lage budgetten.

• Architectuur: Een XGBoost-model getraind op MORIC-features afgeleid van de output van de zwakke detector.
• Rol: Het maakt gebruik van rijkere features die beschikbaar zijn na de zwakke pass, die "gratis" zijn wanneer het offload-budget laag is omdat de zwakke pass toch moet worden uitgevoerd.

3. Budget-Adaptive Routing Logica

Het systeem committeert zich niet aan een enkele plaatsing. In plaats daarvan maakt het gebruik van een offline-getunede arbiter die tussen de twee strategieën schakelt op basis van $\rho$:

• Laag Budget ($\rho < \rho_{frontier}$): Gebruikt Weak-Conditioned. De zwakke pass is onvermijdelijk voor de meeste frames, dus de rijkere features verbeteren de routing-nauwkeurigheid zonder extra computatiekosten.
• Hoog Budget ($\rho \ge \rho_{ceiling}$): Gebruikt Weak-Conditioned opnieuw. Bij zeer hoge offload-percentages dragen de weinige lokaal gehouden frames een aanzienlijk gewicht, en het rijkere signaal van de weak-conditioned estimator weegt zwaarder dan de computatiebesparing van het overslaan.
• Midden-Budget ($\rho_{frontier} \le \rho < \rho_{ceiling}$): Gebruikt Weak-Skipping. Hier is de "computatiebelasting" van het uitvoeren van de zwakke detector op geoffloade frames het hoogst. Het overslaan van de zwakke pass bespaart aanzienlijke GFLOPs en latentie, en de raw-pixel estimator is voldoende accuraat.

De drempelwaarden ($\rho_{frontier} \approx 0.3$ en $\rho_{ceiling} \approx 0.8$ op PASCAL VOC) worden offline bepaald door het budget te scannen en te identificeren waar de prestatie-envelope kantelt.

Belangrijkste Bijdragen

1. Formalisering van de Impliciete Computatiebelasting: De auteurs formuleren dat de standaard "weak-first" aanname een verborgen computatiekost ($\rho \cdot C_w$) oplegt die schaalt met het offload-budget, wat niet strookt met high-budget implementaties.
2. Competitieve Weak-Skipping Estimator: Ze demonstreren dat een lichtgewicht, image-only estimator (0.15 GFLOPs) de beste weak-conditioned baselines (die de volledige 4.49 GFLOPs zwakke pass vereisen) kan overtreffen in routing-kwaliteit. Dit daagt de premisse uit dat ruwe pixels onvoldoende zijn voor detectie-routing.
3. Budget-Adaptive Routing Framework: Ze stellen een hybride systeem voor dat de optimale plaatsing (skipping vs. conditioned) selecteert op basis van het budget. Deze aanpak volgt de bovenste nauwkeurigheids-envelope van beide vaste strategieën over het gehele werkingsbereik.
4. Lichtgewicht Weak-Conditioned Baseline: Ze introduceren een nieuwe weak-conditioned estimator (XGBoost op MORIC) die de bestaande SOTA-methoden (EdgeML, DCSB) overtreft in routing-kwaliteit met een inferentie-kosten van minder dan een milliseconde.

Resultaten

Geëvalueerd op de PASCAL VOC dataset met een MobileNetV3 zwakke detector en een ResNet50 sterke detector:

• Routing-kwaliteit: De Weak-Skipping estimator (getraind op OffloadBin) behaalde een Spearman rangcorrelatie van 0.557 met de oracle gain, waarmee het de beste weak-conditioned baseline (XGBoost/MORIC op 0.472) overtrof en de vorige SOTA (EdgeML op 0.138) aanzienlijk versloeg.
• Computatie-efficiëntie: Bij hoge offload-budgetten ($\rho=0.9$) vermindert de weak-skipping benadering de per-frame computatie met 3.90 GFLOPs (bijna de volledige kosten van de zwakke detector) vergeleken met de weak-conditioned benadering.
• Latentie: De weak-skipping benadering vermindert de end-to-end latentie met wel 19.1 ms (ongeveer een reductie van 30%) bij $\rho=0.9$, omdat het de seriële afhankelijkheid van de 24.70 ms zwakke pass verwijdert.
• Nauwkeurigheids-envelope: De Budget-Adaptive router bereikt een piek mAP@0.5 van 0.808, wat +1.7 procentpunt hoger is dan de standalone prestatie van het sterke model (0.791) en alle vaste-plaatsing baselines overtreft binnen het werkingsbereik. Het volgt de "bovenste envelope" van de twee strategieën en domineert de gezamenlijke nauwkeurigheid-computatie frontier.

Betekenis en Claims

Het paper claimt dat de plaatsing van de estimator een kritische, voorheen onderbelichte ontwerpaspect is in selectieve offloading. Door de estimator vóór het zwakke model te plaatsen, kan het systeem de "computatiebelasting" vermijden van het uitvoeren van een zwakke detector op frames die geoffload zullen worden.

De auteurs benadrukken dat noch weak-skipping, noch weak-conditioned plaatsing het gehele werkingsbereik domineert. De betekenis ligt in de Budget-Adaptive benadering, die erkent dat de optimale strategie regime-afhankelijk is. Deze methode stelt systemen in staat om de best mogelijke nauwkeurigheid te bereiken voor een gegeven budget terwijl de computatie en latentie worden geminimaliseerd, waardoor ze de sterke methode zelf op specifieke werkingspunten effectief overtreffen met veel minder computationele middelen. Het werk suggereert dat het voorspellen of een frame moeilijk is, aanzienlijk goedkoper en effectiever is dan het voorspellen wat een frame bevat, wat het gebruik van ruwe pixels voor hoogwaardige routing-beslissingen mogelijk maakt.