🤖 AI

RAMS: Resource-Adaptive and Detection-Conditioned Model Switching for Embedded Edge Perception

RAMS is een lichtgewicht, resource-adaptieve runtime-controller die dynamisch schakelt tussen YOLOv8-modeltiers op basis van de druk op het apparaat en recente detecties van kwetsbare weggebruikers om de inferentielatentie en detectiekwaliteit op embedded edge-hardware te optimaliseren zonder overhead door het herladen van modellen.

Oorspronkelijke auteurs: Kushal Khemani, Evan Leri, George Xu, Amit Hod

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kushal Khemani, Evan Leri, George Xu, Amit Hod

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een auto rijdt met een zeer slimme, maar ietwat nerveuze bijrijder. De taak van deze bijrijder is om de weg in de gaten te houden voor voetgangers, fietsers en andere kwetsbare weggebruikers (wat het artikel "VRU's" noemt) en waarschuwingen te roepen.

Het probleem is dat de computer van de auto (het "brein") soms overbelast raakt. Misschien staat de radio hard aan, berekent de GPS een nieuwe route en loopt de motor heet te worden. Wanneer de computer gestrest is, wordt hij traag. Als de bijrijder een supergedetailleerde, hoogtechnologische kaart probeert te gebruiken om een voetganger te spotten, kan de auto een seconde bevriezen terwijl hij de afbeelding verwerkt. Dat is gevaarlijk. Maar als de bijrijder overschakelt naar een super-snelle, wazige kaart om tijd te besparen, kan hij een voetganger volledig missen.

RAMS is de naam van een nieuw systeem dat precies dit probleem oplost. Het fungeert als een slimme verkeersregelaar voor de computer van de auto, die constant beslist welke "kaart" (of AI-model) te gebruiken op basis van hoe druk de computer is en wat hij zojuist heeft gezien.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. De Drie "Kaarten" (Model Tiers)

RAMS heeft niet slechts één manier om de wereld te zien; het heeft drie versies van dezelfde AI, die allemaal geladen en klaar zijn om te gaan:

De "NANO" Kaart: Super snel, zeer weinig detail. Het is alsof je naar de weg kijkt door een klein sleutelgat. Het is geweldig voor snelheid, maar kan een klein kind dat ver weg staat missen.
De "SMALL" Kaart: Een middenweg. Een goede balans tussen snelheid en detail.
De "MEDIUM" Kaart: Hoog detail, lage snelheid. Het is alsof je door een high-definition telescoop kijkt. Het ziet alles duidelijk, maar het duurt lang om te verwerken.

2. De "Drukmeter" (Resource Monitor)

RAMS controleert constant het "stressniveau" van de computer. Het kijkt naar hoeveel CPU-kracht er wordt gebruikt, hoe warm de computer wordt en hoeveel geheugen er vrij is.

De Analogie: Stel je een meter voor op je dashboard. Als de naald in het groen staat (lage stress), zegt RAMS: "We hebben genoeg kracht, laten we de high-definition MEDIUM-kaart gebruiken om veilig te zijn."
Als de naald naar het rood slaat (hoge stress), zegt RAMS: "We zijn overbelast! Schakel onmiddellijk over naar de snelle NANO-kaart zodat we niet bevriezen."

3. De "Slimme Schakelaar" (Geen herstart nodig)

In oudere systemen vereiste het overschakelen van een trage kaart naar een snelle kaart vaak het opnieuw laden van de software, wat een vertraging veroorzaakte (zoals het telkens opnieuw opstarten van je telefoon wanneer je van app wilt wisselen).
RAMS houdt alle drie de kaarten tegelijkertijd in het geheugen geladen (genaamd "Warm Tiers"). Het schakelen tussen hen is direct, zoals het omzetten van een lichtschakelaar. Er is geen vertraging, geen wachten en geen "herladen".

4. Het "Veiligheidsslot" (Detection-Conditioned Switching)

Dit is het meest slimme kenmerk van het artikel. Normaal gesproken, als de computer gestrest is, zou RAMS onmiddellijk overschakelen naar de snelle, wazige NANO-kaart. Maar wat als de computer zojuist een voetganger heeft gezien? Het overschakelen naar de wazige kaart op dat exacte moment zou fataal kunnen zijn.

RAMS heeft een speciale regel: Als een kwetsbaar persoon wordt gedetecteerd, weigert het systeem om voor een paar seconden over te schakelen naar de wazige kaart.

De Analogie: Stel je voor dat je in het donker loopt. Als je het geluid van een brekend takje hoort (een detectie), zet je niet onmiddellijk een zonnebril op (overschakelen naar de snelle/wazige modus), zelfs niet als je moe bent. Je houdt je ogen wijd open (blijft op de gedetailleerde kaart) om even zeker te weten dat je niet struikelt.
RAMS gebruikt de grootte van het gedetecteerde object om te raden hoe dichtbij het is. Als een voetganger groot lijkt (dichtbij), vergrendelt het systeem zichzelf op de high-detail kaart. Als ze klein lijken (ver weg), kan het wellicht overschakelen naar de middelste kaart.

5. De "Universele Vertaler" (Kalibratie)

Een van de grote claims van het artikel is dat dit systeem op elke computer werkt, van een kleine Raspberry Pi tot een krachtige laptop, zonder dat een mens de instellingen voor elk apparaat handmatig hoeft aan te passen.

De Analogie: Denk aan een thermostaat die leert wat de "normale" temperatuur van je huis is. Wanneer je hem voor het eerst aanzet, meet hij de kamer terwijl er niets gebeurt (idle). Vervolgens stelt hij zijn "te warm" en "te koud" limieten in op basis van die basislijn.
RAMS doet dit automatisch. Het meet de stress van de computer wanneer er niets gebeurt, en stelt vervolgens de regels voor het schakelen in relatief aan die basislijn. Dit betekent dat dezelfde code perfect werkt op een traag apparaat en op een snel apparaat, zonder handmatige aanpassingen.

6. Het "Scorebord" (SWAS)

Hoe weet je of dit systeem daadwerkelijk veiliger is? De auteurs hebben een nieuwe scoreermethode ontwikkeld genaamd SWAS.

In plaats van alleen het aantal gevonden objecten te tellen, geeft SWAS extra punten voor het vinden van kwetsbare mensen (zoals voetgangers) wanneer de computer onder stress stond.
Ze creëerden ook een "waarheidstest" (Oracle) om te controleren of het systeem zichzelf niet voor de gek hield. Ze ontdekten dat hoewel het systeem erg goed is, het beperkt wordt door hoe goed de "wazige" kaart is in het zien van mensen in de eerste plaats. Als de wazige kaart 76% van de voetgangers mist, kan het "Veiligheidsslot" je niet 76% van de tijd redden, omdat het de dreiging nog niet heeft opgemerkt.

De Kern van het Verhaal

Het artikel laat zien dat op een krachtige computer (NVIDIA Jetson Orin), dit systeem 5,6 keer sneller kan draaien dan een systeem dat koppig vasthoudt aan de high-definition kaart, terwijl het nog steeds 74% van de veiligheidsnauwkeurigheid behoudt.

Het bereikt dit door flexibel te zijn: het vertraagt wanneer de computer druk is, maar het "vergrendelt" slim de veiligheidsfuncties zodra het denkt dat er een persoon in gevaar is, waardoor snelheid nooit ten koste gaat van het missen van een levensbedreigende situatie.

Technische Samenvatting: RAMS – Resource-Adaptive and Detection-Conditioned Model Switching voor Embedded Edge Perceptie

1. Probleemstelling

Het implementeren van objectdetectie op embedded hardware staat voor een fundamentele spanning tussen inferentielatentie en detectiekwaliteit die afwezig is in cloudomgevingen. Terwijl de latentie van cloud-inferentie primair wordt begrensd door modelcomplexiteit en de netwerkheen-en-weergaande tijd, delen embedded apparaten CPU- en geheugenbronnen met het host-besturingssysteem, achtergronddiensten en sensorpipelines. Naarmate de systeembenutting stijgt, degradeert de inferentielatentie voor een vast model aanzienlijk (bijv. een YOLOv8-MEDIUM inferentie op een Intel i7-1165G7 kan degraderen van 448 ms bij rust naar meer dan 1500 ms onder piekbelasting).

De standaardafweging—het downgraden naar een lichter model om de latentie te verlagen—introduceert een asymmetrische kostenpost. Een 320 px inferentie op een lege weg brengt dezelfde nauwkeurigheidspenalty met zich mee als een inferentie met een nabijgelegen voetganger, maar het missen van een voetganger vormt een veiligheidsrisico dat niet alleen door latentiemetrieken wordt gevangen. Bovendien vertrouwen bestaande adaptieve systemen vaak op vaste drempelwaarden die niet overdraagbaar zijn naar heterogene hardware vanwege variërende druk op de vrije middelen, of ze vereisen cloud-connectiviteit, wat op edge-apparaten niet beschikbaar is.

2. Methodologie: Het RAMS-systeem

RAMS (Resource-Adaptive and Detection-Conditioned Model Switching) is een lichtgewicht runtime-controller ontworpen om een balans te vinden tussen latentie en veiligheid zonder de latentie van het herladen van modellen. Het werkt volledig on-device en bestaat uit vier componenten:

A. Resource Pressure Monitor

De monitor draait met 10 Hz, bevraagt OS-signalen (CPU-benutting, virtuele geheugendruk, temperatuur en batterijstatus) en berekent een scalaire drukindex $R(t) \in [0, 1]$ .
$R(t) = w_c c + w_m m + w_T \hat{T} + w_b (1 - b)$
De gewichten weerspiegelen de empirische dominantie van CPU-benutting in embedded workloads. Als specifieke sensoren niet beschikbaar zijn, worden hun gewichten herverdeeld naar de CPU-benutting.

B. Idle-Relative Threshold Calibration

Om portabiliteit over apparaten te garanderen zonder per-device handmatige afstemming, gebruikt RAMS een idle-relatieve kalibratieprocedure. In plaats van vaste drempelwaarden te gebruiken, profileert het systeem het apparaat in rust (zonder inferentielast) om een basislijn druk $R_{idle}$ te bepalen. Schakel-drempelwaarden worden vervolgens ingesteld als vaste offsets van deze basislijn:
$\theta_\ell = R_{idle} + \delta_\ell, \quad \theta_h = R_{idle} + \delta_h$
waarbij $\delta_\ell = 0.10$ en $\delta_h = 0.25$ . Dit zorgt ervoor dat de semantische betekenis van de drempelwaarden (bijv. "matige belasting") consistent blijft over verschillende platforms met verschillende idle-baselines (bijv. Raspberry Pi 5 versus Jetson Orin).

C. Warm Model Library

RAMS houdt drie YOLOv8-tiers (NANO op 320px, SMALL op 416px, MEDIUM op 640px) gelijktijdig in het geheugen. Deze "warm-tier" aanpak elimineert de latentiepenalty die gepaard gaat met het laden van modellen op aanvraag. De totale geheugenvoetafdruk is ongeveer 81 MB voor ONNX FP32-modellen en 120–150 MB voor TensorRT-engines.

D. Switching Policies

De controller implementeert vijf beleidsregels variërend van eenvoudige drempelwaardebesturing tot detectie-geconditioneerde overrides:

Threshold Policy: Gebruikt hysteresis om snelle oscillatie tussen tiers te voorkomen op basis van $R(t)$ .
Predictive Policy: Gebruikt een Exponentially Weighted Moving Average (EWMA) om druk te voorspellen en downgrades te triggeren voordat drempelwaarden worden overschreden.
Adaptive Policy: Stemt de EWMA-smoothingfactor zelf af op basis van de variantie van recente drukmetingen.
Safety Policy: Een detectie-geconditioneerde override die voorkomt dat er wordt gedowngraded naar de NANO-tier binnen een tijdsvenster ( $\Delta t_w = 0.5$ s) nadat een kwetsbare weggebruiker (VRU) is gedetecteerd.
Two-Level Safety Policy (Safety2): Een verbeterde versie die de override-tier conditioneert op de oppervlakte van de bounding box van de gedetecteerde VRU. Grote boxen (nabije objecten) triggeren een MEDIUM-tier lock, terwijl kleinere boxen (verre objecten) een SMALL-tier lock triggeren.

3. Belangrijkste Bijdragen

Formele Resource-Pressure Index: Een draagbare, idle-relatieve kalibratiemethode ( $R(t)$ ) die ervoor zorgt dat dezelfde controller-vergelijkingen kunnen opereren over een 37× latentiebereik op heterogene hardware zonder handmatige per-device afstemming.
Detection-Conditioned Switching: Vijf formeel gespecificeerde beleidsregels, inclusactief twee reactieve varianten die downgrades uitstellen op basis van recente VRU-detecties, waarmee de asymmetrische kosten van het missen van veiligheidskritische objecten worden geadresseerd.
SWAS Metric: De VRU-Weighted Accuracy Score (SWAS), een scalaire metriek voor offline beleidsvergelijking op ongelabelde video. Het weegt nauwkeurigheid op basis van de aanwezigheid van VRU's. Het artikel introduceert een "oracle-bounded" variant ( $SWAS^\star$ ) die gebruikmaakt van ground-truth labels om de voordelen van tier-retentie te scheiden van de circulariteit van het gebruik van de eigen (mogelijk imperfecte) output van de detector om de policy te triggeren.
Uitgebreide Evaluatie: Een evaluatie met tien experimenten over vijf hardware-targets (Raspberry Pi 5, Intel i7-1165G7, i7-13700F, Jetson Orin ONNX, Jetson Orin TensorRT) waarbij rekening is gehouden met load-gevoeligheid, hysteresis-afstemming en veiligheid-latentie-afwegingen.

4. Resultaten

Experimenten werden uitgevoerd met YOLOv8-tiers en de KITTI-dataset. Belangrijkste bevindingen zijn:

Latentie en Nauwkeurigheid Afweging: Op Jetson Orin met TensorRT onder zware belasting bereikte de Safety2-policy een gemiddelde latentie van 3.41 ms (5.6× sneller dan fixed-MEDIUM) terwijl het 74% van de proxy-nauwkeurigheid behield. Dit werd bereikt door primair in NANO-modus te werken, maar selectief te vergrendelen naar SMALL of MEDIUM tijdens VRU-positieve vensters.
SWAS Verbeteringen: Onder zware belasting verbeterde de detectie-geconditioneerde switching de SWAS met 25.4% onder oracle scoring (de conservatieve schatting die rekening houdt met detector-circulariteit) en 47.3% onder detector-afgeleide scoring vergeleken met drempelwaarde-only policies.
Cross-Device Portabiliteit: Dezelfde controller-vergelijkingen bestuurden de werking over een 37× latentiebereik (van 3.41 ms op Jetson TRT tot 127.52 ms op Jetson ONNX). Het systeem slaagde erin de tier-selectie aan te passen aan de specifieke hardwarecapaciteiten zonder handmatige drempelwaarde-aanpassing.
Recall Bounds: Het artikel kwantificeert expliciet een fundamentele limiet van reactieve systemen. Omdat de NANO-tier slechts 24.2% VRU-recall op KITTI behaalt, is de veiligheidsoverride inactief voor 76% van de frames waarin een VRU aanwezig is, omdat de basisdetector faalde om de conditie te triggeren. Dit benadrukt dat reactieve switching niet kan compenseren voor de inherente recall-beperkingen van het laagste-tier model.
Transiënte Respons: De controller committeert zich aan tier-wijzigingen binnen 3 monitor-samples (0.3s) voor threshold policies en sneller voor predictive/adaptive policies. Safety policies introduceren een maximale van 5 extra cycli op een hogere tier na een VRU-event voordat ze terugkeren naar de basis.

5. Betekenis en Claims

Het artikel beweert dat RAMS het enige systeem is dat warm-tier switching, detectie-geconditioneerde tier-selectie, cross-device portable kalibratie en volledige on-device operatie combineert zonder cloud-offload.

De auteurs benadrukken dat de 25.4% oracle SWAS verbetering een echte winst vertegenwoordigt van detectie-geconditioneerde switching, onderscheidend van de opgeblazen winsten in detector-afgeleide scoring veroorzaakt door de circulariteit van het gebruiken van een lage-recall detector om de safety locks te triggeren. Het werk demonstreert dat het mogelijk is om bijna NANO-latentie te bereiken terwijl een aanzienlijk deel van de nauwkeurigheid van zwaardere tiers behouden blijft tijdens kritieke veiligheidsvensters.

Echter, het artikel is bescheiden over de beperkingen van deze aanpak. Het stelt expliciet dat de reactieve override begrensd wordt door de recall van de basisdetector; als de NANO-tier een VRU mist, kan de safety lock niet worden geactiveerd. De auteurs identificeren dit als een fundamentele beperking van elk reactief detectie-geconditioneerd systeem dat opereert onder een imperfecte detector, en suggereren dat toekomstig werk zich moet richten op sterkere lightweight baseline-detectoren of parallelle VRU-classifiers om deze kloof te dichten. Het systeem claimt geen formele veiligheidsgaranties (bijv. ISO 26262) te bieden, maar eerder een mechanisme om de latentie-nauwkeurigheid-afweging te optimaliseren in omgevingen met beperkte middelen.