🤖 AI

RAMS: Resource-Adaptive and Detection-Conditioned Model Switching for Embedded Edge Perception

RAMS ist ein leichtgewichtiger, ressourcenadaptiver Laufzeitcontroller, der dynamisch zwischen YOLOv8-Modellstufen wechselt, basierend auf dem Gerätedruck und jüngsten Detektionen vulnerabler Verkehrsteilnehmer, um die Inferenzlatenz und Detektionsqualität auf eingebetteter Edge-Hardware ohne Modell-Reload-Overhead zu optimieren.

Ursprüngliche Autoren: Kushal Khemani, Evan Leri, George Xu, Amit Hod

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kushal Khemani, Evan Leri, George Xu, Amit Hod

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie fahren ein Auto mit einem sehr intelligenten, aber etwas nervösen Co-Piloten. Die Aufgabe dieses Co-Piloten ist es, die Straße nach Fußgängern, Radfahrern und anderen gefährdeten Personen (was in der Arbeit als „VRUs“ bezeichnet wird) abzusuchen und Warnungen auszurufen.

Das Problem ist, dass der Computer des Autos (das „Gehirn“) manchmal überfordert ist. Vielleicht läuft das Radio in voller Lautstärke, das GPS berechnet eine neue Route und der Motor läuft heiß. Wenn der Computer unter Stress steht, wird er langsam. Wenn der Co-Pilot versucht, eine super-detaillierte, hochtechnologische Karte zu verwenden, um einen Fußgänger zu entdecken, könnte das Auto für eine Sekunde einfrieren, während es das Bild verarbeitet. Das ist gefährlich. Aber wenn der Co-Pilot zu einer super-schnellen, unscharfen Karte wechselt, um Zeit zu sparen, übersieht er vielleicht einen Fußgänger komplett.

RAMS ist der Name eines neuen Systems, das genau dieses Problem lösen soll. Es fungiert wie ein intelligenter Verkehrsmanager für den Computer des Autos und entscheidet ständig, welche „Karte“ (oder welches KI-Modell) zu verwenden ist, basierend darauf, wie beschäftigt der Computer ist und was er gerade gesehen hat.

Hier ist die Funktionsweise, unterteilt in einfache Konzepte:

1. Die drei „Karten“ (Modell-Stufen)

RAMS hat nicht nur eine Art, die Welt zu sehen; es hat drei Versionen derselben KI, die alle gleichzeitig geladen und einsatzbereit sind:

Die „NANO“-Karte: Super schnell, sehr geringe Detailgenauigkeit. Es ist, als würde man auf die Straße durch ein winziges Schlüsselloch blicken. Es ist großartig für die Geschwindigkeit, könnte aber ein kleines Kind, das weit entfernt steht, übersehen.
Die „SMALL“-Karte: Ein Mittelweg. Eine gute Balance zwischen Geschwindigkeit und Detailgenauigkeit.
Die „MEDIUM“-Karte: Hohe Detailgenauigkeit, langsame Geschwindigkeit. Es ist, als würde man durch ein hochauflösendes Teleskop blicken. Es sieht alles klar, braucht aber lange für die Verarbeitung.

2. Das „Druckmessgerät“ (Ressourcen-Monitor)

RAMS prüft ständig das „Stresslevel“ des Computers. Es schaut nach, wie viel CPU-Leistung genutzt wird, wie heiß der Computer wird und wie viel Speicherplatz frei ist.

Die Analogie: Stellen Sie sich ein Messgerät auf Ihrem Armaturenbrett vor. Wenn die Nadel im grünen Bereich ist (geringer Stress), sagt RAMS: „Wir haben reichlich Energie, lassen Sie uns die hochauflösende MEDIUM-Karte verwenden, um auf Nummer sicher zu gehen.“
Wenn die Nadel in den roten Bereich ausschlägt (hoher Stress), sagt RAMS: „Wir sind überlastet! Wechseln Sie sofort zur schnellen NANO-Karte, damit wir nicht einfrieren.“

3. Der „Intelligente Schalter“ (Kein Neustart erforderlich)

In älteren Systemen erforderte der Wechsel von einer langsamen zu einer schnellen Karte oft das Neuladen der Software, was zu einer Verzögerung führte (wie das Neustarten Ihres Telefons jedes Mal, wenn Sie die App wechseln wollen).
RAMS hält alle drei Karten gleichzeitig im Speicher (genannt „Warm Tiers“). Der Wechsel zwischen ihnen erfolgt augenblicklich, wie das Umlegen eines Lichtschalters. Es gibt keinen Lag, kein Warten und kein „Neuladen“.

4. Die „Sicherheitsverriegelung“ (Detection-Conditioned Switching)

Dies ist das cleverste Feature der Arbeit. Normalerweise würde RAMS sofort zur schnellen, unscharfen NANO-Karte wechseln, wenn der Computer unter Stress gerät. Aber was, wenn der Computer gerade eben einen Fußgänger gesehen hat? Der Wechsel zur unscharfen Karte in genau diesem Moment könnte tödlich sein.

RAMS hat eine spezielle Regel: Wenn eine gefährdete Person erkannt wird, verweigert das System den Wechsel zur unscharfen Karte für einige Sekunden.

Die Analogie: Stellen Sie sich vor, Sie gehen im Dunkeln spazieren. Wenn Sie das Knacken eines Zweiges hören (eine Detektion), setzen Sie nicht sofort eine Sonnenbrille auf (wechseln nicht in den schnellen/unscharfen Modus), selbst wenn Sie müde sind. Sie halten die Augen weit offen (bleiben auf der detaillierten Karte), um sicherzustellen, dass Sie nicht stolpern.
RAMS nutzt die Größe des erkannten Objekts, um zu schätzen, wie nah es ist. Wenn ein Fußgänger groß aussieht (nah), sperrt das System die Nutzung der hochdetaillierten Karte. Wenn er klein aussieht (weit weg), kann es einen Wechsel zur mittleren Karte zulassen.

5. Der „Universelle Übersetzer“ (Kalibrierung)

Einer der großen Ansprüche dieser Arbeit ist, dass dieses System auf jedem Computer funktioniert, von einem winzigen Raspberry Pi bis hin zu einem leistungsstarken Laptop, ohne dass ein Mensch die Einstellungen für jeden einzelnen anpassen muss.

Die Analogie: Denken Sie an einen Thermostat, der lernt, was die „normale“ Temperatur Ihres Hauses ist. Wenn Sie ihn zum ersten Mal einschalten, misst er den Raum, während nichts passiert (Leerlauf). Er legt dann seine „zu heiß“ und „zu kalt“ Grenzen basierend auf dieser Basis fest.
RAMS macht dies automatisch. Es misst den Stress des Computers, wenn dieser nichts tut, und setzt dann seine Schaltregeln relativ zu dieser Basis fest. Das bedeutet, dass derselbe Code perfekt auf einem langsamen Gerät und einem schnellen Gerät funktioniert, ohne manuelle Anpassungen.

6. Die „Ergebnisliste“ (SWAS)

Woher wissen Sie, ob dieses System tatsächlich sicherer ist? Die Autoren haben eine neue Bewertungsmethode namens SWAS entwickelt.

Anstatt nur die Anzahl der gefundenen Objekte zu zählen, vergibt SWAS Extrapunkte für das Finden von gefährdeten Personen (wie Fußgängern), wenn der Computer unter Stress stand.
Sie haben auch einen „Wahrheitstest“ (Oracle) erstellt, um sicherzustellen, dass sich das System nicht selbst täuscht. Sie fanden heraus, dass das System zwar sehr gut ist, aber durch die Qualität der „unscharfen“ Karte limitiert wird. Wenn die unscharfe Karte 76 % der Fußgänger übersieht, kann die „Sicherheitsverriegelung“ Sie nicht in 76 % der Fälle retten, weil sie die Gefahr noch gar nicht erkannt hat.

Das Fazit

Die Arbeit zeigt, dass dieses System auf einem leistungsstarken Computer (NVIDIA Jetson Orin) 5,6-mal schneller laufen kann als ein System, das beharrlich an der hochauflösenden Karte festhält, während es gleichzeitig 74 % der Sicherheitsgenauigkeit beibehält.

Es erreicht dies durch Flexibilität: Es wird langsamer, wenn der Computer beschäftigt ist, aber es „verriegelt“ die Sicherheitsfunktionen intelligent, wann immer es glaubt, dass eine Person in Gefahr ist, und stellt so sicher, dass Geschwindigkeit niemals auf Kosten einer lebensbedrohlichen Situation geht.

Technisches Resümee: RAMS – Ressourcen-adaptive und detektionsbedingte Modellwechsel-Steuerung für die eingebettete Edge-Perzeption

1. Problemstellung

Die Bereitstellung von Objekterkennung auf eingebetteter Hardware steht vor einem grundlegenden Spannungsverhältnis zwischen Inferenzlatenz und Detektionsqualität, das in Cloud-Umgebungen nicht existiert. Während die Latenz der Cloud-Inferenz primär durch die Modellkomplexität und die Netzwerk-Round-Trip-Zeit begrenzt wird, teilen sich eingebettete Geräte CPU- und Speicherressourcen mit dem Host-OS, Hintergrunddiensten und Sensor-Pipelines. Wenn die Systemauslastung steigt, verschlechtert sich die Inferenzlationszeit für ein festes Modell erheblich (z. B. kann eine YOLOv8-MEDIUM-Inferenz auf einem Intel i7-1165G7 von 448 ms im Leerlauf auf über 1500 ms unter Lastspitzen degradieren).

Der Standard-Trade-off – der Wechsel zu einem leichteren Modell zur Reduzierung der Latenz – führt eine asymmetrische Kostenstruktur ein. Eine 320-px-Inferenz auf einer leeren Straße verursacht dieselbe Genauigkeitsstrafe wie eine Inferenz, die einen nahen Fußgänger enthält, doch das Übersehen eines Fußgängers birgt ein Sicherheitsrisiko, das durch reine Latenzmetriken nicht erfasst wird. Zudem verlassen sich bestehende adaptive Systeme oft auf feste Schwellenwerte, die aufgrund variierender Leerlauf-Ressizendrucks nicht auf heterogene Hardware übertragbar sind, oder sie erfordern eine Cloud-Konnektivität, die auf Edge-Geräten nicht verfügbar ist.

2. Methodik: Das RAMS-System

RAMS (Resource-Adaptive and Detection-Conditioned Model Switching) ist eine leichtgewichtige Runtime-Steuerung, die darauf ausgelegt ist, Latenz und Sicherheit ohne Modell-Neuaufbau-Latenz auszubalancieren. Es operiert vollständig lokal auf dem Gerät und besteht aus vier Komponenten:

A. Ressourcen-Druck-Monitor

Der Monitor läuft mit 10 Hz und fragt OS-seitige Signale (CPU-Auslastung, virtueller Speicherbedarf, Temperatur und Akkustand) ab, um einen skalaren Druckindex $R(t) \in [0, 1]$ zu berechnen.
$R(t) = w_c c + w_m m + w_T \hat{T} + w_b (1 - b)$
Die Gewichte spiegeln die empirische Dominanz der CPU-Auslastung in eingebetteten Workloads wider. Falls spezifische Sensoren nicht verfügbar sind, werden deren Gewichte auf die CPU-Auslastung umverteilt.

B. Idle-Relative Schwellenwert-Kalibrierung

Um die Portabilität über verschiedene Geräte hinweg ohne gerätespezifische Hand-Tuning-Verfahren zu gewährleisten, nutzt RAMS ein idle-relatives Kalibrierungsverfahren. Anstatt feste Schwellenwerte zu verwenden, profiliert das System das Gerät im Leerlauf (ohne Inferenzlast), um einen Basis-Druck $R_{idle}$ zu bestimmen. Die Wechsel-Schwellenwerte werden dann als feste Offsets vom Basiswert gesetzt:
$\theta_\ell = R_{idle} + \delta_\ell, \quad \theta_h = R_{idle} + \delta_h$
wobei $\delta_\ell = 0.10$ und $\delta_h = 0.25$ . Dies stellt sicher, dass die semantische Bedeutung der Schwellenwerte (z. B. „moderate Last“) über Plattformen mit unterschiedlichen Idle-Baselines (z. B. Raspberry Pi 5 vs. Jetson Orin) hinweg konsistent bleibt.

C. Warmes Modell-Repository (Warm Model Library)

RAMS hält drei YOLOv8-Stufen (NANO bei 320px, SMALL bei 416px, MEDIUM bei 640px) gleichzeitig im Speicher resident. Dieser „Warm-Tier“-Ansatz eliminiert die Latenzstrafe, die mit dem Laden von Modellen auf Abruf verbunden ist. Der gesamte Speicherbedarf beträgt etwa 81 MB für ONNX FP32-Modelle und 120–150 MB für TensorRT-Engines.

D. Wechsel-Policies

Der Controller implementiert fünf Policies, die von einfacher Schwellenwertsteuerung bis hin zu detektionsbedingten Overrides reichen:

Threshold Policy: Verwendet Hysterese, um schnelle Oszillationen zwischen den Stufen basierend auf $R(t)$ zu verhindern.
Predictive Policy: Nutzt einen exponentiell gewichteten gleitenden Durchschnitt (EWMA), um den Druck vorherzusagen und Downgrades auszulösen, bevor Schwellenwerte überschritten werden.
Adaptive Policy: Optimiert den EWMA-Glättungsfaktor selbstständig basierend auf der Varianz der jüngsten Druckmessungen.
Safety Policy: Ein detektionsbedingter Override, der verhindert, dass innerhalb eines Zeitfensters ( $\Delta t_w = 0.5$ s) nach der Detektion eines schwach geschützten Verkehrsteilnehmers (Vulnerable Road User, VRU) in die NANO-Stufe herabgestuft wird.
Two-Level Safety Policy (Safety2): Eine verbesserte Version, welche die Override-Stufe basierend auf der Bounding-Box-Fläche des detektierten VRU bedingt. Große Boxen (nahe Objekte) lösen einen Lock auf die MEDIUM-Stufe aus, während kleinere Boxen (ferne Objekte) einen Lock auf die SMALL-Stufe auslösen.

3. Kernbeiträge

Formaler Ressourcen-Druck-Index: Eine portable, idle-relative Kalibrierungsmethode ( $R(t)$ ), die es ermöglicht, dass dieselben Controller-Gleichungen über eine 37-fache Latenzspanne hinweg auf heterogener Hardware ohne manuelles Tuning operieren können.
Detektionsbedingte Wechselsteuerung: Fünf formal spezifizierte Policies, einschließlich zweier reaktiver Varianten, die Downgrades basierend auf jüngsten VRU-Detektionen verzögern, um die asymmetrischen Kosten des Übersehens sicherheitskritischer Objekte zu adressieren.
SWAS-Metrik: Der VRU-gewichtete Genauigkeits-Score (SWAS), eine skalare Metrik für den Offline-Policy-Vergleich auf unbeschrifteten Videos. Das Paper führt eine „orakel-gebundene“ Variante ( $SWAS^\star$ ) ein, die Ground-Truth-Labels verwendet, um den Nutzen der Stufen-Retention von der Zirkularität der Nutzung des eigenen (potenziell unvollständigen) Outputs des Detektors zu trennen.
Umfassende Evaluierung: Eine Evaluierung mit zehn Experimenten auf fünf Hardware-Targets (Raspberry Pi 5, Intel i7-1165G7, i7-13700F, Jetson Orin ONNX, Jetson Orin TensorRT), die Lastsensitivität, Hysterese-Tuning und Sicherheits-Latenz-Trade-offs abdeckt.

4. Ergebnisse

Experimente wurden unter Verwendung von YOLOv8-Stufen und dem KITTI-Datensatz durchgeführt. Die wichtigsten Ergebnisse sind:

Latenz- und Genauigkeits-Trade-off: Unter schwerer Last erreichte die Safety2-Policy auf Jetson Orin mit TensorRT eine mittlere Latenz von 3,41 ms (5,6× schneller als festes MEDIUM) bei gleichzeitiger Beibehaltung von 74 % der Proxy-Genauigkeit. Dies wurde erreicht, indem primär im NANO-Modus operiert wurde, jedoch selektiv während VRU-positiven Fenstern auf SMALL oder MEDIUM umgeschaltet wurde.
SWAS-Verbesserungen: Unter schwerer Last verbesserte die detektionsbedingte Wechselsteuerung den SWAS um 25,4 % unter der Orakel-Bewertung (der konservativen Schätzung unter Berücksichtigung der Detektor-Zirkularität) und um 47,3 % unter der detektor-basierten Bewertung im Vergleich zu reinen Schwellenwert-Policies.
Cross-Device Portabilität: Dieselben Controller-Gleichungen steuerten den Betrieb über eine 37-fache Latenzspanne (von 3,41 ms auf Jetson TRT bis zu 127,52 ms auf Jetson ONNX). Das System passte die Auswahl der Stufe erfolgreich an die spezifischen Hardwarekapazitäten an, ohne manuelle Schwellenwertanpassung.
Recall-Grenzen: Das Paper quantifiziert explizit eine fundamentale Grenze reaktiver Systeme. Da die NANO-Stufe nur eine VRU-Recall von 24,2 % auf KITTI erreicht, ist der Sicherheits-Override in 76 % der VRU-präsenten Frames inaktiv, weil der Basis-Detektor die Bedingung nicht ausgelöst hat. Dies verdeutlicht, dass reaktives Wechseln die inhärenten Recall-Limitierungen des leichtesten Modells nicht kompensieren kann.
Transiente Reaktion: Der Controller vollzieht Stufenwechsel innerhalb von 3 Monitor-Samples (0,3 s) für Schwellenwert-Policies und schneller für prädiktive/adaptive Policies. Sicherheits-Policies führen nach einem VRU-Ereignis maximal 5 zusätzliche Zyklen auf einer höheren Stufe ein, bevor sie zurückkehren.

5. Bedeutung und Ansprüche

Das Paper beansprucht, dass RAMS das einzige System ist, das Warm-Tier-Wechsel, detektionsbedingte Stufenwahl, geräteübergreifende portable Kalibrierung und den vollständigen Betrieb auf dem Gerät ohne Cloud-Offload kombiniert.

Die Autoren betonen, dass die 25,4 %ige Orakel-SWAS-Verbesserung einen echten Vorteil der detektionsbedingten Wechselsteuerung darstellt, im Gegensatz zu den überhöhten Gewinnen der detektor-basierten Bewertung, die durch die Zirkularität der Nutzung eines geringen-Recall-Detektors zur Auslösung von Sicherheits-Locks entstehen. Die Arbeit zeigt, dass es möglich ist, eine nahezu NANO-Latenz zu erreichen und dabei einen signifikanten Teil der Genauigkeit schwererer Stufen während kritischer Sicherheitsfenster zu bewahren.

Dennoch ist das Paper bescheiden hinsichtlich der Limitationen dieses Ansatzes. Es stellt explizit fest, dass der reaktive Override durch den Recall des Basis-Detektors begrenzt ist; wenn die NANO-Stufe einen VRU übersieht, kann der Sicherheits-Lock nicht auslösen. Die Autoren identifizieren dies als eine fundamentale Einschränkung jedes reaktiven detektionsbedingten Systems, das unter einem unvollkommenen Detektor arbeitet, und legen nahe, dass zukünftige Arbeiten auf stärkere leichtgewichtige Basis-Detektoren oder parallele VRU-Klassifikatoren fokussieren müssen, um diese Lücke zu schließen. Das System beansprucht keine formale Sicherheitsgarantie (z. B. ISO 26262), sondern stellt vielmehr einen Mechanismus zur Optimierung des Latenz-Genauigkeits-Trade-offs in ressourcenbeschränkten Umgebungen dar.