🤖 AI

RAMS: Resource-Adaptive and Detection-Conditioned Model Switching for Embedded Edge Perception

RAMS est un contrôleur d'exécution léger et adaptatif aux ressources qui bascule dynamiquement entre les paliers de modèles YOLOv8 en fonction de la pression sur le dispositif et des détections récentes d'usagers vulnérables de la route afin d'optimiser la latence d'inférence et la qualité de détection sur le matériel embarqué en périphérie sans surcharge de rechargement de modèle.

Auteurs originaux : Kushal Khemani, Evan Leri, George Xu, Amit Hod

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kushal Khemani, Evan Leri, George Xu, Amit Hod

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous conduisez une voiture avec un copilote très intelligent, mais légèrement nerveux. Le travail de ce copilote est de surveiller la route pour détecter les piétons, les cyclistes et d'autres usagers vulnérables (ce que l'article appelle les « VRU ») et de crier des avertissements.

Le problème est que l'ordinateur de la voiture (le « cerveau ») peut parfois être surchargé. Peut-être que la radio hurle, que le GPS calcule un nouvel itinéraire et que le moteur chauffe. Quand l'ordinateur est stressé, il devient lent. Si le copilote essaie d'utiliser une carte super détaillée et de haute technologie pour repérer un piéton, la voiture pourrait se figer pendant une seconde pendant qu'elle traite l'image. C'est dangereux. Mais si le copilote passe à une carte super rapide et floue pour gagner du temps, il pourrait rater un piéton entièrement.

RAMS est le nom d'un nouveau système conçu pour résoudre exactement ce problème. Il agit comme un gestionnaire de trafic intelligent pour l'ordinateur de la voiture, décidant constamment quelle « carte » (ou modèle d'IA) utiliser en fonction de l'occupation de l'ordinateur et de ce qu'il vient de voir.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Les trois « cartes » (Niveaux de modèles)

RAMS n'a pas qu'une seule façon de voir le monde ; il possède trois versions de la même IA, toutes chargées et prêtes à l'emploi en même temps :

La carte « NANO » : Super rapide, très peu de détails. C'est comme regarder la route à travers un minuscule trou de serrure. Elle est excellente pour la vitesse, mais pourrait rater un petit enfant debout au loin.
La carte « SMALL » : Un juste milieu. Un bon équilibre entre vitesse et détails.
La carte « MEDIUM » : Haute définition, vitesse lente. C'est comme regarder à travers un télescope haute définition. Elle voit tout clairement, mais prend beaucoup de temps pour traiter l'information.

2. Le « manomètre » (Moniteur de ressources)

RAMS vérifie constamment le « niveau de stress » de l'ordinateur. Il regarde la quantité de puissance CPU utilisée, la température de l'ordinateur et la mémoire disponible.

L'analogie : Imaginez un cadran sur votre tableau de bord. Si l'aiguille est dans le vert (faible stress), RAMS dit : « Nous avons beaucoup de puissance, utilisons la carte haute définition MEDIUM pour être en sécurité. »
Si l'aiguille bascule dans le rouge (stress élevé), RAMS dit : « Nous sommes surchargés ! Passez immédiatement à la carte NANO rapide pour ne pas que le système se fige. »

3. Le « Commutateur Intelligent » (Pas de redémarrage nécessaire)

Dans les anciens systèmes, passer d'une carte lente à une carte rapide nécessitait souvent de recharger le logiciel, ce qui causait un décalage (comme redémarrer votre téléphone à chaque fois que vous voulez changer d'application).
RAMS garde les trois cartes chargées en mémoire en même temps (appelées « Warm Tiers » ou niveaux préchauffés). Passer de l'une à l'autre est instantané, comme actionner un interrupteur de lumière. Il n'y a pas de latence, pas d'attente, et pas de « rechargement ».

4. Le « Verrou de Sécurité » (Commutation conditionnée par la détection)

C'est la fonctionnalité la plus ingénieuse de l'article. Habituellement, si l'ordinateur est stressé, RAMS passerait immédiatement à la carte NANO rapide et floue. Mais qu'en est-il si l'ordinateur vient de voir un piéton ? Passer à la carte floue à ce moment précis pourrait être fatal.

RAMS possède une règle spéciale : Si une personne vulnérable est détectée, le système refuse de passer à la carte floue pendant quelques secondes.

L'analogie : Imaginez que vous marchez dans l'obscurité. Si vous entendez un craquement de branche (une détection), vous ne mettez pas immédiatement des lunettes de soleil (passer au mode rapide/flou) même si vous êtes fatigué. Vous gardez les yeux grands ouverts (rester sur la carte détaillée) pendant un moment pour vous assurer de ne pas trébucher.
RAMS utilise la taille de l'objet détecté pour deviner à quel point il est proche. Si un piéton semble grand (proche), il verrouille le système sur la carte haute définition. S'il semble petit (lointain), il peut autoriser un passage à la carte intermédiaire.

5. Le « Traducteur Universel » (Calibration)

L'une des grandes affirmations de l'article est que ce système fonctionne sur n'importe quel ordinateur, d'un petit Raspberry Pi à un ordinateur portable puissant, sans qu'un humain ait besoin de peaufiner les réglages pour chacun d'eux.

L'analogie : Pensez à un thermostat qui apprend la température « normale » de votre maison. Lorsqu'on l'allume pour la première fois, il mesure la pièce alors que rien ne se passe (au repos). Il définit ensuite ses limites de « trop chaud » et « trop froid » en se basant sur ce point de référence.
RAMS fait cela automatiquement. Il mesure le stress de l'ordinateur lorsqu'il ne fait rien, puis définit ses règles de commutation par rapport à cette base de référence. Cela signifie que le même code fonctionne parfaitement sur un appareil lent et sur un appareil rapide sans ajustements manuels.

6. La « Fiche de Score » (SWAS)

Comment savoir si ce système est réellement plus sûr ? Les auteurs ont créé une nouvelle méthode de notation appelée SWAS.

Au lieu de simplement compter le nombre d'objets trouvés, SWAS accorde des points supplémentaires pour la détection de personnes vulnérables (comme les piétons) lorsque l'ordinateur est sous stress.
Ils ont également créé un « test de vérité » (Oracle) pour s'assurer que le système ne se trompait pas lui-même. Ils ont découvert que bien que le système soit très performant, il est limité par la capacité de la « carte floue » à voir les gens en premier lieu. Si la carte floue rate 76 % des piétons, le « Verrou de Sécurité » ne peut pas vous sauver 76 % du temps car il ne sait pas encore que le danger est là.

Le mot de la fin

L'article montre que sur un ordinateur puissant (NVIDIA Jetson Orin), ce système peut fonctionner 5,6 fois plus vite qu'un système qui s'obstine à utiliser la carte haute définition, tout en conservant 74 % de la précision de sécurité.

Il y parvient en étant flexible : il ralentit quand l'ordinateur est occupé, mais il « verrouille » intelligemment les fonctions de sécurité dès qu'il pense qu'une personne est en danger, garantissant ainsi que la vitesse ne se fait jamais au détriment de la détection d'une situation mettant une vie en péril.

Résumé Technique : RAMS – Commutation de Modèles Adaptative aux Ressources et Conditionnée par la Détection pour la Perception en Périphérie Embarquée

1. Énoncé du Problème

Le déploiement de la détection d'objets sur du matériel embarqué fait face à une tension fondamentale entre la latence d'inférence et la qualité de la détection, une tension absente dans les environnements cloud. Alors que la latence d'inférence dans le cloud est principalement limitée par la complexité du modèle et le temps d'aller-retour réseau, les dispositifs embarqués partagent les ressources CPU et mémoire avec l'OS hôte, les services en arrière-plan et les pipelines de capteurs. À mesure que l'utilisation du système augmente, la latence d'inférence pour un modèle fixe se dégrade substantiellement (par exemple, une inférence YOLOv8-MEDIUM sur un Intel i7-1165G7 peut passer de 448 ms au repos à plus de 1500 ms sous une charge de rafale).

Le compromis standard — rétrograder vers un modèle plus léger pour réduire la latence — introduit un coût asymétrique. Une inférence de 320 px sur une route vide inflige la même pénalité de précision qu'une inférence contenant un piéton à proximité, pourtant manquer un piéton comporte un risque de sécurité qui n'est pas capturé par les seules métriques de latence. De plus, les systèmes adaptatifs existants reposent souvent sur des seuils fixes qui ne sont pas transférables d'un matériel hétérogène à l'autre en raison des variations de pression des ressources au repos, ou nécessitent une connectivité cloud, indisponible sur les appareils en périphérie (edge).

2. Méthodologie : Le Système RAMS

RAMS (Resource-Adaptive and Detection-Conditioned Model Switching) est un contrôleur d'exécution léger conçu pour équilibrer latence et sécurité sans latence de rechargement de modèle. Il fonctionne entièrement sur l'appareil et se compose de quatre composants :

A. Moniteur de Pression des Ressources

S'exécutant à 10 Hz, le moniteur interroge les signaux de niveau OS (utilisation du CPU, pression de la mémoire virtuelle, température et charge de la batterie) pour calculer un indice de pression scalaire $R(t) \in [0, 1]$ .
$R(t) = w_c c + w_m m + w_T \hat{T} + w_b (1 - b)$
Les poids reflètent la dominance empirique de l'utilisation du CPU dans les charges de travail embarquées. Si des capteurs spécifiques sont indisponibles, leurs poids sont redistribués vers l'utilisation du CPU.

B. Calibrage de Seuil Relatif à l'État de Repos

Pour garantir la portabilité entre les appareils sans réglage manuel par appareil, RAMS utilise une procédure de calibrage relative au repos. Au lieu d'utiliser des seuils fixes, le système profile l'appareil au repos (sans charge d'inférence) pour déterminer une pression de base $R_{idle}$ . Les seuils de commutation sont ensuite définis comme des décalages fixes par rapport à cette base :
$\theta_\ell = R_{idle} + \delta_\ell, \quad \theta_h = R_{idle} + \delta_h$
où $\delta_\ell = 0.10$ et $\delta_h = 0.25$ . Cela garantit que la signification sémantique des seuils (par exemple, « charge modérée ») reste cohérente entre les plateformes ayant des bases de repos différentes (par exemple, Raspberry Pi 5 vs Jetson Orin).

C. Bibliothèque de Modèles à Température Chaude (Warm Model Library)

RAMS maintient trois niveaux YOLOv8 (NANO à 320px, SMALL à 416px, MEDIUM à 640px) résidents en mémoire simultanément. Cette approche de « tiers chaud » élimine la pénalité de latence associée au chargement des modèles à la demande. L'empreinte mémoire totale est d'environ 81 Mo pour les modèles ONNX FP32 et de 120–150 Mo pour les moteurs TensorRT.

D. Politiques de Commutation

Le contrôleur implémente cinq politiques allant du simple seuillage à la priorité conditionnée par la détection :

Politique de Seuil (Threshold Policy) : Utilise l'hystérésis pour éviter les oscillations rapides entre les niveaux basées sur $R(t)$ .
Politique Prédictive (Predictive Policy) : Utilise une moyenne mobile exponentielle pondérée (EWMA) pour prévoir la pression et déclencher des rétrogradations avant que les seuils ne soient franchis.
Politique Adaptative (Adaptive Policy) : Ajuste elle-même le facteur de lissage de l'EWMA en fonction de la variance des lectures de pression récentes.
Politique de Sécurité (Safety Policy) : Un dépassement conditionné par la détection qui empêche la rétrogradation vers le niveau NANO dans une fenêtre temporelle ( $\Delta t_w = 0.5$ s) après la détection d'un usager de la route vulnérable (VRU).
Politique de Sécurité à Deux Niveaux (Safety2) : Une version améliorée qui conditionne le niveau de dépassement en fonction de la surface de la boîte englobante (bounding box) du VRU détecté. Les boîtes larges (objets proches) déclenchent un verrouillage au niveau MEDIUM, tandis que les boîtes plus petites (objets distants) déclenchent un verrouillage au niveau SMALL.

3. Principales Contributions

Indice de Pression de Ressource Formel : Une méthode de calibrage portable et relative au repos ( $R(t)$ ) qui permet aux équations du contrôleur de fonctionner sur une plage de latence de 37× sur du matériel hétérogène sans ajustement manuel par appareil.
Commutation Conditionnée par la Détection : Cinq politiques formellement spécifiées, incluant deux variantes réactives qui retardent les rétrogradations en fonction des détections récentes de VRU, traitant le coût asymétrique de l'omission d'objets critiques pour la sécurité.
Métrique SWAS : Le score de précision pondéré par les VRU (VRU-Weighted Accuracy Score - SWAS), une métrique scalaire pour la comparaison hors ligne des politiques sur de la vidéo non étiquetée. La métrique pondère la précision par la présence de VRU. Le papier introduit une variante « bornée par l'oracle » ( $SWAS^\star$ ) qui utilise les étiquettes de vérité terrain pour séparer les bénéfices de la rétention de niveau de la circularité de l'utilisation de la propre sortie (potentiellement imparfaite) du détecteur pour déclencher la politique.
Évaluation Complète : Une évaluation de dix expériences sur cinq cibles matérielles (Raspberry Pi 5, Intel i7-1165G7, i7-13700F, Jetson Orin ONNX, Jetson Orin TensorRT) couvrant la sensibilité à la charge, le réglage de l'hystérésis et les compromis sécurité-latence.

4. Résultats

Les expériences ont été menées avec les niveaux YOLOv8 et le jeu de données KITTI. Les principales conclusions sont :

Compromis Latence et Précision : Sur Jetson Orin avec TensorRT sous forte charge, la politique Safety2 a atteint une latence moyenne de 3,41 ms (5,6× plus rapide que le mode MEDIUM fixe) tout en conservant 74 % de la précision proxy. Elle y parvient en opérant principalement en mode NANO, mais en verrouillant sélectivement vers SMALL ou MEDIUM lors des fenêtres positives de VRU.
Améliorations SWAS : Sous forte charge, la commutation conditionnée par la détection a amélioré le SWAS de 25,4 % sous le score oracle (l'estimation conservatrice tenant compte de la circularité du détecteur) et de 47,3 % sous le score dérivé du détecteur par rapport aux politiques de seuil uniquement.
Portabilité Inter-Appareils : Les mêmes équations de contrôleur ont régi le fonctionnement sur une plage de latence de 37× (de 3,41 ms sur Jetson TRT à 127,52 ms sur Jetson ONNX). Le système a réussi à adapter la sélection du niveau aux capacités spécifiques du matériel sans ajustement manuel des seuils.
Limites de Rappel (Recall) : Le papier quantifie explicitement une limite fondamentale des systèmes réactifs. Avec le niveau NANO n'atteignant que 24,2 % de rappel de VRU sur KITTI, le verrou de sécurité est inactif pendant 76 % des trames présentant un VRU car le détecteur de base a échoué à déclencher la condition. Cela souligne que la commutation réactive ne peut compenser les limitations intrinsèques de rappel du modèle le plus léger.
Réponse Transitoire : Le contrôleur s'engage dans les changements de niveau en 3 échantillons de surveillance (0,3 s) pour les politiques de seuil et plus rapidement pour les politiques prédictives/adaptatives. Les politiques de sécurité introduisent un maximum de 5 cycles supplémentaires à un niveau supérieur après un événement VRU avant de revenir à l'état initial.

5. Signification et Revendications

Le papier affirme que RAMS est le seul système combinant commutation de tiers à température chaude, sélection de niveau conditionnée par la détection, calibrage portable entre appareils et fonctionnement complet sur l'appareil sans déchargement vers le cloud.

Les auteurs soulignent que l'amélioration de 25,4 % du SWAS oracle représente un véritable bénéfice de la commutation conditionnée par la détection, distinct des gains gonflés observés avec le scoring dérivé du détecteur causés par la circularité de l'utilisation d'un détecteur à faible rappel pour déclencher les verrous de sécurité. Le travail démontre qu'il est possible d'atteindre une latence proche de celle du NANO tout en préservant une partie significative de la précision des modèles plus lourds lors de fenêtres de sécurité critiques.

Cependant, le papier est modeste concernant les limites de cette approche. Il stipule explicitement que le dépassement réactif est limité par le rappel du détecteur de base ; si le niveau NANO manque un VRU, le verrou de sécurité ne peut pas s'activer. Les auteurs identifient cela comme une contrainte fondamentale de tout système réactif conditionné par la détection opérant sous un détecteur imparfait, suggérant que les travaux futurs doivent se concenter sur des détecteurs de base légers plus robustes ou des classificateurs de VRU parallèles pour combler cet écart. Le système ne prétend pas fournir de garanties de sécurité formelles (ex: ISO 26262), mais plutôt un mécanisme pour optimiser le compromis latence-précision dans des environnements à ressources contraintes.