🤖 AI

RELO: Reinforcement Learning to Localize for Visual Object Tracking

L'article présente RELO, une méthode de suivi d'objets visuels qui remplace les priors spatiaux conçus à la main par une politique de localisation basée sur l'apprentissage par renforcement, optimisée pour des métriques directes telles que l'IoU et l'AUC, tout en intégrant une propagation de jetons temporels alignée sur les couches pour atteindre des performances de pointe.

Auteurs originaux : Xin Chen, Chuanyu Sun, Jiao Xu, Houwen Peng, Dong Wang, Huchuan Lu, Kede Ma

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xin Chen, Chuanyu Sun, Jiao Xu, Houwen Peng, Dong Wang, Huchuan Lu, Kede Ma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver un ami précis dans une parade bondée et en mouvement. Toutes les quelques secondes, l'appareil photo zoome sur une nouvelle section de la foule, et vous devez indiquer exactement où se trouve votre ami.

L'ancienne méthode : Suivre une « carte de supposition »
Pendant longtemps, les programmes informatiques tentant de faire cela (appelés « trackers visuels ») s'appuyaient sur une « carte de supposition » préfabriquée. Imaginez cela comme une carte thermique dessinée par un concepteur humain. La carte indique : « La personne se trouve très probablement juste au centre, et les probabilités diminuent à mesure que l'on s'éloigne, comme une courbe en cloche. »

Le travail de l'ordinateur consistait simplement à faire en sorte que sa supposition corresponde aussi étroitement que possible à cette carte prédessinée. Le problème ? La carte n'est qu'une supposition humaine. Elle ne se soucie pas vraiment si l'ordinateur est bon pour trouver la personne ; elle ne se soucie que de savoir si l'ordinateur est bon pour correspondre au dessin. Si la personne bouge de manière étrange ou a une apparence différente, la carte peut être erronée, mais l'ordinateur continue quand même d'essayer de correspondre à la carte.

La nouvelle méthode : RELO (L'apprenant par « essais et erreurs »)
L'article présente RELO, une nouvelle méthode qui jette la carte prédessinée. Au lieu de cela, elle traite la recherche de la personne comme un jeu de « Chaud et Froid » joué avec l'apprentissage par renforcement (RL).

Voici comment RELO fonctionne, en utilisant des analogies simples :

Le plateau de jeu : Imaginez que la trame vidéo est un gigantesque échiquier. Chaque case individuelle du plateau est un endroit possible où votre ami pourrait se trouver.
Le joueur : L'ordinateur est un joueur qui peut choisir une seule case sur le plateau pour chaque trame de la vidéo.
Le score (la récompense) : Au lieu de vérifier si le joueur a choisi la case du « centre », l'ordinateur obtient un score basé sur la qualité avec laquelle il a effectivement trouvé la personne.
- Si la boîte qu'il a choisie couvre parfaitement la personne, il obtient un score élevé (comme une « étoile d'or »).
- S'il rate, il obtient un score faible.
- Il reçoit également une prime pour rester sur la cible pendant toute la vidéo, et pas seulement pendant une seconde.
Apprendre en faisant : L'ordinateur essaie différentes cases. Lorsqu'il choisit une case qui conduit à un score élevé, il se souvient : « Hé, cet endroit fonctionne ! » Lorsqu'il choisit un mauvais endroit, il apprend : « Évite cela. » Avec le temps, il cesse de deviner en se basant sur la carte d'un humain et commence à deviner en se basant sur ce qui fonctionne réellement pour trouver la cible.

L'ingrédient secret : La mémoire « alignée par couches »
Pour s'assurer que l'ordinateur ne se perd pas lorsque la vidéo passe d'une trame à la suivante, RELO utilise un tour de mémoire spécial.

Imaginez que vous regardez un film. Si vous passez un mot d'une scène à la suivante, vous voulez que le mot soit au même « niveau » de détail.

L'ancienne méthode : Certains systèmes prenaient une note très détaillée de la fin de la scène précédente et tentaient de la coller au tout début de la nouvelle scène. C'était comme essayer de faire entrer une photo haute définition dans un petit carnet de croquis ; les détails ne correspondaient pas.
La méthode de RELO : RELO passe des notes qui correspondent parfaitement. Une note détaillée va dans une partie détaillée de la nouvelle scène ; une note simple va dans une partie simple. Cela maintient la cohérence de l'histoire sans ralentir l'ordinateur.

Les résultats
Les auteurs ont testé cette nouvelle approche de « jeu de rôle » contre les anciennes approches de « suivi de carte » sur de nombreux défis vidéo différents.

Meilleure précision : RELO a trouvé les cibles avec plus de précision, en particulier dans des situations délicates où la cible ressemblait beaucoup à quelque chose de différent de son apparence initiale (comme une personne changeant de vêtements ou d'éclairage).
Vitesse : Il était assez rapide pour fonctionner en temps réel sur des puces informatiques standard.
Pas de mises à jour de modèle nécessaires : Contrairement à d'autres méthodes qui doivent constamment réapprendre à quoi ressemble la cible au fur et à mesure que la vidéo avance, RELO a été capable de faire un excellent travail sans avoir besoin de mettre constamment à jour sa « mémoire » de la cible.

En résumé
RELO change les règles du jeu. Au lieu d'enseigner à un ordinateur à suivre une carte dessinée par un humain indiquant où une cible devrait se trouver, il apprend à l'ordinateur à apprendre où la cible se trouve réellement en jouant au jeu, en faisant des erreurs et en étant récompensé pour le succès. L'article affirme que cette approche « pilotée par la récompense » est une méthode plus intelligente et plus flexible pour suivre des objets dans les vidéos que les anciennes méthodes « pilotées par les a priori ».

Résumé Technique : RELO - Apprentissage par Renforcement pour la Localisation dans le Suivi d'Objets Visuels

1. Énoncé du Problème

Le suivi d'objets visuels vise à estimer l'état (principalement la localisation) d'une cible tout au long d'une séquence vidéo, étant donnée son initialisation dans la première image. Bien que les trackers discriminatifs modernes, en particulier ceux basés sur des réseaux Siames et des Transformers, aient atteint des performances empiriques solides, ils reposent fortement sur des priors spatiaux conçus manuellement pour la localisation.

Ces priors prennent généralement la forme de cartes thermiques centrées ou de distributions de probabilité basées sur les coins. L'article identifie une limitation conceptuelle fondamentale dans cette approche :

Supervision de Substitut : Le signal de supervision (par exemple, une carte thermique gaussienne centrée sur la cible) n'est lié que de manière indirecte à l'objectif réel du suivi.
Inadéquation des Métriques : Ces priors n'optimisent pas directement les métriques d'évaluation standard telles que l'Intersection sur l'Union (IoU) ou la Surface sous la Courbe de Succès (AUC).
Hypothèses Heuristiques : La conception de ces priors introduit des hypothèses supplémentaires (par exemple, des masques binaires ou un lissage gaussien) qui ne sont pas intrinsèques à la tâche de suivi et peuvent entraîner une dépendance des performances vis-à-vis des choix de conception heuristiques.

La question centrale posée par les auteurs est de savoir si un tracker peut apprendre à localiser des cibles directement à partir de retours d'information orientés vers la tâche, sans dépendre de ces priors spatiaux conçus manuellement.

2. Méthodologie : RELO

Les auteurs introduisent RELO (REinforcement-learning-to-LOcalize), une méthode qui reformule la localisation de cible comme un Processus de Décision Markovien (MDP) sur la carte de caractéristiques spatiales de la région de recherche.

2.1. Formulation MDP

État : La carte de caractéristiques spatiales $F^{(t)} \in \mathbb{R}^{H \times W \times C}$ extraite de l'image de recherche au temps $t$ via un encodeur Transformer à un seul flux.
Espace d'Actions : Chaque emplacement spatial $(i, j)$ sur la carte de caractéristiques est traité comme une action candidate $a_{ij}$ .
Politique : Une politique de localisation $\pi$ apprend à sélectionner des actions prometteuses. Pour un état donné, la politique produit une distribution catégorielle sur les emplacements spatiaux.
Tête de Régression : Pour chaque action échantillonnée, une tête de régression prédit la boîte englobante correspondante.
Récompense : Au lieu de s'adapter à des étiquettes de substitut, la politique est optimisée à l'aide de récompenses dérivées directement des métriques de suivi. La récompense $r^{(t)}$ $r^{(t)}$ combine :
1. IoU au niveau de l'image : Retour immédiat sur la précision de la localisation de l'image courante.
2. AUC au niveau de la séquence : Une évaluation de la trajectoire échantillonnée sur un clip vidéo pour encourager la cohérence à long terme.

2.2. Stratégie d'Optimisation

RELO utilise un cadre Acteur-Critique pour optimiser la politique de localisation :

Acteur (Tête de Politique) : Produit des logits définissant la distribution d'actions. Il est mis à jour pour maximiser la récompense espérée en utilisant la fonction d'avantage.
Critique (Tête de Valeur) : Prédit la récompense future espérée (valeur) pour un état donné afin de réduire la variance dans les mises à jour du gradient de politique.
Fonction de Perte : La perte totale combine la perte de politique (pondérée par l'avantage) et la perte de régression de valeur.

2.3. Composants Techniques Clés

Pour assurer la stabilité et l'efficacité, RELO intègre deux mécanismes spécifiques :

Phase de Réchauffement par Régression :
L'optimisation RL directe à partir de zéro est instable car une action spatiale échantillonnée n'est utile que si la prédiction de boîte correspondante est significative. Les auteurs introduisent une phase de réchauffement où le modèle est supervisé uniquement à l'emplacement de vérité terrain en utilisant des pertes Generalized IoU et $\ell_1$ . Cela enseigne au modèle comment régresser une boîte à partir de caractéristiques locales avant que la politique n'apprenne où regarder. Les poids appris ici sont figés lors de l'étape RL ultérieure.
Propagation Temporelle de Tokens Alignée par Couche :
Pour maintenir la cohérence sémantique entre les images avec un surcoût minimal, RELO propage des tokens temporels. Contrairement aux méthodes précédentes qui injectent des tokens de couches profondes de l'image précédente dans des couches peu profondes de l'image courante (causant un décalage sémantique), RELO utilise une stratégie alignée par couche. Les tokens temporels générés à la couche $l$ dans l'image $t-1$ sont propagés uniquement vers la couche $l$ dans l'image $t$ . Cela préserve la structure hiérarchique de l'encodeur tout en permettant un échange d'informations inter-images.

3. Contributions Clés

L'article énonce trois contributions principales :

Formulation : La localisation de cible dans le suivi visuel est reformulée comme un Processus de Décision Markovien et implémentée dans RELO, éliminant le besoin de priors spatiaux conçus manuellement.
Stratégie d'Entraînement : Une pipeline d'entraînement pratique est introduite, comprenant une phase de réchauffement par régression pour la stabilité et un mécanisme de propagation de tokens temporels alignés par couche pour la cohérence sémantique.
Validation : Des expériences extensives démontrent que l'optimisation directe de récompenses orientées vers la tâche (IoU et AUC) via RL fournit une alternative solide à la localisation pilotée par des priors conventionnels, atteignant des résultats de l'état de l'art.

4. Résultats Expérimentaux

RELO a été évalué sur sept benchmarks standards (LaSOT, LaSOText, TrackingNet, GOT-10k, TNL2K, NFS, UAV123) par rapport à des trackers récents de l'état de l'art.

Performance : RELO a obtenu des résultats supérieurs sur plusieurs benchmarks.
- LaSOT : RELO-L256 a atteint 75,1 % d'AUC (sans mises à jour de modèle), se classant premier parmi les trackers de grande taille.
- LaSOText : RELO a obtenu 57,5 % d'AUC, montrant une marge significative par rapport aux méthodes précédentes. Les auteurs notent que ce benchmark teste la généralisation inter-catégories, suggérant que RELO est plus robuste aux variations d'apparence et aux changements de catégories.
- Suivi à Court Terme : Sur TrackingNet et GOT-10k, les variantes de RELO se sont classées premières dans les catégories de taille de base et de grande taille, surpassant des méthodes avec des conceptions temporelles complexes.
Efficacité : RELO maintient des vitesses d'inférence en temps réel sur GPU. Par exemple, RELO-T256 fonctionne à 91 FPS sur une NVIDIA RTX 4090 tout en atteignant une précision compétitive.
Études d'Ablation :
- Le remplacement de l'objectif RL par un entraînement piloté par des priors (coins, centre ou cartes thermiques IoU) a entraîné des baisses de performance, confirmant la supériorité de l'apprentissage piloté par récompense.
- La suppression de la récompense AUC au niveau de la séquence a causé une baisse significative de performance, soulignant l'importance de la supervision à long horizon.
- La stratégie de propagation alignée par couche a apporté des améliorations constantes par rapport à la propagation des couches profondes vers les couches peu profondes, sans coût computationnel supplémentaire.

5. Importance et Revendications

L'article revendique que RELO valide la localisation pilotée par récompense comme une alternative efficace à la localisation pilotée par des priors.

Alignement de l'Entraînement et de l'Évaluation : En optimisant directement pour l'IoU et l'AUC, RELO aligne l'objectif d'entraînement avec les métriques d'évaluation, éliminant la déconnexion causée par la supervision de substitut.
Généralisation : Les gains significatifs sur LaSOText suggèrent que la politique apprise est plus robuste aux décalages de distribution et aux variations d'apparence que les méthodes reposant sur des priors spatiaux fixes.
Changement de Paradigme : Les auteurs soutiennent que le goulot d'étranglement dans le suivi n'est pas seulement de meilleurs backbones ou un pré-entraînement temporel, mais le signal de supervision utilisé pour apprendre où localiser. RELO démontre que l'élimination des priors conçus manuellement en faveur d'une exploration orientée vers la tâche produit des améliorations constantes dans les scénarios de suivi à long terme et à court terme.

Les auteurs reconnaissent des limites, notant que les récompenses actuelles (IoU/AUC) ne capturent pas entièrement des scénarios complexes comme l'occlusion sévère ou la disparition de la cible, et que la portée actuelle est limitée au suivi d'un seul objet avec une seule caméra. Cependant, ils postulent que le cadre piloté par récompense est compatible avec divers paradigmes de suivi et pourrait être étendu à des configurations multi-objets et à des décisions de contrôle au niveau du système plus large à l'avenir.