Résumé Technique : Apprentissage par Renforcement Sensible au Mouvement pour la Localisation d'Objets

Formulation du Problème

Les détecteurs d'objets modernes traitent généralement la localisation comme un problème de régression en une seule étape (one-shot), mappant les caractéristiques de l'image directement aux coordonnées des boîtes englobantes lors d'une passe avant unique. Bien qu'efficace, cette approche manque de capacité pour une correction itérative, ce qui entraîne souvent des propositions mal alignées en position, en échelle ou en rapport d'aspect. Ces erreurs sont particulièrement préjudiciables sous des critères d'évaluation basés sur un chevauchement strict (ex: AP@0.75) et pour les objets petits ou densément regroupés.

Le raffinement post-hoc offre une solution en découplant le processus de raffinement du détecteur de base, permettant à un module léger d'ajuster de manière itérative les propositions engagées vers la vérité terrain. Cependant, les approches existantes d'apprentissage par renforcement (RL) pour cette tâche font face à deux défis critiques :

1. Complexité de la conception de la récompense : Intégrer des termes de pénalité dérivés du mouvement avec des objectifs d'optimisation de l'Intersection-over-Union (IoU) standard est non trivial. L'interaction entre les pénalités de déviation cinématique et les termes d'IoU absolus peut mener à une instabilité de l'entraînement.
2. Capacité de représentation : Il n'est pas clair si les agents de raffinement partageant un backbone avec leur détecteur de base font face à un plafond de performance dû à l'information limitée disponible dans les observations de type recadrage (crop-only).

Ce travail aborde ces problèmes en proposant MARLNet (Motion-Aware Reinforcement Learning Network), un cadre qui incorpore un a priori de mouvement à vitesse constante dans l'état d'observation et une pénalité de lissage d'action dans la fonction de récompense.

Méthodologie

1. Formulation du Processus de Décision de Markov (MDP)

La tâche de raffinement est modélisée comme un MDP à horizon fini $M = (S, A, P, R, \gamma, T)$.

• Espace d'États ($S$) : Le vecteur d'état $s_t$ est de dimension 268, comprenant :
  • Les coordonnées actuelles de la boîte englobante $b_t$ (normalisées à $[0, 1]$).
  • Une prédiction cinématique à vitesse constante (CV) $\hat{b}^{cv}_t$ de la position suivante.
  • L'action précédente $a_{t-1}$ (initialisée à zéro).
  • Un plongement de caractéristiques visuelles (visual feature embedding) de dimension 256 extrait du recadrage de l'image défini par $b_t$ en utilisant un backbone EfficientNet-B0 gelé.
• Espace d'Actions ($A$) : L'agent produit un vecteur continu de dimension 4 pour les ajustements de coordonnées $(\delta x, \delta y, \delta w, \delta h)$ et un signal d'arrêt binaire. Les actions sont bornées à $[-\delta_{max}, \delta_{max}]$ pour assurer la stabilité.
• Fonction de Récompense ($R$) : La récompense à l'étape $t$ est définie par :
  $$r_t = \alpha \cdot \Delta \text{IoU}_t - c_{step} - \lambda_{phys} \cdot \|a_t - a_{t-1}\|^2$$
  Où $\Delta \text{IoU}_t$ est l'amélioration du chevauchement avec la vérité terrain, $c_{step}$ est un coût fixe pour décourager les étapes inutiles, et le dernier terme est une pénalité de lissage d'action. Crucialement, les auteurs remplacent une pénalité de déviation cinématique (qui causait un effondrement de l'entraînement) par cette pénalité de lissage d'action pour éviter l'interférence de la récompense.
• Terminaison : Les épisodes se terminent si l'agent déclenche un signal d'arrêt, atteint un seuil d'IoU cible ($\tau_{stop}$), ou atteint la limite maximale d'étapes ($T=15$).

2. Architecture et Entraînement

• Extraction de Caractéristiques : Un Faster R-CNN pré-entraîné (backbone ResNet-50) fournit les propositions initiales. L'agent de raffinement utilise un EfficientNet-B0 gelé pour extraire les caractéristiques du recadrage actuel. Le gel du backbone empêche la non-stationnarité dans la représentation de l'état et réduit la charge de calcul.
• Réseau de Politique : Une architecture acteur-critique traite l'état via un MLP à deux couches partagé. L'acteur produit les paramètres d'une distribution gaussienne sur les actions continues et d'une distribution de Bernoulli pour le signal d'arrêt. Le critique estime la fonction de valeur de l'état.
• Optimisation : La politique est entraînée via l'Optimisation de Politique Proximale (PPO) avec l'Estimation de l'Avantage Généralisé (GAE).

Contributions Clés

1. Cadre MARLNet : Le premier cadre de raffinement basé sur le RL qui intègre explicitement un a priori de mouvement à vitesse constante dans l'état d'observation et une pénalité de lissage d'action dans la récompense pour le raffinement itératif sur image unique.
2. Identification de l'Interférence de Récompense : Les auteurs ont découvert que la combinaison d'une pénalité de déviation de vitesse constante avec un terme d'IoU absolu provoque un "effondrement de déclenchement" (où la probabilité de terminaison s'effondre, menant à un tremblement de l'étape maximale et une chute catastrophique de la mAP de 0.490 à 0.035). Le remplacement de la pénalité de déviation par une pénalité de lissage d'action résout cet échec.
3. Caractérisation du Plafond de Représentation : À travers des études d'ablation (incluant une variante d'observation "global-plus-local"), l'article démontre que les agents de raffinement partageant un backbone avec leur détecteur de base font face à un plafond de performance rigide. Cette contrainte est représentationnelle (l'agent ne peut pas accéder aux informations que le détecteur n'a pas déjà encodées) plutôt qu'observationnelle.
4. Évaluation Systématique : Une évaluation complète sur Pascal VOC 2012 et VisDrone 2019, analysant la sensibilité de la performance à la force de régularisation ($\lambda_{phys}$) et aux caractéristiques du jeu de données.

Résultats Expérimentaux

Pascal VOC 2012

• Performance : MARLNet a atteint un taux de succès de détection (SR@0.5) de 0.515, soit une amélioration de +0.011 par rapport au détecteur de base (0.504).
• Comparaison : Le PPO classique (sans a priori de mouvement) n'a pas réussi à améliorer le SR@0.5 par rapport au détecteur (0.501 contre 0.504).
• Observation : Aucune méthode de raffinement n'a amélioré la mAP globale par rapport à la ligne de base du détecteur (0.490), confirmant le plafond de représentation. La meilleure configuration de MARLNet a atteint une mAP de 0.437.

VisDrone 2019

• Performance : Sur ce jeu de données aérien plus difficile, le PPO classique a obtenu un gain plus important sur le SR@0.5 (+0.025) par rapport au détecteur, probablement dû au fait que le détecteur initial plus faible (mAP 0.189) laisse plus de place pour la correction.
• MARLNet : A atteint un SR@0.5 de 0.666 (légèrement en dessous du détecteur à 0.669) avec $\lambda=0.05$. Cependant, une force de régularisation plus élevée ($\lambda=0.70$) a produit la meilleure mAP (0.175) et AP@0.75 (0.170).
• Non-monotonie : La valeur optimale de $\lambda$ dépendait du jeu de données. $\lambda=0.10$ était optimal pour VOC mais était le moins performant pour VisDrone, soulignant la nécessité de calibrer la force de régularisation selon la qualité du détecteur de base.

Études d'Ablation

• Conception de la Récompense : Remplacer la pénalité de déviation cinématique par la pénalité de lissage d'action était essentiel pour un entraînement stable.
• Conception de l'Observation : L'ajout d'une caractéristique d'image globale (Global+Local) au vecteur d'état n'a pas permis de surmonter systématiquement le plafond de performance, confirmant que la limitation est architecturale (backbone partagé) plutôt qu'un manque de contexte spatial.

Signification et Revendications

L'article affirme que MARLNet fournit une approche stable et efficace pour le raffinement itératif des boîtes englobantes, particulièrement pour améliorer les taux de succès de détection aux seuils d'IoU pratiques (≥0.5). Le travail offre trois perspectives principales pour la communauté :

1. Entraînement Stable : Les pénalités de lissage d'action sont une alternative supérieure aux pénalités de déviation cinématique pour prévenir l'interférence de la récompense et l'effondrement de l'entraînement dans le raffinement basé sur le RL.
2. Calibration des Hyperparamètres : La force de la régularisation par le mouvement doit être inversement proportionnelle à la qualité du détecteur de base ; les détecteurs plus forts bénéficient d'une régularisation plus légère pour préserver l'expressivité de la politique, tandis que les détecteurs plus faibles nécessitent des contraintes plus fortes.
3. Limites Architecturales : L'incapacité des agents de raffinement par caractéristiques de recadrage à surpasser la mAP du détecteur de base est une contrainte de représentation fondamentale. Les améliorations futures nécessiteront des changements architecturaux fournissant à l'agent des représentations de caractéristiques distinctes de celles utilisées par le détecteur, plutôt que de simplement étendre l'espace d'observation.

Les auteurs concluent que bien que MARLNet ne brise pas le plafond de la mAP, il affine avec succès les propositions pour améliorer la précision dans les applications en aval et fournit un diagnostic concret des limitations des architectures de raffinement actuelles.