Résumé Technique : AnyDepth-DETR/-YOLO

Énoncé du Problème

Les détecteurs d'objets modernes sont généralement des réseaux statiques à profondeur fixe, optimisés pour un point de fonctionnement unique. Cette rigidité impose l'entraînement de modèles distincts pour différents scénarios de déploiement (par exemple, des budgets de ressources ou des exigences de latence variables), rendant difficile pour un seul réseau de satisfaire des demandes hétérogènes. Bien que des méthodes de calcul adaptatif comme la sortie anticipée (early exiting) et l'adaptation de la largeur aient prouvé leur efficacité en classification d'images, elles se transfèrent mal à la détection d'objets. Contrairement aux classificateurs qui produisent une sortie globale unique, les détecteurs reposent sur un pipeline backbone–neck–head étroitement couplé, dépendant de caractéristiques hiérarchiques multi-échelles. Sauter naïvement des étapes ou élaguer des canaux brise ces dépendances, dégradant la qualité des caractéristiques et la précision de la localisation. Les travaux antérieurs n'ont pas réussi à réaliser un calcul contrôlé par la profondeur en détection d'objets tout en préservant la hiérarchie complète des caractéristiques multi-échelles requise pour une détection robuste.

Méthodologie

Les auteurs proposent AnyDepth, un cadre permettant à un seul réseau de couvrir une gamme continue de compromis précision–efficacité en contrôlant la profondeur du réseau au moment de l'inférence sans réentraînement. Le principe de conception central est la modularité par étapes : garantir que la sortie d'un sous-réseau plus léger est interchangeable avec celle d'un sous-réseau plus complet à chaque frontière d'étape.

1. Décomposition Architecturale

Chaque étape, tant dans le backbone que dans le neck, est divisée en deux chemins :

• Chemin Essentiel : S'exécute toujours, apprenant la représentation de caractéristiques fondamentale à l'échelle donnée.
• Chemin de Raffinement : Sautable, fournissant un raffinement supplémentaire lorsque du calcul supplémentaire est disponible.

Cette décomposition préserve toutes les étapes hiérarchiques à chaque configuration de profondeur, contrairement à la sortie anticipée conventionnelle qui rejette des étapes entières.

• Étapes Résiduelles (par exemple, RT-DETR) : Le chemin de raffinement est purement additif ($x_{full} = x_{ess} + \Delta$), partageant les formes de tenseurs et évitant les conflits architecturaux.
• Étapes de Style CSP (par exemple, YOLO) : Puisque la largeur de concaténation dépend du nombre de blocs exécutés, les auteurs introduisent une couche d'agrégation commutable. Une matrice de poids dédiée est utilisée pour le chemin essentiel lorsque le chemin de raffinement est sauté, découplant complètement son flux de gradients de l'agrégateur du chemin complet pour éviter des gradients conflictuels.
• Normalisation par Lots Commutable : Les blocs du chemin essentiel utilisent deux couches BN indépendantes (une pour l'exécution du chemin complet, une pour le chemin essentiel uniquement) pour ajuster les distributions de sortie de manière appropriée pour chaque mode, assurant la compatibilité aux frontières d'étape.

2. Stratégie d'Entraînement : Auto-distillation

L'optimisation conjointe de tous les sous-réseaux possibles introduit des signaux de gradients conflictuels. Pour y remédier, le cadre n'entraîne que les deux extrêmes :

• Super-réseau : Exécute tous les chemins complets.
• Réseau de base : Exécute uniquement les chemins essentiels.

Ces derniers sont entraînés conjointement par auto-distillation, le super-réseau agissant comme un enseignant en ligne pour le réseau de base. La fonction de perte combine la supervision par vérité terrain avec des pertes de distillation :

• Alignement au Niveau des Prédictions : Divergence KL pour les logits de classification et perte IoU/d'arête pour les boîtes de régression.
• Alignement au Niveau des Caractéristiques : Une perte explicite aligne les descripteurs de canaux moyennés globalement (GAP) entre les chemins essentiel et complet à chaque frontière d'étape, imposant que les étapes en aval reçoivent des entrées compatibles indépendamment du chemin emprunté.

Résolution des Conflits d'Affectation des Cibles :
Un défi critique est que le super-réseau et le réseau de base peuvent attribuer différentes ancres/requêtes au même objet de vérité terrain en raison de leurs prédictions différentes.

• Pour AnyDepth-DETR : Les auteurs réorganisent les requêtes d'arrière-plan du super-réseau pour les aligner sur l'ordre correspondant aux cibles du réseau de base avant d'appliquer la Distillation de Connaissances (KD).
• Pour AnyDepth-YOLO : Les affectations d'ancres conflictuelles (où la même ancre est attribuée à différents objets GT par les deux réseaux) sont identifiées et exclues de l'ensemble de distillation, restreignant la KD aux cibles sans ambiguïté.

Contributions Clés

1. Cadre Any-Depth : Une architecture et une méthode d'entraînement novatrices permettant à un seul modèle d'ajuster dynamiquement sa profondeur à l'inférence, couvrant un spectre continu de compromis précision–efficacité.
2. Modularité par Étapes : Un principe de conception assurant la compatibilité des caractéristiques à travers les configurations de profondeur, réalisé par la décomposition chemin essentiel/chemin de raffinement et des adaptations architecturales spécifiques (agrégation commutable et BN).
3. Auto-distillation avec Résolution de Conflits : Une stratégie d'entraînement qui optimise uniquement les sous-réseaux extrêmes tout en imposant la modularité par l'alignement des caractéristiques et des prédictions, traitant spécifiquement les incohérences d'affectation de cibles inhérentes aux familles DETR et YOLO.
4. Première Application aux Détecteurs Temps Réel SOTA : Le cadre est instancié sur RT-DETR et YOLOv12, démontrant qu'une auto-distillation efficace est réalisable pour ces architectures complexes.

Résultats Expérimentaux

Évalué sur le benchmark COCO :

• Performance en Profondeur Complète : Les configurations du super-réseau égalent ou surpassent leurs bases respectives de l'état de l'art (SOTA) avec une surcharge de paramètres négligeable (par exemple, <0,09 % pour RT-DETR, ~3 % pour YOLOv12).
• Gains d'Efficacité :
  • AnyDepth-DETR (R-101) : Réalise un accélération de 1,82× au prix d'une baisse de seulement 2,0 AP par rapport au modèle complet.
  • AnyDepth-YOLO (L) : Réalise un accélération de 1,57× avec une baisse de seulement 1,8 AP.
• Généralisation : Les sous-réseaux intermédiaires (mélangeant chemins essentiels et complets) généralisent bien sans supervision directe, offrant des compromis fluides. Par exemple, réduire la profondeur de l'encodeur dans AnyDepth-DETR échange 0,9 AP contre un gain de 6 % en FPS, tandis que router toutes les étapes du backbone via le chemin essentiel coûte 2,0 AP pour une amélioration de 15 % en FPS.
• Frontière de Pareto : Un seul modèle AnyDepth couvre la plage précision–efficacité qui nécessitait auparavant plusieurs modèles statiques entraînés séparément (par exemple, couvrant la plage de RT-DETR R-18 à R-101 avec un seul réseau).

Importance et Revendications

L'article revendique qu'AnyDepth fournit une solution pratique pour déployer des détecteurs sous des contraintes de ressources dynamiques, remplaçant le besoin de multiples détecteurs de taille fixe par un seul réseau modulaire. En préservant la hiérarchie complète des caractéristiques multi-échelles à chaque configuration de profondeur, la méthode surmonte les limitations des techniques d'inférence adaptative précédentes dans les tâches de détection.

Les auteurs soulignent que leur approche permet une détection d'objets temps réel véritablement adaptative, où les configurations de profondeur peuvent être sélectionnées au moment de l'exécution en fonction des budgets de ressources sans réentraînement. Ils notent que le chemin de raffinement améliore principalement la précision de localisation plutôt que la couverture de détection, validant ainsi la modularité de la conception.

Limites Reconnues :

1. La procédure d'entraînement par auto-distillation nécessite deux passes avant-arrière séquentielles par itération, doublant effectivement le temps d'entraînement par rapport aux modèles standards.
2. Le cadre actuel sélectionne la profondeur basée sur un budget de ressources fixe plutôt que de s'adapter à la difficulté de l'entrée ; l'intégration d'un mécanisme de routage léger pour une sélection adaptative à l'entrée est identifiée comme un travail futur.