Le-DETR: Revisiting Real-Time Detection Transformer with Efficient Encoder Design

Le-DETR est un nouveau détecteur temps réel qui atteint des performances de pointe (SOTA) avec un coût de pré-entraînement réduit de 80 % grâce à une conception efficace combinant l'architecture EfficientNAT et un encodeur hybride repensé.

L'essentiel

Imaginez que vous essayez d'enseigner à un chien à chasser des lapins dans un grand parc.

Le problème actuel (les modèles "DETR" classiques) :
Pour l'instant, les meilleurs chiens de chasse (les modèles d'intelligence artificielle appelés Real-Time DETR) sont très performants, mais ils ont un gros défaut : avant même de commencer à chasser, ils doivent passer des mois à courir dans une forêt immense et obscure (des millions d'images non étiquetées) juste pour apprendre à distinguer un arbre d'un lapin. C'est comme si vous deviez lire toute la bibliothèque d'Alexandrie juste pour apprendre à faire du vélo. C'est cher, lent, et personne ne peut facilement reproduire cet entraînement. De plus, une fois qu'ils sont formés, ils sont un peu lents à réagir quand ils voient un lapin.

La solution de ce papier (Le-DETR) :
Les auteurs de cette recherche, de chez SHI Labs à Georgia Tech, disent : "Attendez, et si on ne faisait pas courir le chien dans la forêt obscure ? Et si on lui donnait juste un bon manuel d'instructions et un peu de pratique sur des lapins bien visibles ?"

Ils ont créé un nouveau chien de chasse appelé Le-DETR. Voici comment il fonctionne, avec des analogies simples :

1. Le "Moteur" amélioré (L'Encodage Efficient)

Les anciens modèles utilisaient un moteur de voiture un peu lourd et énergivore pour regarder l'image. Le-DETR utilise un nouveau moteur, qu'ils appellent EfficientNAT.

• L'analogie : Imaginez que vous cherchez quelqu'un dans une foule.
  • L'ancienne méthode : Vous regardez chaque personne dans la foule, une par une, en vous demandant "Est-ce lui ?" (C'est lent et ça demande beaucoup d'énergie).
  • La méthode Le-DETR : Vous ne regardez que les gens autour de vous, dans un petit cercle. Vous savez que si la personne que vous cherchez est là, elle sera probablement proche. C'est ce qu'ils appellent l'"Attention de Voisinage". C'est plus rapide, moins fatiguant, et ça fonctionne très bien pour détecter des objets proches.

2. Pas besoin de "Super-Entraînement"

La grande révolution, c'est que ce nouveau chien n'a pas besoin de courir dans la forêt obscure (les 4 millions d'images supplémentaires).

• L'analogie : Au lieu de lui faire lire 50 romans policiers pour comprendre la logique du crime, on lui donne juste un bon cours de 100 pages (les 1 million d'images classiques d'ImageNet) et on le lance directement sur le terrain.
• Le résultat : Il apprend 80 % plus vite, consomme beaucoup moins d'énergie, et arrive à la même performance, voire meilleure !

3. La vitesse de réaction (Temps réel)

Le but est de détecter des objets en temps réel (comme pour une voiture autonome ou un drone).

• L'analogie : Les anciens modèles étaient comme un grand chef cuisinier qui prenait le temps de goûter chaque ingrédient individuellement avant de servir le plat. Le-DETR est comme un chef d'orchestre qui voit l'ensemble de la partition et donne le signal exact au bon moment, instantanément.
• Sur une carte graphique puissante (RTX 4090), Le-DETR peut analyser une image en 4,45 millisecondes (c'est plus rapide qu'un clignement d'œil !).

Les Résultats en Bref

Ils ont testé ce nouveau modèle contre les champions actuels (comme la série YOLO, qui est très populaire, et les autres modèles DETR).

• Contre YOLO : Le-DETR est souvent plus précis (il fait moins d'erreurs) et parfois même plus rapide.
• Contre les autres DETR : Il est beaucoup plus facile à recréer pour les autres chercheurs (pas besoin de millions d'images cachées) et il est tout aussi performant.

En résumé :
Cette recherche dit : "On n'a pas besoin de construire des usines géantes et coûteuses pour former nos intelligences artificielles. Avec une meilleure conception architecturale (comme un bon plan de maison), on peut obtenir un résultat de luxe avec un budget modeste."

C'est une avancée majeure car cela rend la technologie de détection d'objets plus accessible, plus rapide et moins coûteuse à développer pour tout le monde.

Résumé technique

1. Problématique et Contexte

La détection d'objets en temps réel est cruciale pour de nombreuses applications, exigeant un équilibre entre haute précision et faible latence. Bien que les modèles basés sur les Transformers (DETR) aient démontré des performances supérieures en éliminant les étapes de post-traitement complexes (comme la NMS), les modèles DETR en temps réel actuels (comme RT-DETRv2, D-FINE) souffrent de limitations majeures :

• Surcoût de pré-entraînement excessif : Ces modèles dépendent de backbones (épine dorsales) pré-entraînés sur des ensembles de données massifs et non étiquetés (environ 4 millions d'images supplémentaires aux 1 million d'images d'ImageNet1K), souvent via des techniques coûteuses comme la distillation de connaissances (KD) et l'entraînement auto-supervisé (ATI).
• Barrière à la reproductibilité : L'accès restreint à ces données de pré-entraînement et la complexité des pipelines d'entraînement entravent la recherche, la reproduction des résultats et l'exploration de nouvelles architectures.
• Dépendance à des designs sous-optimaux : Les performances actuelles sont souvent attribuées à ces surcoûts de pré-entraînement plutôt qu'à une conception architecturale optimale. De plus, les modèles existants négligent les techniques d'attention modernes (comme l'attention locale) au profit de techniques CNN traditionnelles.

Question centrale : Est-il possible d'atteindre des performances SOTA (State-of-the-Art) en temps réel avec un coût de pré-entraînement réduit (uniquement ImageNet1K) grâce à une meilleure conception architecturale ?

2. Méthodologie : Le-DETR

Les auteurs proposent Le-DETR (Low-cost and Efficient DEtection TRansformer), une architecture conçue pour réduire drastiquement les coûts de pré-entraînement tout en maintenant, voire en améliorant, les performances.

A. Conception du Backbone : EfficientNAT

Au lieu d'utiliser des backbones pré-entraînés sur des données massives (comme PResNet ou PP-HGNet), les auteurs conçoivent EfficientNAT de zéro :

• Architecture Hybride : Elle combine des convolutions efficaces modernes et des mécanismes d'attention locale.
• Modules Clés :
  • Stem et Stages 1-2 : Utilisation de convolutions séparables en profondeur (DSConv) et de convolutions mobiles fusionnées (FusedMBConv) pour une extraction de features rapide.
  • Stage Final (Attention) : Intégration du module EfficientNATBlock, qui fusionne l'attention de voisinage (Neighborhood Attention - NA) avec un réseau feed-forward basé sur MBConv. Cela permet de capturer des dépendances contextuelles locales efficaces sans le coût quadratique de l'attention globale.
• Évolutivité (Scaling) : Une étude approfondie a été menée pour déterminer la distribution optimale des blocs selon l'échelle du modèle (M, L, X) :
  • Pour les modèles L : Distribution équilibrée (PA) entre les stages 3 et 4.
  • Pour les modèles X : Distribution lourde en début de phase (PC), avec plus de blocs au stage 3 qu'au stage 4.

B. Réingénierie de l'Encodeur Hybride : NAIFI

L'encodeur a été redessiné pour intégrer l'attention locale :

• Module NAIFI (Neighborhood Attention-based Improved Feature Inference) : Remplace les mécanismes d'attention standard par une attention de voisinage à couche unique. Cela améliore la qualité de la représentation des features tout en accélérant l'inférence grâce à des noyaux de taille réduite.
• Optimisation du Décodeur : Utilisation de l'attention Flash (Flash Attention) pour accélérer l'inférence et réduction du nombre de couches de décodeur lors de l'inférence (5 couches au lieu de 6) sans perte de performance, grâce à des têtes de prédiction par couche lors de l'entraînement.

C. Stratégie d'Entraînement

• Données : Entraînement uniquement sur ImageNet1K (1M d'images) pour le backbone et COCO2017 pour la détection.
• Réduction de coût : Cela représente une économie d'environ 80 % des images utilisées pour le pré-entraînement par rapport aux méthodes précédentes (suppression des 4M d'images supplémentaires).
• Objectifs de perte : Utilisation de la perte MAL (Matchability-Aware Loss) et de techniques comme FDR et GO-LSD pour affiner les prédictions.

3. Résultats Principaux

Les expériences ont été menées sur le jeu de données COCO Val2017 avec un GPU RTX 4090.

• Performance SOTA :
  • Le-DETR-M : 52.9 mAP en 4.45 ms.
  • Le-DETR-L : 54.3 mAP en 5.01 ms.
  • Le-DETR-X : 55.1 mAP en 6.68 ms.
• Comparaison avec YOLO (Série v11/v12) :
  • Le-DETR-L surpasse YOLOv12-L de +0.6 mAP avec une latence similaire.
  • Le-DETR-X est 20 % plus rapide que YOLOv12-X avec des performances comparables.
• Comparaison avec les modèles DETR (RT-DETR, D-FINE, DEIM-D-FINE) :
  • Le-DETR-L bat RT-DETRv2-L de +0.9 mAP tout en étant 9 % plus rapide.
  • Le-DETR-M bat DEIM-D-FINE-M de +0.2 mAP avec une inférence légèrement plus rapide.
  • Le-DETR-X bat DEIM-D-FINE-L de +0.4 mAP avec seulement 0.4 ms de latence supplémentaire.

4. Contributions Clés

1. Identification d'une limitation critique : Mise en évidence du fait que les surcoûts de pré-entraînement massifs des modèles DETR actuels ne sont pas une nécessité fondamentale, mais souvent une compensation pour des architectures sous-optimales.
2. Nouveau Backbone (EfficientNAT) : Conception d'une architecture de backbone optimisée pour le temps réel, réduisant les coûts de calcul et de données de pré-entraînement de ~80 % tout en maintenant des performances SOTA.
3. Efficacité de l'Attention Locale : Démonstration que l'attention de voisinage (Neighborhood Attention) est supérieure à l'attention globale dans le contexte de la détection en temps réel, permettant de réinventer l'encodeur pour un meilleur compromis vitesse/précision.
4. Reproductibilité et Accessibilité : Le modèle est entièrement reproductible à partir de zéro avec des données publiques standard (ImageNet1K + COCO), favorisant l'innovation communautaire.

5. Signification et Impact

Ce travail remet en question le paradigme actuel selon lequel les performances élevées en détection d'objets nécessitent des pipelines de pré-entraînement massifs et coûteux. En prouvant qu'une conception architecturale soignée (combinaison de convolutions efficaces et d'attention locale) peut surpasser les modèles dépendants de la distillation de connaissances, Le-DETR ouvre la voie à :

• Une démocratisation de la recherche sur les modèles DETR en temps réel.
• Une réduction de l'empreinte carbone et des coûts de calcul pour l'entraînement de modèles de vision par ordinateur.
• Un nouveau standard de référence (SOTA) pour la détection en temps réel, surpassant à la fois les approches CNN (YOLO) et les approches Transformer précédentes.

Le code et les poids du modèle seront open-sourcés, facilitant ainsi l'adoption et l'extension future de cette technologie.