D-FINE-seg: Object Detection and Instance Segmentation Framework with multi-backend deployment

Ce papier présente D-FINE-seg, une extension open-source de D-FINE dédiée à la segmentation d'instances en temps réel qui améliore la précision sur le jeu de données TACO par rapport à YOLOv8 tout en offrant un pipeline de déploiement optimisé multi-backend (ONNX, TensorRT, OpenVINO).

L'essentiel

🎬 Le Film : "D-FINE-seg", le Super-Héros de la Vision par Ordinateur

Imaginez que vous avez un robot très intelligent capable de regarder une vidéo en direct et de dire : « Tiens, c'est une pomme ! » et « Là, c'est un chat ! ». C'est ce qu'on appelle la détection d'objets.

Mais parfois, le robot ne suffit pas à dire où commence et où finit l'objet. Il a besoin de savoir exactement la forme du chat, pixel par pixel, pour le découper du fond. C'est ce qu'on appelle la segmentation d'instance.

Le problème ? Les robots qui font ça très bien sont souvent lourds et lents (comme un éléphant dans un magasin de porcelaine). Les robots rapides sont souvent un peu bêtes.

D-FINE-seg, c'est le nouveau robot conçu par l'équipe de Veryfi Inc. pour résoudre ce dilemme. Voici comment ils ont fait, avec des analogies simples :

---

1. Le Moteur de Base : Un Chef Cuisinier Expert

Le cœur de ce robot s'appelle D-FINE. Imaginez-le comme un chef cuisinier de génie qui a déjà appris à cuisiner des plats complexes (détecter des objets) dans une grande école culinaire (entraîné sur des millions d'images). Il est rapide et précis.

Mais, ce chef ne sait pas encore découper les ingrédients avec un couteau de précision pour les servir individuellement. Il sait juste dire « Il y a une tomate ».

2. La Nouvelle Ajoutée : Le Couteau Magique (La "Mask Head")

Pour transformer ce chef en maître-chef de découpe, les chercheurs ont ajouté une petite pièce très légère appelée "Mask Head" (tête de masque).

• L'analogie : Imaginez que le chef a déjà les ingrédients sur la table. Au lieu de lui donner un gros hachoir (qui ralentirait tout), on lui donne un petit couteau de chef ultra-affûté et léger.
• Le résultat : Le robot peut maintenant non seulement dire « C'est une pomme », mais aussi dessiner le contour exact de la pomme sur l'image, sans ralentir la cuisine.

3. L'Entraînement : Apprendre à Dessiner sans Gâcher le Temps

Pour apprendre à ce robot à découper, ils ont utilisé une méthode spéciale :

• L'entraînement "Intelligent" : Au lieu de simplement montrer des images, ils ont appris au robot à se corriger lui-même en cours de route (comme un élève qui relit ses devoirs pendant qu'il les fait).
• La "Pénalité" : Si le robot dessine un contour qui dépasse un peu, il reçoit une petite "gifle" mathématique (une perte de points) pour apprendre à être plus précis.
• Le résultat : Le robot apprend très vite à être précis, même avec peu d'exemples, et ne perd pas de temps à l'étape finale.

4. La Grande Comparaison : D-FINE-seg contre YOLO26

Les chercheurs ont mis leur robot en compétition contre le champion actuel, YOLO26 (un robot très populaire et rapide).

• Le terrain de jeu : Ils ont utilisé une poubelle remplie de déchets variés (une image de déchets) pour tester.
• Le test : Qui est le plus précis ? Qui est le plus rapide ?
• Le verdict :
  • D-FINE-seg a gagné haut la main sur la précision (il découpe mieux les objets).
  • D-FINE-seg est presque aussi rapide que son concurrent, même s'il fait plus de travail (dessiner les contours).
  • C'est comme si un coureur de 100 mètres prenait un sac à dos léger et battait quand même le record du monde.

5. Le "Kit de Déménagement" : Prêt pour Tous les Ordinateurs

C'est peut-être la partie la plus cool pour les développeurs.
Souvent, un robot entraîné sur un super-ordinateur ne fonctionne pas sur un téléphone ou une caméra de sécurité.

Les auteurs ont créé un tuyau magique (un pipeline) qui permet de prendre ce robot et de l'adapter instantanément à n'importe quelle machine :

• Sur un serveur puissant (TensorRT).
• Sur un ordinateur standard (ONNX).
• Sur un petit appareil portable (OpenVINO).

C'est comme si vous aviez un véhicule qui pouvait rouler sur la route, dans la boue, et même voler dans les airs, sans avoir besoin de changer de moteur.

🏆 En Résumé

Ce papier nous dit : « On a pris le meilleur moteur de détection existant, on lui a ajouté un couteau de précision très léger, et on a créé un manuel pour l'installer sur n'importe quel ordinateur. »

Le résultat est un outil gratuit (open-source) qui permet aux robots de voir le monde non seulement avec des yeux, mais avec des mains précises, le tout en temps réel. C'est une avancée majeure pour rendre la vision par ordinateur plus utile dans la vraie vie, que ce soit pour trier des déchets, aider des chirurgiens ou guider des voitures autonomes.

Résumé technique

1. Problématique

Bien que les détecteurs d'objets basés sur les Transformers (comme la famille DETR et D-FINE) offrent d'excellents compromis précision-latence pour la détection d'objets, l'instance segmentation (segmentation d'instances) en temps réel avec ces architectures reste moins courante. Les méthodes existantes imposent souvent des têtes de réseau (heads) lourdes qui dégradent la latence, rendant le déploiement en temps réel difficile. De plus, il existe un manque de pipelines de formation et de déploiement unifiés et optimisés pour ces modèles sur divers matériels (serveurs et périphériques edge).

2. Méthodologie

Les auteurs proposent D-FINE-seg, une extension de l'architecture D-FINE (elle-même basée sur RT-DETR) dédiée à la segmentation d'instances, couplée à un pipeline de déploiement multi-backend.

Architecture

• Cœur du modèle : Hérite de D-FINE avec le raffinement de distribution granulaire (FDR) et la distillation auto-locale optimale (GO-LSD).
• Tête de Masque (Mask Head) : Inspirée de Mask DINO, mais optimisée pour la légèreté.
  • Elle opère uniquement sur les sorties du HybridEncoder (PAN) aux résolutions 8/16/32, évitant ainsi de passer par les features de stride-4 du backbone (ce qui économise de la mémoire et du calcul).
  • Elle utilise une seule convolution transposée (stride-2) pour atteindre une résolution de 1/4.
  • Les embeddings des requêtes du décodeur sont projetés et combinés avec les features de pixels via un produit scalaire (équivalent à une convolution 1x1 dynamique) pour générer les masques.
• Supervision :
  • Utilisation de masques auxiliaires et de supervision par débruitage (denoising) sur les couches intermédiaires du décodeur pour améliorer la convergence sans affecter l'inférence.
  • Les masques sont calculés à la fois pour la couche finale et les couches intermédiaires.

Fonctions de Perte et Appariement

• Pertes : Ajout de pertes spécifiques à la segmentation au sein de la zone d'intérêt (ROI) :
  • Box cropped BCE (Cross-Entropy binaire) normalisée par la surface de la ROI.
  • Box cropped Dice loss sur les probabilités sigmoïdes.
  • Les poids de perte sont équilibrés avec les pertes de détection (VFL, L1, GIoU, etc.).
• Appariement (Hungarian Matcher) : Le coût d'appariement inclut désormais des métriques de masque (coût de chevauchement Dice et coût focal sigmoïde) en plus des coûts de classification et de boîte.

Pipeline de Déploiement

Le framework propose un flux de travail complet (entraînement, export, inférence) supportant nativement :

• Formats : ONNX, TensorRT, OpenVINO.
• Précision : FP32, FP16, et INT8 (avec quantification consciente de la précision pour OpenVINO).
• Environnements : Serveurs (GPU) et périphériques Edge (CPU).

3. Contributions Clés

1. Conception d'une tête de masque légère : Adaptée spécifiquement aux sorties de D-FINE pour maintenir une faible latence tout en assurant une haute précision.
2. Stratégie d'entraînement avancée : Intégration de supervisions auxiliaires, de débruitage, et de nouvelles fonctions de perte (BCE et Dice sur ROI) pour la segmentation.
3. Protocole de déploiement reproductible : Un framework open-source (licence Apache-2.0) permettant l'exportation et l'optimisation sur plusieurs backends (TensorRT, OpenVINO) pour la détection et la segmentation.

4. Résultats Expérimentaux

Les modèles ont été évalués sur le jeu de données TACO (déchets dans divers environnements) et comparés à Ultralytics YOLO26 (la référence actuelle en temps réel).

• Performance (Précision) :
  • Sur la tâche de segmentation, D-FINE-seg surpasse YOLO26 avec une amélioration moyenne du score F1 d'environ 65 % sur les tailles de modèles N/S/M/L/X, tout en conservant une latence compétitive.
  • Sur la tâche de détection, D-FINE obtient environ 70 % de score F1 en plus que YOLO26 avec une surcharge de latence négligeable (~1 %).
  • En termes de mAP (COCO style), D-FINE-seg réalise en moyenne +41 % de mAP pour les masques et +49 % de mAP pour les boîtes par rapport à YOLO26.
• Latence et Efficacité :
  • Les tests en TensorRT FP16 montrent que D-FINE-seg maintient une latence très faible (ex: ~5 ms pour le modèle S sur GPU RTX 5070 Ti).
  • Sur périphériques Edge (Intel N150 avec OpenVINO), le modèle INT8 offre un bon compromis, bien que YOLO26 soit légèrement plus rapide en latence brute, D-FINE-seg offre une précision nettement supérieure (ex: F1 de 0.264 vs 0.153 pour le modèle S en INT8).
• Comparaison des formats : L'exportation TensorRT FP16 offre le meilleur équilibre vitesse/précision, réduisant la latence de ~4x par rapport au torch FP32 sans perte de précision significative.

5. Signification et Conclusion

D-FINE-seg démontre que les architectures Transformer peuvent être étendues à la segmentation d'instances en temps réel sans sacrifier la performance, surpassant les approches basées sur YOLO dans des scénarios de fine-tuning spécifiques.

• Impact technique : La preuve qu'une tête de masque légère peut être intégrée à D-FINE pour des performances supérieures.
• Impact pratique : La disponibilité d'un code source open-source avec un pipeline de déploiement multi-backend facilite l'adoption industrielle, en particulier pour les applications nécessitant une haute précision sur du matériel varié (du cloud à l'edge).
• Limites et Futur : Les résultats actuels sont limités au jeu de données TACO. Les auteurs prévoient d'évaluer le modèle sur d'autres jeux de données et d'explorer le pré-entraînement de la tête de masque sur COCO pour améliorer encore la précision des contours.

En résumé, D-FINE-seg se positionne comme une alternative robuste et performante aux solutions YOLO pour la segmentation d'instances en temps réel, offrant un meilleur compromis précision-latence et une grande flexibilité de déploiement.