A Two-Stage Detection-Tracking Framework for Stable Apple Quality Inspection in Dense Conveyor-Belt Environments

Cet article présente un cadre de détection et de suivi en deux étapes combinant YOLOv8, ByteTrack et un classificateur ResNet18 pour assurer une inspection stable et temporellement cohérente de la qualité des pommes sur des convoyeurs industriels denses.

L'essentiel

🍎 Le Problème : La Foire aux Pommes en Mouvement

Imaginez un tapis roulant d'usine rempli de pommes qui défilent à toute vitesse. C'est comme une foule compacte où les pommes se bousculent, se cachent les unes derrière les autres, et où la lumière change tout le temps.

Jusqu'à présent, les systèmes automatiques fonctionnaient comme un photographe qui prend une photo à chaque seconde.

• Le souci ? Si une pomme bouge vite, elle est floue sur la photo. Si une feuille cache un peu de la pomme, le photographe panique. Résultat : la machine dit "C'est une pomme parfaite !" à la seconde 1, puis "C'est une pomme pourrie !" à la seconde 2, juste parce que l'angle a changé. C'est le chaos pour décider si la pomme est bonne ou mauvaise.

🚀 La Solution : Le Système "Deux Étapes"

Les chercheurs (Keonvin, Aditya et Jin Hong) ont créé une nouvelle méthode en deux étapes pour transformer ce chaos en une décision stable. Imaginez que ce n'est plus un photographe, mais un système de surveillance avec un chef d'équipe.

Étape 1 : Le Détective et le Gardien (Détection et Suivi)

Au lieu de juste prendre des photos, le système utilise deux outils magiques :

1. Le Détective (YOLOv8) : C'est un expert formé dans les vergers (en plein air) pour repérer les pommes. Même si le décor change (l'usine), il arrive à dire : "Tiens, il y a une pomme ici !"
2. Le Gardien (ByteTrack) : C'est le vrai héros de l'histoire. Dès qu'une pomme est repérée, le Gardien lui colle une étiquette invisible (un numéro d'identité) et la suit tout au long du tapis.
   • L'analogie : Imaginez que chaque pomme porte un badge "Je m'appelle Pomme A". Même si la Pomme A passe derrière une autre pomme ou devient floue, le Gardien sait toujours que c'est bien elle. Il ne la perd pas de vue.

Étape 2 : Le Juge et le Conseil de Sagesse (Classification et Agrégation)

Une fois qu'on a suivi la pomme, on doit juger sa qualité.

1. Le Juge (ResNet18) : C'est un expert en maladies des fruits. Il regarde la pomme (quand elle est bien visible) et dit : "Elle a une tache" ou "Elle est saine".
2. Le Conseil de Sagesse (Agrégation) : C'est ici que la magie opère. Au lieu de se fier à une seule opinion du Juge (qui peut se tromper si la pomme bouge), le système écoute toutes les opinions du Juge sur la durée du suivi de la pomme.
   • L'analogie : Imaginez que vous devez juger un candidat. Si vous ne le voyez que pendant 1 seconde, vous pouvez vous tromper. Mais si vous le regardez pendant 10 secondes, vous voyez son vrai visage.
   • Le système dit : "Sur les 20 fois où le Juge a regardé la Pomme A, il a dit 'Saine' 18 fois et 'Malade' 2 fois. La décision finale est donc Saine."

📊 Pourquoi c'est génial ?

Avant, les machines étaient comme des gens nerveux qui changent d'avis toutes les secondes. Avec ce nouveau système :

• Stabilité : La décision ne change plus d'une seconde à l'autre. C'est calme et fiable.
• Robustesse : Même si la pomme est cachée un instant ou floue, le système ne panique pas car il se souvient de son identité.
• Industrie : Ils ont créé de nouvelles règles pour mesurer la réussite, non pas sur une seule image, mais sur le comportement de la pomme pendant tout son voyage sur le tapis.

En résumé

Cette recherche nous dit que pour trier des pommes sur un tapis roulant, il ne suffit pas de bien voir, il faut bien se souvenir. En donnant une identité à chaque pomme et en prenant une décision basée sur son histoire complète (et non pas sur un instantané), on obtient un triage beaucoup plus juste et industriel. C'est passer d'une "photo floue" à un "film complet" pour prendre la bonne décision.

Résumé technique

1. Problématique

L'inspection automatisée de la qualité des fruits est cruciale pour le traitement agricole moderne. Cependant, les systèmes industriels actuels sur convoyeurs font face à des défis majeurs :

• Environnements denses : Les pommes sont souvent serrées les unes contre les autres, entraînant des occlusions partielles.
• Instabilité temporelle : La plupart des travaux existants se concentrent sur l'analyse image par image (classification statique). Dans un flux vidéo en mouvement, cela provoque des fluctuations de prédiction dues au flou de mouvement, aux variations d'éclairage et aux occlusions.
• Manque de cohérence : Sans suivi d'objet, un même fruit peut être classé alternativement comme « sain » et « défectueux » d'une frame à l'autre, rendant le triage industriel peu fiable.
• Décalage de domaine : Les modèles entraînés en milieu naturel (vergers) peinent souvent à se généraliser aux environnements industriels (convoyeurs) sans adaptation.

2. Méthodologie

Les auteurs proposent un cadre de travail en deux étapes combinant détection, suivi et classification, spécifiquement conçu pour la stabilité temporelle.

A. Détection (YOLOv8)

• Un modèle YOLOv8, pré-entraîné sur des données de vergers (conditions d'éclairage naturel), est utilisé pour localiser les pommes dans chaque frame vidéo du convoyeur.
• Cette approche teste la robustesse du modèle face au décalage de domaine (du verger à l'usine) sans fine-tuning supplémentaire sur les données du convoyeur.

B. Suivi Multi-Objet (ByteTrack)

• Pour maintenir l'identité des objets à travers les frames, le système intègre l'algorithme de suivi ByteTrack.
• Contrairement aux méthodes qui rejettent les détections à faible confiance, ByteTrack associe à la fois les détections à haute et basse confiance, ce qui est essentiel dans des scènes denses où les pommes peuvent être partiellement occluses.
• Cela permet d'attribuer un ID de trajectoire unique à chaque pomme, créant des trajectoires temporelles cohérentes.

C. Classification des Défauts (ResNet18)

• Pour chaque pomme détectée et suivie, une région d'intérêt (ROI) est recadrée.
• Un classifieur basé sur ResNet18, initialisé avec les poids ImageNet et affiné (fine-tuned) sur un jeu de données « Sain-Défectueux » (incluant des égratignures, pourritures, etc.), prédit la catégorie de défaut.
• Les classes sont ensuite agrégées en binaire (Normal vs Défectueux) pour l'évaluation industrielle.

D. Agrégation au niveau de la trajectoire (Track-Level Aggregation)

• C'est le cœur de l'innovation pour la stabilité. Au lieu de prendre la décision de la dernière frame, le système agrège toutes les prédictions d'une même trajectoire (ID).
• Une majorité de votes (majority voting) est appliquée sur l'ensemble des prédictions d'une trajectoire pour déterminer l'étiquette finale de qualité de la pomme. Cela lisse les oscillations de prédiction dues au bruit visuel.

3. Contributions Clés

1. Cadre unifié Vidéo : Passage d'une évaluation image par image à une évaluation vidéo complète intégrant la détection, le suivi et la classification.
2. Stabilité Temporelle : Introduction d'une agrégation au niveau de la trajectoire pour garantir que la décision sur un fruit est cohérente tout au long de son passage sur le convoyeur.
3. Métriques Industrielles Vidéo : Définition de nouvelles métriques d'évaluation adaptées au déploiement réel, au-delà de la simple précision image :
   • Ratio de défauts au niveau de la trajectoire (Track-level defect ratio).
   • Stabilité temporelle (mesurée par le nombre de changements d'étiquette par trajectoire).
4. Étude de faisabilité Transversale : Démonstration qu'un détecteur entraîné en verger peut être déployé directement sur un convoyeur industriel avec une bonne robustesse, à condition d'intégrer un suivi temporel.

4. Résultats Attendus et Analyse

Bien que l'article soit présenté comme une étude de faisabilité préliminaire (avec des données vidéo publiques de YouTube pour l'évaluation finale), les résultats théoriques et les hypothèses validées indiquent :

• Réduction de l'oscillation : L'agrégation par trajectoire réduit considérablement les changements erratiques de prédiction entre les frames par rapport à une classification frame par frame.
• Robustesse au décalage de domaine : Le détecteur YOLOv8 pré-entraîné sur des vergers conserve une précision élevée sur les convoyeurs, prouvant la transférabilité des modèles agricoles.
• Fiabilité décisionnelle : La décision finale sur la qualité d'un fruit devient beaucoup plus fiable, car elle ne dépend pas d'un instantané visuel potentiellement bruité, mais de l'historique temporel de l'objet.

5. Signification et Impact

Cet article est significatif car il comble le fossé entre la recherche académique (souvent basée sur des images statiques) et le déploiement industriel réel (flux vidéo dynamique).

• Il démontre que le suivi d'objets (tracking) n'est pas un luxe mais une nécessité pour les systèmes de triage automatisés fiables.
• Il propose un protocole d'évaluation plus réaliste pour l'industrie agroalimentaire, où la stabilité de la décision sur un objet est aussi importante que la précision de la détection.
• Les auteurs ouvrent la voie à des travaux futurs sur la généralisation de domaine, l'intégration multi-caméras et la validation à grande échelle dans des usines réelles.

En résumé, cette étude valide qu'une approche « Détection-Suivi-Classification-Agrégation » est supérieure aux méthodes traditionnelles pour l'inspection de la qualité des pommes sur convoyeurs denses, offrant une solution robuste aux problèmes de mouvement et d'occlusion.