Beyond Accuracy Rankings: Cross-Dataset Stability and Computational Cost in Plant Disease Classification

Dans les recoins tranquilles d'une ferme, la différence entre une récolte abondante et une culture ruinée tient souvent à une seule décision opportune : identifier une feuille malade avant que l'infection ne se propage. Depuis des siècles, cette tâche repose sur l'œil exercé d'un agriculteur ou d'un expert agricole, une compétence affinée par l'expérience mais vulnérable à la fatigue, aux symptômes similaires entre différentes maladies et aux variables chaotiques du monde naturel. Pour apporter une main plus stable à ce travail, les scientifiques se sont tournés vers la vision par ordinateur, apprenant aux machines à reconnaître les maladies des plantes en leur montrant des milliers de photographies. Ces systèmes numériques, fondés sur l'apprentissage profond (deep learning), sont devenus remarquablement doués pour repérer la maladie lorsqu'ils sont testés sur les images mêmes qui leur ont servi à l'apprentissage. Cependant, une question cruciale demeure : si un système apprend à diagnostiquer une maladie dans un laboratoire parfaitement éclairé, fonctionnera-t-il encore lorsque la lumière est crue, que l'arrière-plan est encombré de mauvaises herbes ou que la photo est prise avec un appareil différent ? La fiabilité de ces outils dépend non seulement de la capacité des modèles à mémoriser leurs données d'entraînement, mais aussi de la manière dont ils résistent face à la réalité désordonnée du terrain.

C'est le puzzle central abordé par les chercheurs Nitin Kumar et la Dre Sakshi Dua de l'Université Lovely Professional. Ils ont entrepris d'aller au-delà du simple classement de savoir quel modèle informatique obtient le score le plus élevé lors d'un test. Au lieu de cela, ils voulaient comprendre comment trois types populaires d'architectures d'intelligence artificielle — ResNet-50, MobileNetV2 et EfficientNet-B0 — se comportent lorsque les règles du jeu changent. Ils ont entraîné ces modèles sur une vaste collection de plus de 70 000 images de feuilles saines et malades, un ensemble de données connu sous le nom de "New Plant Diseases Dataset". Cette collection est propre et uniforme, semblable à un studio photographique. Une fois les modèles entraînés, les chercheurs ne s'y sont pas arrêtés. Ils ont pris les mêmes modèles et les ont testés sur un ensemble d'images complètement différent appelé PlantDoc, composé de photos prises dans des champs réels avec un éclairage inégal et des arrière-plans complexes. L'objectif était de voir si les modèles pouvaient transférer ce qu'ils avaient appris du studio propre vers le champ chaotique, et de mesurer la puissance de calcul requise par chaque modèle pour accomplir la tâche.

Les résultats ont révélé une division tranchante et instructive entre la performance en laboratoire et la performance en milieu sauvage. Lorsqu'ils ont été testés sur les données propres et internes sur lesquelles ils avaient été entraînés, les trois modèles ont fait preuve d'une grande compétence, identifiant correctement la vaste majorité des feuilles. ResNet-50, le plus grand et le plus complexe des trois, a atteint la précision la plus élevée, classant correctement plus de 96 % des images. Cependant, lorsque les chercheurs sont passés aux images de PlantDoc du monde réel, la performance des trois modèles a chuté de façon spectaculaire. La précision du modèle le plus performant est tombée à peine au-dessus de 21 %. Cette chute dramatique met en lumière un piège courant de l'intelligence artificielle : un système qui excelle dans un environnement contrôlé éprouve souvent des difficultés lorsque l'arrière-plan, l'éclairage ou la qualité de l'image changent. Les modèles avaient probablement appris à s'appuyer sur des indices subtils provenant des arrière-plans propres de leurs données d'entraînement, des indices absents des photos de terrain.

Pourtant, l'histoire ne s'achève pas sur un simple échec. En creusant davantage, en utilisant différentes méthodes de mesure du succès qui tenaient compte de la manière dont les modèles géraient chaque type spécifique de maladie plutôt que de la simple moyenne globale, un tableau différent est apparu. Bien que ResNet-50 conserve la précision brute la plus élevée sur les images de terrain, le modèle MobileNetV2, conçu pour être léger et rapide, s'est avéré plus performant pour identifier correctement les catégories de maladies spécifiques. Il a obtenu un score plus élevé dans une métrique qui traite chaque type de maladie comme étant d'égale importance, suggérant qu'il était plus cohérent de manière générale. Cette conclusion remet en question l'hypothèse selon laquelle le modèle le plus puissant ou le plus complexe est toujours le meilleur choix. Dans ce cas, le modèle conçu pour l'efficacité a montré une résilience surprenante face à l'imprévisibilité du monde réel.

Au-delà de la précision, l'étude a mis un accent considérable sur le coût d'exécution de ces modèles. Dans le monde de l'agriculture, où les ordinateurs peuvent fonctionner sur des appareils alimentés par l'énergie solaire dans des champs reculés, la vitesse et l'utilisation de la mémoire comptent autant que l'intelligence. Les chercheurs ont mesuré le temps nécessaire à chaque modèle pour analyser une seule image et le nombre d'images qu'il pouvait traiter par seconde. Ici, MobileNetV2 est le grand vainqueur. Il a nécessité le moins de mémoire, a traité les images le plus rapidement et a pu gérer plus de 200 images par seconde. En revanche, ResNet-50, bien qu'un peu plus précis sur le test interne, était nettement plus lent et nécessitait dix fois plus de mémoire pour fonctionner. EfficientNet-B0 se situait entre les deux, offrant un équilibre mais sans l'efficacité extrême de MobileNetV2. Les données suggèrent que pour des applications pratiques, où les ressources sont limitées et la vitesse essentielle, le modèle plus petit et plus rapide pourrait être l'option la plus viable, même s'il n'est pas le champion absolu dans un laboratoire parfait.

Les chercheurs ont pris soin de noter les limites de leurs conclusions. Le test externe utilisait un nombre relativement restreint d'images, et le matériel spécifique utilisé pour mesurer la vitesse pourrait ne pas refléter parfaitement les performances sur chaque téléphone portable ou appareil de bord (edge device). Ils ont également souligné que la baisse de performance était probablement due à un mélange de facteurs, incluant les changements d'arrière-plan, d'éclairage et de qualité d'image, plutôt qu'à une cause unique. Ils n'ont pas prétendu avoir résolu le problème de l'échec de transfert entre jeux de données, mais ont plutôt fourni une comparaison claire et contrôlée montrant comment différents modèles se comportent sous pression. L'étude conclut que choisir le bon outil pour la classification des maladies des plantes nécessite de regarder au-delà d'un simple chiffre de précision. Cela exige un équilibre entre la capacité de prédiction d'un modèle, sa cohérence dans le traitement des différents types de maladies et l'efficacité avec laquelle il utilise les ressources informatiques disponibles. En fin de compte, le meilleur modèle n'est pas nécessairement celui qui obtient le score le plus élevé lors d'un test, mais celui qui offre une performance la plus fiable et la plus efficace lorsque les lumières s'éteignent et que le travail commence sur le terrain.