Fine-tuned Vision Language Model for Localization of Parasitic Eggs in Microscopic Images

Résumé Technique : Localisation d'œufs parasitaires par un Modèle Vision-Langage Affiné

1. Problématique

Les infections par les helminthes transmis par le sol (STH) constituent un problème majeur de santé publique, touchant plus d'un milliard et demi de personnes, principalement dans les régions tropicales et subtropicales. Le diagnostic de référence repose actuellement sur l'examen microscopique manuel des échantillons de selles. Cependant, cette méthode présente plusieurs limitations critiques :

• Complexité et fatigue : La similarité morphologique entre les différents types d'œufs parasitaires et la présence d'impuretés rendent l'identification difficile. Un technicien expert nécessite environ 30 minutes pour analyser un seul échantillon.
• Rareté des experts : Le manque de personnel qualifié entraîne de la fatigue, augmentant le risque d'erreurs humaines et réduisant la fiabilité du diagnostic.
• Urgence : Tout retard dans le diagnostic peut aggraver la progression de la maladie et faciliter la transmission communautaire.

L'objectif de cette étude est de développer une solution automatisée, rapide et précise pour localiser les œufs parasitaires dans des images microscopiques, afin de pallier les défauts de l'inspection manuelle.

2. Méthodologie

L'approche proposée repose sur l'adaptation d'un Modèle Vision-Langage (VLM) de pointe, Florence-2, pour la tâche de localisation d'objets.

• Données (Dataset) : L'étude utilise le jeu de données Chula-ParasiteEgg-11, issu du défi ICIP 2022. Ce dataset comprend 11 000 images microscopiques couvrant 11 espèces d'œufs parasitaires (ex: Ascaris lumbricoides, Hookworm, etc.). Les images présentent une grande variabilité de conditions (résolutions, éclairages, flous de mouvement, bruit) capturées par divers appareils (microscopes Olympus/Nikon, smartphones iPhone/Samsung), ce qui teste la robustesse du modèle.
• Modèle de base : Florence-2 est un modèle unifié de type sequence-to-sequence (encodeur DaVit + décodeur encodeur-décodeur multimodal). Contrairement aux modèles classiques limités à une seule tâche, Florence-2 utilise des instructions textuelles (prompts) pour guider la génération de résultats. Le modèle Florence-2 Large (0.77B) a été sélectionné.
• Procédure d'entraînement (Fine-tuning) :
  • Le modèle a été affiné (fine-tuned) spécifiquement pour la localisation d'œufs parasitaires.
  • Architecture technique : Utilisation de l'adaptateur LoRA (Low-Rank Adaptation) avec un rang de 8 pour un ajustement efficace des paramètres.
  • Configuration : Entraînement sur PyTorch avec une NVIDIA RTX2000 Ada. Les images sont redimensionnées à 768x768, normalisées et complétées par des prompts de détection d'objets.
  • Hyperparamètres : 3 époques, taux d'apprentissage de 0,00005, taille de lot (batch size) de 1 avec accumulation de gradient sur 8 étapes.
  • Split des données : 60% pour l'entraînement (6600 images), 20% pour la validation (2200 images) et 20% pour le test.

3. Contributions Clés

Les auteurs apportent trois contributions principales à la littérature scientifique :

1. Évaluation du modèle de base : Ils ont évalué les performances de localisation du modèle Florence-2 non affiné (base) sur des images microscopiques parasitaires, révélant son incapacité à localiser correctement les objets sans adaptation spécifique.
2. Affinage sur un dataset spécialisé : Ils ont réalisé le fine-tuning de Florence-2 sur le dataset ICIP22 contenant les coordonnées des œufs, transformant un modèle généraliste en un outil de diagnostic spécialisé.
3. Comparative de performance : Ils ont comparé le modèle affiné avec des méthodes de détection d'objets traditionnelles (notamment EfficientDet) et ont démontré la supériorité de l'approche VLM.

4. Résultats

Les résultats expérimentaux démontrent une amélioration significative grâce à l'affinage :

• Performance du modèle de base : Florence-2 non affiné échoue à localiser les œufs, affichant une forte concentration de scores d'IoU (Intersection over Union) à 0, indiquant une absence de détection ou un mauvais alignement.
• Performance du modèle affiné : Après l'entraînement, le modèle atteint un mIoU (mean Intersection over Union) de 0,94, prouvant une capacité exceptionnelle à délimiter précisément les œufs parasitaires.
• Comparaison avec EfficientDet :
  • Bien qu'EfficientDet (méthode de référence [10]) fonctionne bien, sa distribution d'IoU montre une plus grande variance (étalement entre 0,80 et 0,95).
  • Le modèle Florence-2 affiné présente une fréquence plus élevée de chevauchements quasi parfaits et moins d'outliers à faible IoU, indiquant une précision et une stabilité supérieures dans la régression des boîtes englobantes.

5. Signification et Conclusion

Cette étude valide le potentiel des modèles Vision-Langage (VLM) dans le domaine médical, spécifiquement pour le diagnostic parasitologique.

• Innovation : Elle démontre qu'un modèle VLM généraliste, une fois affiné sur des données spécialisées, peut surpasser les architectures de détection d'objets dédiées (comme EfficientDet) en termes de précision et de cohérence.
• Impact pratique : La solution proposée offre une voie vers un cadre de diagnostic automatisé et évolutif. En réduisant la charge de travail humaine et les erreurs de diagnostic, cette technologie pourrait améliorer l'accès aux soins dans les régions où l'expertise spécialisée fait défaut, permettant un dépistage plus rapide et plus fiable des infections parasitaires.

En conclusion, l'affinage de Florence-2 représente une avancée technique majeure pour l'automatisation de l'analyse d'images microscopiques, offrant une alternative robuste et précise aux méthodes traditionnelles.