Singpath-VL Technical Report

1. Problématique et Contexte

L'application des modèles de langage multimodaux (MLLM) à la cytopathologie, et plus spécifiquement au dépistage du cancer du col de l'utérus (cytologie cervicale), reste sous-exploitée malgré les progrès récents en pathologie computationnelle.

• Le Goulot d'Étranglement : La principale limitation est la rareté de grands ensembles de données annotés de haute qualité, associant des images de cytologie à des descriptions morphologiques détaillées d'experts.
• Spécificité du Domaine : Contrairement à l'histopathologie qui s'appuie sur l'architecture tissulaire, le diagnostic en cytologie cervicale repose sur l'interprétation précise de caractéristiques cellulaires et nucléaires subtiles (ex. : hyperchromasie nucléaire, membranes irrégulières, rapport nucléaire-cytoplasmique). Les modèles génériques manquent de cette capacité de "grounding" visuel fin nécessaire pour le système Bethesda (TBS).
• Besoin : Il existe un besoin urgent d'une méthode évolutive pour générer des données image-texte spécifiques à la cytologie et d'un modèle spécialisé capable de maîtriser ce vocabulaire visuel et la logique diagnostique.

2. Méthodologie

L'approche proposée se divise en deux phases principales : la génération de données et l'entraînement du modèle.

A. Pipeline de Génération de Données (Singpath-CytoText)

Pour pallier le manque de données, les auteurs ont développé un pipeline automatisé en trois étapes pour synthétiser un ensemble de données à l'échelle du million d'images :

1. Génération Parallèle (Weak Annotators) : Trois MLLMs open-source puissants (Qwen3-VL-32B, InternVL-3.5-38B, Baichuan-Omni-1.5) génèrent indépendamment des descriptions d'images (tuiles de cytologie) en se concentrant sur des dimensions morphologiques clés du TBS.
2. Fusion par Consensus : Un grand modèle de langage (LLM) agit comme intégrateur. Il extrait les points de consensus entre les trois descriptions, résout les conflits et filtre les caractéristiques que les modèles de base n'ont pas su percevoir correctement (dimensions "manquantes").
3. Injection de Connaissances Expertes : Un modèle expert finement ajusté, spécialisé en cytopathologie cervicale, affine la description fusionnée. Il ajoute les détails morphologiques fins et critiques que les modèles généralistes auraient pu omettre, garantissant ainsi la précision finale.

• Résultat : Création de Singpath-CytoText, un ensemble de données multimodaux à grande échelle associant des tuiles d'images à des descriptions narratives structurées.

B. Stratégie d'Entraînement (Recette en Trois Étapes)

Le modèle de base Qwen3-VL-4B est affiné (fine-tuned) via une stratégie séquentielle pour éviter l'oubli catastrophique tout en acquérant des compétences spécialisées :

1. Alignement Vision-Langage : Affinage complet des paramètres sur Singpath-CytoText pour établir un ancrage fondamental entre les caractéristiques visuelles cellulaires et la terminologie pathologique.
2. Affinage Supervisé (Instruction Following) : Transformation des paires image-description en un jeu de données d'instructions structurées (basé sur les éléments du TBS), incluant des dialogues mono et multi-tours pour simuler des requêtes diagnostiques réalistes.
3. Rejeu de Connaissances (Knowledge Replay) : Pour prévenir l'oubli des connaissances générales et spécifiques, le modèle est réentraîné sur un mélange de données :
   • Données de cytopathologie des étapes précédentes.
   • Paires question-réponse (QA) générées par le modèle de base original (Qwen3-VL-4B) sur des données générales et spécifiques, servant de régularisation pour préserver le cadre de raisonnement initial.

3. Contributions Clés

• Pipeline de Données Innovant : Une méthode robuste en trois étapes utilisant des modèles faibles en consensus et un expert pour générer des données synthétiques de haute fidélité.
• Modèle Spécialisé (Singpath-VL) : Un assistant MLLM dédié à la cytologie cervicale, capable de comprendre le lexique visuel fin et la logique du TBS.
• Contribution Open-Source : Publication d'une partie de l'ensemble de données synthétiques et des benchmarks pour favoriser la recherche transparente.

4. Résultats et Évaluation

Les performances ont été évaluées sur deux benchmarks construits par des experts : MorphoPercept-Bench (perception morphologique) et CytoCell-Bench (classification diagnostique TBS).

• Perception Morphologique :
  • Singpath-VL a obtenu une précision moyenne de 89,0 % sur la détection de neuf caractéristiques morphologiques critiques.
  • Ce résultat dépasse significativement tous les modèles de base (Qwen3-VL-4B, InternVL, Medgemma, etc.) et surpasse même le niveau d'accord inter-évaluateurs des experts humains (78,2 %), démontrant une cohérence supérieure dans la perception des détails fins.
• Classification Diagnostique (TBS) :
  • Sur CytoCell-Bench (29 102 cellules), Singpath-VL a atteint une précision moyenne de 80,2 %.
  • Il obtient 100 % de précision pour la catégorie NILM (Négatif pour lésion intraépithéliale ou malignité), égalant un modèle CNN spécialisé (EfficientNet B0).
  • Il surpasse les modèles de base et les CNN sur les catégories ambiguës et cliniquement critiques (ASC-US, ASC-H), là où les modèles généralistes échouent souvent en raison de biais de classification.
• Évaluation Qualitative : Les comparaisons visuelles montrent que Singpath-VL fournit des descriptions morphologiques exactes et des diagnostics corrects, tandis que les modèles généralistes tendent à sur-diagnostiquer (faux positifs) en raison d'un manque de compréhension nuancée du domaine.

5. Signification et Perspectives

Signification :
Ce travail comble un vide majeur dans l'IA médicale en fournissant un assistant spécialisé pour la cytologie cervicale. Il démontre qu'il est possible de créer des modèles de haute performance dans des domaines à données rares en utilisant des pipelines de génération de données synthétiques rigoureux et des stratégies d'entraînement adaptées. Singpath-VL ne se contente pas de classer, mais "comprend" la morphologie cellulaire avec une précision comparable ou supérieure à celle des experts humains sur des tâches de perception fine.

Limitations et Futur :

• Spécificité : Le modèle est actuellement limité à la cytologie cervicale et nécessite un réentraînement pour d'autres sous-spécialités (thyroïde, urine).
• Tâches Avancées : L'évaluation actuelle se concentre sur la description et la classification. Les travaux futurs viseront à intégrer l'analyse de l'histoire clinique et le dépistage au niveau de la lame entière.
• Raisonnement Causal : L'objectif futur est de passer de la reconnaissance de motifs à un raisonnement diagnostique explicable, où le modèle articule explicitement la chaîne logique (ex: "rapport N/C élevé + chromatin grossier -> HSIL") pour une transparence et une auditabilité accrues, favorisant ainsi une collaboration homme-IA.