💻 computer science

SLAM-AGS: Slide-Label Aware Multi-Task Pretraining Using Adaptive Gradient Surgery in Computational Cytology

Le papier propose SLAM-AGS, un cadre de pré-entraînement multi-tâches sensible aux étiquettes de lames qui utilise la chirurgie de gradient adaptative pour résoudre les conflits de gradients de tâches et stabiliser l'apprentissage, améliorant ainsi considérablement la prédiction au niveau de la lame et la recherche de cellules anormales en cytologie computationnelle, particulièrement dans des conditions de faibles taux de témoins et d'étiquettes au niveau de l'instance peu fiables.

Auteurs originaux : Marco Acerbis, Swarnadip Chatterjee, Christophe Avenel, Joakim Lindblad

Publié 2026-01-15

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Marco Acerbis, Swarnadip Chatterjee, Christophe Avenel, Joakim Lindblad

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de trouver un criminel unique, minuscule et rare, caché dans une ville immense de 1 000 personnes innocentes. C'est essentiellement le défi auquel les médecins sont confrontés lorsqu'ils utilisent l'IA pour analyser la cytologie computationnelle (l'observation de cellules au microscope pour détecter un cancer).

Voici une décomposition simple de la solution du document, SLAM-AGS, utilisant des analogies de la vie quotidienne.

Le Problème : Le dilemme de « l'aiguille dans une botte de foin »

Dans ce monde médical, une « lame » est comme une ville entière (une image massive avec des millions de pixels). Un « patch » est un quartier ou un pâté de maisons au sein de cette ville.

Le problème du marquage : Les médecins savent généralement seulement si la ville entière possède un criminel (la lame est « positive » ou « négative »). Ils n'ont pas le temps ni l'argent pour indiquer précisément quel quartier spécifique contient le criminel.
Le problème du taux de témoins : Même dans une ville « criminelle », le méchant peut se cacher dans seulement 1 bloc sur 1 000. Dans certains cas, c'est aussi rare que 1 sur 2 000.
La lutte de l'IA : Si vous entraînez une IA à trouver le criminel en utilisant uniquement le marquage « la ville est coupable », elle s'embrouille. Elle voit 999 blocs innocents et se dit : « Peut-être que toute la ville est innocente », ou elle est tellement confuse par les indices contradictoires qu'elle finit par arrêter d'apprendre.

La Solution : SLAM-AGS (Le Détective Intelligent)

Les auteurs ont créé une nouvelle méthode d'entraînement appelée SLAM-AGS. Considérez cela comme un camp d'entraînement en deux parties pour le détective IA, conçu pour gérer le problème de « l'aiguille dans une botte de foin » sans perdre le fil.

1. Deux exercices d'entraînement différents (Apprentissage multi-tâches)

Au lieu de donner à l'IA un seul travail, ils lui donnent deux exercices simultanés basés sur le type de « ville » qu'elle examine :

Exercice A : L'exercice de la « Ville Innocente » (Lame-Négative)
Si l'IA regarde une ville connue pour être 100 % innocente, chaque bloc est innocent. L'IA reçoit l'instruction suivante : « Regroupez tous ces blocs innocents de manière serrée. » Cela aide l'IA à apprendre très clairement ce à quoi ressemble la « normalité ».
- Analogie : C'est comme enseigner à un étudiant à reconnaître une pièce propre et parfaite. Chaque objet dans la pièce est à sa place.
Exercice B : L'exercice de la « Ville Suspecte » (Lame-Positive)
Si l'IA regarde une ville connue pour avoir un criminel, elle sait que certains blocs sont mauvais, mais elle ne sait pas lesquels. L'IA reçoit l'instruction suivante : « Observez ces blocs et apprenez à les distinguer les uns des autres, même si vous ne savez pas exactement lequel est le criminel. »
- Analogie : C'est comme montrer à un étudiant un sac de fruits mélangés où l'on sait qu'il y a une pomme pourrie à l'intérieur, mais on ne sait pas laquelle. L'étudiant apprend à repérer les différences entre les fruits afin de pouvoir éventuellement trouver la mauvaise.

2. La « Chirurgie de Gradient » (Corriger la confusion)

Voici la partie délicate. Lorsque vous essayez d'enseigner les deux exercices à l'IA en même temps, les instructions peuvent entrer en conflit.

Le Conflit : L'exercice A dit : « Rendez tous ces blocs identiques ! » tandis que l'exercice B dit : « Rendez ces blocs différents ! »
Le Résultat : Sans aide, l'IA a mal à la tête (mathématiquement appelé « conflit de gradient ») et arrête d'apprendre ou apprend la mauvaise chose.
La Solution (Chirurgie de Gradient Adaptative) : Les auteurs ont ajouté un « chirurgien » au processus d'entraînement. Ce chirurgien examine les instructions conflictuelles, coupe la partie de l'instruction qui cause la dispute, puis recalibre les instructions restantes afin que l'IA ne progresse pas trop lentement.
- Analogie : Imaginez deux entraîneurs qui crient à un athlète. L'entraîneur A dit : « Cours vers le Nord ! » et l'entraîneur B dit : « Cours vers l'Est ! » L'athlète tourne en rond. Le « Chirurgien de Gradient » intervient et dit : « D'accord, nous courrons vers le Nord-Est, mais nous courrons aussi vite que si nous courions vers le Nord », garantissant que l'athlète continue d'avancer sans tourner en rond.

Les Résultats : Trouver l'aiguille

Les chercheurs ont testé leur méthode sur un ensemble de données de cellules de moelle osseuse (simulant le scénario de « l'aiguille dans une botte de foin » avec très peu de cellules mauvaises).

La Compétition : Ils ont comparé leur méthode à l'entraînement d'IA standard, à l'auto-apprentissage pur et à d'autres méthodes hybrides.
Le Résultat :
- À des niveaux faciles (10 % de cellules mauvaises) : Tout le monde s'en est bien sorti, mais SLAM-AGS était le meilleur.
- À des niveaux difficiles (0,5 % de cellules mauvaises) : Les autres méthodes se sont effondrées. Elles ont essentiellement commencé à deviner au hasard car le signal était trop faible.
- SLAM-AGS : Il a maintenu des performances solides. Il pouvait toujours identifier les « mauvais » quartiers (instances) et étiqueter correctement la « ville » (lame), même lorsque les cellules mauvaises étaient incroyablement rares.

Résumé

SLAM-AGS est une façon plus intelligente d'entraîner l'IA à trouver des maladies rares dans des images de cellules. Elle enseigne à l'IA deux leçons différentes à la fois (reconnaître des groupes normaux et repérer les différences dans des groupes suspects) et utilise une technique « chirurgicale » pour empêcher ces leçons de se combattre. Cela permet à l'IA de rester précise et performante, même lorsque la maladie se cache dans une infime fraction de l'échantillon.

Les auteurs ont rendu leur code en open-source afin que d'autres puissent tester eux-mêmes cette méthode d'entraînement « chirurgicale ».

Résumé Technique : SLAM-AGS

1. Énoncé du Problème

La cytologie computationnelle est confrontée à deux défis critiques qui entravent l'application de l'apprentissage profond pour la détection du cancer :

Étiquettes d'instances peu fiables et coûteuses : Obtenir des annotations exhaustives au niveau des patchs pour des images de lames entières (WSI) de l'ordre du gigapixel est prohibitif en termes de coûts. Par conséquent, un entraînement entièrement supervisé est souvent irréalisable.
Taux de témoins extrêmement bas : Dans les WSI de cytologie, le ratio de patchs positifs (contenant des cellules anormales) par rapport au nombre total de patchs est souvent inférieur à 1 %. À des taux de témoins aussi bas, les méthodes faiblement supervisées standards (reposant uniquement sur des étiquettes au niveau de la lame) sont dominées par les instances négatives. Cela conduit à un surapprentissage, une faible généralisation aux positifs rares et un effondrement du modèle où celui-ci échoue à distinguer les sacs positifs des sacs négatifs.

Bien que l'apprentissage par sacs multiples (MIL) soit une solution standard pour l'étiquetage au niveau de la lame, il peine lorsque la discrimination au niveau de l'instance est faiblement supervisée et que les signaux positifs sont éparses. De plus, les méthodes de préentraînement multi-tâches existantes, qui combinent des objectifs auto-supervisés et faiblement supervisés, souffrent souvent de conflits de gradient, ce qui déstabilise l'entraînement et limite les bénéfices de la supervision faible.

2. Méthodologie : SLAM-AGS

Les auteurs proposent SLAM-AGS (Slide-Label Aware Multi-task pretraining using Adaptive Gradient Surgery), un cadre conçu pour optimiser conjointement l'apprentissage de représentations pour les patchs négatifs et positifs de la lame, tout en stabilisant le processus d'entraînement.

2.1. Objectifs de Préentraînement Multi-Tâches

Le cadre adapte l'approche WeakSupCon, en traitant les patchs selon leurs étiquettes au niveau de la lame :

Patchs de lames négatives (Similarité Supervisée) : Les patchs provenant de lames saines (négatives) sont traités comme ayant une étiquette négative commune et connue. Le modèle optimise une Perte de Similarité dérivée de la perte de contraste supervisé (SupCon) pour encourager une représentation compacte de ces instances négatives dans l'espace des caractéristiques.
Patchs de lames positives (Contraste Auto-Supervisé) : Les patchs provenant de lames positives (qui peuvent contenir un mélange de cellules normales et anormales) sont traités comme non étiquetés. Le modèle optimise un objectif de contraste SimCLR sur ces patchs pour apprendre des caractures visuelles robustes et sans étiquette.

La perte totale est la somme de ces deux objectifs : $L = L_{Similarity} + L_{SimCLR}$ .

2.2. Chirurgie de Gradient Adaptative

Pour remédier à l'instabilité causée par la combinaison d'objectifs hétérogènes, SLAM-AGS intègre une Chirurgie de Gradient Adaptative basée sur l'algorithme PCGrad :

Résolution de Conflit : Lorsque la similitude cosinus entre les gradients des tâches est négative (indiquant un conflit), l'algorithme projette le gradient de chaque tâche sur le plan normal du gradient de l'autre tâche. Cela élimine l'interférence destructrice.
Redimensionnement du Gradient : Une innovation cruciale dans ce travail est l'étape de redimensionnement du gradient. La projection standard peut réduire la magnitude effective du gradient, ralentissant la convergence. SLAM-AGS calcule la norme du gradient combiné original ( $\|g_{sum}\|$ ) et du gradient projeté ( $\|g_{pc}\|$ ). Si la norme projetée est plus petite, le gradient est redimensionné pour préserver la magnitude de la mise à jour originale :
$g_{pc} \leftarrow g_{pc} \cdot \frac{\|g_{sum}\|}{\|g_{pc}\|}$
Cela garantit que, tout en supprimant les directions conflictuelles, l'échelle globale du signal d'apprentissage est maintenue.

2.3. Pipeline Aval

L'encodeur préentraîné est intégré dans un agrégateur de MIL basé sur l'attention (spécifiquement PAMIL). Cela permet :

La prédiction au niveau du sac : Classer l'intégralité de la lame (ex: détection de malignité).
La recherche au niveau de l'instance : Utiliser les scores d'attention pour identifier et extraire les patchs les plus anormaux au sein d'un sac positif.

3. Configuration Expérimentale

Jeu de données : Le jeu de données de cytologie de la moelle osseuse [14], présentant des WSI colorées par May-Grünwald-Giemsa/Pappenheim.
Simulation : Pour simuler des contextes MIL avec des taux de témoins contrôlés, les « Lymphocytes » (classe majoritaire) ont été étiquetés comme « normaux », et sept types cellulaires minoritaires ont été fusionnés en une classe « anormale ». Des instances anormales ont été injectées dans des sacs normaux pour créer des taux de témoins cibles de 10 %, 5 %, 1 % et 0,5 %.
Lignes de base (Baselines) : La méthode a été comparée à l'entraînement faiblement supervisé, SimCLR, WeakSupCon, et une variante de SLAM-AGS sans redimensionnement de gradient.
Métriques :
- Niveau sac : F1-Score.
- Niveau instance : Recall@400 (le nombre d'instances clés correctement identifiées parmi les 400 premiers patchs classés par score d'attention).

4. Résultats Clés

Les expériences démontrent que SLAM-AGS surpasse significativement les méthodes existantes, particulièrement lorsque les taux de témoins diminuent :

Classification au niveau du sac (F1-Score) :
- À des taux de témoins de 10 % et 5 %, SLAM-AGS a obtenu les scores les plus élevés (97,1 % et 96,0 %, respectivement), surpassant le mode Faiblement Supervisé (53,4 %) et WeakSupCon (84,6 %).
- À un taux de 0,5 %, l'avantage est le plus marqué. SLAM-AGS a atteint 66,4 %, tandis que le mode Faiblement Supervisé, SimCLR et WeakSupCon se sont tous effondrés vers une performance proche du hasard (~50 %).
Détection au niveau de l'instance (Recall@400) :
- SLAM-AGS a maintenu un taux de détection supérieur à 60 % pour tous les taux de témoins (ex: 65,3 % à 0,5 % de WR).
- Les méthodes concurrentes (SimCLR, WeakSupCon) sont tombées à des niveaux proches du hasard (~40-45 %) à de faibles taux de témoins, échouant à identifier efficacement les instances anormales clés.
Étude d'ablation : La variante « SLAM-AGS sans redimensionnement » a obtenu des performances nettement inférieures (ex: F1 de 46,0 % à 0,5 % de WR), confirmant que le composant de redimensionnement du gradient est essentiel pour stabiliser l'optimisation et préserver les signaux d'apprentissage.

5. Signification et Revendications

L'article affirme que SLAM-AGS fournit une solution robuste pour la cytologie computationnelle où les signaux positifs sont extrêmement rares. La signification centrale réside dans la démonstration que :

L'interférence de gradient est un goulot d'étranglement primaire : Dans le préentraînement multi-tâches avec des étiquettes positives éparses, les conflits de gradient entre les objectifs auto-supervisés et faiblement supervisés peuvent déstabiliser l'entraînement.
La chirurgie adaptative permet la stabilité : En combinant la projection de gradient et le redimensionnement préservant la magnitude, le cadre permet aux objectifs supervisés et auto-supervisés de se renforcer mutuellement plutôt que de s'interférer.
Performance à la parcité extrême : La méthode permet un préentraînement stable et une performance descendante supérieure même à des taux de témoins aussi bas que 0,5 %, un régime où les méthodes auto-supervisées et faiblement supervisées standards échouent.

Les auteurs concluent que l'atténuation des conflits de gradient et le redimensionnement des mises à jour sont critiques pour un apprentissage de représentations robuste dans des scénarios de supervision positive rare. Ils notent que bien que la recherche d'instances reste stable, les scores F1 au niveau du sac se dégradent légèrement aux taux de témoins les plus bas, suggérant que les travaux futurs devraient se concentrer sur l'amélioration de l'agrégateur MIL pour mieux exploiter les signaux identifiés au niveau de l'instance.

Reproductibilité : Les auteurs ont rendu leur implémentation complète et leur cadre d'évaluation en open source à l'adresse https://github.com/Ace95/SLAM-AGS.