🧬 biology

KHiM-Mamba: Injecting Pathology Knowledge into Mamba via Hidden-State Modulation for Whole Slide Image Analysis

KHiM-Mamba est une nouvelle architecture d'apprentissage par instances multiples qui améliore l'analyse des images de lames entières en intégrant des connaissances pathologiques et des descriptions sémantiques dérivées de LLM pour moduler les états cachés de Mamba, empêchant ainsi l'accumulation d'informations non pertinentes et atteignant des performances de pointe à travers diverses tâches de diagnostic.

Auteurs originaux : Qixiang Zhang, Yi Li, Tianqi Xiang, Haonan Wang, Mengjiao Wei, Bo Xu, Xiaomeng Li

Publié 2026-08-18

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qixiang Zhang, Yi Li, Tianqi Xiang, Haonan Wang, Mengjiao Wei, Bo Xu, Xiaomeng Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Dans le monde de la médecine moderne, l'outil le plus critique d'un pathologiste est une lame de verre contenant un minuscule échantillon de tissu humain, magnifié jusqu'à ce qu'il révèle l'architecture cellulaire de la vie et de la maladie. Aujourd'hui, ces lames sont numérisées en images numériques massives, si grandes qu'elles contiennent des milliards de pixels, bien trop vastes pour qu'un œil humain puisse les examiner d'un seul regard. Pour aider les médecins à naviguer dans ces paysages numériques, des scientifiques ont développé des systèmes d'intelligence artificielle qui agissent comme des assistants infatigables. Ces systèmes décomposent l'image géante en des milliers de petits morceaux gérables, analysent la texture et la forme des cellules dans chaque morceau, puis tentent de reconstituer un diagnostic global. Le défi réside dans l'échelle immense et le bruit ; une seule lame peut contenir des millions de cellules, mais seuls quelques amas dispersés détiennent la clé d'un diagnostic, tandis que le reste est du tissu sain ou un arrière-plan non pertinent. Si l'ordinateur se laisse distraire par la vaste quantité d'informations sans importance, il peut manquer les indices critiques cachés dans les coins.

Des chercheurs se sont récemment tournés vers un nouveau type d'architecture d'intelligence artificielle, inspiré par la façon dont le cerveau humain traite les séquences d'informations au fil du temps, pour gérer ces lames numériques massives. Cette technologie est excellente pour se souvenir de ce qu'elle a vu plus tôt dans une longue séquence et pour décider de ce qu'elle doit garder en mémoire au fur et à mesure qu'elle progresse. Cependant, une équipe de scientifiques de Hong Kong et de Chongqing a découvert une faille dans la manière dont ces systèmes étaient utilisés. Ils ont constaté que lorsque ces modèles d'IA scannaient une lame, ils se fiaient entièrement à l'apparence des pixels. Si une lame était colorée avec une nuance de teinture légèrement différente — une variation courante dans les laboratoires — le modèle pouvait être confus, traitant un changement de couleur inoffensif comme un indice médical significatif. Cela provoquait l'accumulation de détails non pertinents dans sa mémoire, diluant les preuves critiques nécessaires à un diagnostic. Pour résoudre cela, les chercheurs ont introduit une nouvelle méthode qui injecte de réelles connaissances médicales directement dans le processus de mémoire de l'IA, apprenant au système à ignorer le bruit et à se concentrer sur ce qui compte vraiment.

L'équipe, dirigée par des chercheurs de l'Université des sciences et technologies de Hong Kong et de l'Université de Chongqing, a développé un système qu'ils appellent KHiM-Mamba. Au lieu de laisser l'IA décider d'elle-même de ce qu'elle doit mémoriser lors du scan d'une lame, ils lui ont donné un guide écrit dans le langage de la pathologie. Ce guide contient des descriptions spécifiques de l'aspect de différents types de tissus lorsqu'ils sont sains ou malades. À mesure que l'IA passe d'un petit morceau de la lame au suivant, elle consulte ce guide pour décider quelles informations valent la peine d'être stockées en mémoire et lesquelles doivent être écartées. Imaginez un bibliothécaire qui, tout en triant une pile massive de livres, reçoit une liste spécifique de titres à conserver et une liste de titres à ignorer ; le bibliothécaire n'a plus besoin de deviner quels livres sont importants. Dans ce cas, le « bibliothécaire » est l'IA, les « livres » sont les petites parcelles d'image, et la « liste » est la connaissance médicale fournie par un grand modèle de langage.

Les chercheurs ont constaté que les tentatives précédentes consistant à utiliser le langage pour aider l'IA à diagnostiquer des lames étaient souvent trop indirectes. Ces méthodes utilisaikan le langage pour choisir quelles lames regarder avant l'analyse, ou pour vérifier la réponse finale après coup. La nouvelle approche est différente car elle modifie le mécanisme central de la pensée de l'IA. Elle modifie les processus internes d'« écriture » et de « lecture » du système de mémoire. Lorsque l'IA écrit un nouveau souvenir, la connaissance médicale lui dit de se concentrer sur des formes et des motifs spécifiques associés à la maladie, plutôt que sur les couleurs ou les textures qui pourraient être trompeuses. Lorsque l'IA lit dans sa mémoire pour prendre une décision, la connaissance la guide pour récupérer l'évidence la plus pertinente accumulée jusqu'à présent. Cela garantit que le système construit une représentation de la lame basée sur des connexions médicalement significatives, plutôt que de se laisser distraire par des variations visuelles non pertinentes.

Pour faire fonctionner cela, l'équipe a créé un système intelligent qui génère les descriptions médicales appropriées pour chaque partie spécifique de la lame. Puisqu'une seule lame contient de nombreux types de tissus différents, une description générique ne suffit pas. Le système utilise un puissant modèle de langage pour examiner une petite parcelle de tissu, identifier de quel type de tissu il s'agit, puis générer une description précise et détaillée de ce que ce tissu devrait être s'il était sain ou malade. Si le système est incertain sur le type de tissu, il revient à une description plus large et plus sûre pour éviter de commettre des erreurs. Ce processus dynamique garantit que l'IA reçoit la guidance la plus précise et la plus spécifique possible pour chaque pièce du puzzle qu'elle résout.

Les résultats de cette approche ont été testés sur onze ensembles de données publics impliquant divers types de cancers et de pronostics de patients. Le nouveau système a systématiquement surpassé les meilleures méthodes existantes. Dans les tâches où l'IA devait distinguer différents sous-types de cancer du sein, elle a atteint une précision supérieure à tout modèle précédent. Lors de la prédiction des temps de survie des patients basés sur des échantillons de tissus, elle a fourni des évaluations de risque plus fiables, séparant mieux les patients en groupes à haut risque et à faible risque. Plus important encore, le système s'est avéré robuste lors de tests sur des lames provenant de différents hôpitaux utilisant différentes techniques de coloration. Alors que d'autres modèles luttaient face à ces variations, échouant souvent lorsque les couleurs changeaient légèrement, le nouveau système a maintenu ses performances élevées. Cela suggère qu'en ancrant l'IA dans la connaissance médicale plutôt que dans de simples motifs visuels, elle a appris à voir la maladie elle-même, et non seulement l'apparence de la lame.

L'étude a également examiné l'efficacité du système lorsqu'il dispose de très peu de données pour apprendre, un problème courant en médecine où les exemples étiquetés sont rares. Dans des tests où l'IA n'avait que huit ou seize exemples d'une maladie pour apprendre, la nouvelle méthode a nettement surpassé ses concurrents. Cela indique que la connaissance médicale injectée dans le système agit comme un fondement solide, lui permettant d'apprendre efficacement même avec un minimum de données d'entraînement. Les chercheurs ont également confirmé que l'ajout de cette couche de connaissance n'a pas ralenti le système ni le rendu trop volumineux pour fonctionner sur du matériel informatique standard. Le système est resté rapide et efficace, capable de traiter des milliers de parcelles d'images en quelques secondes.

En repensant à la manière dont l'intelligence artificielle traite les images médicales, ce travail démontre que la combinaison de données visuelles et de connaissances médicales explicites crée un outil de diagnostic plus fiable et plus précis. Les chercheurs ont montré que la clé pour résoudre le problème des données massives et bruitées n'est pas seulement de construire des ordinateurs plus puissants, mais d'apprendre à l'ordinateur ce qu'il doit chercher. Cette approche offre une nouvelle voie pour la pathologie computationnelle, où l'objectif est d'assister les médecins en filtrant l'inutile et en mettant en évidence le critique, garantissant que le diagnostic final repose sur les preuves les plus solides possibles.

Résumé Technique : KHiM-Mamba

Problématique

L'analyse d'images de lames entières (WSI) en pathologie computationnelle est typiquement formulée comme un apprentissage par instances multiples (MIL), où une lame est décomposée en patchs, et un « encodeur de lame » agrège les caractéristiques des patchs en une représentation au niveau de la lame. Ce processus, appelé dynamique d'encodage de la lame, est critique car les preuves diagnostiques sont souvent distribuées à travers des régions tissulaires distantes.

Récemment, les modèles d'espace d'état (SSM) sélectifs, spécifiquement Mamba, ont émergé comme des architectures efficaces pour cette tâche grâce à leur capacité à modéliser de longues séquences avec une complexité linéaire. Cependant, les auteurs identifient une limitation fondamentale des méthodes MIL basées sur Mamba existantes : elles reposent uniquement sur les caractéristiques visuelles lors des transitions d'état sélectives. Dans les WSI à grande échelle, où les régions décisives pour le diagnostic sont entourées d'informations non pertinentes abondantes (ex: variations de coloration, fond de tissu), les dynamiques purement pilotées par la vision peuvent allouer incorrectement les mises à jour d'état. Cela provoque l'accumulation d'indices non pertinents pour la tâche dans l'état caché évolutif, diluant ainsi les indices diagnostiques critiques au cours de longs trajets de balayage.

Bien que des méthodes MIL basées sur des modèles vision-langage (VLM) existent, elles traitent généralement le langage comme un ajout externe (ex: pour la sélection de patchs ou la supervision auxiliaire) plutôt que de l'intégrer dans les dynamiques d'encodage centrales. Par conséquent, la limitation des transitions d'état purement visuelles reste non résolue.

Méthodologie : KHiM-Mamba

Les auteurs proposent KHiM-Mamba (Knowledge-aware Hidden-state Modulation), un cadre qui injecte des priors de connaissances pathologiques explicites directement dans le mécanisme central de l'espace d'état sélectif de Mamba. L'architecture se compose de deux composantes principales :

1. Modulation de l'état caché sensible à la connaissance (KHiM)

Au lieu d'utiliser le langage comme un signal périphérique, KHiM-Mamba redessine la couche SSM pour moduler l'évolution de l'état caché en utilisant des connaissances dérivées du langage.

Mécanisme : La récurrence standard de Mamba implique des matrices de projection d'entrée ( $B_t$ ) et de projection de sortie ( $C_t$ ) qui contrôlent la manière dont l'information est écrite dans et lue depuis l'état caché ( $h_t$ ).
Modulation : Les auteurs introduisent un mécanisme de modulation de bas rang où les plongements de langage ( $e_t$ $e_{t}$ ) génèrent des vecteurs de coefficients ( $\alpha_B, \alpha_C$ $α_{B}, α_{C}$ ) via un MLP. Ces coefficients sont utilisés pour créer des incréments de bas rang ( $\Delta B_t, \Delta C_t$ $Δ B_{t}, Δ C_{t}$ ) qui sont ajoutés aux matrices de projection originales.
- Modulation d'écriture ( $\tilde{B}_t$ ) : Guide ce que les preuves visuelles sont incorporées dans l'état caché évolutif, encourageant l'accumulation de caractéristiques diagnostiquement pertinentes tout en atténuant les éléments non pertinents.
- Modulation de lecture ( $\tilde{C}_t$ ) : Guide quelles preuves contextuelles accumulées sont récupérées pour enrichir les représentations de patchs, garantissant que la sortie accentue les motifs diagnostiquement significatifs.
Résultat : Cela remodèle la dynamique « écriture-lecture » du SSM sans altérer son comportement de décroissance temporelle, rendant le mécanisme sélectif « conscient du diagnostic ».

2. Module de récupération de vocabulaire adaptatif local

Pour fournir des priors de langage efficaces pour la modulation, les auteurs conçoivent un module qui évite les prompts globaux et fixes.

Processus :
1. Génération de concepts : Un grand modèle de langage (LLM) est sollicité avec la définition de la tâche pour générer un ensemble de concepts tissulaires pertinents pour la tâche (ex: types de tumeurs spécifiques) et leurs descriptions morphologiques fines.
2. Routage à porte de confiance : Pour chaque patch, un modèle vision-langage (CONCH) calcule la similitude entre l'encodage d'image du patch et les encodages textuels des concepts.
3. Assignation adaptative : Si la similitude avec un concept tissulaire spécifique dépasse un seuil et que la marge par rapport aux autres concepts est suffisante, le patch se voit assigner un langage fin et spécifique au tissu. Sinon, il retombe sur une description pathologique grossière pour éviter d'introduire des priors bruités.
Résultat : Cela produit des signaux de modulation qui sont sémantiquement précis et robustes à travers diverses compositions tissulaires.

Contributions Clés

Identification d'une limitation : Le papier souligne que les méthodes MIL basées sur Mamba souffrent de transitions d'état purement pilotées par la vision qui accumulent des preuves non pertinentes dans les longues séquences de WSI, et que les méthodes VLM-MIL existantes ne parviennent pas à résoudre cela car elles n'interviennent pas dans les dynamiques d'encodage centrales.
Innovation architecturale : KHiM-Mamba est présenté comme le premier travail remodelant les dynamiques de modèle internes de Mamba pour l'analyse WSI en injectant des priors de connaissances directement dans les transitions d'état sélectives (matrices d'écriture et de lecture), plutôt que d'utiliser Mamba comme un backbone statique.
Récupération de vocabulaire adaptatif local : La proposition d'un module qui assigne dynamiquement un langage fin et spécifique aux tissus via des LLM, fournissant des signaux de modulation précis à travers diverses tâches en aval.
Performance empirique : Des expériences approfondies démontrent des performances de l'état de l'art (SOTA) sur de multiples tâches et jeux de données.

Résultats Expérimentaux

Les auteurs ont évalué KHiM-Mamba sur 11 benchmarks publics à travers quatre tâches : sous-typage de cancer, prédiction de survie, adaptation de domaine et apprentissage à quelques exemples (few-shot learning).

Sous-typage de cancer :
- Dataset BRACS : A atteint une précision SOTA (0,5874) et une AUC (0,8746) sur la tâche fine à 7 classes, et les meilleurs résultats sur la tâche à 3 classes, surpassant les précédents meilleurs de ~1,77 % et ~2,41 % respectivement.
- TCGA-BRCA : A atteint une précision de 0,9330 et une AUC de 0,9559, améliorant le précédent meilleur score de précision de 1,97 % et l'AUC de 1,01 %.
Prédiction de survie :
- Évalué sur six sous-ensembles TCGA (BLCA, BRCA, KIRC, KIRP, LUAD, STAD). KHiM-Mamba a atteint un C-Index moyen de 0,7394, surpassant le précédent meilleur (2DMamba) de 2,31 %.
- Les courbes de Kaplan-Meier ont montré une séparation nettement plus nette entre les groupes à haut et bas risque, avec des valeurs de log-rank $p$ notablement plus faibles (ex: $2,63 \times 10^{-6}$ sur LUAD).
Généralisation de domaine (Cross-Center) :
- Entraîné sur CAMELYON16 et testé sur CAMELYON17 (5 centres indépendants). KHiM-Mamba a atteint une AUC moyenne de 0,9184, surpassant le précédent meilleur (TransMIL) de 2,27 %, démontrant une robustesse aux variations de coloration et de scanner.
Apprentissage à quelques exemples (Few-Shot Learning) :
- Sur TCGA-NSCLC avec des configurations à 8 et 16-shot, KHiM-Mamba a atteint une précision moyenne de 83,11 % et une AUC de 93,03 %, surpassant significativement les autres méthodes MIL et VLM-MIL, indiquant un fort biais inductif provenant de la modulation par le langage.
Efficacité :
- Le modèle maintient une complexité linéaire avec environ 2,2 millions de paramètres, montrant des temps d'inférence comparables ou plus rapides que d'autres méthodes basées sur Mamba (ex: PAM, 2DMamba), même avec de longues séquences (5 000 patchs).

Signification et Revendications

Le papier affirme que KHiM-Mamba répond à une lacune fondamentale en pathologie computationnelle en allant au-delà de l'agrégation de caractéristiques purement visuelles. En régulant explicitement l'évolution de l'état caché avec des connaissances diagnostiques, le modèle oriente l'accumulation de preuves vers des régions pathologiquement significatives, filtrant efficacement le bruit de fond non pertinent.

Les auteurs soulignent que leur approche est orthogonale aux stratégies de balayage existantes (ex: regroupement, balayage hiérarchique) et peut être combinée avec elles. La signification réside dans la démonstration que la modulation conditionnée par le langage du mécanisme central d'espace d'état est un biais inductif puissant qui améliore la généralisation, la robustesse aux changements de domaine et les performances dans les scénarios de données rares, offrant une nouvelle perspective pour la conception de modèles d'espace d'état guidés par la connaissance en imagerie médicale.