Class Visualizations and Activation Atlases for Enhancing Interpretability in Deep Learning-Based Computational Pathology

Cette étude évalue l'efficacité des visualisations de classes et des atlas d'activation pour interpréter les modèles de fondation basés sur les transformers en pathologie computationnelle, révélant que ces méthodes capturent la complexité morphologique inhérente aux tissus et aux sous-types de cancer tout en fournissant un cadre pour l'interrogation experte des représentations apprises.

L'essentiel

🏥 Le Défi : Comprendre le "Cerveau" de l'IA en Pathologie

Imaginez que vous avez un super-chef cuisinier robot (l'Intelligence Artificielle) capable de regarder une photo de tissu humain (une lame de microscope) et de dire instantanément : "C'est un cancer du côlon" ou "C'est sain". Ce robot est incroyablement précis, mais il y a un problème : il ne nous dit jamais pourquoi. C'est une "boîte noire". Il donne la réponse, mais nous ne savons pas ce qu'il a vu dans l'image pour arriver à cette conclusion.

Les chercheurs de cette étude se sont demandé : "Comment pouvons-nous ouvrir cette boîte noire et voir ce que le robot 'voit' réellement ?"

🔍 La Solution : Deux nouvelles "Lunettes Magiques"

Pour répondre à cette question, les chercheurs ont développé deux méthodes pour visualiser la pensée du robot, qu'ils appellent des "Visualisations de Classe" et des "Atlas d'Activation".

1. Les Visualisations de Classe (CV) : Le "Rêve" du Robot

Imaginez que vous demandez au robot : "Montre-moi à quoi ressemble, dans ton esprit, un tissu cancéreux typique ?"
Le robot ne vous montre pas une photo réelle prise d'un patient. À la place, il génère une image de rêve. C'est comme si le robot dessinait l'idéal parfait d'un cancer, en combinant tous les détails qu'il a appris.

• L'analogie : C'est comme demander à un peintre de dessiner "le chien parfait" sans lui montrer de photo. Il va dessiner un chien avec les oreilles, la queue et la fourrure qu'il trouve les plus "chiens".
• Ce que les chercheurs ont vu : Pour des tissus très différents (comme du gras vs du muscle), le robot dessine des images très claires et reconnaissables. Mais pour des cancers très similaires (comme un cancer du côlon vs un cancer du rectum), les dessins du robot deviennent flous et mélangés. Cela montre que même pour l'IA, ces deux cancers sont très difficiles à distinguer.

2. Les Atlas d'Activation (AA) : La Carte au Trésor

Si la première méthode est un dessin, la deuxième est une carte géographique.
Imaginez que le cerveau du robot est une immense ville avec des quartiers.

• Les quartiers centraux représentent des concepts simples (comme "il y a des cellules" ou "c'est rouge").
• Les quartiers lointains représentent des concepts complexes (comme "c'est un cancer agressif").
  Les chercheurs ont créé une carte de cette ville. Chaque case de la carte correspond à un type de pensée du robot. Ils ont ensuite demandé à des pathologistes humains (des médecins experts) de regarder les images générées pour chaque case et de dire : "Qu'est-ce que c'est ?".

🧠 Les Découvertes Surprenantes

En comparant ce que le robot "dessine" avec ce que les humains voient, ils ont fait trois découvertes majeures :

1. La complexité rend les choses floues : Plus les maladies sont similaires, plus les dessins du robot sont flous. C'est normal ! Même les humains experts ont du mal à distinguer certains cancers très proches. Le robot ne fait pas d'erreur, il reflète simplement la réalité complexe de la biologie.
2. Le robot apprend comme un humain : Au début de son apprentissage (les couches profondes du réseau), le robot voit des choses simples (comme des couleurs ou des formes). Plus on va loin dans son "cerveau", plus il commence à voir des structures complexes, exactement comme un étudiant en médecine qui apprend d'abord à reconnaître les cellules, puis les tissus, puis les maladies.
3. L'IA n'est pas magique, elle est humaine : Quand les humains ne sont pas d'accord sur ce qu'ils voient dans une image réelle, le robot non plus. Les zones où le robot est "confus" correspondent exactement aux zones où les médecins humains hésitent.

💡 Pourquoi est-ce important ?

Avant, on se contentait de dire : "L'IA a raison, elle est précise à 99%."
Aujourd'hui, grâce à ces nouvelles lunettes, on peut dire : "L'IA a raison, et voici pourquoi : elle regarde exactement les mêmes détails flous que nous, les humains, regardons."

Cela permet de :

• Faire confiance à l'IA (on sait qu'elle ne "hallucine" pas).
• Trouver de nouvelles maladies : Si le robot voit un motif que personne n'a jamais remarqué, cela pourrait mener à de nouvelles découvertes médicales.
• Améliorer l'enseignement : On peut utiliser ces cartes pour montrer aux jeunes médecins comment l'IA (et les experts) raisonnent.

En résumé

Cette étude est comme un miroir tendu à l'intelligence artificielle. Au lieu de simplement accepter ses réponses, les chercheurs ont appris à voir comment elle voit. Ils ont découvert que l'IA, dans le domaine de la pathologie, ne fait pas de magie noire : elle organise le monde de la même manière complexe et parfois ambiguë que les meilleurs médecins humains. C'est une étape cruciale pour construire une collaboration de confiance entre l'homme et la machine.

Résumé technique

---

1. Problématique et Contexte

L'adoption rapide des modèles basés sur les Transformers (notamment les Vision Transformers ou ViT) en pathologie computationnelle a permis des prédictions précises de biomarqueurs moléculaires et cliniques directement à partir d'images histologiques (H&E). Cependant, les méthodes d'explicabilité (XAI) n'ont pas suivi l'évolution de la complexité de ces modèles.

• Limites actuelles : Les approches existantes sont principalement de niveau "instance" (ex: cartes de saillance, attributions de gradients) et se concentrent sur l'explication de prédictions individuelles. Elles ne caractérisent pas systématiquement les concepts morphologiques appris par le modèle, ni la structure des espaces de représentations internes.
• Le vide de recherche : Les méthodes de visualisation de fonctionnalités, telles que les Visualisations de Classes (CV) et les Atlas d'Activation (AA), qui ont été explorées dans la vision par ordinateur classique, n'ont pas été systématiquement évaluées pour les modèles fondationnels basés sur des Transformers en histopathologie.
• Question centrale : Les modèles basés sur des Transformers organisent-ils les concepts morphologiques en représentations internes structurées qui reflètent les différences pathologiques et sont-ils identifiables par des experts humains ?

2. Méthodologie

Les auteurs ont développé un cadre de visualisation de fonctionnalités au niveau du concept pour évaluer l'organisation interne d'un modèle fondationnel de pathologie (le modèle UNI, basé sur ViT).

Données et Modèles

• Modèle : Utilisation du modèle fondationnel UNI (frozen) avec une couche de classification linéaire entraînée.
• Jeux de données :
  1. NCT-CRC-HE-100K : 100 000 patches de tissus colorectaux (9 classes : tissu adipeux, lymphocytes, épithélium tumoral, etc.).
  2. TCGA : Plus de 1,6 million de patches issus de 11 types de cancers solides (sein, poumon, rein, côlon, etc.), avec des niveaux de granularité croissante (groupes de cancers vs sous-classes spécifiques).

Techniques de Visualisation

1. Visualisation de Classe (Class Visualization - CV) :
   • Génération d'images synthétiques en optimisant une entrée pour maximiser le logit d'une classe spécifique.
   • Objectif : Révéler les motifs prototypiques associés à chaque classe de prédiction.
2. Atlas d'Activation (Activation Atlases - AA) :
   • Organisation des activations internes dans un espace de faible dimension (via t-SNE) divisé en une grille (10x10 ou 20x20).
   • Inversion de fonctionnalités : Reconstruction d'images à partir des activations moyennes de chaque cellule de la grille.
   • Objectif : Visualiser l'organisation des concepts, les transitions et les chevauchements entre classes à travers les différentes couches du réseau.

Évaluation Quantitative et Humaine

• Annotation par des experts : Quatre pathologues (dont un certifié) ont annoté indépendamment les images réelles et les images générées (CV et AA).
• Métriques d'accord : Calcul de l'accord inter-observateur (Fleiss' κ, Cohen's κ, Krippendorff's α) pour mesurer la consistance de l'interprétation morphologique.
• Métriques de substitution quantitatives : Comparaison des annotations avec des métriques basées sur l'attribution, la similarité perceptuelle (LPIPS, DreamSim) et la distance distributionnelle (Mahalanobis).

3. Résultats Clés

A. Visualisations de Classes (CV)

• Reconnaissabilité : Les CV ont préservé la reconnaissabilité des tissus morphologiquement distincts (ex: tissu adipeux, lymphocytes).
• Séparabilité réduite : La séparabilité diminue pour les sous-classes de cancers qui se chevauchent morphologiquement (ex: adénocarcinome du côlon vs rectum).
• Accord des experts :
  • Pour la classification tissulaire (NCT), l'accord est élevé pour les images réelles (κ = 0,75) mais chute pour les CV (κ = 0,31).
  • Pour les tâches de sous-classes de cancers (TCGA), l'accord est encore plus faible, indiquant une ambiguïté intrinsèque accrue.
• Conclusion : La complexité du jeu de données et la granularité des étiquettes réduisent la capacité des CV à produire des représentations univoques.

B. Atlas d'Activation (AA)

• Organisation dépendante de la couche :
  • Les couches précoces codent des morphologies de bas niveau.
  • Les couches intermédiaires (ex: couche 14/24) montrent une organisation cohérente des concepts.
  • Les couches profondes deviennent plus spécialisées mais fragmentées.
• Corrélation avec l'expertise humaine :
  • Les concepts de tissus grossiers forment des régions bien séparées (κ = 0,82 pour les groupes de cancers grossiers).
  • Les sous-classes fines présentent une dispersion et un chevauchement importants (κ = 0,11 pour les sous-classes TCGA-11).
• Reflet de la complexité pathologique : La séparabilité de l'atlas suit étroitement l'accord des experts sur les images réelles. Cela suggère que l'ambiguïté dans les représentations du modèle reflète la complexité pathologique intrinsèque et non un artefact de visualisation.

C. Métriques Quantitatives

• Les métriques basées sur l'attribution approximent bien la variabilité inter-pathologiste dans les scénarios à faible complexité.
• Les métriques perceptuelles (DreamSim, LPIPS) montrent un alignement limité et sont sensibles au choix de l'extracteur de caractéristiques.
• La distance de Mahalanobis échoue systématiquement à capturer la structure sémantique dans ces espaces de haute dimension.

4. Contributions Principales

1. Cadre d'évaluation systématique : Première évaluation rigoureuse des CV et des AA pour les modèles fondationnels de pathologie basés sur des Transformers.
2. Validation par l'expert humain : Utilisation de l'accord inter-observateur de pathologues comme "vérité terrain" pour évaluer la qualité sémantique des visualisations générées, plutôt que la précision prédictive.
3. Cartographie de l'ambiguïté : Démonstration que les modèles de Transformers capturent fidèlement les zones d'ambiguïté morphologique inhérentes à la pathologie (ex: chevauchement entre certains cancers), rendant ces zones identifiables par les experts.
4. Analyse multi-échelle : Mise en évidence de la hiérarchie des concepts à travers les couches du réseau, passant de structures simples à des concepts spécialisés.

5. Signification et Implications

• Interprétabilité au-delà de l'instance : Ce travail déplace le focus de l'explication de prédictions individuelles vers la compréhension de la structure globale des représentations apprises par le modèle.
• Confiance et Déploiement : En montrant que les représentations internes reflètent la complexité réelle du diagnostic pathologique, cette approche renforce la confiance dans les systèmes d'IA, car elle aligne la logique du modèle sur le raisonnement humain.
• Limites des métriques automatiques : L'étude souligne qu'aucune métrique automatique actuelle ne peut remplacer l'évaluation humaine pour valider la pertinence sémantique des visualisations en pathologie.
• Futur : Le cadre proposé ouvre la voie à l'identification de motifs morphologiques sous-estimés et à la validation des corrélations génotype-phénotype, tout en nécessitant le développement de métriques perceptuelles spécifiques au domaine médical.

En résumé, cet article établit que les visualisations de concepts (CV et AA) sont des outils puissants pour sonder l'intérieur des modèles de pathologie, révélant non seulement ce que le modèle "voit", mais aussi comment il structure la complexité et l'ambiguïté inhérentes au diagnostic médical.