Class Visualizations and Activation Atlases for Enhancing Interpretability in Deep Learning-Based Computational Pathology

Este estudio evalúa sistemáticamente las visualizaciones de clase y los atlas de activación en modelos de transformers para patología computacional, demostrando que, aunque estas técnicas revelan estructuras morfológicas coherentes en tareas de clasificación de tejidos, su interpretabilidad disminuye en subclases oncológicas complejas debido a la ambigüedad intrínseca de los datos.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una aventura de exploración dentro de la mente de una inteligencia artificial (IA) que se ha convertido en un experto en patología (el estudio de las enfermedades a través de imágenes de tejidos).

Aquí tienes la explicación, traducida a un lenguaje sencillo y con algunas analogías divertidas:

🕵️‍♂️ La Misión: ¿Qué está pensando la IA?

En el mundo de la medicina, los patólogos miran diapositivas de tejidos teñidos (como mapas de colores) para diagnosticar enfermedades. Ahora, tenemos computadoras muy inteligentes (llamadas Transformers) que pueden hacer lo mismo, incluso detectar cosas que a veces los humanos pasan por alto.

Pero hay un problema: estas computadoras son como "cajas negras". Sabemos que funcionan muy bien, pero no sabemos cómo piensan. ¿Qué es lo que ven exactamente? ¿Cómo distinguen un cáncer de un tejido sano?

Los autores de este estudio decidieron abrir esa caja negra para ver qué hay dentro. No querían solo saber si la IA acertaba, sino qué conceptos había aprendido.

🎨 Las Dos Herramientas Mágicas

Para ver dentro de la mente de la IA, usaron dos técnicas especiales que son como "lentes mágicos":

1. Las "Fotografías de Sueño" (Visualizaciones de Clase):

   • La analogía: Imagina que le pides a un pintor: "Dibuja lo que tú entiendes por 'gato'". El pintor no dibuja un gato real, sino la idea perfecta de un gato que tiene en su cabeza.
   • En el estudio: La IA genera imágenes sintéticas que representan la "esencia" de cada tipo de tejido (grasa, músculo, tumor). Si la IA piensa en "grasa", dibuja vacuolas de grasa perfectas. Esto nos dice qué patrones busca la máquina.

2. El "Mapa del Tesoro" (Atlases de Activación):

   • La analogía: Imagina que la IA es una biblioteca gigante con millones de libros. Un "Atlas de Activación" es como un mapa que organiza todos esos libros por temas. Si tocas una zona del mapa, ves qué tipo de historias (conceptos) se guardan ahí.
   • En el estudio: Crearon un mapa visual donde cada cuadrito representa una idea que la IA ha aprendido. Los cuadritos cercanos tienen ideas similares (por ejemplo, todo lo relacionado con "cáncer de pulmón" está junto), y los lejanos son muy diferentes.

🔍 Lo que Descubrieron (Los Hallazgos)

Los investigadores tomaron estas imágenes y mapas y se los mostraron a cuatro patólogos reales (expertos humanos) para ver si ellos también podían entenderlas.

• Lo fácil vs. lo difícil:

  • Cuando la IA dibujaba conceptos grandes y claros (como "grasa" vs. "músculo"), los humanos y la IA estaban de acuerdo casi al 100%. Era como distinguir un elefante de una hormiga.
  • Pero cuando las cosas se volvían más parecidas (por ejemplo, diferenciar entre un cáncer de colon y uno de recto, que son primos muy cercanos), la IA empezó a confundirse, y los humanos también. ¡La IA no estaba inventando cosas raras, simplemente estaba reflejando lo difícil que es para los humanos distinguir esas diferencias!

• La profundidad importa:

  • En las capas iniciales de la IA (como los cimientos de una casa), solo veía cosas simples: bordes, colores y texturas básicas.
  • A medida que bajabas en la "profundidad" de la IA (como subir a los pisos altos de un rascacielos), las imágenes se volvían más detalladas y complejas, mostrando estructuras celulares muy específicas.

• El espejo de la realidad:

  • Lo más interesante fue que la confusión de la IA coincidía con la confusión de los humanos. Si a los patólogos les costaba distinguir dos tipos de cáncer en una imagen real, la IA también tenía dificultades para separarlos en su "mapa mental". Esto es una buena noticia: significa que la IA está aprendiendo la realidad biológica, no haciendo trucos matemáticos.

💡 ¿Por qué es importante esto?

Antes, si una IA fallaba, no sabíamos si era porque estaba "loca" o porque la tarea era imposible. Ahora, con estas herramientas, podemos decir: "Mira, la IA está confundida aquí porque, en la realidad, estos dos tejidos son muy parecidos".

Esto ayuda a:

1. Construir confianza: Los médicos pueden ver que la IA piensa de manera similar a ellos.
2. Encontrar errores: Si la IA dibuja algo que no tiene sentido médico, sabemos que hay que arreglarla.
3. Mejorar la educación: Podemos usar estas "fotografías de sueño" para enseñar a estudiantes de medicina qué es lo más importante en una imagen.

🏁 En resumen

Este estudio es como ponerle un espejo a la inteligencia artificial para que vea su propio reflejo. Descubrieron que la IA no es un oráculo místico, sino un aprendiz muy dedicado que organiza el mundo de la patología de una manera que, sorprendentemente, se parece mucho a cómo lo hacemos los humanos. Cuanto más compleja es la enfermedad, más difícil es para todos (humanos y máquinas) separar las piezas, y eso es algo que ahora podemos entender y medir.

Resumen técnico

Resumen Técnico: Visualizaciones de Clase y Atlas de Activación para la Interpretabilidad en Patología Computacional

1. Planteamiento del Problema

La adopción rápida de modelos basados en transformadores (como Vision Transformers o ViTs) en la patología computacional ha permitido predecir biomarcadores moleculares y clínicos directamente a partir de imágenes de tejido teñidas con hematoxilina y eosina (H&E). Sin embargo, la explicabilidad no ha seguido el ritmo de la complejidad del modelo.

• Limitación actual: Los métodos de IA explicable (XAI) existentes se centran principalmente en el nivel de instancia (mapas de saliencia, atribución por gradiente) para explicar predicciones individuales, pero no caracterizan sistemáticamente qué patrones morfológicos definen las clases o cómo se organizan los conceptos de alto nivel en el espacio de características interno.
• Brecha específica: Las técnicas de visualización de características, como las Visualizaciones de Clase (CV) y los Atlas de Activación (AA), han sido poco exploradas en modelos de patología basados en transformadores, a pesar de su éxito en redes neuronales convolucionales (CNN) para imágenes naturales. No se sabe si los modelos de transformadores organizan los conceptos morfológicos en representaciones estructuradas que reflejen las diferencias patológicas reales.

2. Metodología

Los autores desarrollaron un marco de visualización a nivel de concepto y lo aplicaron a un modelo fundacional basado en ViT (UNI) entrenado para tareas de clasificación de tejidos y cáncer.

• Datos:
  • NCT-CRC-HE-100K: 100,000 parches de tejido colorrectal (9 clases de tejido, incluyendo tumor, estroma, músculo, etc.).
  • TCGA: Más de 1.6 millones de parches de 32 tipos de cáncer (seleccionados 11 tipos principales para tareas de clasificación de cáncer sólido).
• Arquitectura del Modelo:
  • Se utilizó el modelo fundacional UNI (Vision Transformer) con pesos congelados.
  • Se añadió una capa de clasificación lineal entrenada con pérdida de entropía cruzada.
  • Se evaluaron diferentes granularidades de etiquetas: desde clases de tejido generales hasta subclases de cáncer específicas y agrupaciones de adenocarcinomas.
• Técnicas de Visualización:
  1. Visualización de Clase (CV): Se optimiza una imagen sintética para maximizar el logit de una clase específica, revelando el patrón prototípico que activa esa clase.
  2. Atlas de Activación (AA): Se capturan las activaciones internas de las capas del transformador, se proyectan en un espacio de baja dimensión (t-SNE) y se dividen en una cuadrícula. Luego, se invierte la característica (feature inversion) para reconstruir imágenes que corresponden a cada celda de la cuadrícula, visualizando la organización de los conceptos internos.
• Evaluación Cuantitativa y Cualitativa:
  • Anotación de Expertos: Cuatro patólogos (incluido uno certificado) anotaron imágenes reales y generadas para medir la acuerdo interobservador (usando métricas como Fleiss' κ, Cohen's κ y Krippendorff's α).
  • Métricas Cuantitativas: Se compararon las anotaciones de expertos con métricas sustitutas basadas en atribución, similitud perceptual (LPIPS, DreamSim) y distancia (Distancia de Mahalanobis).

3. Contribuciones Clave

1. Marco Conceptual: Primera evaluación sistemática de CVs y AAs en modelos fundacionales de patología basados en transformadores.
2. Análisis de Estructura Interna: Demostración de que los transformadores organizan los conceptos morfológicos en "manifolds" estructurados que reflejan la complejidad patológica intrínseca.
3. Correlación con la Ambigüedad Humana: Establecimiento de que la separabilidad de los atlas de activación y la confusión en las visualizaciones de clase correlacionan directamente con la variabilidad y el desacuerdo entre patólogos humanos, no solo con errores del modelo.
4. Evaluación de Métricas: Análisis crítico de métricas de similitud perceptual en el dominio de la patología, mostrando que las métricas estándar a menudo fallan en capturar la complejidad morfológica fina.

4. Resultados Principales

• Visualizaciones de Clase (CV):
  • Tejido (NCT): Preservaron la reconocibilidad para tejidos morfológicamente distintos (ej. tejido adiposo, linfocitos). El acuerdo entre patólogos disminuyó de $\kappa = 0.75$ (imágenes reales) a $\kappa = 0.31$ (CV), pero las clases seguían siendo distinguibles.
  • Cáncer (TCGA): Mostraron una reducción significativa en la separabilidad para subclases de cáncer que se superponen morfológicamente (ej. adenocarcinoma de colon vs. recto). La ambigüedad aumentó con la granularidad de la etiqueta, reflejando la dificultad intrínseca de distinguir estas entidades incluso para humanos.
• Atlas de Activación (AA):
  • Organización Dependiente de la Capa: Las capas tempranas codificaban morfología de bajo nivel, mientras que las capas intermedias (ej. capa 14/24) mostraron una organización coherente de conceptos. Las capas profundas se volvieron más especializadas pero fragmentadas.
  • Separabilidad: Los conceptos de tejido a nivel grueso formaron regiones bien separadas. Las subclases finas mostraron dispersión y superposición.
  • Acuerdo: El acuerdo interobservador en los AA fue moderado para clasificación de tejido ($\kappa = 0.58$), alto para grupos gruesos de cáncer ($\kappa = 0.82$) y bajo para subclases ($\kappa = 0.11$).
• Métricas Cuantitativas vs. Expertos:
  • Las asignaciones basadas en atribución aproximaron la variabilidad entre patólogos en escenarios de baja complejidad.
  • Las métricas perceptuales (DreamSim, LPIPS) mostraron un alineamiento limitado y alta dependencia del extractor de características.
  • La Distancia de Mahalanobis falló consistentemente, colapsando las asignaciones a pocas clases.

5. Significado e Impacto

Este trabajo avanza la interpretabilidad en patología computacional más allá de la explicación de predicciones individuales:

• Validación de Representaciones: Confirma que los modelos basados en transformadores aprenden representaciones que alinean con el razonamiento patológico experto, capturando tanto la distinción clara como la ambigüedad inherente a ciertas entidades patológicas.
• Herramienta de Diagnóstico: Proporciona un marco para la interrogación centrada en el experto de las representaciones aprendidas, permitiendo identificar límites en la separabilidad de clases y patrones morfológicos que podrían warrant investigación adicional.
• Guía para Futuras Investigaciones: Sugiere que la complejidad del conjunto de datos y la granularidad de las etiquetas son factores críticos que determinan la interpretabilidad, y que las métricas de evaluación deben alinearse mejor con el juicio humano en lugar de depender únicamente de métricas de similitud de imágenes naturales.

En conclusión, la visualización a nivel de concepto expone la estructura morfológica organizada dentro de los modelos de patología, revelando que la "ambigüedad" del modelo a menudo es un reflejo fiel de la complejidad biológica y diagnóstica, no un defecto del algoritmo.