💻 computer science

Explanation Stability of Test-Time Adaptation in Computational Pathology: A Large-Scale Benchmark

Este artículo presenta un benchmark a gran escala que demuestra que los métodos de adaptación en tiempo de prueba en patología computacional exhiben una variabilidad significativa en la estabilidad de las explicaciones, revelando que una alta precisión no garantiza interpretaciones del modelo fiables y resaltando la necesidad de nuevas métricas de evaluación para asegurar la auditabilidad clínica.

Autores originales: R. G. Bahumanya, Harshith V. M., Shreyank N. Gowda, Anala M. R

Publicado 2026-08-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: R. G. Bahumanya, Harshith V. M., Shreyank N. Gowda, Anala M. R

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a reconocer diferentes tipos de hongos en un bosque. Le muestras miles de fotos de tus bosques locales y se vuelve muy bueno detectándolos. Pero luego, llevas al robot a un bosque diferente donde la luz es más tenue, las hojas son de un tono de verde distinto y los hongos se ven ligeramente aplastados. El robot se confunde. Para solucionarlo sin mostrarle nuevas fotos con etiquetas, dejas que el robot "aprenda sobre la marcha" mientras camina por el nuevo bosque. Esto se llama Adaptación en Tiempo de Prueba (TTA, por sus siglas en inglés). Es como si el robot estuviera ajustando sus gafas o su enfoque mientras sigue moviéndose, intentando dar sentido al nuevo mundo sin detenerse a pedir ayuda.

Sin embargo, hay un inconveniente. En el mundo real, especialmente en la medicina, no solo queremos que el robot esté en lo cierto; queremos saber por qué cree que lo está. Si el robot dice: "Ese es un hongo venenoso", un médico necesita ver hacia dónde está mirando el robot para confiar en él. ¿Está viendo las láminas venenosas o simplemente está adivinando porque el hongo es rojo? Este "mirar" se llama explicación. La gran pregunta que este artículo plantea es: cuando dejamos que el robot se adapiga al nuevo bosque sobre la marcha, ¿sigue mirando las mismas partes del hongo o de repente empieza a mirar las cosas equivocadas?

Este artículo es una gran historia de detectives sobre exactamente eso. Los investigadores configuraron un experimento gigante en el mundo de la patología computacional, que es básicamente usar computadoras para observar portaobjetos de tejido bajo el microscopio para encontrar enfermedades como el cáncer. Querían ver si los trucos de aprendizaje "sobre la marcha" (TTA) que hacen a los modelos más inteligentes también los hacen más confusos o poco fiables en sus explicaciones.

No se limitaron a suponer; realizaron una enorme evaluación comparativa. Probaron 17 métodos de adaptación diferentes (17 formas distintas de que el robot aprenda sobre la marcha) a través de 5 tipos diferentes de cerebros de IA (que van desde redes "convolucionales" más antiguas y bloqueadas hasta las más nuevas y sofisticadas "transformers"). Realizaron estas pruebas en dos conjuntos de datos principales de imágenes de tejido y llevaron a cabo la asombrosa cifra de 2.958 ejecuciones de adaptación. ¡Eso es mucho trabajo!

Aquí está lo que encontraron, y es un poco sorprendente.

Primero, no todos los métodos de aprendizaje son iguales. Algunos métodos son como un bibliotecario cuidadoso que ajusta los libros pero nunca mueve los estantes; estos métodos dejan la "mirada" del robot casi exactamente donde comenzó. Otros son como un niño pequeño y caótico que reorganiza toda la habitación mientras juega. Los investigadores descubrieron que los métodos que actualizan constantemente el "maestro" interno del robot (llamados métodos continuos como CoTTA y RoTTA) causaron el mayor desastre. Hicieron que el robot mirara partes completamente diferentes de la imagen del tejido. En contraste, los métodos que mantenían el cerebro principal congelado y solo retocaban los bordes dejaron las explicaciones casi perfectamente estables.

Segundo, el tipo de cerebro de IA importa mucho. Las redes "convolucionales" más antiguas y bloqueadas (como ResNet-50 y EfficientNet) eran muy sensibles. Cuando intentaban adaptarse, sus explicaciones se volvían locas. Pero los "modelos fundacionales" y "transformers" más nuevos y avanzados eran mucho más tranquilos. Podían adaptarse a los nuevos datos sin cambiar hacia dónde miraban. Es como cómo un detective experimentado podría ajustar su teoría sin cambiar su enfoque, mientras que un novato podría distraerse con todo.

El hallazgo más importante, sin embargo, es una advertencia. El artículo muestra que estar en lo cierto no significa ser estable, y ser estable no significa estar en lo cierto.

Descubrieron un modo de "fallo silencioso". Algunos métodos mantenían la mirada del robot perfectamente constante (alta estabilidad de la explicación), pero la confianza del robot se volvía totalmente errónea, o empezaba a cometer más errores. Era como un estudiante que sigue señalando el mismo punto en un mapa pero llega al destino equivocado cada vez. Si solo comprobaras si el robot está señalando el lugar correcto, pensarías que todo está bien. Pero si comprobaras si el robot está encontrando realmente el hongo correcto, verías que está fallando.

Los investigadores también descubrieron que la "fuerza" de la adaptación importaba. Cuanto más intentaba aprender el robot en un solo proceso, más derivaba su mirada. Pero el tamaño del grupo de imágenes que miraba a la vez (tamaño de lote o batch size) no cambiaba realmente nada.

Entonces, ¿cuál es la conclusión? El artículo argumenta que ya no podemos limitarnos a medir si una IA médica es precisa. Tenemos que medir tres cosas a la vez:

Precisión: ¿Está encontrando la enfermedad?
Calibración: ¿Tiene la confianza necesaria cuando debe tenerla?
Estabilidad de la Explicación: ¿Sigue mirando las características del tejido correctas después de adaptarse?

Los autores sugieren que, para que los médicos confíen en estas herramientas de IA, necesitamos una nueva "tarjeta de puntuación" que incluya esta estabilidad de la explicación. Si una IA se adapta al microscopio de un nuevo hospital pero empieza a mirar las partes incorrectas de la lámina, incluso si acierta el diagnóstico por accidente, es un riesgo. El artículo proporciona una nueva herramienta llamada Índice de Estabilidad de la Explicación (ESI) para medir esto, y han publicado todo su código y datos para que otros puedan verificarlo.

En resumen, este artículo nos dice que en la carrera por hacer que la IA sea más inteligente sobre la marcha, no debemos olvidar preguntarnos: "¿Sigues mirando lo correcto?". Porque a veces, el robot que parece más inteligente es aquel que ha perdido el rumbo.

Resumen Técnico: Estabilidad de la Explicación de la Adaptación en Tiempo de Prueba en Patología Computacional

1. Planteamiento del Problema

Los modelos de aprendizaje profundo en patología computacional son altamente sensibles a los cambios de dominio derivados de variaciones en los protocolos de tinción, el hardware de escaneo y las cohortes de pacientes. Si bien la Adaptación en Tiempo de Prueba (TTA, por sus siglas en inglés) ofrece un mecanismo práctico para actualizar modelos sobre datos no etiquetados del dominio objetivo sin reentrenamiento, los paradigmas de evaluación actuales se centran casi exclusivamente en la precisión del dominio objetivo.

El artículo identifica una brecha crítica: el despliegue clínico requiere no solo predicciones precisas, sino también explicaciones fiables (por ejemplo, mapas de prominencia que indiquen hacia dónde está mirando el modelo). Se desconoce si los métodos de TTA, que modifican los parámetros del modelo en línea, alteran inadvertidamente estas explicaciones. Un método podría mantener una alta precisión mientras desplaza la atención hacia regiones de tejido no diagnósticas o, por el contrario, preservar las explicaciones mientras degrada la calibración. Los autores postulan que la estabilidad de la explicación es un eje de fiabilidad distinto que actualmente no se mide en los bancos de pruebas de TTA.

2. Metodología

Configuración Experimental

Los autores llevaron a cabo un benchmark a gran escala que involucró 2,958 ejecuciones de adaptación a través de:

Conjuntos de Datos: Dos benchmarks de histopatología con cambios de dominio naturales:
- Camelyon17: Detección de tumores en ganglios linfáticos en múltiples hospitales (binario).
- NCT-CRC-HE: Clasificación de tejido colorrectal de nueve clases.
Arquitecturas: Cinco modelos que abarcan redes convolucionales, transformadores y modelos fundacionales:
- Convolucionales: ResNet-50, EfficientNet-B3.
- Transformadores: Swin-T, ViT-B/16.
- Modelo Fundacional: Phikon-v2.
Métodos de TTA: 17 métodos distintos agrupados por mecanismo:
- Normalización: BN-Adapt.
- Entropía: Tent, EATA, DeYO, ROID, COME, REM.
- Nitidez (Sharpness): SAR, SoTTA.
- Continual: CoTTA, RoTTA, RMemSafe.
- Prototipo/Libre de gradiente/Adaptador: T3A, LAME, SICL, ViDA.
Operadores de Atribución: Cuatro familias de métodos de explicabilidad:
- Integrated Gradients (primario, agnóstico a la arquitectura).
- Grad-CAM, Grad-CAM++ y Attention Rollout.

El Índice de Estabilidad de la Explicación (ESI)

Para cuantificar el movimiento de las explicaciones del modelo, los autores introdujeron el Índice de Estabilidad de la Explicación (ESI).

Proceso: Los mapas de prominencia ( $S_{pre}$ y $S_{post}$ ) se normalizan mediante min-max, se redimensionan a una cuadrícula de $224 \times 224$ y se convierten en distribuciones de probabilidad.
Métricas: El ESI agrega seis medidas:
- Similitud: Similitud Estructural (SSIM), Similitud de Coseno, Correlación de Rango de Spearman reescalada, IoU de la Región de Interés del Top-20%.
- Divergencia: Divergencia KL Simétrica, Distancia de Wasserstein-1 (EMD).
Cálculo: El índice es un promedio de pesos iguales de estos seis términos, acotado entre 0 y 1. Un ESI de 1.0 indica una explicación inalterada.
Evaluación: El estudio mide tres efectos acoplados: cambio en la explicación (ESI), cambio en la discriminación ( $\Delta$ AUC) y cambio en la calibración ( $\Delta$ ECE).

3. Resultados Clave

A. Jerarquía Sistemática de Estabilidad

Los métodos de TTA exhiben una diferencia sistemática y marcada en cuánto perturban las explicaciones:

Métodos de Backbone Congelado: Los métodos que no actualizan el backbone (ej. No-TTA, LAME, T3A, SICL) preservan las explicaciones casi perfectamente, con un ESI $\approx$ 1.000.
Métodos Continuales: Los métodos que acumulan actualizaciones a lo largo del tiempo (ej. CoTTA, RoTTA) causan el mayor desplazamiento, con los rangos medios más bajos en estabilidad.
Métodos de Normalización/Entropía: BN-Adapt y Tent muestran valores de ESI agrupados bajos (0.786 y 0.849), pero su disrupción está fuertemente concentrada en modelos convolucionales.

B. Dependencia de la Arquitectura y el Cambio

Sensibilidad Convolucional: Las redes convolucionales (ResNet-50, EfficientNet-B3) son sustancialmente más sensibles al desplazamiento inducido por la adaptación que los backbones de transformadores o de modelos fundacionales. EfficientNet-B3 mostró el ESI medio más bajo (0.806).
Robustez de los Transformadores: Swin-T, ViT-B/16 y Phikon-v2 mantuvieron valores de ESI cercanos a 1.0. Esto se atribuye al protocolo de adaptación para estos modelos, que congela el backbone y solo actualiza los bloques de normalización y la cabeza lineal.
Dificultad de la Tarea: La tarea más difícil de múltiples clases, NCT-CRC-HE, indujo un mayor desplazamiento que la tarea binaria de Camelyon17 para los métodos continuales.

C. Desacoplamiento de la Estabilidad y la Calidad

El hallazgo más significativo es que la estabilidad de la explicación está ampliamente desacoplada de la calidad de la adaptación:

Fallos Silenciosos: El estudio identificó 54 "fallos de calibración silenciosos" donde la precisión se mantuvo estable ( $|\Delta$ AUC| < 0.02) pero la calibración se degradó ( $\Delta$ ECE > 0.05). El 94% de estos fallos ocurrieron en métodos (LAME, T3A) que preservaron las explicaciones perfectamente (ESI = 1.0).
Correlación Débil: La correlación parcial de Spearman entre ESI y $\Delta$ ECE (controlando por $\Delta$ AUC) fue débil ( $\rho = +0.089$ ).
Conclusión: Un método puede preservar las explicaciones mientras degrada la precisión/calibración, o mover las explicaciones mientras mantiene la precisión. Por lo tanto, el ESI no puede inferirse de la precisión o la calibración por sí solas.

D. Impulsores del Desplazamiento

Fuerza de la Adaptación: Aumentar el número de pasos de adaptación (ej. en Tent) disminuyó monótonamente el ESI.
Tamaño del Lote (Batch Size): Cambiar el tamaño del lote tuvo un efecto insignificante en el ESI.
Mecanismo: El desplazamiento es impulsado por cuánto de la jerarquía de características es modificada. Los métodos continuos y las actualizaciones de las estadísticas de BN en redes convolucionales afectan las características de manera amplia, mientras que los enfoques de backbone congelado no lo hacen.

la Contribución

Formalización de la Estabilidad de la Explicación: El artículo define la estabilidad de la explicación como un eje de fiabilidad distinto para la TTA e introduce el ESI, un índice acotado que combina métricas de similitud y divergencia.
Benchmark a Gran Escala: Los autores proporcionan una evaluación exhaustiva de 17 métodos de TTA a través de 5 arquitecturas y 2 conjuntos de datos, produciendo 2,958 mediciones emparejadas de precisión, calibración y estabilidad de la explicación.
Hallazgos Empíricos: El estudio establece que el desplazamiento de la explicación depende del método, de la arquitectura y del cambio. Crucialmente, demuestra que la estabilidad de la explicación no sustituye al monitoreo de la calibración o la precisión, ya que pueden ocurrir "fallos silenciosos" donde las explicaciones parecen estables mientras la fiabilidad del modelo se degrada.

5. Significado y Reivindicaciones

El artículo argumenta que la estabilidad de la explicación es un eje de fiabilidad distinto para la TTA en patología computacional.

Relevancia Clínica: En los flujos de trabajo clínicos, los patólogos dependen de las explicaciones para verificar que los modelos atienden a regiones de tejido plausibles. Si la TTA desplaza estas atribuciones sin cambiar la precisión, el modelo puede volverse "auditable clínicamente" incluso si es numéricamente robusto.
Implicaciones de Despliegue: Los autores recomiendan que la evaluación de la TTA en imágenes médicas debe reportar discriminación, calibración y estabilidad de la explicación conjuntamente. Confiar solo en la precisión o en métricas de explicación puede omitir modos de fallo críticos.
Dirección Futura: Los hallazgos sugieren que los futuros métodos de TTA deberían considerar la regularización del movimiento de la explicación o restringir las actualizaciones a subconjuntos de parámetros más pequeños para evitar la relocalización innecesaria de la atención, particularmente en los backbones convolucionales.

Los autores declaran explícitamente que el ESI es una medida de integridad, no un certificado de seguridad. Un ESI alto indica que la razón visual es estable, pero no garantiza que la predicción sea correcta o esté bien calibrada. Por el contrario, un ESI bajo indica un cambio en la razón, lo que amerita una inspección más cercana pero no implica necesariamente una peor predicción.