💻 computer science

Post-hoc reliability assessment and visual explanation for deep learning-based oral mucosal lesion detection

Este artículo presenta un marco post-hoc que mejora la fiabilidad e interpretabilidad de un detector YOLOv11 congelado para lesiones de la mucosa oral mediante el análisis de las densidades de incrustación de características para identificar predicciones no confiables y el uso de la recuperación de vecinos más cercanos para proporcionar explicaciones visuales, todo ello sin requerir el reentrenamiento del modelo.

Autores originales: Ekaterina Tolstaya, Julia Schwärzler, Dinara Kayumova, Stefan Kolek, Antonin Tichy, Sebastian Paris, Gitta Kutyniok, Falk Schwendicke

Publicado 2026-10-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ekaterina Tolstaya, Julia Schwärzler, Dinara Kayumova, Stefan Kolek, Antonin Tichy, Sebastian Paris, Gitta Kutyniok, Falk Schwendicke

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la imagenología médica, la inteligencia artificial se ha convertido en una herramienta poderosa para detectar enfermedades que el ojo humano podría pasar por alto. Estos sistemas son entrenados con miles de fotografías, aprendiendo a reconocer patrones que señalan la enfermedad. Sin embargo, persiste un problema significativo: cuando estos programas informáticos realizan una predicción, a menudo proporcionan una puntuación de confianza que puede ser engañosa. Un sistema podría declarar un diagnóstico con un 99 por ciento de certeza mientras observa una imagen que es completamente diferente a cualquier cosa que haya visto antes. En campos críticos para la seguridad como la medicina, donde un error puede retrasar un tratamiento vital, saber cuándo confiar en la máquina es tan importante como la capacidad de la máquina para ver. El desafío consiste en encontrar una forma de comprobar la fiabilidad de una predicción sin tener que reconstruir todo el sistema desde cero.

Investigadores de diversas instituciones alemanas e internacionales han abordado este problema desarrollando un nuevo método para auditar las decisiones de una inteligencia artificial diseñada para detectar lesiones de la mucosa oral. Estas son afecciones que afectan a los tejidos blandos del interior de la boca, que van desde manchas blancas inofensivas hasta crecimientos potencialmente cancerosos. El equipo se centró en un tipo específico de detector de IA llamado YOLO, que es excelente para encontrar objetos en imágenes y dibujar recuadros alrededor de ellos. Aunque el detector ya estaba entrenado para identificar tres tipos de lesiones y tejido sano, los investigadores querían comprender el "porqué" detrás de cada decisión y determinar si la IA estaba realmente segura o si solo estaba adivinando. No reentrenaron el modelo ni cambiaron su código interno. En su lugar, analizaron las huellas matemáticas, conocidas como embeddings, que la IA creó para cada imagen que analizó. Estas huellas representan las características visuales que la IA utilizó para tomar su decisión.

Los investigadores tomaron estas huellas de alta dimensión y las mapearon en un paisaje bidimensional sencillo. En este mapa, las imágenes que se parecen mucho entre sí se agrupan, mientras que los diferentes tipos de lesiones forman sus propios grupos distintos. Al analizar qué tan concurrida o dispersa era una zona específica en este mapa, pudieron calcular una puntuación de fiabilidad. Si la predicción de una IA aterrizaba en un grupo denso de imágenes de entrenamiento similares y correctamente identificadas, el sistema consideraba la predicción como fiable. Si la predicción aterrizaba en una zona dispersa y vacía, lejos de cualquier ejemplo conocido, el sistema la marcaba como incierta. Este enfoque les permitió evaluar la confiabilidad de cada detección sin alterar el detector original. Descubrieron que esta puntuación basada en la densidad era mucho mejor para identificar predicciones inciertas que los números de confianza estándar que la IA suele proporcionar. En pruebas que involucraron más de 3.500 imágenes, este método distinguió con éxito entre predicciones fiables e infiables con un AUC que oscilaba entre 0,92 y 0,95 en las diferentes categorías de enfermedades.

Para hacer que estas puntuaciones abstractas fueran útiles para los médicos, el equipo añadió una herramienta de explicación visual. Cuando el sistema marcaba una predicción como incierta, podía recuperar y mostrar instantáneamente las cuatro imágenes más similares de su base de datos de entrenamiento. Esto creó un mosaico que mostraba al médico exactamente con qué estaba comparando la IA al paciente actual. Por ejemplo, si la IA identificaba erróneamente un tipo específico de mancha blanca, la explicación visual mostraría que estaba comparando al paciente con imágenes de una condición diferente, pero visualmente similar. Esto permitió a los clínicos ver el proceso de razonamiento de la IA en acción. El estudio reveló que la IA a menudo tiene dificultades con las lesiones que se parecen entre sí, como ciertas formas de leucoplasia y liquen plano, que comparten características visuales superpuestas. En estos casos límite, el nuevo método identificó correctamente que la IA estaba operando en una zona de ambigüedad, mientras que la puntuación de confianza estándar habría seguido siendo engañosamente alta.

Los investigadores también probaron el sistema con imágenes de lesiones que no formaban parte del conjunto de entrenamiento original, como enfermedades ampollosas o queratosis friccional. Descubrieron que la IA a veces asignaba estas condiciones desconocidas a la categoría conocida más cercana, y que la puntuación de densidad no siempre las marcaba como completamente desconocidas. Esto resalta una limitación crucial: el sistema mide qué tan bien encaja una predicción con los datos de entrenamiento, no si la imagen representa una enfermedad completamente nueva. Sin embargo, la herramienta de recuperación visual resultó valiosa también en este aspecto. Incluso cuando la IA cometía un error, los "vecinos" de entrenamiento mostrados ayudaban a un experto humano a darse cuenta de que la similitud visual era engañosa y que el diagnóstico requería algo más que una fotografía. El estudio concluye que, al combinar una verificación de fiabilidad basada en la densidad con ejemplos visuales, los profesionales médicos pueden comprender mejor cuándo confiar en el diagnóstico de una IA y cuándo buscar una segunda opinión, todo ello sin necesidad de reentrenar los complejos modelos que ya están en uso.

Resumen Técnico: Evaluación de la Fiabilidad Post-hoc y Explicación Visual para la Detección de Lesiones de la Mucosa Oral Basada en Aprendizaje Profundo

Planteamiento del Problema
Los detectores de aprendizaje profundo para lesiones de la mucosa oral, como los basados en arquitecturas YOLO, generan predicciones de clase y puntuaciones de confianza de softmax. Sin embargo, estos resultados no revelan los patrones visuales subyacentes que sustentan la predicción ni indican si una predicción específica es digna de confianza. En dominios médicos de alta criticidad, se sabe que las puntuaciones de softmax están mal calibradas y suelen ser excesivamente confiadas en entradas que difieren de la distribución de entrenamiento (entradas fuera de la distribución o OOD). Los métodos existentes de cuantificación de la incertidumbre, como el dropout de Monte Carlo o las redes neuronales bayesianas, requieren modificaciones arquitectónicas o múltiples pasadas hacia adelante (forward passes), lo que los hace inadecuados para detectores preentrenados y congelados. Los enfoques de predicción conforme estándar también han mostrado limitaciones en la fiabilidad bajo cambios distributivos y en entornos médicos multiclase. El desafío consiste en desarrollar un método post-hoc que evalúe la fiabilidad y proporcione explicaciones visuales sin reentrenar el modelo ni alterar su arquitectura.

Metodología
Los autores proponen un marco de trabajo post-hoc aplicado a un detector YOLOv11 congelado, entrenado con 3,104 fotografías intraorales que cubren liquen plano oral (LPO), verrugosa proliferativa leucoplásica (VPL)/leucoplasia, carcinoma de células escamosas orales (CCEO) y mucosa sana. La metodología consta de tres etapas principales:

Extracción de Embeddings:
- Se extraen los embeddings de características de la capa más profunda del backbone (Capa 21, "C2f") del modelo YOLOv11 para cada cuadro delimitador (bounding box) detectado.
- Se compararon cuatro estrategias de extracción: punto central, pico único (proveniente de mapas de saliencia EigenCAM), agrupación ponderada por CAM (CAM-weighted pooling) y promediado de caja (box-averaging).
- Se utilizó EigenCAM para generar mapas de saliencia sin requerir retropropagación de gradientes, permitiendo la identificación de las regiones espaciales más informativas dentro de un cuadro delimitador.
- El promediado de caja (box-averaging) fue seleccionado como la estrategia óptima basada en la evaluación cuantitativa, al generar los clústeres de clase más compactos y bien separados en el espacio de embeddings.
Proyección de Variedades y Estimación de Densidad:
- Los embeddings de alta dimensión (384 dimensiones) se proyectan sobre una variedad de 2-D para facilitar el modelado de densidad y la visualización.
- Se compararon dos métodos de proyección: el Análisis de Componentes de Vecindad (NCA) (supervisado) y la Aproximación y Proyección de Variedades Uniformes (UMAP) (no supervisado).
- Se ajusta una Estimación de Densidad de Kernel (KDE) sobre las muestras de entrenamiento correctamente predichas para cada clase dentro del espacio proyectado de 2-D.
- Para cualquier detección nueva, se calcula una puntuación de densidad basada en los modelos KDE ajustados por clase. Esta puntuación sirve como un indicador de "soporte de la distribución de entrenamiento", indicando si la detección se encuentra en una región densa de ejemplos conocidos y clasificados correctamente, o en una región dispersa o de frontera.
Explicación Visual mediante Recuperación de Vecinos Más Cercanos:
- Para complementar la puntuación escalar de densidad, el sistema realiza una recuperación de $k$ -vecinos más cercanos ( $k$ -NN) en el espacio de embeddings.
- Para una detección de prueba, el sistema recupera los $k$ casos de entrenamiento visualmente más similares (basándose en la distancia de coseno).
- Esto genera un "mosaico de recuperación" que permite a los clínicos auditar visualmente el razonamiento del modelo al comparar la imagen de consulta con las instancias de entrenamiento más similares.

Resultados Clave

Rendimiento de Detección: El modelo YOLOv11 alcanzó puntuaciones F1 por clase de 0.88 (LPO), 0.76 (VPL/Leucoplasia), 0.73 (CCEO) y 0.93 (Sano).
Estrategia de Embeddings: El promediado de caja superó a otras estrategias de extracción, logrando un coeficiente de silueta de 0.45 (frente al 0.26 del punto central) y una mayor precisión en la recuperación de vecinos más cercanos (Precisión@5 = 0.84).
Evaluación de Fiabilidad: Las puntuaciones de fiabilidad basadas en la densidad demostraron un fuerte poder discriminativo, con valores de Área Bajo la Curva Característica de Operación del Receptor (AUROC) que oscilaron entre 0.92 y 0.95 para todas las cuatro clases.
- Las proyecciones NCA superaron ligeramente a UMAP en la AUROC para algunas clases (por ejemplo, CCEO: 0.94 vs 0.94; VPL: 0.94 vs 0.92), aunque UMAP proporcionó una representación más fiel de la geometría aprendida por el modelo sin sesgo de etiqueta.
- La puntuación de densidad identificó consistentemente predicciones de baja confianza que la puntuación de softmax estándar no logró señalar.
Explicaciones Visuales: La recuperación de vecinos más cercanos ilustró con éxito las fronteras de decisión del modelo. En casos de clasificación errónea (por ejemplo, VPL predicho como LPO), los vecinos recuperados se asemejaban visualmente a la clase predicha, confirmando que el error del modelo se basaba en la similitud visual en lugar de ruido aleatorio. El método también resaltó limitaciones, como la incapacidad de recuperar hipótesis competitivas suprimidas por la Supresión de No Máximos (NMS).

Significancia y Reivindicaciones
El artículo afirma llenar un vacío en la literatura al adaptar la detección de OOD basada en embeddings, previamente estudiada para clasificadores de imágenes, a detectores de un solo paso (one-stage object detectors). Sus contribuciones principales son:

Aplicabilidad Post-hoc: El método opera sobre un detector congelado sin requerir reentrenamiento, cambios arquitectónicos o datos de entrenamiento adicionales (como muestras de de proxy OOD).
Interpretabilidad: Proporciona una salida dual: una puntuación de fiabilidad cuantitativa (densidad) y una explicación visual cualitativa (mosaico de vecinos más cercanos), lo que permite la auditoría clínica.
Soporte de la Distribución de Entrenamiento: La puntuación de densidad mide qué tan bien una predicción está respaldada por la distribución de entrenamiento, ofreciendo una salvaguarda contra las predicciones excesivamente confiadas en entradas atípicas.
Utilidad Clínica: Aunque los autores enfatizan que la puntuación de densidad no es una certeza diagnóstica por sí misma (ya que carece de contexto clínico como la palpación o la historia del paciente), sirve como una valiosa herramienta de triaje. Puede señalar predicciones de bajo soporte para la revisión de especialistas y asistir en la curación de conjuntos de datos al identificar muestras de entrenamiento atípicas o potencialmente mal etiquetadas.

Los autores concluyen que el análisis de densidad en el espacio de embeddings, combinado con la recuperación visual, complementa la confianza de softmax y respalda la auditoría clínica post-hoc para la detección de lesiones de la mucosa oral.

Más como este