💻 computer science

DINOv2 versus Supervised Visual Representations for Tooth-Level Multi- Label Diagnosis Classification on Panoramic Radiographs: A Frozen-Feature Sample-Efficiency Study

Este estudio demuestra que, si bien el modelo DINOv2-small congelado no supera significativamente al ResNet50 preentrenado con ImageNet supervisado en radiografías panorámicas totalmente anotadas, proporciona una eficiencia de muestra y un rendimiento superiores para la clasificación de diagnóstico multietiqueta a nivel de diente bajo presupuestos de anotación limitados.

Autores originales: Panagoula Dimitrelou, Efstathios Alonaris, Athanasia Sergounioti

Publicado 2026-08-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Panagoula Dimitrelou, Efstathios Alonaris, Athanasia Sergounioti

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los dentistas dependen de las radiografías panorámicas, una única imagen amplia que captura toda la mandíbula superior e inferior, para obtener una visión rápida de la salud oral de un paciente. Estas imágenes son la primera línea de defensa para detectar problemas ocultos como caries, infecciones en la raíz de un diente o dientes que nunca lograron atravesar la encía. Sin embargo, leer estas imágenes es difícil. Los detalles son sutiles, e incluso los profesionales experimentados pueden pasar por alto pequeños signos de enfermedad o discrepar sobre lo que están viendo. Para ayudar, los investigadores han recurrido a la inteligencia artificial, enseñando a las computadoras a detectar estos problemas automáticamente. El mayor obstáculo en este campo no es construir el programa informático, sino encontrar los datos para enseñarle. Para entrenar un sistema que reconozca una enfermedad específica, los expertos deben dibujar manualmente cuadros alrededor de cada uno de los dientes en miles de imágenes y etiquetar exactamente qué es lo que está mal. Este proceso es lento, costoso y requiere mano de obra humana altamente calificada. Debido a esto, los científicos buscan constantemente formas de hacer que las computadoras sean más inteligentes con menos ayuda humana, con la esperanza de encontrar un método que aprenda eficazmente incluso cuando hay muy pocos ejemplos etiquetados para estudiar.

Un equipo de investigadores se propuso probar un enfoque específico para este problema utilizando una gran colección de radiografías dentales. Querían ver si un tipo moderno de inteligencia artificial, que aprende observando millones de imágenes sin etiquetas por su cuenta, podría superar a los métodos tradicionales más antiguos cuando la cantidad de datos de entrenamiento etiquetados fuera estrictamente limitada. Se centraron en una tarea en la que la computadora tenía que observar un diente específico en una radiografía y decidir si tenía una o más de cuatro condiciones: una caries, una caries profunda, una infección en la raíz o un diente impactado que está atascado. Los investigadores compararon tres formas diferentes de preparar los "ojos" de la computadora antes de que comenzara a aprender de las imágenes dentales. El primer método utilizó un sistema de vanguardia llamado DINOv2, que había sido entrenado con una biblioteca masiva de imágenes generales sin etiquetas humanas. El segundo método utilizó un sistema estándar entrenado con una famosa colección de fotos cotidianas como gatos, autos y árboles, donde los humanos habían etiquetado cada imagen. El tercer método fue un grupo de control, utilizando un sistema que nunca había visto ninguna imagen y que simplemente estaba adivinando al azar.

El estudio comenzó probando estos sistemas con la cantidad total de datos disponibles. Cuando los investigadores dieron acceso a las computadoras a todos los ejemplos etiquetados que pudieron encontrar, los resultados fueron sorprendentemente cercanos. El sistema moderno, que aprendió por sí solo, y el sistema tradicional, etiquetado por humanos, funcionaron de manera casi idéntica, identificando con éxito las condiciones dentales con un nivel de precisión similar. El sistema que nunca había visto ninguna imagen antes funcionó significativamente peor, confirmando que la computadora necesitaba algún conocimiento previo para realizar el trabajo. Este hallazgo inicial sugirió que, para una tarea con abundancia de datos, el método más antiguo y establecido era tan bueno como el nuevo y más complejo.

La verdadera prueba llegó cuando los investigadores simularon un escenario en el que los expertos humanos estaban muy ocupados y solo podían etiquetar un número diminuto de ejemplos. Restringieron los datos de entrenamiento a tan solo cinco ejemplos positivos para cada condición, una situación que ocurre con frecuencia en la investigación médica del mundo real donde la recopilación de datos es difícil. En este entorno restringido, los resultados cambiaron drásticamente. El sistema moderno que aprendió de imágenes sin etiquetas superó consistentemente al sistema tradicional en cada uno de los ensayos. Incluso con solo cinco ejemplos para aprender, el sistema autoenseñado fue capaz de reconocer los problemas dentales mucho mejor que el sistema entrenado con fotos etiquetadas por humanos. Esta ventaja se mantuvo incluso cuando los investigadores aumentaron el número de ejemplos a cien; el sistema autoenseñado siguió siendo el de mejor rendimiento. Para asegurar que esto no se debía simplemente a que el sistema moderno utilizaba un tipo de arquitectura informática diferente, los investigadores también probaron un tercer sistema, más avanzado, que había sido entrenado de la manera tradicional pero que utilizaba la misma arquitectura moderna. Incluso contra este oponente más justo, el sistema autoenseñado continuó ganando, demostrando que su capacidad para aprender de muy pocos ejemplos era una fortaleza genuina.

Los investigadores fueron cuidadosos al explicar lo que sus hallazgos demostraron y lo que no. Mostraron que el sistema autoenseñado era mejor utilizando datos escasos, pero no pudieron afirmar con certeza que esto se debiera a que aprendió sin etiquetas. Los sistemas diferían en muchos aspectos, incluyendo los tipos de imágenes con los que fueron entrenados y las recetas matemáticas específicas utilizadas para construirlos. Por lo tanto, la ventaja probablemente proviene de la combinación de todos estos factores y no de uno solo. Además, aunque el sistema autoenseñado fue más eficiente, el estudio no pretendía afirmar que estuviera listo para su uso inmediato en el consultorio de un dentista. Las diferencias de rendimiento, aunque consistentes, no fueron lo suficientemente grandes como para ser declaradas un avance clínico, y los sistemas no habían sido probados en pacientes de diferentes hospitales o con diferentes máquinas de rayos X. El estudio concluye que, para los investigadores que trabajan con recursos limitados, comenzar con un sistema moderno y autoenseñado es una estrategia poderosa. Ofrece una forma de sacar el máximo provecho de un pequeño número de etiquetas de expertos, proporcionando una base sólida para futuras herramientas que eventualmente podrían ayudar a los dentistas a diagnosticar problemas de manera más precisa y rápida.

Resumen Técnico: DINOv2 frente a Representaciones Visuales Supervisadas para el Diagnóstico Multietiqueta a Nivel de Diente

Planteamiento del Problema
El estudio aborda la escasez y el alto costo de los datos de entrenamiento anotados por expertos en la inteligencia artificial dental, un cuello de botella crítico para el desarrollo de sistemas de diagnóstico asistido por computadora. Si bien el aprendizaje profundo ha avanzado en tareas como la detección de caries y la segmentación de lesiones periapicales, la mayoría de los enfoques optimizan sistemas de extremo a extremo sin evaluar explícitamente qué tan eficientemente las diferentes representaciones visuales preentrenadas utilizan las anotaciones limitadas. Los autores pretenden comparar la eficiencia de muestra de las características autosupervisadas congeladas (DINOv2-small) frente a las características supervisadas congeladas (ResNet50 preentrenada con ImageNet) para el diagnóstico multietiqueta a nivel de diente en radiografías panorámicas. La cuestión central es si las diferencias en la representación persisten cuando el número de ejemplos de entrenamiento etiquetados se restringe deliberadamente.

Metodología
La investigación utilizó el subconjunto totalmente anotado del conjunto de datos público DENTEX, que comprende 705 radiografías panorámicas de tres instituciones. La tarea consistió en clasificar cuatro etiquetas de diagnóstico (Caries, Caries Profunda, Lesión Periapical y Diente Impactado) a nivel de diente individual.

Preparación de Datos: Las regiones de interés (ROI) se construyeron combinando las cajas delimitadoras específicas de cada diagnóstico para cada diente, extendiéndolas un 10% para contexto, y redimensionándolas a 224×224 píxeles con relleno negro.
Diseño Experimental: Una división agrupada por radiografía (65% entrenamiento, 15% validación, 20% prueba) aseguró que ninguna radiografía apareciera en múltiples particiones.
Representaciones Visuales: Se evaluaron cuatro backbones congelados utilizando regresión logística de sonda lineal por etiqueta:
1. DINOv2-small: Un Vision Transformer (ViT) autosupervisado.
2. ResNet50 (preentrenada con ImageNet): Un backbone convolucional supervisado.
3. ResNet50 (inicializada aleatoriamente): Un control negativo sin preentrenamiento.
4. ViT-S/16 (preentrenada con ImageNet): Un segundo ViT supervisado, con arquitectura emparejada, utilizado para el análisis de sensibilidad.
Protocolos de Evaluación:
- Comparación de Datos Completos: Los modelos se entrenaron con el conjunto completo de datos de entrenamiento y se evaluaron en el conjunto de prueba bloqueado. El rendimiento se midió mediante puntuaciones F1 promediadas macro.
- Análisis de Pocos Ejemplos (Few-Shot): Un análisis repetido (50 repeticiones) probó presupuestos de anotación que variaban desde $k=5$ hasta $k=100$ ejemplos positivos por etiqueta, emparejados con ejemplos negativos.
- Rigor Estadístico: La incertidumbre se cuantificó mediante bootstrapping de clústeres de radiografías (2000 remuestreos) y pruebas de permutación de nivel de clúster (5000 permutaciones) para dar cuenta de la no independencia de los dientes dentro de la misma radiografía.

Resultos Clave

Rendimiento con Datos Completos: En el conjunto de prueba de datos completos preespecificado, DINOv2 y ResNet50 preentrenada con ImageNet alcanzaron puntuaciones macro-F1 estadísticamente indistinguibles (0.6243 vs. 0.6181; IC del 95% para la diferencia: -0.057 a 0.068; permutación $p=0.88$ ). Ambos superaron significativamente a la ResNet50 inicializada aleatoriamente (0.4635).
Eficiencia de Pocos Ejemplos (Few-Shot): Bajo presupuestos de anotación restringidos ( $k=5$ a $k=100$ ), DINOv2 superó consistentemente a ImageNet ResNet50 en las 50 repeticiones emparejadas. La diferencia media emparejada en macro-F1 osciló entre +0.0488 (en $k=100$ ) y +0.0732 (en $k=10$ ), con intervalos de bootstrap que excluyen el cero en todos los presupuestos.
Sensibilidad de Arquitectura Emparejada: Al compararse contra un ViT-S/16 supervisado y preentrenado con ImageNet, DINOv2 mantuvo una ventaja constante en todos los presupuestos de pocos ejemplos (diferencias medias emparejadas que oscilaron entre +0.0139 y +0.0331). Esto indica que la ventaja de pocos ejemplos no es simplemente el resultado de comparar un Transformer (DINOv2) contra un CNN (ResNet50).
Rendimiento por Etiqueta: Las etiquetas de alta prevalencia (Caries, Impactado) fueron clasificadas con un F1 alto por todos los modelos preentrenados. Las etiquetas raras, particularmente la Lesión Periapical (33 ejemplos de prueba positivos), mostraron un rendimiento más bajo e inestable, con intervalos de confianza superpuestos entre los modelos DINOv2 e ImageNet.

Significancia y Reivindicaciones
El artículo afirma que, si bien DINOv2-small congelado no ofrece una ventaja estadísticamente robusta sobre ResNet50 preentrenada con ImageNet cuando hay abundantes datos etiquetados disponibles, proporciona la representación congelada más fuerte bajo presupuestos de anotación restringidos. El estudio destaca que la ventaja de pocos ejemplos de DINOv2 persiste incluso frente a un Vision Transformer supervisado de escala similar, lo que sugiere que el beneficio no es meramente un artefacto arquitectónico (CNN vs. Transformer).

Sin embargo, los autores declaran explícitamente que la ventaja observada no puede atribuirse únicamente al preentrenamiento autosupervisado. Las diferencias en los datos de preentrenamiento, los objetivos, los tamaños de parche y las recetas de entrenamiento entre DINOv2 y los comparadores supervisados impiden aislar la autosupervisión como el único factor causal. En su lugar, los hallazgos caracterizan las propiedades de las representaciones preentrenadas completas.

El estudio concluye que DINOv2 es un candidato sólido para la investigación de imágenes dentales con anotación limitada, ofreciendo un punto de partida eficiente en etiquetas cuando los modelos fundacionales específicos del dominio no son factibles. Los autores advierten que estos hallazgos representan la calidad comparativa de la representación bajo condiciones experimentales específicas y aún no constituyen una afirmación de superioridad clínica intrínseca o generalizabilidad a tareas de cribado de extremo a extremo sin validación y calibración externa adicional.

Más como este