External Validation and Interpretability Analysis of a Deep Learning Model for Forensic Age Estimation Across Brazilian and Romanian Populations

Resumen Técnico: Validación Externa y Análisis de Interpretabilidad de un Modelo de Aprendizaje Profundo para la Estimación de la Edad Forense

Planteamiento del Problema
La estimación de la edad forense es un componente crítico de la identificación humana en contextos legales y humanitarios. Si bien la radiografía dental, específicamente las radiografías ortopantomográficas (OPG), ofrece cambios predecibles relacionados con la edad, los métodos morfológicos y morfométricos tradicionales son laboriosos, dependen del operador y son propensos a la variabilidad. Aunque los modelos recientes de Redes Neuronales Convolucionales (CNN) han demostrado una alta precisión en pruebas internas, existe una brecha de fiabilidad significativa. La mayoría de los modelos existentes se desarrollan y validan en conjuntos de datos específicos de una población sin una validación externa rigurosa en cohortes independientes adquiridas mediante diferentes protocolos clínicos y sistemas de hardware. Además, la literatura suele pasar por alto el "aprendizaje de atajos" (shortcut learning), donde los modelos explotan características no anatómicas y específicas del equipo (por ejemplo, bordes de imagen, marcadores de orientación) para lograr un alto rendimiento interno, lo que conduce a una baja generalizabilidad cuando se aplican a diversas poblaciones. Este estudio aborda la necesidad de evaluar la generalizabilidad y la consistencia biológica de los modelos de IA forense a través de distintos grupos demográficos y entornos de imagen.

Metodología
El estudio evaluó la generalizabilidad de tres arquitecturas de CNN —VGG-16, InceptionV4 y ResNet-18— entrenadas en un conjunto de datos brasileño a gran escala y probadas en una cohorte independiente rumana.

• Conjuntos de Datos:
  • Entrenamiento/Interno: 10,036 OPGs de una población brasileña (Universidad Federal de Pernambuco), con edades de 2.3 a 96.5 años. El conjunto de datos se dividió en entrenamiento (n=8,028), validación (n=1,004) y prueba interna (n=1,004).
  • Validación Externa: 150 OPGs independientes recolectadas en tres departamentos clínicos en Cluj-Napoca, Rumania, utilizando máquinas Vatech PCH-2500 y Planmeca Promax.
• Preprocesamiento y Entrenamiento: Las imágenes se redimensionaron a 224 × 224 píxeles y se normalizaron utilizando estadísticas de ImageNet. Se aplicó aumentación de datos (volteo horizontal) únicamente al conjunto de entrenamiento. Los modelos se inicializaron con pesos preentrenados de ImageNet y se entrenaron durante 20 épocas utilizando el optimizador Adam (tasa de aprendizaje 0.001) y la pérdida de Error Cuadrático Medio (MSE). La métrica de evaluación principal fue el Error Absoluto Medio (MAE).
• Análisis de Interpretabilidad y Robustez:
  • Grad-CAM: Aplicado al mejor modelo con rendimiento en 20 radiografías de validación externa para visualizar la activación de características a través de las capas convolucionales, examinando específicamente la atención hacia estructuras anatómicas frente a artefactos no anatómicos.
  • Análisis del Espacio Latente: Se extrajeron vectores de características de 512 dimensiones y se proyectaron utilizando PCA, Mapas de Difusión y PHATE para analizar la representación interna del progreso de la edad por parte del modelo.
  • Análisis de Desplazamiento de Datos (Dataset Shift): Se compararon las intensidades medias de píxeles por canal normalizadas y las desviaciones estándar entre los conjuntos de datos de Brasil y Rumania para cuantificar los desplazamientos de dominio.

Resultos Clave

• Rendimiento del Modelo: ResNet-18 emergió como la arquitectura superior. Logró un MAE de prueba interna de 3.61 años. Sin embargo, durante la validación externa en el conjunto de datos rumano, el MAE aumentó a 5.80 años. InceptionV4 y VGG-16 funcionaron de manera menos efectiva, con MAEs de validación externa de 6.42 y 6.36 años, respectivamente. Todos los modelos exhibieron una disminución significativa del rendimiento al aplicarse a la cohorte externa.
• Hallazgos de Grad-CAM: Las capas convolucionales tempranas priorizaron correctamente los hitos anatómicos relevantes (folículos dentales, grosor mandibular, raíces dentales). Sin embargo, las capas de decisión más profundas activaron frecuentemente regiones no anatómicas, incluyendo marcadores de orientación radiográfica ("R") y bordes de imagen. Este patrón fue consistente en pacientes adolescentes, adultos y ancianos, lo que indica una susceptibilidad al aprendizaje de atajos.
• Análisis del Espacio Latente: Las técnicas de reducción de dimensionalidad (PCA, PHancia, Mapas de Difusión) revelaron que las representaciones de características aprendidas seguían una trayectoria cronológica clara y continua. El PCA mostró que el primer componente principal explicaba el 95.17% de la varianza, alineándose con la progresión de la edad. Esto sugiere que el modelo capturó con éxito patrones de envejecimiento biológico a pesar de la caída en el rendimiento durante la validación externa.
• Desplazamiento de Dominio: El análisis confirmó un desplazamiento significativo en las distribuciones de intensidad de imagen entre los conjuntos de datos de entrenamiento y externos (por ejemplo, los valores medios de los canales cambiaron de [-0.264, -0.141, 0.082] a [-0.037, 0.092, 0.314]), atribuido a diferencias en el hardware de escaneo, parámetros de exposición y algoritmos de procesamiento de imagen.

Contribuciones Clave

1. Validación Externa Rigurosa: El estudio proporciona una evaluación crítica de la generalizabilidad de la IA forense al probar un modelo entrenado en una población brasileña contra una cohorte rumana independiente con diferente hardware de imagen. Demuestra que un alto rendimiento interno no garantiza la fiabilidad externa.
2. Interpretabilidad mediante Análisis Dual: Al combinar Grad-CAM con el análisis del espacio de características latentes, el estudio desentraña el comportamiento del modelo. Confirma que, si bien el modelo aprende trayectorias de envejecimiento biológico (espacio latente), simultáneamente depende de atajos no anatómicos (Grad-CAM) que comprometen la robustez en diferentes entornos de imagen.
3. Benchmarking de Arquitecturas: La comparación de VGG-16, InceptionV4 y ResNet-18 identifica a ResNet-18 como la arquitectura más estable y precisa para esta tarea específica, ofreciendo una base para el desarrollo futuro de la IA forense.

Significancia y Reivindicaciones
El artículo postula que la validación externa es una métrica de control de calidad fundamental para la IA forense, esencial para evaluar la fiabilidad, la transparencia y la admisibilidad judicial. El estudio destaca que los modelos de IA para la estimación de la edad forense son altamente vulnerables a los cambios de población y a los cambios de distribución impulsados por el hardware. Si bien los modelos pueden mapear con éxito los patrones de envejecimiento biológico, la presencia de aprendizaje de atajos (dependencia de características no anatómicas) limita su aplicabilidad forense en entornos heterogéneos. Los autores concluyen que, sin una validación externa independiente y un análisis de interpretabilidad, la fiabilidad médica y la generalizabilidad de las predicciones de la IA forense siguen siendo cuestionables. Los hallazgos subrayan la necesidad de protocolos de validación rigurosos antes de desplegar tales sistemas en la práctica forense o clínica real.