External Validation and Interpretability Analysis of a Deep Learning Model for Forensic Age Estimation Across Brazilian and Romanian Populations

Resumo Técnico: Validação Externa e Análise de Interpretabilidade de um Modelo de Aprendizado Profundo para Estimativa de Idade Forense

Problema
A estimativa de idade forense é um componente crítico da identificação humana em contextos legais e humanitários. Embora a radiografia dentária, especificamente a radiografia ortopanorâmica (OPG), ofereça mudanças previsíveis relacionadas à idade, os métodos morfológicos e morfométricos tradicionais são demorados, dependentes do operador e propensos à variabilidade. Embora modelos recentes de Redes Neurais Convolucionais (CNN) tenham demonstrado alta precisão em testes internos, existe uma lacuna significativa de confiabilidade. A maioria dos modelos existentes é desenvolvida e validada em conjuntos de dados específicos de populações, sem validação externa rigorosa em coortes independentes adquiridas via diferentes protocolos clínicos e sistemas de hardware. Além disso, a literatura frequentemente negligencia o "aprendizado de atalhos" (shortcut learning), onde os modelos exploram características não anatômicas e específicas do equipamento (ex: bordas de imagem, marcadores de orientação) para alcançar alto desempenho interno, levando a uma baixa generalização quando aplicados a diversas populações. Este estudo aborda a necessidade de avaliar a generalizabilidade e a consistência biológica de modelos de IA forense entre diferentes demografias e ambientes de imagem.

Metodologia
O estudo avaliou a generalizabilidade de três arquiteturas de CNN — VGG-16, InceptionV4 e ResNet-18 — treinadas em um conjunto de dados brasileiro de larga escala e testadas em uma coorte romena independente.

• Conjuntos de Dados:
  • Treinamento/Interno: 10.036 OPGs de uma população brasileira (Universidade Federal de Pernambuco), com idades de 2,3 a 96,5 anos. O conjunto de dados foi dividido em conjuntos de treinamento (n=8.028), validação (n=1.004) e teste interno (n=1.004).
  • Validação Externa: 150 OPGs independentes coletadas de três departamentos clínicos em Cluj-Napoca, Romênia, utilizando máquinas Vatech PCH-2500 e Planmeca Promax.
• Pré-processamento e Treinamento: As imagens foram redimensionadas para 224 × 224 pixels e normalizadas usando estatísticas do ImageNet. Aumentação de dados (espelhamento horizontal) foi aplicada apenas ao conjunto de treinamento. Os modelos foram inicializados com pesos pré-treinados do ImageNet e treinados por 20 épocas usando o otimizador Adam (taxa de aprendizado 0,001) e perda de Erro Quadrático Médio (MSE). A métrica de avaliação primária foi o Erro Médio Absoluto (MAE).
• Análise de Interpretabilidade e Robustez:
  • Grad-CAM: Aplicado ao melhor modelo de desempenho em 20 radiografias de validação externa para visualizar a ativação de características através das camadas convolucionais, examinando especificamente a atenção a estruturas anatômicas versus artefatos não anatômicos.
  • Análise de Espaço Latente: Vetores de características de 512 dimensões foram extraídos e projetados usando Análise de Componentes Principais (PCA), Mapas de Difusão e PHATE para analisar a representação interna da progressão da idade.
  • Análise de Desvio de Conjunto de Dados (Dataset Shift): As intensidades médias de pixels por canal normalizadas e os desvios padrão foram comparados entre os conjuntos de dados brasileiro e romeno para quantificar os desvios de domínio.

Resultos Principais

• Desempenho do Modelo: A ResNet-18 emergiu como a arquitetura superior. Ela alcançou um MAE de teste interno de 3,61 anos. No entanto, durante a validação externa na coorte romena, o MAE aumentou para 5,80 anos. InceptionV4 e VGG-16 apresentaram desempenho menos eficaz, com MAEs de validação externa de 6,42 e 6,36 anos, respectivamente. Todos os modelos exibiram um declínio significativo de desempenho quando aplicados à coorte externa.
• Achados do Grad-CAM: As camadas convolucionais iniciais priorizaram corretamente marcos anatômicos relevantes (folículos dentários, espessura mandibular, raízes dentárias). No entanto, as camadas de decisão mais profundas frequentemente ativaram regiões não anatômicas, incluindo marcadores de orientação radiográfica ("R") e bordas de imagem. Esse padrão foi consistente entre pacientes adolescentes, adultos e idosos, indicando uma suscetibilidade ao aprendizado de atalhos.
• Análise de Espaço Latente: Técnicas de redução de dimensionalidade (PCA, PHATE, Mapas de Difusão) revelaram que as representações de características aprendidas seguiam uma trajetória cronológica clara e contínua. O PCA mostrou que o primeiro componente principal explicava 95,17% da variância, alinhando-se com a progressão da idade. Isso sugere que o modelo capturou com sucesso padrões de envelhecimento biológico, apesar da queda de desempenho na validação externa.
• Desvio de Domínio: A análise confirmou um desvio significativo nas distribuições de intensidade de imagem entre o treinamento e os conjuntos de dados externos (ex: os valores médios dos canais mudaram de [-0,264, -0,141, 0,082] para [-0,037, 0,092, 0,314]), atribuído a diferenças em hardware de scanner, parâmetros de exposição e algoritmos de processamento de imagem.

Principais Contribuições

1. Validação Externa Rigorosa: O estudo fornece uma avaliação crítica da generalizabilidade da IA forense ao testar um modelo treinado em uma população brasileira contra uma coorte romena independente com hardware de imagem diferente. Demonstra que o alto desempenho interno não garante confiabilidade externa.
2. Interpretabilidade via Análise Dupla: Ao combinar Grad-CAM com análise de espaço de características latentes, o estudo desmembra o comportamento do modelo. Confirma que, embora o modelo aprenda trajetórias de envelhecimento biológico (espaço latente), ele simultaneamente depende de atalhos não anatômicos (Grad-CAM) que comprometem a robustez em diferentes ambientes de imagem.
3. Benchmarking de Arquiteturas: A comparação entre VGG-16, InceptionV4 e ResNet-18 identifica a ResNet-18 como a arquitetura mais estável e precisa para esta tarefa específica, oferecendo uma base para o desenvolvimento futuro de IA forense.

Significância e Alegações
O artigo postula que a validação externa é uma métrica fundamental de controle de qualidade para a IA forense, essencial para avaliar a confiabilidade, transparência e admissibilidade judicial. O estudo destaca que os modelos de IA para estimativa de idade forense são altamente vulneráveis a mudanças populacionais e mudanças de distribuição impulsionadas pelo hardware. Embora os modelos consigam mapear padrões de envelhecimento biológico, a presença de aprendizado de atalhos (dependência de características não anatômicas) limita sua aplicabilidade forense em ambientes heterogêneos. Os autores concluem que, sem validação externa independente e análise de interpretabilidade, a confiabilidade médica e a generalizabilidade das previsões da IA forense permanecem questionáveis. Os achados enfatizam a necessidade de protocolos de validação rigorosos antes de implantar tais sistemas na prática forense ou clínica real.