Can Multimodal Large Language Models Replace Expert Assessment in Preclinical Endodontic Education? A Cross-Sectional Agreement Study

Resumo Técnico: Modelos de Linguagem de Grande Escala Multimodais na Avaliação Pré-clínica de Endodontia

Definição do Problema
A integração da Inteligência Artificial (IA) no ensino de odontologia oferece potencial para feedback automatizado e avaliação escalável. No entanto, permanece uma lacuna crítica em validar se os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) podem substituir de forma confiável o julgamento humano especialista em avaliações pré-clínicas de alto risco e criticidade para a segurança. Especificamente, não está claro se os atuais MLLMs conseguem avaliar com precisão as habilidades psicomotoras nuances e os julgamentos de segurança exigidos nas preparações de cavidades de acesso endodôntico, onde erros podem levar a danos ao paciente. O estudo aborda a hipótese nula de que não existe diferença significativa entre as avaliações de endodontistas especialistas e as avaliações de modelos de IA nessas procedimentos.

Metodologia

• Desenho do Estudo: Um estudo comparativo de concordância, transversal e de centro único, realizado na Universidade Aydın de Istambul durante o período acadêmico de 2025–2026.
• Participantes e Espécimes: 25 estudantes de graduação do terceiro ano realizaram preparações de cavidades de acesso em dentes impressos em 3D padronizados. Isso resultou em 200 espécimes distribuídos em oito grupos de tipos de dentes (incisivos centrais superiores e inferiores, caninos, pré-molares e molares).
• Aquisição de Dados: Cada espécime foi avaliado utilizando um conjunto de dados de quatro imagens padronizadas: fotografias oclusal, bucal, lingual/palatina e uma radiografia periapical.
• Grupos de Avaliação:
  • Grupo Especialista: Três endodontistas experientes pontuaram todos os espécimes de forma independente, utilizando uma rubrica analítica de cinco critérios cega (escala 0–10). Os critérios foram: (1) forma do contorno, (2) localização e centralização, (3) extensão e conservadorismo, (4) acesso em linha reta e (5) dano iatrogênico e segurança. Uma regra de penalidade limitou as pontuações em 5/10 caso erros críticos (ex: perfuração) fossem detectados.
  • Grupos de IA: Quatro configurações de MLLMs de última geração foram testadas: ChatGPT-5.2 (Modos Padrão e de Raciocínio) e Gemini 3 (Modos Padrão e de Raciocínio). Os modelos foram instruídos a agir como endodontistas especialistas, processar as quatro imagens e gerar pontuações em formato JSON estruturado.
• Análise Estatística: A confiabilidade inter-avaliadores foi aferida por meio de Coeficientes de Correlação Intraclasse (ICC). As diferenças entre os grupos foram analisadas usando ANOVA de uma via com teste post-hoc de Tukey. O tamanho do efeito foi calculado via eta quadrado ($\eta^2$).

Resultos Principais

• Confiabilidade dos Especialistas: Os avaliadores especialistas demonstraram excelente confiabilidade inter-avaliadores em todas as medições (intervalo de ICC: 0,916–0,981), estabelecendo um padrão-ouro robusto.
• Discrepância IA vs. Especialista: A hipótese nula foi rejeitada. Diferenças significativas ($p<0,001$) foram encontradas entre as avaliações de especialistas e de IA na maioria das medições e grupos de dentes.
  • Superestimação Sistemática: Todas as configurações de IA atribuíram consistentemente pontuações mais altas do que os especialistas.
  • Falha no Critério de Segurança: A falha mais crítica foi no critério "Dano Iatrogênico e Segurança". Enquanto os especialistas mostraram alta confiabilidade (ICC: 0,924) e variabilidade refletindo o julgamento clínico, os modelos de IA agruparam-se próximos às pontuações máximas (≈1,87–2,00) com desvios padrão próximos de zero. Os ICCs da IA para este critério variaram de 0,165 a 0,572, indicando concordância de baixa a moderada.
  • Desempenho dos Modelos: O Gemini 3 e o Gemini 3/R apresentaram a maior divergência em relação aos escores dos especialistas (excedendo as médias dos especialistas em até 4,5 pontos em alguns grupos). O ChatGPT-5.2 e o ChatGPT-5.2/R mostraram maior alinhamento, mas ainda careceram de precisão de nível especialista.
  • Modo de Raciocínio: O "Modo de Raciocínio" (cadeia de pensamento/chain-of-thought) não superou consistentemente o "Modo Padrão", sugerindo que o aumento da complexidade computacional não se traduziu em melhor pontuação clínica.
  • Variabilidade do Tipo de Dente: O grupo de Pré-molares Superiores foi a única categoria onde o desempenho da IA se aproximou da concordância do especialista em medições dimensionais específicas (Forma do Contorno, Extensão, Acesso em Linha Reta). Por outro via, morfologias complexas como Caninos Inferiores e Pré-molares Inferiores geraram as maiores divergências de pontuação.
• Consistência Interna: Embora os modelos de IA tenham mostrado uma consistência interna razoável em execuções repetidas (ex: o Gemini 3/R apresentou alta consistência), essa consistência não se correlacionou com a precisão. Um modelo pode ser internamente consistente, mas divergir sistematicamente do julgamento do especialista.

Contribuições Principais

• Validação Empírica de Limitações: O estudo fornece evidências empíricas de que os atuais MLLMs não são adequados como substitutos autônomos para a avaliação especializada em endodontia pré-clínica, particularmente para julgamentos críticos de segurança.
• Identificação de Falha Crítica de Segurança: Destaca uma limitação específica e perigosa onde os modelos de IA falham em discriminar entre preparações seguras e inseguras, assumindo pontuações de segurança elevadas independentemente do dano iatrogênico real.
• Distinção entre Consistência e Precisão: A pesquisa demonstra que a alta consistência interna dentro de um modelo de IA não equivale à precisão ou ao alinhamento com a expertise humana, alertando contra o uso de métricas de consistência como substitutas para a validade.
• Comparação de Modos: Desafia a suposição de que o "Modo de Raciocínio" ou o processamento de cadeia de pensamento melhora inerentemente o desempenho em tarefas clínicas visualmente fundamentadas.

Significância e Alegações
O artigo conclui que, embora os modelos de IA mostrem potencial para avaliar parâmetros dimensionais objetivos (como o contorno em tipos de dentes mais simples), eles atualmente carecem da confiabilidade necessária para a avaliação de competência de alto risco, especialmente no que diz respeito à segurança do paciente. Os autores argumentam que a falha em avaliar com precisão o "Dano Iatrogênico e Segurança" torna essas ferramentas inadequadas para substituir o julgamento especialista na educação pré-clínica.

Os autores propõem um framework híbrido humano-IA como o caminho mais pragmático a seguir. Neste modelo, a IA poderia apoiar a educação fornecendo feedback preliminar imediato sobre métricas quantificáveis de menor risco, enquanto a avaliação humana especialista permanece como o padrão essencial para julgamentos de segurança crítica e raciocínio clínico complexo. O estudo enfatiza que, antes de qualquer ferramenta de IA ser adotada para avaliação de competência clínica, a validação rigorosa, ao nível de critério — especificamente em métricas de segurança — é obrigatória.