Can Multimodal Large Language Models Replace Expert Assessment in Preclinical Endodontic Education? A Cross-Sectional Agreement Study

Sintesi Tecnica: Modelli Linguistici di Grandi Dimensioni Multimodali nella Valutazione Preclinica Endodontica

Definizione del Problema
L'integrazione dell'Intelligenza Artificiale (IA) nell'educazione odontoiatrica offre il potenziale per un feedback automatizzato e una valutazione scalabile. Tuttavia, rimane una lacuna critica nel validare se i Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM) possano sostituire in modo affidabile il giudizio esperto umano nelle valutazioni precliniche ad alto rischio e critiche per la sicurezza. Nello specifico, non è chiaro se gli attuali MLLM possano valutare con precisione le sottili abilità psicomotorie e i giudizi di sicurezza richiesti nelle preparazioni della cavità di accesso endodontica, dove gli errori possono causare danni al paziente. Lo studio affronta l'ipotesi nulla secondo cui non esiste una differenza significativa tra le valutazioni degli endodontisti esperti e quelle dei modelli di IA di queste procedure.

Metodologia

• Disegno dello Studio: Uno studio comparativo di concordanza trasversale, a centro singolo, condotto presso l'Università Aydın di Istanbul durante l'anno accademico 2025–2026.
• Partecipanti e Campioni: 25 studenti di terzo anno di odontoiatria hanno eseguito preparazioni di cavità di accesso su denti stampati in 3D standardizzati. Ciò ha prodotto 200 campioni suddivisi in otto gruppi di tipi dentari (incisivi centrali superiori e inferiori, canini, premolari e molari).
• Acquisizione dei Dati: Ogni campione è stato valutato utilizzando un set di quattro immagini standardizzate: fotografie occlusale, buccale, linguale/palatale e una radiografia periapicale.
• Gruppi di Valutazione:
  • Gruppo Esperto: Tre endodontisti esperti hanno valutato indipendentamente tutti i campioni utilizzando una rubrica analitica a cinque criteri (scala 0–10) in cieco. I criteri erano: (1) forma del contorno, (2) posizione e centratura, (3) estensione e conservatività, (4) accesso in linea retta e (5) danno iatrogeno e sicurezza. Una regola di penalità limitava il punteggio a 5/10 se venivano rilevati errori critici (es. perforazione).
  • Gruppi IA: Sono state testate quattro configurazioni di MLLM all'avanguardia: ChatGPT-5.2 (Modalità Standard e di Ragionamento) e Gemini 3 (Modalità Standard e di Ragionamento). I modelli sono stati istruiti per agire come endodontisti esperti, elaborare le quattro immagini e produrre punteggi in formato JSON strutturato.
• Analisi Statistica: L'affidabilità inter-valutatore è stata valutata tramite Coefficienti di Correlazione Intraclasse (ICC). Le differenze tra i gruppi sono state analizzate tramite ANOVA a una via con test post-hoc di Tukey. Sono stati calcolati gli effetti di dimensione tramite eta quadrato ($\eta^2$).

Risultati Chiave

• Affidabilità degli Esperti: I valutatori esperti hanno dimostrato un'eccellente affidabilità inter-valutatore in tutte le misurazioni (intervallo ICC: 0,916–0,981), stabilendo uno standard di riferimento robusto.
• Discrepanza tra IA ed Esperti: L'ipotesi nulla è stata rifiutata. Sono state riscontrate differenze significative ($p<0,001$) tra le valutazioni degli esperti e quelle dell'IA in quasi tutte le misurazioni e i gruppi dentari.
  • Sovravotazione Sistematica: Tutte le configurazioni di IA hanno assegnato costantemente punteggi più alti rispetto agli esperti.
  • Fallimento del Criterio di Sicurezza: Il fallimento più critico è stato nel criterio "Danno Iatrogeno e Sicurezza". Mentre gli esperti hanno mostrato un'alta affidabilità (ICC: 0,924) e una variabilità che riflette il giudizio clinico, i modelli di IA si sono raggruppati vicino ai punteggi massimi (≈1,87–2,00) con deviazioni standard quasi nulle. Gli ICC dell'IA per questo criterio variavano da 0,165 a 0,572, indicando una concordanza da scarsa a moderata.
  • Prestazioni del Modello: Gemini 3 e Gemini 3/R hanno mostrato la maggiore divergenza dai punteggi degli esperti (superando le medie degli esperti fino a 4,5 punti in alcuni gruppi). ChatGPT-5.2 e ChatGPT-5.2/R hanno mostrato un maggiore allineamento, ma mancavano comunque della precisione del livello esperto.
  • Modalità di Ragionamento: La "Modalità di Ragionamento" (chain-of-thought) non ha superato costantemente la "Modalità Standard", suggerendo che l'aumento della complessità computazionale non si è tradotto in una migliore valutazione clinica.
  • Variabilità del Tipo Dentario: Il gruppo dei Premolari Superiori è stata l'unica categoria in cui le prestazioni dell'IA si sono avvicinate alla concordanza con l'esperto su specifiche misurazioni dimensionali (Forma del Contorno, Estensione, Accesso in Linea Retta). Al contrario, le morfologie complesse come i Canini Inferiori e i Premolari Inferiori hanno prodotto le maggiori divergenze nei punteggi.
• Consistenza Interna: Sebbene i modelli di IA abbiano mostrato una ragionevole consistenza interna tra le esecuzioni ripetute (ad esempio, Gemini 3/R aveva un'alta consistenza), questa consistenza non era correlata all'accuratezza. Un modello poteva essere internamente coerente ma divergere sistematicamente dal giudizio dell'esperto.

Contributi Chiave

• Validazione Empirica dei Limiti: Lo studio fornisce prove empiriche che gli attuali MLLM non sono adatti come sostituti autonomi della valutazione esperta nella endodonzia preclinica, in particolare per i giudizi critici per la sicurezza.
• Identificazione del Fallimento Critico per la Sicurezza: Evidenzia un limite specifico e pericoloso in cui i modelli di IA non riescono a discriminare tra preparazioni sicure e non sicure, predefinisendo punteggi di sicurezza elevati indipendentemente dal reale danno iatrogeno.
• Distinzione tra Consistenza e Accuratezza: La ricerca dimostra che un'alta consistenza interna in un modello di IA non equivale ad accuratezza o allineamento con l'esperienza umana, mettendo in guardia contro l'uso di metriche di consistenza come proxy di validità nella formazione clinica.
• Confronto tra Modalità: Mette in discussione l'assunto che la "Modalità di Ragionamento" o l'elaborazione chain-of-thought migliorino intrinsecamente le prestazioni in compiti clinici basati sul supporto visivo.

Significato e Rivendicazioni
Il documento conclude che, sebbene i modelli di IA mostrino potenziale nella valutazione di parametri dimensionali oggettivi (come la forma del contorno in tipi dentari più semplici), essi mancano attualmente dell'affidabilità necessaria per la valutazione delle competenze ad alto rischio, specialmente per quanto riguarda la sicurezza del paziente. Gli autori sostengono che l'incapacità di valutare accuratamente il "Danno Iatrogeno e la Sicurezza" renda questi strumenti inadatti a sostituire il giudizio esperto nella formazione preclinica.

Gli autori propongono un quadro ibrido uomo-IA come la via più pragmatica da seguire. In questo modello, l'IA potrebbe supportare l'educazione fornendo un feedback preliminare immediato su metriche quantificabili a basso rischio, mentre la valutazione umana esperta rimane lo standard essenziale per i giudizi critici per la sicurezza e il ragionamento clinico complesso. Lo studio sottolinea che prima che qualsiasi strumento di IA venga adottato per la valutazione delle competenze cliniche, è obbligatoria una rigorosa validazione a livello di criterio — specificamente sulle metriche di sicurezza.