Calibrating trust in AI-assisted pituitary surgery

Sintesi Tecnica: Calibrare la Fiducia nell'IA assistita nella Chirurgia Pituitaria

Problematica
La chirurgia endoscopica endonasale transfenoidale (EETS) per i tumori della ghiandola pituitaria presenta sfide significative a causa della natura critica dell'anatomia neurovascolare circostante. Sebbene i Sistemi di Supporto alle Decisioni Cliniche basati sull'Intelligenza Artificiale (AI-CDSS) siano emersi per assistere l'orientamento anatomico in tempo reale, il loro dispiegamento sicuro è ostacolato da dinamiche di fiducia del clinico poco chiare. La fiducia non è statica; evolve da forme disposizionali a forme situazionali e apprese. In ambienti chirurgici ad alto rischio, livelli di fiducia inappropriati — sia troppo bassi (che portano al disorientamento) che troppo alti (che portano a errori critici per la missione) — possono compromettere la sicurezza del paziente. La ricerca precedente suggerisce che le caratteristiche di progettazione dell'interfaccia, come le metriche di confidenza e le spiegazioni, possano influenzare la calibrazione della fiducia, ma il loro impatto specifico sulla relazione dinamica tra la fiducia umana e le prestazioni dell'IA in contesti chirurgici rimane ignoto.

Metodologia
Questo studio è stato un trial randomizzato pre-clinico, di stadio IDEAL 0, condotto online, aderendo alle linee guida DECIDE-AI. Ha coinvolto 70 clinici con esperienza nella chirurgia pituitaria (neurochirurghi e studenti di medicina), che sono stati randomizzati 1:1 in due gruppi:

• AI-CDSS di Base: Forniva un overlay generato dall'IA che delineava la sella turcica su clip video operative.
• AI-CDSS Avanzato: Forniva lo stesso overlay ma integrato con spiegazioni della struttura del modello, pubblicazioni precedenti e label di confidenza (codificate per colore: verde per affidabilità >70%, ambra per <70%) che descrivevano l'affidabilità del profilo specifico.

Disegno Sperimentale:

• Stimoli: I partecipanti hanno annotato la sella su sei clip video di 5 secondi derivate da reali operazioni EETS. Le clip sono state ordinate per simulare il declino delle prestazioni dell'IA (coefficienti DICE da 0,95 scendendo fino a 0,68), con l'ultima clip che mostrava un recupero intermedio.
• Procedura: I partecipanti hanno prima annotato le clip senza assistenza dell'IA, poi hanno ripetuto il compito con l'AI-CDSS. Potevano attivare o disattivare l'overlay dell'IA.
• Metriche:
  • Fiducia: Misurata utilizzando la scala Shortened Trust in Automation Scale (STIAS) su una scala Likert da 1 a 7 dopo ogni annotazione.
  • Prestazioni: Calcolate come coefficiente di sovrapposizione DICE tra l'annotazione del partecipante e il ground truth del consenso degli esperti.
• Analisi: I confronti tra i gruppi hanno utilizzato test di Mann-Whitney U e analisi di permutazione. Modelli lineari a effetti misti sono stati utilizzati per l'analisi di robustezza.

Risultati Chiave

• Calibrazione della Fiducia: Quando le prestazioni dell'IA erano elevate (Clip 1), i livelli di fiducia erano statisticamente identici tra i gruppi Basic e Enhanced (mediana 5,00). Tuttavia, man mano che le prestazioni dell'IA degradavano, il gruppo Enhanced ha dimostrato punteggi di fiducia significativamente più bassi rispetto al gruppo Basic. Nello specifico, nel punto di peggiori prestazioni dell'IA (Clip 5), la mediana della fiducia del gruppo Enhanced era 3,00 rispetto al 3,67 del gruppo Basic ($p=.035$). Questa tendenza è persistita nella clip finale ($p=.019$), indicando che l'interfaccia Enhanced ha calibrato con successo la fiducia verso il basso quando l'IA non era affidabile.
• Impatto sulle Prestazioni: L'uso dell'AI-CDSS ha generalmente migliorato le prestazioni dei partecipanti (la mediana del DICE è passata da 0,83 a 0,85) rispetto all'annotazione non assistita. Tuttavia, non vi è stata alcuna differenza significativa nelle prestazioni tra i gruppi Basic ed Enhanced attraverso le clip.
• Risultati per Sottogruppi e Variabilità:
  • Clinici Senior: Nello scenario con le migliori prestazioni dell'IA (Clip 1), i clinici senior nel gruppo Enhanced hanno mostrato una tendenza verso prestazioni più elevate (mediana 0,95) rispetto al gruppo Basic (mediana 0,90), sebbene ciò non abbia raggiunto la significatività statistica ($p=.066$).
  • Consistenza: Quando l'IA era imprecisa (Clip 5), il gruppo Enhanced ha mostrato una dispersione significativamente minore nelle prestazioni (IQR 0,07 vs. 0,21, $p=.004$), suggerendo che l'interfaccia promuoveva annotazioni più coerenti, sebbene non necessariamente più accurate, durante le modalità di fallimento.

Contributi Chiave

1. Design dell'Interfaccia e Dinamiche di Fiducia: Lo studio fornisce prove empiriche del fatto che le caratteristiche modificabili dell'interfaccia (spiegazioni e label di confidenza) possono calibrare efficacementamente la fiducia nell'IA chirurgica. Nello specifico, queste caratteristiche aiutano gli utenti a riconoscere e reagire ai fallimenti dell'IA in modo più appropriato rispetto a un'interfaccia "black box".
2. Meccanismi di Sicurezza: I risultati suggeriscono che le interfacce avanzate possono fungere da controlli di sicurezza riducendo l'eccessiva dipendenza dall'IA durante i periodi di bassa accuratezza, prevenendo così il "bias di automazione" spesso osservato nei contesti clinici.
3. Coinvolgimento degli Esperti: I dati suggeriscono che le informazioni dettagliate dell'interfaccia possono incoraggiare i clinici senior a impegnarsi più profondamente con gli output accurati dell'IA, potenzialmente sfruttando la propria esperienza per "selezionare con cura" i suggerimenti dell'IA affidabili.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro è il primo a valutare l'impatto del design dell'interfaccia sulla fiducia all'interno di un contesto reale di AI-CDSS chirurgico. Lo studio conclude che, sebbene il design dell'interfaccia non alteri necessariamente l'accuratezza complessiva del compito in una simulazione a breve termine, esso migliora significativamente la calibrazione della fiducia. Garantendo che i livelli di fiducia siano allineati con le effettive prestazioni dell'IA, queste caratteristiche di design possono incrementare le prestazioni per i clinici senior quando l'IA è accurata e garantire una maggiore consistenza quando l'IA è imprecisa. Gli autori sostengono che queste caratteristiche siano critiche per la futura traduzione sicura degli AI-CDSS in sala operatoria, agendo come necessari controlli di sicurezza per mitigare i rischi di errori del team uomo-IA in neurochirurgia ad alto rischio.