Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions

Nel panorama in rapida evoluzione dell'intelligenza artificiale, è emersa una nuova classe di strumenti per affrontare un problema specifico: come far scegliere alle macchine tra opzioni fisse senza scrivere lunghe spiegazioni. Tradizionalmente, i grandi modelli linguistici rispondono alle domande generando testo parola per parola, un processo che è flessibile ma può essere lento e costoso. Un approccio più recente, noto come modellazione decisionale (decision modeling), salta interamente la generazione di testo. Invece, il modello esamina un elenco di possibili risposte fornite dall'utente e assegna un punteggio di probabilità a ciascuna di esse, dicendo essenzialmente: "Sono sicuro al 90 percento che questa sia la scelta giusta, e al 10 percento che sia quest'altra". Questo metodo è più veloce ed economico, ma solleva una domanda critica per settori ad alto rischio come la medicina: queste macchine possono sapere quando sbagliano? Se un modello è sicuro di sé ma errato, potrebbe portare a errori pericolosi. La sfida è trovare un modo affinché il sistema riconosca la propria incertezza e passi i casi difficili a un esperto umano o a un computer più potente prima che si verifichi un errore.

I ricercatori dell'Inje University College of Medicine si sono posti l'obiettivo di testare se questi modelli decisionali potessero identificare in modo affidabile i propri errori negli esami di abilitazione medica. Si sono concentrati su tre diversi modelli di diverse aziende, testandoli su centinaia di domande provenienti dagli esami medici coreani e statunitensi. L'obiettivo non era solo vedere quanti quesiti le macchine rispondessero correttamente, ma vedere se i punteggi di probabilità generati potessero fungere da sistema di allerta. I ricercatori si sono chiesti: se un modello dichiara di essere solo leggermente sicuro di una risposta, significa davvero che la risposta è probabilmente sbagliata? E se al sistema viene ordinato di mettere da parte le sue ipotesi meno sicure e inviarle a un modello più forte e costoso per un secondo sguardo, questo migliora l'accuratezza complessiva senza costare una fortuna?

Per trovare le risposte, il team ha eseguito una serie di simulazioni informatiche utilizzando domande d'esame reali. Hanno fornito migliaia di domande mediche a tre diversi modelli decisionali: Jev, OpenAI Decisions e Clef. A ciascun modello è stato chiesto di scegliere la risposta corretta da un elenco di opzioni e di fornire un punteggio di confidenza per la sua scelta. I ricercatori hanno poi confrontato questi punteggi con le chiavi di risposta ufficiali per vedere se la bassa confidenza fosse davvero correlata agli errori. Hanno scoperto che i modelli erano effettivamente molto bravi in questa auto-valutazione. Quando i modelli erano incerti, spesso sbagliavano. Nello specifico, i modelli hanno identificato correttamente la risposta giusta per circa l'83-92 percento delle domande coreane e l'85-88 percento di quelle inglesi. Ancora più importante, i punteggi di probabilità hanno segnalato con successo gli errori. Nei test in coreano, i punteggi di incertezza dei modelli sono stati in grado di distinguere le risposte errate da quelle corrette con un alto grado di affidabilità, e lo stesso è accaduto per i test in inglese.

Lo studio si è poi spostato su un'applicazione pratica: un sistema di referral (invio). I ricercatori hanno simulato uno scenario in cui il 20 percento delle risposte meno sicure di ogni modello veniva automaticamente inviato a un modello molto più potente e costoso, GPT-6.1 Sol, per una decisione finale. I risultati hanno mostrato che questa semplice strategia funzionava sorprendentemente bene. Inviando solo un quinto delle risposte, il sistema ha colto tra il 56 e il 91 percento degli errori commessi dai modelli iniziali. Questo processo ha aumentato l'accuratezza complessiva del sistema di 6 o 9 punti percentuali. Il costo di questo miglioramento è stato una frazione di quanto sarebbe costato eseguire il modello potente su ogni singola domanda. L'approccio di referral ha raggiunto quasi la metà o quasi tutti i guadagni di accuratezza che sarebbero disponibili se un "oracolo" perfetto sapesse esattamente quali risposte sono errate in anticipo, il tutto spendendo solo circa un quarto o un terzo del costo dell'uso esclusivo del modello potente.

Tuttavia, i ricercatori hanno anche scoperto importanti limitazioni che suggeriscono che questi strumenti non siano ancora pronti per l'uso clinico primario. Sebbene i modelli fossero bravi a individuare la propria incertezza, non erano perfetti. Alcuni errori sono stati commessi con alta confidenza, il che significa che la macchina era sicura della risposta errata. Questi errori sicuri erano spesso stabili, ovvero non cambiavano anche quando l'ordine delle opzioni di risposta veniva rimescolato, e talvolta corrispondevano alle risposte errate date da altri modelli avanzati. Ciò suggerisce che quando questi modelli sono sicuri di sé ma errati, sono spesso errati per le stesse ragioni profonde, come la mancanza di informazioni nella domanda o il ricorso a regolamenti obsoleti. Negli esami coreani, ad esempio, molti errori riguardavano leggi locali specifiche e norme amministrative con cui i modelli faticavano, anche quando esprimevano bassa confidenza. Negli esami inglesi, alcune delle domande erano esse stesse oggetto di disputa tra i medici umani, rendendo difficile per qualsiasi macchina determinare la risposta "corretta" basandosi sulle chiavi storiche.

Lo studio ha anche esaminato quanto questi sistemi siano sensibili al modo in cui le domande vengono presentate. Quando i ricercatori hanno ruotato l'ordine delle opzioni di risposta, le decisioni dei modelli sono cambiate in circa il 7-16 percento dei casi. Ciò significa che un modello potrebbe inviare una domanda per un secondo sguardo semplicemente perché le opzioni erano elencate in un ordine diverso, anche se il contenuto medico rimaneva lo stesso. Sebbene l'accuratezza complessiva del sistema sia rimasta stabile nonostante questi piccoli cambiamenti, le singole decisioni non erano del tutto coerenti. I ricercatori hanno osservato che questa instabilità, unita all'esistenza di errori sicuri, significa che questi modelli non possono ancora essere affidati a lavorare da soli. Funzionano meglio come un primo lettore che gestisce i casi facili e segnala quelli difficili a un medico umano.

In definitiva, la ricerca dimostra che i modelli decisionali offrono una via di mezzo promettente tra velocità e accuratezza. Possono elaborare domande mediche rapidamente ed economicamente, e i loro punteggi di confidenza interni forniscono un meccanismo utile per filtrare gli errori più probabili. Inviando il 20 percento delle risposte incerte a un sistema più forte, è possibile recuperare la maggior parte dell'accuratezza di un modello di alto livello a un costo molto inferiore. Tuttavia, il percorso verso l'uso clinico richiede molto più di queste semplici simulazioni. La presenza di errori sicuri e la sensibilità alla formattazione delle domande indicano che questi strumenti necessitano di una validazione attenta in contesti reali. Prima di poter essere utilizzati per guidare l'assistenza ai pazienti, devono essere testati in veri flussi di lavoro clinici, dove i medici umani possano revisionare i casi inviati e sottoporre a controllo le risposte sicure che potrebbero comunque essere errate. La tecnologia mostra un grande potenziale, ma rimane uno strumento che necessita di una mano umana per essere guidato.