Evaluating the Effectiveness of an Information System-Assisted Competency Assessment for Residents: A Single-Center Study in China
Questo studio monocentrico in Cina dimostra che un sistema di valutazione delle competenze assistito da sistemi informativi è fattibile per la formazione specialistica su larga scala, ma rivela una significativa indulgenza dei docenti e un'inflazione dell'autovalutazione dei residenti, sottolineando la critica necessità di una calibrazione dei valutatori per garantire l'accuratezza della valutazione.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della formazione medica, l'obiettivo è stato a lungo quello di garantire che ogni medico che si diploma da un programma di specializzazione non sia solo colto, ma davvero competente. Per decenni, questa formazione si è basata pesantemente su quanto tempo uno studente avesse trascorso in ospedale e se avesse superato gli esami scritti. Tuttavia, l'approccio moderno, noto come educazione medica basata sulle competenze, sposta l'attenzione su ciò che un medico è effettivamente in grado di fare. Esso suddivide il complesso lavoro dell'essere un medico in abilità specifiche, come la gestione delle cure di un paziente, la comunicazione con una famiglia o l'insegnamento a un collega junior. La sfida per gli ospedali è come misurare queste abilità in modo equo e accurato tra centinaia di tirocinanti. Se le persone che valutano i specializzandi sono troppo indulgenti, o se i specializzandi pensano di essere migliori di quanto siano in realtà, il sistema fallisce nell'identificare chi ha bisogno di maggiore aiuto. Senza un quadro chiaro delle reali capacità di uno specializzando, un ospedale non può garantire che i suoi medici siano pronti a curare i pazienti in sicurezza.
Per risolvere questo problema, i ricercatori del West China Hospital a Sichuan, Cina, si sono rivolti alla tecnologia per valutare quasi 1.800 specializzandi in 24 diverse specialità mediche. Hanno costruito un sistema digitale per raccogliere dati su come questi tirocinanti stavano performando nel corso di diversi mesi. Inveve di affidarsi a un singolo parere, il sistema ha raccolto tre diversi tipi di feedback per ogni specializzando: un punteggio dal loro mentore docente diretto, un punteaggio da un comitato speciale di esperti noto come Comitato di Competenza Clinica, e un punteggio dagli specializzandi stessi. I ricercatori volevano vedere se questo approccio digitale potesse funzionare su tale larga scala e, cosa più importante, volevano vedere se i diversi gruppi di valutatori concordassero tra loro. Cercavano la verità dietro i numeri: i punteggi aumentavano man mano che gli specializzandi acquisivano esperienza, e le persone che li valutavano vedevano la stessa realtà?
I risultati hanno dimostrato che il sistema digitale funzionava bene, riuscendo a organizzare una quantità massiccia di dati che sarebbe stata impossibile gestire con moduli cartacei. Quando i ricercatori hanno analizzato i punteggi assegnati dal comitato di esperti, è emerso un modello chiaro. Man mano che gli specializzandi passavano dal loro primo anno di formazione al terzo, i loro punteggi miglioravano significativamente in ogni area di competenza. Ciò ha confermato che la formazione stava funzionando e che gli specializzandi stavano effettivamente acquisendo maggiore abilità nel tempo. Tuttavia, una competenza specifica si distingueva come costantemente debole. In tutti e tre gli anni di formazione, gli specializzandi ricevevano i voti più bassi nelle abilità di insegnamento. Persino i tirocinanti più esperti faticavano in quest'area, suggerendo che, sebbene stessero diventando eccellenti medici, non venivano istruiti su come insegnare agli altri.
Lo studio ha anche rivelato una significativa discrepanza tra chi effettuava la valutazione e il modo in cui valutava. I mentori docenti, che lavorano a stretto contatto con gli specializzandi ogni giorno, davano punteggi che erano generalmente nella stessa fascia di valori del comitato di esperti, ma erano costantemente troppo indulgenti. In cinque delle sei aree di competenza, i mentori valutavano gli specializzandi più alti di quanto facesse il comitato. Questa "indulgenza" significava che i mentori non stavano individuando le stesse debolezze che il comitato vedeva. Il divario era ancora più ampio quando si trattava delle opinioni degli specializzandi sulla propria prestazione. Quando gli specializzandi valutavano se stessi, davano a se stessi punteggi drammaticamente più alti dei rating del comitato di esperti. In media, uno specializzando valutava se stesso circa quattro punti più in alto rispetto al comitato. Ciò suggerisce che gli specializzandi non fossero solo leggermente eccessivamente sicuri di sé; erano ampiamente inconsapevoli del divario tra la loro autopercezione e la loro prestazione reale.
I ricercatori hanno scoperto che il sistema digitale era uno strumento potente per far emergere questi modelli nascosti. Ha permesso loro di vedere che, mentre il programma di formazione era efficace nel costruire abilità cliniche, stava fallendo nello sviluppare le capacità di insegnamento. Ha inoltre evidenziato un serio bisogno di una migliore formazione per le persone che effettuano la valutazione. I mentori docenti dovevano imparare a essere più obiettivi, e gli specializzandi avevano bisogno di aiuto per imparare a giudicare il proprio lavoro in modo accurato. Lo studio non ha sostenuto di aver risolto questi problemi, ma ha dimostrato che un sistema computerizzato poteva fornire i dati chiari ed onesti necessari per risolverli. Passando da frammentati registri cartacei a una piattaforma digitale unificata, l'ospedale ha creato un modo per misurare il progresso che fosse allo stesso tempo su larga scala e dettagliato. Questo approccio offre una strada da seguire per l'educazione medica, dove i dati possono essere utilizzati per garantire che ogni specializzando sia veramente pronto a prendersi cura dei pazienti, piuttosto che aver semplicemente completato il tempo richiesto.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.