Asynchronous Video Feedback and Early Performance Variability in Resident Laparoscopic Cholecystectomy: A Multicenter Observational Study

Sintesi Tecnica: Feedback Video Asincrono e Variabilità Precoce delle Prestazioni nella Colecistectomia Laparoscopica dei Residenti

Problematica
L'educazione chirurgica basata sulle competenze richiede una valutazione e un feedback longitudinali per guidare i tirocinanti verso l'affidabilità (entrustment). Sebbene la formazione basata sulla simulazione abbia dimostrato di migliorare le prestazioni in sala operatoria, l'impatto specifico del feedback video asincrono durante le fasi iniziali dell'apprendimento operativo reale rimane incerto. Una sfida educativa critica è che i punteggi medi di prestazione possono mascherare una significativa variabilità tra i tirocinanti; un intervento formativo potrebbe non aumentare i punteggi medi, ma potrebbe comunque essere prezioso se riduce la dispersione delle prestazioni, attenua gli outlier inferiori e aiuta i residenti a convergere verso uno standard minimo accettabile. Questo studio indaga se il feedback video asincrono sia associato a una maggiore prestazione tecnica o a una riduzione della variabilità precoce delle prestazioni nei residenti che eseguono colecistectomie laparoscopiche.

Metodologia
Gli autori hanno condotto uno studio osservazionale multicentrico coinvolgendo specializzandi in chirurgia generale di sette programmi di specializzazione in cinque città del Cile.

• Coorte: La coorte analitica de-duplicata comprendeva 66 residenti e 531 video unici di colecistectomia laparoscopica.
• Esposizione: I residenti sono stati classificati in un gruppo "Feedback" (41 residenti, 281 video) o in un gruppo "No-Feedback" (25 residenti, 250 video) in base alla loro partecipazione a un flusso di lavoro di revisione video remota e asincrona. Il feedback è stato definito a livello di residente; i residenti non hanno contribuito a entrambi i gruppi.
• Valutazione: I video sono stati valutati da valutatori in cieco utilizzando una rubrica OSATS (Objective Structured Assessment of Technical Skills) a cinque item (intervallo 5–25).
• Milestone: La prestazione precoce è stata valutata al 3°, 5° e 10° caso registrato. L'analisi longitudinale ha inoltre esaminato i bin cumulativi del volume di casi.
• Analisi Statistica: Lo studio ha analizzato sia la tendenza centrale (medie/mediane) che la dispersione (varianza). I metodi includevano t-test di Welch, test U di Mann-Whitney e test di Levene per la varianza. Fondamentalmente, è stato impiegato un modello a effetti misti lineari con il residente come intercetta casuale per tenere conto delle osservazioni ripetute dello stesso tirocinante, trattando l'esposizione al feedback, il numero di casi e l'esposizione alla simulazione come effetti fissi.

Risultati Chiave

• Prestazione Centrale: I punteggi OSATS basali erano simili tra i gruppi. Lungo la curva di apprendimento, i punteggi OSATS sono aumentati con l'esperienza accumulata (coefficiente 0,93 per ogni 10 casi; p < 0,001). Tuttavia, alle milestone del 3°, 5° e 10° caso, non vi sono state differenze statisticamente significative nella prestazione centrale OSATS tra i gruppi Feedback e No-Feedback. Il modello a effetti misti ha confermato che l'esposizione al feedback non era indipendentemente associata a punteggi OSATS più elevati (p = 0,905).
• Variabilità della Prestazione: Al 10° caso, il gruppo Feedback ha mostrato una tendenza non significativa verso una minore dispersione rispetto al gruppo No-Feedback (Levene p = 0,070).
• Cambiamento Intra-Residente: Un'analisi esplorativa dei casi completi del cambiamento intra-residente (ΔOSATS = media casi 8–10 meno media casi 1–3) ha mostrato una diminuzione media di -2,02 nel gruppo Feedback rispetto a un aumento di +2,27 nel gruppo No-Feedback. Gli autori sottolineano esplicitamente che questo è stato trattato come esplorativo e probabilmente influenzato da campioni piccoli e allocazione non randomizzata, piuttosto che come prova di un effetto negativo causale.
• Simulazione: L'esposizione documentata alla simulazione ha mostrato una traiettoria descrittiva favorevole ma non è stata indipendentemente significativa nel modello a effetti misti (p = 0,151).

Contributi Chiave

1. Riformulazione della Valutazione del Feedback: Lo studio mette in discussione l'assunto che la metrica primaria per il successo del feedback sia un aumento dei punteggi tecnici medi. Propone che, nell'educazione basata sulle competenze, ridurre la variabilità delle prestazioni e standardizzare i comportamenti precoci possa essere tanto significativo quanto elevare i punteggi medi.
2. Rigore Metodologico: Utilizzando la modellazione a effetti misti e analizzando sia la tendenza centrale che la dispersione (varianza), lo studio fornisce un quadro statistico più sfumato per valutare gli interventi nell'educazione chirurgica rispetto ai semplici confronti pre-post delle medie.
3. Contestualizzazione della Variabilità: L'articolo evidenzia come mediani simili possano coesistere con diverse ampiezze di prestazione, suggerendo che una diffusione più stretta possa indicare meno residenti che operano nella fascia bassa, il che rappresenta una considerazione critica per la sicurezza.

Significatività e Rivendicazioni
Gli autori concludono che il feedback video asincrono non è stato associato a una superiorità sostenuta nella prestazione centrale OSATS. Tuttavia, le analisi esplorative suggeriscono l'ipotesi che il feedback video possa funzionare come un intervento di standardizzazione precoce che riduce la variabilità delle prestazioni, piuttosto che agire esclusivamente come un diretto promotore delle prestazioni.

L'articolo afferma che i futuri studi dovrebbero essere strutturati per rilevare differenze sia nella prestazione centrale che nella variabilità. Sostiene che le metriche di successo educativo debbano essere definite a priori: se l'obiettivo è la standardizzazione, la dispersione e gli esiti basati su soglie sono più informativi rispetto ai punteggi medi OSATS. I risultati supportano un approccio educativo a stadi in cui la revisione video asincrona precoce viene utilizzata per identificare l'incoerenza e la prestazione di basso livello, fungendo da parte di un sistema longitudinale piuttosto che da intervento isolato. Lo studio riconosce i limiti, tra cui la natura osservazionale dell'esposizione, l'impossibilità di modellare gli effetti a livello di centro a causa di identificatori mancanti e il piccolo campione per specifiche analisi delle milestone.