Asynchronous Video Feedback and Early Performance Variability in Resident Laparoscopic Cholecystectomy: A Multicenter Observational Study

Resumo Técnico: Feedback de Vídeo Assíncrono e Variabilidade Precoce de Desempenho em Colecistectomia Laparoscópica de Residentes

Definição do Problema
A educação cirúrgica baseada em competências requer avaliação longitudinal e feedback para guiar os residentes em direção à confiança (entrustment). Embora o treinamento baseado em simulação tenha demonstrado melhorar o desempenho no centro cirúrgico, o impacto específico do feedback de vídeo assíncrono durante as fases iniciais do aprendizado operatório real permanece incerto. Um desafio educacional crítico é que as pontuações médias de desempenho podem mascarar uma variabilidade significativa entre os residentes; uma intervenção de treinamento pode não elevar as pontuações médias, mas ainda assim ser valiosa se reduzir a dispersão do desempenho, atenuar os valores discrepantes baixos (outliers) e ajudar os residentes a convergirem para um padrão mínimo aceitável. Este estudo investiga se o feedback de vídeo assíncrono está associado a um desempenho técnico superior ou à redução da variabilidade precoce do desempenho em residentes realizando colecistectomias laparoscópicas.

Metodologia
Os autores conduziram um estudo observacional multicêntrico envolvendo residentes de cirurgia geral de sete programas de residência em cinco cidades do Chile.

• Coorte: A coorte analítica desduplicada incluiu 66 residentes e 531 vídeos de colecistectomia laparoscópica únicos.
• Exposição: Os residentes foram classificados em um grupo "Feedback" (41 residentes, 281 vídeos) ou um grupo "Sem Feedback" (25 residentes, 250 vídeos) com base em sua participação em um fluxo de trabalho de revisão de vídeo remoto e assíncrono. O feedback foi definido ao nível do residente; os residentes não contribuíram para ambos os grupos.
• Avaliação: Os vídeos foram avaliados por avaliadores cegos utilizando uma rubrica de cinco itens da escala OSATS (Objective Structured Assessment of Technical Skills) (intervalo 5–25).
• Marcos (Milestones): O desempenho precoce foi avaliado no 3º, 5º e 10º casos registrados. A análise longitudinal também examinou intervalos cumulativos de volume de casos.
• Análise Estatística: O estudo analisou tanto a tendência central (médias/medianas) quanto a dispersão (variância). Os métodos incluíram testes t de Welch, testes de Mann–Whitney U e o teste de Levene para variância. Crucialmente, um modelo de efeitos mistos lineares foi empregado com o residente como intercepto aleatório para considerar as observações repetidas pelo mesmo treinando, tratando a exposição ao feedback, o número de casos e a exposição à simulação como efeitos fixos.

Principais Resultados

• Desempenho Central: As pontuações basais de OSATS foram semelhantes entre os grupos. Ao longo da curva de aprendizado, as pontuações de OSATS aumentaram com o acúmulo de experiência (coeficiente 0,93 por 10 casos; p < 0,001). No entanto, nos marcos de 3º, 5º e 10º caso, não houve diferenças estatisticamente significativas no desempenho central de OSATS entre os grupos Feedback e Sem Feedback. O modelo de efeitos mistos confirmou que a exposição ao feedback não foi independentemente associada a pontuações de OSATS mais altas (p = 0,905).
• Variabilidade de Desempenho: No 10º caso, o grupo Feedback apresentou uma tendência não significativa para menor dispersão em comparação ao grupo Sem Feedback (Levene p = 0,070).
• Mudança Intra-Residente: Uma análise exploratória de caso completo da mudança intra-residente (ΔOSATS = média dos casos 8–10 menos média dos casos 1–3) mostrou uma diminuição média de -2,02 no grupo Feedback versus um aumento de +2,27 no grupo Sem Feedback. Os autores observam explicitamente que isso foi tratado como exploratório e provavelmente influenciado por amostras pequenas e alocação não randomizada, em vez de evidência de um efeito negativo causal.
• Simulação: A exposição documentada à simulação mostrou uma trajetória descritiva favorável, mas não foi independentemente significativa no modelo de efeitos mistos (p = 0,151).

Principais Contribuições

1. Reenquadramento da Avaliação de Feedback: O estudo desafia a suposição de que a métrica primária para o sucesso do feedback é um aumento nas pontuações técnicas médias. Propõe que, na educação baseada em competências, reduzir a variabilidade do desempenho e padronizar comportamentos precoces pode ser tão significativamente educacional quanto elevar as pontuações médias.
2. Rigor Metodológico: Ao utilizar modelagem de efeitos mistos e analisar tanto a tendência central quanto a dispersão (variância), o estudo fornece um arcabouço estatístico mais matizado para avaliar intervenções de educação cirúrgica do que simples comparações de médias pré e pós-intervenção.
3. Contextualização da Variabilidade: O artigo destaca que medianas de pontuação semelhantes podem coexistir com diferentes amplitudes de desempenho, sugerindo que uma amplitude mais estreita pode indicar menos residentes operando no limite inferior, o que é uma consideração crítica de segurança.

Significância e Alegações
Os autores concluem que o feedback de vídeo assíncrono não foi associado a uma superioridade sustentada no desempenho central de OSATS. No entanto, as análises exploratórias sugerem a hipótese de que o feedback de vídeo pode funcionar como uma intervenção de padronização precoce que reduz a variabilidade do desempenho, em vez de atuar apenas como um impulsionador direto de desempenho.

O artigo afirma que estudos futuros devem ser dimensionados para detectar diferenças tanto no desempenho central quanto na variabilidade. Argumenta-se que as métricas de sucesso educacional devem ser definidas a priori: se o objetivo é a padronização, a dispersão e os resultados baseados em limiares são mais informativos do que as pontuações médias de OSATS. Os achados apoiam uma abordagem educacional em estágios, onde a revisão de vídeo assíncrona precoce é usada para identificar inconsistência e desempenho de baixo nível, servindo como parte de um sistema longitudinal, em vez de uma intervenção isolada. O estudo reconhece limitações, incluindo a natureza observacional da exposição, a incapacidade de modelar efeitos de nível de centro devido a identificadores ausentes e o tamanho pequeno da amostra para análises de marcos específicos.