First-Cohort Micro-Credentialing in Thoracentesis and Paracentesis: Feasibility, Uptake, Retention, and Early Implementation Barriers in Procedural Training

Resumo Técnico: Primeira Coorte de Microcredenciamento em Toracentese e Paracentese

Definição do Problema
O treinamento procedimental na educação médica frequentemente carece de evidências auditáveis de desempenho observado. A documentação atual baseia-se frequentemente em proxies indiretos, como notas de cursos, frequência ou exames escritos, que confirmam a participação ou o conhecimento, mas falham em preservar a evidência observável de que um aluno pode executar um procedimento com segurança para um padrão definido. Esta lacuna é particularmente crítica para habilidades psicomotoras, onde um aluno pode compreender os passos teóricos, mas carecer de competência demonstrada. Além disso, os modelos tradicionais de feedback de alta qualidade são intensivos em recursos, criando um gargalo para a escala do treinamento em grandes coortes. Embora os microcredenciamentos digitais ofereçam um mecanismo para tornar as competências visíveis e portáteis, permanecem questões não resolvidas sobre sua adesão quando desvinculados de notas, sua capacidade de documentar a retenção a longo prazo em vez de apenas o desempenho no "dia do teste", e a escalabilidade da avaliação sem sobrecarregar o corpo docente.

Metodologia
Os autores conduziram uma avaliação de programa prospectiva (estudo de viabilidade) de um caminho de microcredenciamento de quatro níveis para toracentese e paracentese dentro de um programa de simulação de graduação médica. O estudo foi desenhado para examinar viabilidade, adesão, retenção e barreiras iniciais de implementação, em vez de testar a eficácia causal.

O framework de quatro níveis incluiu:

1. Nível 1 (Competência em Simulação): Os alunos completaram preparação remota e tentativas registradas em simulador. Estas foram revisadas de forma assíncrona por avaliadores usando uma escala de classificação global OSATS do tipo Likert de 5 pontos e checklists específicos do procedimento. Um credencial foi emitido ao atingir $\ge$80% da pontuação máxima em ambos os instrumentos, sem erros críticos.
2. Nível 2 (Retenção de Seis Meses): Os alunos foram reavaliados aproximadamente seis meses depois. Para obter esta credencial, eles tiveram que manter pelo menos 70% de sua pontuação inicial de OSATS e não cometer erros críticos.
3. Nível 3 (Certificação de Avaliação por Pares): Um caminho de "Treinar os Treinadores" permitiu que alunos competentes passassem por treinamento de calibração (revisão de rubrica, comparação de vídeo padronizada, alinhamento de classificação de especialistas) para se tornarem avaliadores de pares, expandindo assim a capacidade de avaliação.
4. Nível 4 (Desempenho Clínico Supervisionado): Os alunos puderam receber uma credencial clínica após realizar um procedimento supervisionado em um ambiente clínico real, exigindo certificação prévia de Nível 2, atestação do tutor e consentimento do paciente.

Principais Resultados

• Emissão e Adesão de Credenciais: No extrato cumulativo, foram registrados 553 credenciais de Nível 1, 203 de Nível 2, 25 de Nível 3 e 2 de Nível 4. A taxa de aceitação geral (reclamado/emitido) foi de 51,4% (199/387) no conjunto de dados inicial. Para as coortes maduras de 2023–2024, a adesão foi de 53,3%. Aproximadamente 48,2% das credenciais aceitas foram compartilhadas publicamente.
• Retenção: Entre os que retornaram voluntariamente para a reavaliação de Nível 2, 105/117 alunos de paracentese e 98/121 de toracentese atenderam aos critérios de retenção. As pontuações médias de OSATS mostraram um aumento não significativo para toracentese (21,68 para 22,12, $p=0,226$) e um aumento significativo para paracentese (21,39 para 22,31, $p=0,0166$).
• Viabilidade de Avaliação por Pares: 25 credenciais de Nível 3 foram emitidas, demonstrando a viabilidade de ativar um pipeline de avaliadores de pares a partir da comunidade de alunos.
• Atestação Clínica: Duas credenciais de Nível 4 foram emitidas, confirmando a viabilidade de capturar o desempenho clínico supervisionado dentro do fluxo de trabalho.
• Barreiras de Implementação: Quatro barreiras principais foram identificadas: (1) incentivo/visibilidade limitados quando as credenciais não estavam vinculadas a decisões de progressão; (2) tempo de liberação (a reivindicação foi menor quando os prompts estavam distantes dos marcos graduados); (3) restrições na captura do Nível 4 devido à disponibilidade de pacientes e fluxos de trabalho de consentimento; e (4) barreiras de comunicação em relação aos alertas da plataforma.

Principais Contribuições e Significância
O artigo reformula o microcredenciamento não como "distribuição de selos", mas como um caminho de avaliação orientado pela validade. Sua principal contribuição é demonstrar que um caminho de evidência estruturado — combinando prática deliberada, avaliação de vídeo assíncrona, emissão baseada em critérios e retenção longitudinal — pode ser implementado em escala.

• Argumento de Validade: O estudo postula que o valor de um microcredenciamento reside na evidência por trás dele (instrumentos estruturados, limiares predefinidos, registros auditáveis) e não no artefato digital em si.
• Retenção como um Constructo: O estudo operacionaliza a "retenção" como um constructo credenciável, indo além de avaliações de ponto único para documentar a durabilidade do desempenho ao longo do tempo, embora note que isso é atualmente limitado a quem retorna voluntariamente.
• Escalabilidade via Avaliação por Pares: O modelo "Treinar os Treinadores" (Nível 3) é apresentado como um mecanismo viável para expandir a capacidade de avaliação e apoiar a revisão de vídeo em escala, embora seu impacto na confiabilidade inter-avaliador e na qualidade do feedback exija mais avaliação.
• Alinhamento Educacional: A adesão moderada (aprox. 53%) sugere que a disponibilidade técnica da plataforma é insuficiente; o sucesso da adoção depende do alinhamento educacional, do endosso do corpo docente e da integração das credenciais nos marcos curriculares e na identidade profissional.

Limitações e Alegações Modestas
Os autores declaram explicitamente que esta é uma avaliação de viabilidade, não um teste de eficácia. Consequentemente, eles não alegam que o microcredenciamento melhora diretamente a competência clínica ou os resultados dos pacientes. As principais limitações incluem:

• Viés de Autoseleção: Os dados de adesão e retenção baseiam-se em reclamantes e retornantes voluntários, o que pode refletir motivação em vez de competência generalizável.
• Métricas de Confiabilidade: A confiabilidade inter-avaliador entre os avaliadores de pares não foi formalmente quantificada nesta coorte; a calibração foi realizada, mas a confiabilidade do pool emergente de avaliadores de pares ainda precisa ser medida.
• Generalização Clínica: Os dados do Nível 4 são exploratórios ($n=2$) e limitados pela natureza oportunística dos procedimentos clínicos.
• Problemas de Denominador: As taxas de aceitação foram calculadas com base nas credenciais emitidas, e não no total da população elegível, uma vez que o número total de alunos elegíveis não foi totalmente rastreado.

O artigo conclui que, embora o modelo seja viável, as iterações futuras exigem a reavaliação protocolada de todos os alunos elegíveis, o monitoramento contínuo da confiabilidade do avaliador e uma integração mais forte das credenciais no ecossistema de competências mais amplo para impulsionar a adesão.