Standard Setting in the Era of Workplace-Based Assessment: A Pilot Exploration

Resumo Técnico: Estabelecimento de Padrões na Era da Avaliação Baseada no Local de Trabalho

Problema
A transição para a educação médica baseada em competências (CBME) na cirurgia deslocou a avaliação de avaliações globais de final de rotação para avaliações frequentes e diretas baseadas no local de trabalho (WBA). Embora as WBAs gerem dados longitudinais substanciais de desempenho operatório, existe uma lacuna crítica de orientação sobre como traduzir esses dados em decisões defensáveis e de alto risco relativas à competência do treinamento, especificamente para a graduação. Os métodos de estabelecimento de padrões existentes na educação médica concentram-se predominantemente em tarefas únicas, procedimentos únicos ou exames escritos, e não em dados de desempenho longitudinal de múltiplos procedimentos. Consequentmente, não há um consenso de abordagem para estabelecer um padrão de graduação baseado em dados longitudinais de WBA, apesar dos apelos da área para estender as metodologias de estabelecimento de padrões a este domínio.

Metodologia
Este estudo piloto empregou um Painel de Referência (Benchmark Panel) estruturado e facilitado para avaliar a viabilidade e a confiabilidade da adaptação de três métodos estabelecidos de estabelecimento de padrões a dados longitudinais de WBA.

• Composição do Painel: Dez educadores cirúrgicos (cirurgiões praticantes ou fellows) com diversas especialidades participaram de uma sessão virtual de duas horas.
• Ferramenta de Avaliação: O estudo utilizou o escore de Desempenho Operatório (OP) da Society for Improving Medical Professional Learning (SIMPL). Este escore (intervalo 372–628) agrega WBAs cumulativos usando um modelo de Teoria de Resposta ao Item de dois parâmetros (2PL IRT) para calibração de procedimentos e Redes de Inferência Bayesiana (BN) para pontuação. O escore reflete a probabilidade de um treinando obter uma classificação de "pronto para a prática" (definida como desempenho seguro, eficaz e independente) em procedimentos específicos.
• Definição de Política: O painel visou definir um ponto de corte correspondente a um padrão de graduação "pronto para a prática" para procedimentos de alto valor e alta frequência, visando um limiar onde pelo menos 75% dos desempenhos sejam julgados prontos para a prática.
• Métodos de Estabelecimento de Padrões:
  1. Método Angoff: Os painelistas estimaram a probabilidade de um "treinando graduando minimamente competente" atender ao padrão de pronto para a prática em uma lista de procedimentos específicos.
  2. Método Bookmark (Marcador): Os procedimentos foram ordenados pela probabilidade prevista de um treinando obter uma classificação de pronto para a prática. Os painelistas colocaram um "marcador" no ponto onde um treinando minimamente competente teria menos de 75% de chance de sucesso.
  3. Mapeamento de Construto: Os painelistas revisaram um mapa de calor exibindo os escores SIMPL OP, as probabilidades previstas de classificações de pronto para a prática por procedimento e os rankings percentuais. Eles identificaram o escore que separa treinandos intermediários de treinandos prontos para a prática, utilizando tanto critérios quanto referências normativas.
• Análise: A análise quantitativa envolveu uma ANOVA de medidas repetidas de um fator para comparar a média dos escores de corte de OP por participante entre os métodos. A análise qualitativa utilizou a metodologia de descrição interpretativa em transcrições das sessões para identificar temas sobre utilidade de processo e método.

Resultos Principais

• Convergência Quantitativa: Os escores médios de corte de OP por participante foram 577 (DP 30) para Angoff, 588 (DP 17) para Bookmark e 582 (DP 19) para Mapeamento de Construto. A análise estatística revelou nenhuma associação significativa entre o método de estabelecimento de padrão e os escores de corte resultantes [F(2, 18) = 0,63, p = 0,54]. Comparações pareadas também não foram significativas.
• Padrão Proposto: Com base na convergência dos métodos e no feedback qualitativo, o painel propôs um padrão de graduação de 582 no escore SIMPL OP, ancorado no método de Mapeamento de Construto. Este escore corresponde ao 86º percentil na amostra e prevê uma probabilidade de 88–90% de obter uma classificação de pronto para a prática para apendicectomia laparoscópica, 83–85% para colecistectomia laparoscópica e 76–80% para colectomia parcial aberta.
• Achados Qualitativos:
  • O Mapeamento de Construto foi percebido como tendo a maior utilidade devido à sua eficiência, capacidade de combinar referências de critério e norma, e capacidade de traduzir um único escore de corte através de múltiplos procedimentos.
  • O Angoff foi visto como cognitivamente exigente, com os painelistas lutando para alinhar um modelo mental compartilhado de um treinando "minimamente competente" e evitando o pensamento idealista ("deveria") em vez do baseado na experiência ("faria").
  • O Bookmark enfrentou desafios em relação à ordenação predeterminada dos procedimentos; os painelistas careciam de consenso sobre a precisão da lista, o que reduziu a confiança no método.
  • Desafios de Processo: Os painelistas destacaram a dificuldade em definir um treinando "minimamente competente", equilibrar a competência procedimental com a competência de gestão de doenças e incorporar variações de complexidade de casos.

Significância e Alegações
O artigo afirma que três métodos metodologicamente distintos de estabelecimento de padrões podem ser adaptados de forma viável para dados longitudinais de desempenho operatório de WBA, produzindo escores de corte estatisticamente convergentes. Esta convergência apoia o escore de corte OP proposto de 582 como um ponto de partida empiricamente fundamentado para o trabalho subsequente de consenso de múltiplas partes interessadas.

O estudo postula que a seleção do método deve ser guiada por compensações (trade-offs) em requisitos de recursos, dependências de dados e utilidade percebida, em vez de um único "melhor" método. Especificamente, os achados sugerem que:

1. O Mapeamento de Construto oferece uma estrutura robusta para estabelecer padrões de competência defensáveis e informados por dados, vinculando julgamentos de especialistas às distribuições de desempenho observadas.
2. Esforços futuros de estabelecimento de padrões devem tratar o alinhamento do modelo mental de "minimamente competente" como uma atividade distinta e precedente para reduzir a carga cognitiva e melhorar a consistência.
3. A estrutura proposta fornece um mecanismo inicial para traduzir dados longitudinais de WBA em padrões de graduação acionáveis, abordando uma lacuna crítica na implementação da CBME na cirurgia.

Os autores mantêm modéstia em relação às suas alegações, observando que este é um estudo piloto com um único painel e que o escore de corte específico está vinculado ao algoritmo de pontuação SIMPL. Eles enfatizam que, embora os métodos sejam generalizáveis, o escore de corte absoluto requer validação adicional em diversos contextos de treinamento e grupos de partes interessadas.