Expert validation of AI-generated clinical assessment items for physician assistant certification: a multi-dimensional rubric and dual- reliability method

Resumo Técnico: Validação de Especialistas de Itens de Avaliação Clínica Gerados por IA

Definição do Problema
Exames de certificação de alto risco, como o Exame Nacional de Certificação para Assistentes Médicos (PANCE), exigem vastos bancos de questões de prática clínica de alta qualidade. O desenvolvimento de itens tradicionalmente conduzido por especialistas é trabalhoso, lento para escalar e tem dificuldade em acompanhar a evolução das diretrizes clínicas. Embora a IA Generativa (especificamente Modelos de Linguagem de Grande Escala com Geração Aumentada de Recuperação - RAG) ofereça um caminho para a produção escalável de conteúdo, não existe uma metodologia estabelecida para validar sistematicamente o conteúdo de avaliação gerado por IA contra os mesmos padrões rigorosos de qualidade esperados de itens escritos por humanos. A literatura existente foca na capacidade da IA de realizar exames ou na implementação de ferramentas de IA, mas carece de um instrumento reutilizável, fundamentado em padrões, para certificar a qualidade dos itens gerados por IA antes do uso pelos estudantes. Além disso, quando os avaliadores especialistas aceitam amplamente o conteúdo da IA, as métricas tradicionais de confiabilidade interexaminadores (como o $\kappa$ de Fleiss) frequentemente resultam em pontuações enganadoramente baixas devido a distribuições de avaliação enviesadas, criando um "paradoxo da prevalência" que obscurece o acordo genuíno.

Metodologia
O estudo empregou um fluxo de trabalho de validação de duas rodadas que espelha os processos padrão de desenvolvimento de itens humanos, aplicado a um motor de geração agêntico e de recuperação aumentada desenvolvido pelos autores para a preparação para o PANCE.

1. Instrumento de Validação: Um rubrica de cinco dimensões fundamentada nas diretrizes publicadas de redação de itens da NCCPA foi desenvolvida. As dimensões são:

   • Trilha 1 (Construção da Questão): Alinhamento Clínico-Educacional, Completude do Cenário, Qualidade das Opções de Resposta e Linguagem e Clareza.
   • Trilha 2 (Qualidade da Explicação): Qualidade da Explicação.
   • As classificações utilizaram uma escala ordinal de 3 pontos (Ruim, Aceitável, Excelente).
   • Um "Portão de Qualidade de Duas Trilhas" separou a construção da questão da qualidade da explicação, permitindo que os itens fossem aprovados para uso prático mesmo se as explicações necessitassem de revisão, e vice-versa.
   • Tags diagnósticas e comentários em texto livre foram usados para identificar falhas específicas (ex: múltiplas respostas corretas, detalhes clínicos ausentes).

2. Validação por Especialistas (Rodada 1 e 2):

   • Rodada 1 (Piloto): Quatro docentes de PA revisaram 128 itens usando um julgamento binário. Esta rodada identificou problemas recorrentes de conteúdo (relevância, validade das opções de resposta, clareza) e informou o refinamento do instrumento.
   • Rodada 2 (Estudo Principal): Seis docentes de PA revisaram 55 itens em 14 dos 15 sistemas orgânicos do PANCE.
   • Análise de Confiabilidade: O estudo relatou índices duplos de confiabilidade interexaminadores (IRR): $\kappa$ de Fleiss (corrigido pelo acaso) e AC1/AC2 de Gwet (robusto à prevalência). Esta abordagem foi desenhada para distinguir o desacordo genuíno do artefato estatístico causado pelas altas taxas de aceitação.

3. Estudo de Percepção dos Estudantes (Preliminar):

   • Um estudo cego intra-sujeito com 10 estudantes de PA comparou 15 itens gerados por IA com 15 itens escritos por humanos correspondentes.
   • As tarefas incluíram classificar clareza/realismo, adivinhar a fonte (IA vs. Humano) e responder às questões.

Resultos Principais

• Validade de Conteúdo: O Índice de Validade de Conteúdo em Escala Global (S-CVI/Ave) foi de 0,9285, excedendo o limiar de 0,90 para forte validade. Ambas as trilhas, Construção da Questão (0,9356) e Explicação (0,9000), ultrapassaram o limiar. No entanto, a "Qualidade da Opção de Resposta" (Dimensão 3) foi a dimensão mais fraca (S-CVI/Ave = 0,8545), indicando este como um alvo primário para o refinamento do motor.
• O Paradoxo da Prevalência: Uma discrepância significativa foi observada nos índices de confiabilidade. O acordo observado foi alto ($P_o \approx 0,88$), embora o $\kappa$ de Fleiss tenha sido baixo (0,1201), caindo na faixa "pobre". Inversamente, o AC1 de Gwet foi alto (0,8653). Os autores atribuem isso ao "paradoxo da prevalência": quando os avaliadores aceitam esmagadoramente os itens, os índices corrigidos pelo acaso, como o $\kappa$, são deflacionados pela distribuição enviesada, enquanto índices robustos à prevalência, como o AC1, refletem com precisão o alto nível de acordo. Este padrão foi consistente em ambas as rodadas de validação.
• Achados Diagnósticos: Os problemas mais frequentes sinalizados pelos avaliadores envolveram a "Integridade da Opção de Resposta" (ex: múltiplas respostas defensáveis) e "Detalhe Clínico Crítico Ausente".
• Percepção dos Estudantes (Preliminar, n=10):
  • Equivalência de Conhecimento: Itens de IA e humanos produziram precisão de resposta quase idêntica (70,0% vs. 69,3%, $p=0,89$).
  • Equivalência Perceptual: Os estudantes classificaram a clareza e o realismo como estatisticamente equivalentes entre as fontes.
  • Detecção de Fonte: Os estudantes não conseguiram distinguir de forma confiável itens de IA de itens humanos (52,67% de precisão geral, não significativamente diferente do acaso). No entanto, uma assimetria foi notada: os estudantes identificaram corretamente itens humanos 59,3% das vezes, mas identificaram corretamente itens de IA apenas 46,0% das vezes (abaixo do acaso), sugerindo um viés de resposta para rotular itens como "humanos".

Principais Contribuições

1. Um Instrumento de Validação Reutilizável: O estudo introduz uma rubrica de cinco dimensões e um portão de qualidade de duas trilhas especificamente projetados para validar itens de avaliação clínica gerados por IA contra padrões de redação de itens publicados. Ele é projetado para ser transferível para qualquer exame de certificação baseado em blueprint (ex: NCLEX, USMLE), dado o blueprint de conteúdo e as diretrizes apropriados.
2. Insight Metodológico sobre Confiabilidade: O artigo demonstra que o "paradoxo da prevalência" é uma característica previsível da validação de conteúdo de alta qualidade gerado por IA. Argumenta-se que o relato de índices duplos de confiabilidade ( $\kappa$ de Fleiss ao lado de AC de Gwet) é essencial para distinguir o desacordo genuíno dos especialistas de artefatos estatísticos causados por altas taxas de aceitação.
3. Evidência Empírica de Equivalência: Dados preliminares sugerem que itens gerados por IA, quando validados, podem atingir paridade com itens escritos por humanos em termos de dificuldade, clareza e realismo, embora refinamentos específicos sejam necessários para a construção das opções de resposta.

Significância e Alegações
Os autores afirmam que este trabalho preenche uma lacuna crítica na educação médica ao fornecer um método fundamentado em padrões para certificar o conteúdo de IA antes do deployment, abordando os riscos éticos e pedagógicos da IA não validada em preparação para exames de alto risco. O estudo postula que o design do instrumento — ancorado em padrões publicados e utilizando uma abordagem de confiabilidade robusta à prevalência — oferece um framework prático para qualquer programa que busque escalar a produção de conteúdo sem comprometer a qualidade. Os autores declaram explicitamente que o instrumento não está vinculado à certificação de PA, mas é adaptável a outras profissões de saúde, desde que os inputs de domínio específicos (blueprint, base de conhecimento, diretrizes) sejam fornecidos. Os achados relativos ao paradoxo da prevalência servem como uma nota de cautela para estudos futuros, instando pesquisadores a evitar a interpretação errônea de baixos valores de $\kappa$ como evidência de baixo acordo entre especialistas quando o conteúdo subjacente é de alta qualidade.