Resumo Técnico: Viabilidade de um Encontro com Paciente Simulado por IA em Formatos Grupal e Individual

Definição do Problema

A inteligência artificial generativa (IA) e os modelos de linguagem de grande escala (LLMs) são cada vez mais utilizados no ensino de graduação médica (UGME) para aprendizagem baseada em problemas (PBL) e aprendizagem baseada em casos (CBL). No entanto, a literatura existente sofre de heterogeneidade metodológica, medidas de desfecho inconsistentes e falta de transparência em relação ao design instrucional. Especificamente, duas lacunas críticas persistem:

1. Formato de Entrega Instrucional: O impacto do formato de entrega (ex: grupo facilitado vs. individual autodirigido) como uma variável educacional independente raramente foi examinado.
2. Transparência de Avaliação: Métodos de avaliação educacional apoiados por IA são raramente descritos com detalhes suficientes para permitir a replicação ou validação independente.

Além disso, embora pacientes simulados por IA ofereçam encontros conversacionais escaláveis e consistentes, sua integração em diversos ambientes de aprendizagem requer a validação da viabilidade antes que afirmações de eficácia possam ser feitas.

Metodologia

Este estudo foi desenhado como um piloto de viabilidade e desenvolvimento de instrumento de duas coortes conduzido na Southern Illinois University School of Medicine envolvendo estudantes do primeiro ano de medicina (MS1).

Desenho do Estudo e Participantes

• Coortes: Duas coortes não sobrepostas e não randomizadas participaram do mesmo caso clínico (patologia gastrointestinal), mas sob diferentes formatos de entrega:
  • Coorte de Grupo ($n=7$): Uma sessão facilitada por docentes onde os alunos entrevistaram colaborativamente um paciente simulado por IA em um ambiente de sala de aula com observação de pares.
  • Coorte Individual ($n=12$): Uma sessão autodirigida onde os alunos completaram o encontro individualmente em dispositivos pessoais em espaços privados, sem observação de pares.
• Variáveis de Confundimento: O estudo reconheceu que o formato de entrega estava totalmente confundido com a participação na coorte, datas das sessões, procedimentos de recrutamento, modalidades de debriefing e versões da plataforma. Consequentemente, as comparações entre coortes foram tratadas como descritivas e exploratórias, não causais.
• Supervisão Ética: O estudo recebeu uma determinação de isenção pelo Conselho de Revisão Institucional (IRB #24–525). A participação foi voluntária e não afetou o desempenho acadêmico.

Intervenção

• Paciente Simulado por IA: Desenvolvido usando um LLM comercialmente disponível integrado com tecnologias de voz e avatar conversacionais. O sistema manteve uma apresentação clínica e uma estrutura de resposta consistentes em ambos os formatos.
• Duração: As sessões em grupo duraram aproximadamente 35 minutos; as sessões individuais tiveram uma mediana de 31 minutos (intervalo de 17–83).

Instrumentos e Coleta de Dados

1. Escala de Linguagem de Segurança Comportamental–Provisória (BSLS-P): Um instrumento de pesquisa exploratório recém-desenvolvido, administrado antes e depois do encontro. Avaliou:
   • Engajamento/Prazer do Aprendiz
   • Segurança Psicológica (definida como a capacidade percebida de fazer perguntas e cometer erros sem medo de constrangimento)
   • Motivação para Preparação
   • Preferência de Formato de Entrega (apenas pós-encontro)
   • Nota: O instrumento passou por pequenas variações de versão entre as coortes (Versão 1 vs. Versão 2).
2. Análise de Transcrição Automatizada: Um pipeline de dois agentes (Componentes de Comportamento, Texto Livre, Ação e Tempo) foi aplicado às transcrições da coorte individual para demonstrar um framework analítico reproduzível. Isso não foi utilizado para afirmações inferenciais neste piloto.
3. Feedback Qualitativo: A coorte de grupo forneceu debriefing verbal; a coorte individual forneceu respostas escritas a prompts opcionais.

Análise Estatística

• Intra-Coorte: As mudanças pré-para-pós foram analisadas usando testes $t$ pareados (distribuição normal) ou testes de Wilcoxon de postos sinalados (não normal).
• Comparações Múltiplas: A correção da Taxa de Falso Descoberta (FDR) de Benjamini–Hochberg foi aplicada em todas as comparações de subescalas.
• Entre-Coortes: Comparações descritivas foram feitas usando testes de soma de postos de Wilcoxon, sem que conclusões causais fossem extraídas devido às variáveis de confundimento.
• Uso de IA: A IA generativa (Claude Opus 5) foi utilizada para assistência editorial na redação do manuscrito, mas todas as análises estatísticas e tabelas de dados foram preparadas independentemente por um coautor a partir dos dados brutos.

Principais Resultados

Achados Quantitativos

• Viabilidade: Ambas as coortes completaram com sucesso os encontros com o paciente simulado por IA e as pesquisas pré/pós-encontro, sem eventos adversos ou exclusões técnicas.
• Segurança Psicológica e Engajamento: Ambas as coortes mostraram mudanças direcionais positivas na Segurança Psicológica e no Engajamento.
  • Coorte Individual: O maior efeito foi observado na subescala de Segurança Psicológica (Wilcoxon $r = 0,62$). Isso atingiu significância estatística antes da correção ($P = ,026$), mas não sobreviveu à correção FDR (ajustado para $P = ,20$).
  • Coorte de Grupo: Mostrou mudanças direcionais positivas, mas nenhuma comparação permaneceu estatisticamente significativa após a correção FDR.
• Motivação para Preparação: Uma queda modesta foi observada em ambas as coortes. A análise ao nível do item sugeriu que isso foi impulsionado por um único item da pesquisa, em vez de uma tendência em todo o domínio, indicando potencialmente uma recalibragem das expectativas pós-encontro.
• Comparação Entre Coortes: Nenhuma diferença estatisticamente significativa foi encontrada entre a Coorte de Grupo e a Coorte Individual em qualquer subescala após a correção FDR. Diferenças direcionais existiram, mas foram consideradas apenas descritivas.

Preferências dos Alunos

• Preferência pelo Modelo Híbrido: Na coorte Individual, a preferência modal para o aprendizado futuro mudou de 42% para 58% para um modelo "híbrido": completar um encontro de IA individual primeiro, seguido por uma discussão em grupo facilitada por docentes.
• Feedback Qualitativo: Os participantes descreveram a simulação como envolvente e valiosa para praticar o raciocínio clínico em um ambiente seguro. Eles enfatizaram o valor da prática independente seguida de feedback estruturado dos docentes para abordar equívocos.

Desenvolvimento de Instrumento e Pipeline

• O estudo implantou com sucesso o BSLS-P como uma ferramenta provisória para medir a segurança psicológica e o engajamento em contextos de IA.
• O framework de análise de transcrição automatizada foi implementado e descrito, demonstrando a viabilidade de codificação comportamental escalável e reproduzível, embora ainda esteja em desenvolvimento e requeira validação independente contra avaliações humanas de especialistas.

Principais Contribuições

1. Demonstração de Viabilidade: O estudo confirma que encontros com pacientes simulados por IA são praticavelmente implementáveis tanto em formatos de grupo facilitados quanto em formatos individuais autodirigidos para estudantes de MS1.
2. Transparência Metodológica: O artigo fornece uma descrição detalhada de um instrumento de pesquisa provisório (BSLS-P) e de um pipeline de análise de transcrição automatizada, abordando a lacuna na literatura quanto a métodos de avaliação replicáveis no ensino com IA.
3. Exploração de Formato: Introduz o formato de entrega instrucional como uma variável distinta, sugerindo que uma abordagem híbrida (prática de IA solo + discussão em grupo) pode alinhar-se melhor com as preferências dos alunos.

Significância e Afirmações

Os autores enquadram explicitamente este trabalho como um piloto de viabilidade e estudo de desenvolvimento de instrumento, não como um ensaio de eficácia comparativa.

• Afirmações Modestas: Os autores afirmam que as mudanças observadas de pré-para-pós são exploratórias e geradoras de hipóteses. Eles não afirmam que um formato é superior ao outro ou que a intervenção de IA melhora definitivamente os resultados educacionais, citando o pequeno tamanho da amostra, a falta de randomização e as variáveis de confundimento.
• Significância: A principal significância reside em demonstrar que:
  1. Pacientes simulados por IA podem ser integrados ao ensino de graduação médica sem falhas técnicas.
  2. Os alunos percebem esses encontros como psicologicamente seguros e envolventes.
  3. Um modelo instrucional híbrido é preferido pelos alunos, apoiando a integração da IA como um suplemento, e não um substituto, para a instrução tradicional guiada por docentes.
  4. As ferramentas descritas (BSLS-P e o pipeline de transcrição) fornecem uma base para futuros estudos randomizados e com poder estatístico adequado, necessários para validar esses achados preliminares.

O artigo conclui que, embora os achados sejam promissores, pesquisas futuras devem incluir ensaios randomizados multicêntricos, validação psicométrica formal do BSLSP e validação independente do framework de análise de transcrição contra avaliações humanas de especialistas.