A French OSCE Dialogue Dataset and Controllable Virtual Patient System for Clinical Training

Resumo Técnico: Um Conjunto de Dados de Diálogo OSCE em Francês e um Sistema de Paciente Virtual Controlável para Treinamento Clínico

Definição do Problema
Objetivo: Os Exames Clínicos Objetivos Estruturados (OSCEs) são o padrão para avaliar o raciocínio clínico e as habilidades de comunicação de estudantes de medicina na França. Esses exames dependem de interações com Pacientes Padronizados (SPs) humanos. No entanto, o treinamento é limitado pela escassez de SPs humanos e avaliadores, levando a problemas de escalabilidade e custo. Embora sistemas de Paciente Virtual (VP) tenham sido propostos, as soluções existentes muitas vezes dependem de roteiros baseados em regras ou carecem da controlabilidade necessária para aderir estritamente a cenários clínicos predefinidos. Além disso, há uma falta significativa de conjuntos de dados de OSCE em língua francesa e de frameworks de avaliação padronizados e reproduzíveis para sistemas de VP baseados em LLM.

Metodologia
Os autores propõem uma solução abrangente composta por um novo conjunto de dados, um pipeline de geração controlável e um framework de avaliação de múltiplos níveis.

1. Construção do Conjunto de Dados:

   • Dados Gravados: Os autores coletaram 240 diálogos de treinamento de OSCE gravados e transcritos envolvendo 99 estudantes de medicina do sexto ano em 23 estações distintas (de um total de 192 estações coletadas) cobrindo mais de 10 especialidades médicas. As gravações foram anotadas manualmente com rótulos para especialidade, tipo de consulta e objetivos. A transcrição automática foi realizada usando faster-whisper, alcançando uma Taxa de Erro de Palavras (WER) de 7,7% em um subconjunto corrigido manualmente.
   • Dados Gerados: Utilizando o pipeline descrito abaixo, 792 diálogos sintéticos foram gerados a partir de 11 das estações gravadas.

2. Pipeline Baseado em LLM Controlável:
   O sistema gera diálogos em dois modos: interativo (o estudante treina como médico) e automático (tanto o médico quanto o paciente são gerados por LLM). A arquitetura emprega até quatro instâncias distintas de LLM para funções específicas:

   • Fundamentação de Entrada (Input Grounding): O sistema utiliza três documentos: a Ficha do Paciente (identidade, histórico, sintomas), a Ficha do Médico (contexto, objetivos) e a Ficha de Avaliação (critérios a serem cumpridos).
   • Roteirização de Diálogo: No modo automático, os critérios são reordenados em fases (Abertura, Coleta de informações, Avaliação, Plano/Conclusão) para guiar o gerador do médico.
   • Gerador de Paciente: Produz respostas baseadas na ficha do paciente e no histórico do diálogo. Pode ser aumentado por um Módulo de Recuperação (Retrieval Module) para selecionar o contexto relevante da ficha do paciente.
   • Loop de Controle: Um Módulo Controlador avalia as respostas geradas do paciente quanto à fidelidade à ficha do paciente, atribuindo uma pontuação (0–10). Respostas com pontuação inferior a 8/10 são enviadas a um Módulo de Correção para abordar inconsistências identificadas. Isso forma um Loop de Reflexão que melhora iterativamente a fidelidade do paciente.

3. Framework de Avaliação (LLM-como-Juiz):
   Os autores utilizam o GPT-4o-mini como juiz para avaliar os diálogos em três dimensões:

   • Qualidade de Simulação do Paciente: Medida pela Recuperação de Informação (proporção de elementos da ficha do paciente mencionados) e Relevância da Resposta.
   • Desempenho do Médico: Medido pela Avaliação OSCE (porcentagem de critérios abordados) e Aderência ao Papel.
   • Qualidade Linguística: Medida pela Naturalidade, Fluência e Coerência.

Principais Contribuições

• Conjunto de Dados de OSCE em Francês: O lançamento de um conjunto de dados contendo 240 diálogos de treinamento gravados e 792 diálogos gerados, abordando a escassez de recursos de diálogo médico em francês.
• Pipeline de Geração Controlável: Um sistema modular que integra fundamentação baseada em recuperação e um loop de reflexão (controlador-corretor) para garantir a fidelidade e coerência do paciente em diálogos de OSCE sintéticos.
• Avaliação de Múltiplos Níveis: Um framework estruturado que avalia a simulação do paciente, o desempenho do estudante e a qualidade linguística, validado contra anotações humanas sempre que possível.

Resultados

• Gerado vs. Gravado: Diálogos gerados superaram consistentemente as interações gravadas em métricas de simulação de paciente (ex: Recuperação de Informação: 52,24% para Claude-Haiku-4.5 vs. 43,58% para gravados) e qualidade linguística. Os autores observam que essa lacuna se deve em parte à variabilidade e cobertura incompleta de critérios nas interações reais dos estudantes, bem como potenciais vieses no LLM-como-Juiz que favorecem textos estruturados.
• Impacto dos Módulos de Controle: O loop de reflexão melhorou consistentemente as métricas de simulação do paciente (ex: aumentando a Recuperação de Informação de 52,24% para 54,29% com reflexão, e 56,62% com reflexão + recuperação) enquanto mantinha a qualidade linguística estável. O processo de correção foi acionado em apenas 3,6% dos turnos, mas melhorou a pontuação do controlador em 79,5% desses casos.
• Robustez: O sistema de VP permaneceu robusto ao desempenho degradado do médico (simulando estudantes que abordam apenas 50% ou 25% dos critérios), mantendo alta relevância de resposta, particularmente ao usar o pipeline de recuperação e reflexão.
• Concordância Humano-LLM: A concordância entre anotadores humanos foi fraca para critérios linguísticos. A concordância entre avaliadores humanos e o LLM-como-Juiz foi moderada para a pontuação de checklist de OSCE, mas mais forte para estações focadas apenas no paciente sem análise de documentos.

Significância e Alegações
O artigo afirma abordar a escassez de recursos de diálogo médico em francês e a falta de controlabilidade nos atuais sistemas de VP baseados em LLM. Os autores defendem que seu pipeline modular, fundamentado em dados reais de OSCE e aprimorado por loops de reflexão, oferece um caminho viável para ferramentas de treinamento clínico escaláveis e realistas. Eles enfatizam que seu sistema permite a geração de diálogos diversos e de alta fidelidade e fornece um mecanismo de feedback automático para os estudantes.

No entanto, os autores mantêm uma postura modesta em relação às suas alegações. Eles reconhecem que:

• O conjunto de dados cobre apenas um subconjunto das estações coletadas (11 de 192 usadas para geração).
• A avaliação depende fortemente de um único LLM-como-Juiz sem validação humana extensiva para todas as métricas.
• O pipeline ainda não foi testado em condições de treinamento real com estudantes de medicina, portanto, sua eficácia pedagógica permanece não avaliada.
• A dependência do sistema em múltiplas chamadas de LLM levanta preocupações quanto ao custo e reprodutibilidade.

O trabalho futuro é identificado como a extensão do pipeline para estações baseadas em documentos, melhoria da controlabilidade e validação do sistema em cenários de treinamento do mundo real.