Resumo Técnico: Avaliação de Competência Assistida por IA a partir de Vídeo Ego cênico em Educação de Enfermagem Baseada em Simulação

1. Declaração do Problema

A avaliação de competência em simulação clínica, particularmente na educação de enfermagem, tradicionalmente depende da observação humana especializada. Essa abordagem é intensiva em tempo, difícil de escalar para coortes em crescimento e sujeita a variabilidade entre avaliadores. Embora o vídeo forneça um registro rico do desempenho do aprendiz, as abordagens automatizadas existentes frequentemente assumem ambientes ricos em dados e de câmeras fixas (por exemplo, laparoscopia cirúrgica) e focam em habilidades técnicas isoladas, em vez de competência holística.

Este estudo aborda o desafio de avaliar competência holística de enfermagem utilizando vídeo egocênico (em primeira pessoa) proveniente de aprendizagem baseada em simulação. O domínio específico é a administração de medicamentos pediátricos, onde a competência é inerentemente sequencial; erros podem surgir de ações corretas realizadas na ordem errada ou com etapas de segurança omitidas. A pesquisa investiga se evidências visuais isoladas, analisadas por meio de codificadores visuais congelados e aprendizado com poucos exemplos (few-shot learning), podem suportar a avaliação de competência, e se a dificuldade de reconhecer essas ações carrega sinais pedagógicos.

2. Metodologia

Os autores propõem uma estrutura de três etapas aplicada a 22 sessões de vídeo egocênico densamente anotadas (totalizando 3,8 horas e 493 segmentos de ação clínica) de estudantes de enfermagem realizando simulações padronizadas em manequins de alta fidelidade.

Etapa 1: Reconhecimento de Ações com Poucos Exemplos

• Entrada: Quadros de vídeo egocênico ($V_i$) e um conjunto de suporte ($S$) de exemplos rotulados de outras sessões (configuração de validação cruzada leave-one-out).
• Extração de Características: Um codificador base (backbone) congelado ($\phi$) extrai características por quadro. Três backbones foram avaliados: ResNet-50 (supervisionado pelo ImageNet), DINOv2 ViT-B/14 (auto-supervisionado pelo ImageNet) e CLIP ViT-B/16. Nenhum ajuste fino (fine-tuning) foi realizado.
• Cálculo de Protótipos: Protótipos de classe são computados a partir das sessões de suporte usando um paradigma de rede prototípica. O estudo compara uma estratégia de protótipo médio (média de centróides normalizados) contra uma estratégia de protótipo clusterizado (sub-centróides k-means).
• Suavização Temporal: Pontuações contínuas de similaridade cosseno entre quadros de consulta e protótipos são passadas para um Modelo Oculto de Markov (HMM) com decodificação de Viterbi. Isso impõe sequências de rótulos temporalmente coerentes, aprendendo probabilidades de transição a partir do conjunto de suporte, em vez de classificar quadros independentemente.
• Saída: Uma linha do tempo de ação prevista ($\hat{y}_i$) para 16 classes de ação clínica mais uma classe de fundo.

Etapa 2: Análise de Sequência

• Construção de Sequência: Rótulos previstos em nível de quadro são colapsados em segmentos de ação ordenados (codificação de comprimento de execução), descartando fundo e segmentos curtos.
• Derivação de Características:
  1. Frequências de Transição de Ação: Fluxo par a par entre ações clínicas para construir modelos de processo.
  2. Métricas de Reconhecimento: Métricas por vídeo (Precisão Média sobre Quadros [MOF], média de Interseção sobre União [mIoU] e F1 Segmental) são retidas como medidas resumo do ajuste do classificador.

Etapa 3: Análise de Competência

• Correlação: Dado o pequeno tamanho da amostra ($N=22$), a correlação de postos de Spearman é usada para mapear características de sequência e métricas de reconhecimento para pontuações de competência avaliadas pelo instrutor (derivadas da rubrica Creighton Competency Evaluation Instrument [C-CEI], especificamente 11 itens observáveis em vídeo).
• Robustez: Associações parciais são computadas controlando seis potenciais confundidores (cobertura de anotação, duração do vídeo, contagem de segmentos, etc.).
• Modelagem de Processo: Sequências de ação de verdade fundamental (ground-truth) são usadas para visualizar e comparar gráficos de fluxo de trabalho entre grupos de maior e menor desempenho.

3. Principais Contribuições

1. Viabilidade do Reconhecimento de Ações Clínicas com Poucos Exemplos: O estudo demonstra que um backbone DINOv2 congelado com decodificação HMM Viterbi alcança 57,4% de MOF no reconhecimento 1-shot leave-one-out de vídeo de simulação de enfermagem egocênico. Isso estabelece a viabilidade sob condições de dados extremamente baixos sem ajuste fino. O DINOv2 superou consistentemente o ResNet-50 e o CLIP, sugerindo que transformadores de visão auto-supervisionados são mais adequados para interações mão-objeto de alta granularidade neste domínio.
2. Correlação Negativa entre Precisão de Reconhecimento e Competência: Uma descoberta primária é uma tendência negativa estatisticamente significativa entre a precisão de reconhecimento e a competência avaliada pelo instrutor ($\rho = -0,524, p = 0,012$ para mIoU). Essa relação é robusta a seis controles de confundidores. Os autores interpretam isso como alunos de maior competência produzindo fluxos de trabalho mais diversos, fluidos e consistentes com o protocolo, que são inerentemente mais difíceis para um classificador baseado em protótipos de igualar, enquanto alunos de menor competência exibem comportamentos mais repetitivos e baseados em modelos que são mais fáceis de classificar.
3. Identificação de Sinais Pedagogicamente Informativos: A análise por item revela que a tendência negativa é mais fortemente refletida em comportamentos esperados relacionados a protocolos de segurança do paciente (por exemplo, "Usa identificadores do paciente") e comunicação em equipe. Características de sequência simples (por exemplo, razão de tempo de tela) não mostraram relação significativa com a competência, sugerindo que a dificuldade de classificação em si é o sinal informativo.
4. Diferenças no Fluxo de Trabalho Temporal: Comparações de modelos de processo mostram que alunos de maior desempenho exibem transições de ação mais diversas e aderem mais estritamente a progressões consistentes com o protocolo (por exemplo, transições diretas na preparação de medicamentos), enquanto alunos de menor desempenho mostram mais hesitação (por exemplo, roteamento através de verificações de "Tela" desnecessariamente) e caminhos de fluxo de trabalho irregulares.

4. Resultados

• Reconhecimento de Ações: No cenário de amostra cruzada (leave-one-out), o desempenho foi menor do que dentro da amostra, destacando a mudança de domínio causada por diferenças individuais na aparência, ângulo da câmera e ordenação do fluxo de trabalho. No entanto, o desempenho estabilizou em torno de 10–15 exemplos, indicando que o gargalo é a generalização, não a capacidade de representação.
• Correlação de Competência:
  • mIoU: $\rho = -0,524$ ($p=0,012$).
  • MOF: $\rho = -0,439$ ($p=0,041$).
  • F1: $\rho = -0,433$ ($p=0,044$).
  • Alunos de menor desempenho (divisão mediana) tiveram 9,5% de MOF mais alto e 8,3% de mIoU mais alto do que alunos de maior desempenho.
• Análise por Item: As correlações negativas mais fortes foram encontradas para "Comunica-se efetivamente com a equipe" ($\rho = -0,470$) e "Usa identificadores do paciente" ($\rho = -0,455$). Itens procedimentais realizados de maneira estática e repetitiva não mostraram associação.
• Modelos de Processo: Grupos de maior desempenho mostraram uma frequência mais alta de transições diretas "Prepara Med $\to$ Aplica Med" (46% vs. 38% para baixo desempenho) e transições "Higiene $\to$ Tela" mais consistentes (76%), indicando melhor controle de infecção e fluidez do fluxo de trabalho.

5. Significado e Alegações

O artigo afirma que a precisão de reconhecimento pode servir como um sinal pedagógico complementar na avaliação automatizada de competência. Contrariamente à suposição de que maior precisão sempre indica melhor desempenho, o estudo sugere que, na simulação clínica, menor precisão de reconhecimento pode indicar maior competência, porque aprendizes especialistas exibem fluxos de trabalho diversos e adaptativos que se desviam de modelos rígidos.

Os autores propõem uma perspectiva de avaliação de dois níveis:

1. Linhas do Tempo de Ação Previstas: Fornecem um resumo comportamental grosseiro do que o aluno fez.
2. Dificuldade de Reconhecimento (por exemplo, mIoU/F1): Serve como um sinal complementar de como o aluno executou a tarefa, potencialmente capturando competência holística, flexibilidade procedural e adesão à segurança que instrumentos baseados em listas de verificação podem perder.

O estudo enfatiza que, embora a análise baseada em visão possa capturar comportamentos observáveis e diversidade de fluxo de trabalho, é fundamentalmente limitada na captura do raciocínio clínico e do conteúdo da comunicação verbal. Os autores permanecem modestos sobre suas alegações, observando que, com $N=22$, as descobertas são exploratórias e requerem validação adicional. Eles sugerem que trabalhos futuros devem focar no monitoramento consciente do protocolo usando métodos formais e mineração de trajetórias de competência personalizadas.