Resumo Técnico: ExpOS – Avaliação de Habilidades em Cirurgia Aberta Explicável Usando Reconstrução 3D da Mão

Declaração do Problema

O treinamento cirúrgico eficaz requer feedback oportuno e transparente, no entanto, os métodos atuais de avaliação dependem fortemente da observação de especialistas utilizando sistemas de classificação estruturados (por exemplo, OSATS). Essas abordagens tradicionais são intensivas em recursos, subjetivas e limitam as oportunidades de prática autônoma. Embora os métodos recentes de aprendizado profundo possam prever níveis gerais de habilidade a partir de dados de movimento ou vídeo, eles geralmente funcionam como "caixas pretas", fornecendo pontuações globais sem explicar quais segmentos temporais ou padrões comportamentais impulsionam a previsão. Por outro lado, métodos que dependem de métricas definidas por especialistas oferecem interpretabilidade, mas restringem a descoberta a critérios pré-definidos, limitando insights orientados por dados. O artigo aborda a necessidade de um framework escalável, objetivo e explicável que possa avaliar automaticamente habilidades cirúrgicas e fornecer avaliações acionáveis e orientadas para o feedback.

Metodologia

Os autores propõem o ExpOS, um framework de ponta a ponta que combina aprendizado de importância temporal fracamente supervisionado com estatísticas de movimento interpretáveis. O pipeline processa dados de vídeo de tarefas de cirurgia aberta através de três etapas principais:

1. Extração de Dados e Engenharia de Recursos

• Entrada: Gravações de vídeo RGB 4K (30 fps) de residentes realizando três tarefas: sutura, amarração de nós e fechamento fascial.
• Detecção e Reconstrução:
  • Um modelo YOLO detecta instrumentos cirúrgicos (pinça, porta-agulhas, tesoura, simulador) e mãos.
  • O treinamento auto-supervisionado com pseudo-rótulos RoHans refina o detector de mãos, que é integrado ao WiLoR para reconstrução 3D da mão. Isso rastreia 21 articulações por mão.
• Recursos Nível de Quadro: Cada quadro é codificado usando informações de caixas delimitadoras (6 objetos: mãos esquerda/direita, 3 instrumentos, simulador) e pontos-chave 3D da mão reconstruída (2 articulações × 21 pontos). Estes são concatenados em um tensor por quadro. Breves lacunas são interpoladas e as trajetórias são suavizadas.
• Recursos Nível Global: Estatísticas em nível de vídeo são computadas com base em mudanças temporais nos centros das caixas delimitadoras, incluindo:
  • Tempo de imobilidade (proporção de quadros onde os objetos estão parados).
  • Velocidade e aceleração médias (durante períodos não ociosos).
  • Razão de mãos fora do quadro.
  • Tempo de conclusão da tarefa.
  • Autocorrelação entre as mãos.

2. A Arquitetura ExpOS

O framework consiste em três componentes principais:

• Backbone Temporal (MS-TCN++): Os recursos por quadro são alimentados em um backbone MS-TCN++ (com a cabeça de classificação removida) para codificar dinâmicas espaço-temporais. Isso preserva a dimensão temporal, produzindo uma sequência de representações ocultas ($F \times T$).
• Agrupamento por Atenção Temporal: Um mecanismo de auto-atenção multi-cabeça é aplicado à sequência oculta. Este módulo atribui pesos de importância a segmentos temporais específicos, comprimindo a sequência em uma representação compacta enquanto gera um mapa de importância nível de quadro. Isso permite que o modelo identifique quando ocorrem momentos críticos de desempenho.
• Fusão e Previsão: A representação agrupada temporalmente é concatenada com os recursos estatísticos globais pré-computados. Este vetor fundido é passado através de um Perceptron Multicamadas (MLP) para produzir uma pontuação final de habilidade baseada em regressão. Os recursos globais são injetados apenas nesta etapa final para preservar sua interpretabilidade.

3. Mecanismos de Explicabilidade

O ExpOS fornece explicabilidade multinível:

• Importância Temporal: Inspirado em mecanismos de atenção de PLN, os pesos de atenção da camada de agrupamento destacam quadros de vídeo específicos (segmentos temporais) que mais influenciaram a previsão de habilidade.
• Atribuição de Recursos Globais: Os autores utilizam valores SHAP (Shapley Additive exPlanations) para quantificar a contribuição de cada estatística de movimento global (por exemplo, tempo da tarefa, aceleração) para a previsão final. Isso identifica quais características de movimento impulsionam a pontuação.

Principais Resultados

O framework foi treinado e avaliado em 221 vídeos de 77 residentes cirúrgicos realizando três tarefas distintas. Um modelo separado foi treinado para cada simulador usando a função de perda de Regressão Ordinal Suave (SORD).

• Correlação de Desempenho: O framework alcançou correlações fortes com as classificações de especialistas em todas as tarefas:
  • Fechamento Fascial: Melhor desempenho com correlação de Pearson $r = 0,778$ e $R^2 = 0,74$.
  • Amarração de Nós: $r = 0,678$, $R^2 = 0,649$, com o menor RMSE (1,276).
  • Sutura: $r = 0,622$, $R^2 = 0,579$, com o menor MAE (0,833).
• Descobertas de Interpretabilidade:
  • Fechamento Fascial: O tempo de conclusão da tarefa foi o recurso dominante (tempos mais curtos associados a pontuações mais altas). Contribuições positivas vieram de proporções mais altas de pinças/mãos imóveis e autocorrelação das mãos; contribuições negativas vieram de aceleração média mais alta.
  • Amarração de Nós: Maior velocidade média e menor aceleração da mão direita foram associadas a pontuações mais altas.
  • Sutura: Similar ao fechamento fascial, com o uso de pinças imóveis e tempos de conclusão mais curtos sendo os fatores positivos mais influentes.

Significado e Alegações

O artigo afirma que o ExpOS representa uma mudança de critérios de avaliação definidos por especialistas para estimação de importância orientada por modelo. Seu significado principal reside na sua capacidade de:

1. Aprender Padrões Discriminativos: Em vez de depender de métricas pré-definidas, o modelo aprende padrões temporais diretamente dos dados para identificar o que constitui habilidade.
2. Fornecer Feedback Multinível: Ao combinar localização temporal baseada em atenção com análise de recursos globais baseada em SHAP, o sistema oferece feedback estruturado sobre quando ocorrem desvios de desempenho e quais comportamentos de movimento contribuem para a pontuação.
3. Habilitar Treinamento Autônomo Escalável: O framework demonstra que a modelagem temporal orientada por dados do movimento 3D da mão pode capturar padrões de desempenho clinicamente significativos, oferecendo uma alternativa escalável à supervisão de especialistas intensiva em recursos.

Os autores reconhecem limitações, observando que a abordagem depende de reconstrução 3D confiável da mão e visibilidade clara, e que oclusões ou pontos de vista desafiadores podem degradar o desempenho. Eles sugerem que trabalhos futuros se concentrarão na integração multimodal e validação em coortes maiores e mais diversas.