Resumo Técnico: IA Multimodal para Avaliação Automatizada de Desempenho Cirúrgico

Definição do Problema

A avaliação precisa e objetiva da habilidade cirúrgica é crítica para a segurança do paciente, melhoria educacional e avaliação escalável. As metodologias atuais dependem fortemente de classificações humanas subjetivas (ex: OSATS, Escala de Classificação Global), que sofrem com variabilidade inter-avaliador, escalabilidade limitada e altos custos de recursos. Embora abordagens recentes baseadas em IA tenham utilizado aprendizado profundo para avaliação automatizada, muitos métodos existentes são limitados por sua dependência de uma única modalidade de dados (seja vídeo ou cinemática) ou por sua dependência de telemetria de sensores especializados, disponíveis primariamente em ambientes assistidos por robótica. Isso restringe sua aplicabilidade em ambientes clínicos do mundo real, onde dados de sensores abrangentes podem não estar disponíveis e onde a variabilidade no movimento da câmera e na iluminação é alta. Além além disso, modelos de estado da arte existentes frequentemente dependem de arquiteturas complexas e especializadas ou de treinamento baseado em rubricas específicas que podem não generalizar bem entre diversos conjuntos de dados e configurações de avaliação.

Metodologia

Os autores propõem um novo framework de aprendizado profundo multimodal modular, projetado para integrar sinais complementares para a avaliação de habilidade cirúrgica. O sistema é adaptável a diferentes disponibilidades de dados, sendo capaz de operar com entradas multimodais ricas (vídeo, cinemática, eventos, tempo) ou derivar representações de movimento diretamente de vídeos quando sensores cinemáticos estão ausentes.

Pipeline de Extração de Características

O framework extrai e funde quatro canais primários de características:

1. Características de Vídeo Espaço-Temporais (V): Extraídas usando um backbone SlowFast-R50 pré-treinado no Kinetics-400. Esta arquitetura de via dupla captura tanto o contexto espacial (via lenta) quanto a dinâmica temporal rápida (via rápida) de vídeos cirúrgicos.
2. Características de Movimento Cinemático (K):
   • Para JIGSAWS: Utiliza coordenadas cartesianas 2D sincronizadas das pontas das ferramentas de braços robóticos.
   • Para Biotissue (Cinemática baseada apenas em vídeo): As ferramentas (porta-agulhas) são segmentadas usando YOLOv8 (refinado com anotações assistidas pelo SAM2 para as partes do pulso, haste e mandíbula) e rastreadas usando BYTE Tracker. As trajetórias dos centroides são suavizadas via um filtro Butterworth de passa-baixa.
   • Codificação: As trajetórias são convertidas em imagens de gráfico de linha 1D (coordenadas x e y ao longo do tempo) e codificadas usando um Autoencoder de Trajetória-para-Imagem. Este autoencoder aprende uma representação latente compacta e resiliente ao ruído de 256 dimensões. O framework também incorpora estatísticas cinemáticas manuais (velocidade RMS, aceleração, jerk e comprimento total do caminho) onde aplicável.
3. Características de Densidade Semântica (D): Gráficos de densidade de mapas de calor gerados a partir das trajetórias de movimento da ponta da ferramenta são processados usando ResNet-50 para derivar características semânticas que representam a distribuição espacial do movimento.
4. Características de Evento e Tempo (E, P):
   • Sequências de Eventos (E): Para conjuntos de dados com anotações de gestos (JIGSAWS), as sequências são codificadas via one-hot para capturar o fluxo procedimental e transições.
   • Tempo de Conclusão da Tarefa (P): Incluído como uma variável auxiliar, onde disponível.

Fusão e Predição

Todas as características extraídas são concatenadas, padronizadas via normalização z-score e reduzidas usando Análise de Componentes Principais (PCA) (retendo 99% da variância) para criar uma representação multimodal compacta. Este vetor de características reduzido é alimentado em uma cabeça de regressão de Rede Neural Convolucional 1D (1D-CNN) para prever escores de habilidade atribuídos por especialistas (Global Rating Scale para JIGSAWS, OSATS para Biotissue). A arquitetura 1D-CNN consiste em três camadas Conv1D (64, 128, 256 filtros), max pooling, uma camada densa (1024 unidades), dropout e uma saída de regressão final.

Protocolos de Avaliação

O framework foi rigorosamente avaliado em dois benchmarks:

• Dataset JIGSAWS: 103 vídeos (Sutura, Passagem de Agulha, Amarração de Nós) com anotações sincronizadas de cinemática e eventos. Avaliado via validação cruzada de 4 dobras e divisões Leave-One-User-Out (LOUO).
• Dataset Biotissue: 205 vídeos (Gastrojejunostomia, Pancreatojejunostomia, Hepaticojejunostomia) representando simulação de alta fidelidade com movimento de câmera variável e sem cinemática direta de sensores. Avaliado via validação cruzada de 5 dobras.

Principais Contribuições

1. Pipeline Multimodal Unificado: Um framework abrangente que unifica características espaço-temporais de vídeo, características de movimento cinemático (derivadas tanto de sensores quanto de vídeo), características de densidade semântica e sequências de eventos. É projetado para funcionar de forma flexível em configurações com diferentes disponibilidades de modalidades.
2. Cinemática Derivada de Vídeo: A capacidade de derivar representações de movimento robustas diretamente de vídeos endoscópicos 2D padrão usando rastreamento YOLOv8 e codificação por autoencoder, permitindo a avaliação em ambientes sem telemetria direta.
3. Benchmarking Robusto: Validação extensiva tanto em simulação controlada (JIGSAWS) quanto em ambientes de treinamento de alta variabilidade (Biotissue), demonstrando generalização através de diferentes tarefas procedimentais e restrições de dados.
4. Análise de Ablação e Arquitetura: Avaliação sistemática de diferentes combinações de entrada e codificadores de sequência (comparando o autoencoder proposto contra baselines BiLSTM, TCN e Transformer), identificando a configuração ideal para a predição de habilidade.

Resultados

Dataset JIGSAWS

• Validação Cruzada de 4 Dobras: O modelo multimodal (Vídeo + Cinemática + Eventos) alcançou um coeficiente de correlação de Spearman (SCC) de 0,85 (média), superando outras abordagens multimodais como o MultiPath (0,81) e alcançando resultados comparáveis a modelos de vídeo puro de estado da arte como CoRe + GART (0,85). O modelo atingiu o menor Erro Médio Absoluto (MAE) de 2,44 entre os métodos comparados.
• Leave-One-User-Out (LOUO): A configuração de apenas vídeo alcançou o maior SCC médio de 0,87, superando todos os métodos de vídeo puro publicados anteriormente (ex: ViSA com 0,81, Contra-Sformer com 0,68). O modelo puramente cinemático (K+E) alcançou um SCC de 0,83, com desempenho excepcional na tarefa de amarração de nós (0,94).
• Ablação: A combinação de Vídeo, Cinemática e Eventos (V+K+E) provou ser a mais robusta. A adição do tempo de conclusão da tarefa (P) ou das características de densidade (D) não melhorou consistentemente o desempenho sobre V+K+E e, em alguns casos (adicionando D), degradou levemente o desempenho devido ao ruído de coordenadas.

Dataset Biotissue

• Gastrojejunostomia (GJ): A fusão de Cinemática e Vídeo (K+V) rendeu o melhor desempenho com um SCC de 0,67 e MAE de 2,71, superando significativamente os baselines de apenas cinemática (0,47) e apenas vídeo (0,57).
• Pancreatojejunostomia (PJ): O modelo K+V alcançou um SCC de 0,69 e MAE de 2,05, novamente superando abordagens de modalidade única.
• Comparação de Codificadores: O proposto Autoencoder de Trajetória-para-Imagem superou consistentemente os codificadores de sequência direta (BiLSTM, TCN, Transformer) na melhor configuração K+V, sugerindo que representações compactas de imagem de trajetória fornecem resumos mais estáveis de padrões globais de movimento para esta tarefa.

Significância e Alegações

O artigo afirma que o framework proposto estabelece um novo padrão para a avaliação de habilidade cirúrgica multimodal ao demonstrar que a integração de sinais complementares (vídeo, cinemática, eventos) produz um desempenho robusto e de estado da arte. As principais alegações incluem:

• Escalabilidade e Adaptabilidade: O framework é eficaz tanto em ambientes ricos em sensores (JIGSAWS) quanto em ambientes com poucos sensores (Biotissue), provando que uma avaliação de alta qualidade pode ser alcançada derivando pistas de movimento de vídeos padrão quando a telemetria não está disponível.
• Generalização: O modelo demonstra forte generalização para cirurgiões não vistos, particularmente ao utilizar características de vídeo, alcançando um LOUO SCC de 0,87 no JIGSAWS, o que supera todos os métodos de vídeo puro relatados anteriormente.
• Utilidade Prática: Ao reduzir a dependência de modelagem complexa baseada em rubricas ou inputs de sensores especializados, a abordagem oferece uma alternativa mais simplificada e amplamente aplicável para avaliação automatizada em contextos de pesquisa e clínicos.
• Limitações Modestas: Os autores reconhecem que, embora o dataset Biotissue represente uma simulação de alta fidelidade, ele ainda não estabelece a generalização para casos intraoperatórios reais. Eles também observam que o desempenho no cenário Biotissue é limitado pelo movimento da câmera e pela falta de informação de profundidade, e que a inclusão de características de densidade (D) pode introduzir ruído em representações 2D. O estudo enfatiza que o tempo de conclusão da tarefa (P) não é um proxy confiável para habilidade por si só e deve ser visto como uma variável auxiliar.

O trabalho conclui que a integração cuidadosa de fluxos de dados acessíveis e aprendizado profundo multimodal pode entregar avaliação de habilidade de nível especialista com alta precisão e flexibilidade prática, diminuindo a lacuna entre o treinamento baseado em simulação e a avaliação clínica do mundo real.