Real-Time Multimodal Activity-Aware Error Detection in Robot-Assisted Surgery

Enunciado do Problema

A Cirurgia Minimamente Invasiva Assistida por Robô (RAMIS) aumenta a precisão cirúrgica, mas introduz uma complexidade que exige a detecção de erros técnicos robustos para garantir a segurança do paciente. Embora os métodos existentes de avaliação de habilidades automatizada utilizem aprendizado profundo em dados de vídeo e cinemática, eles frequentemente falham em capturar descrições contextuais detalhadas de atividades e tipos de erro dentro da estrutura hierárquica dos procedimentos cirúrgicos. Os métodos atuais de detecção de erros de execução dependem tipicamente de rótulos de gestos predefinidos ou negligenciam informações multimodais complementares, como interações entre instrumento e objeto e definições específicas de erro. Além disso, muitas abordagens recentes limitam-se ao processamento offline ou falham em aproveitar totalmente os dados cinemáticos juntamente com as modalidades visual e textual para inferência em tempo real.

Metodologia

Os autores propõem um framework unificado para a detecção de erros de execução em tempo real que integra três modalidades: vídeo (RGB), cinemática robótica e prompts textuais descritivos. O framework é projetado como uma tarefa de classificação binária para detectar erros ($y=1$) ou execução normal ($y=0$) dentro de uma janela de tempo deslizante.

Componentes Principais:

1. Prompting de Atividade (Activity Prompting): O framework introduz o "Activity Prompting", que codifica o contexto cirúrgico de múltiplos níveis em descrições textuais. Esses prompts cobrem:

   • Gestos: Ações cirúrgicas de alto nível (ex: "pegar a agulha").
   • Interações Instrumento-Objeto: Estados de contexto de baixo nível descrevendo qual pinça segura ou contata objetos específicos (ex: agulha, fio, tecido).
   • Definições de Erro: Descrições explícitas de modos de falha (ex: "queda da agulha", "fora de vista").
   • Prompts Combinados: Combinações como "Gesto + Erro" ou "Interação + Erro" para capturar contextos de falha específicos.
     Esses prompts são processados via um codificador de texto CLIP para gerar embeddings de atividade.

2. Embeddings Visuais Sensíveis à Atividade (Activity-Aware Visual Embeddings): Como alternativa aos prompts de texto, os autores exploram a extração direta de características de codificadores de visão (ResNet50) pré-treinados em rótulos de atividade cirúrgica (gestos ou estados de interação). Isso gera embeddings por quadro que contêm inerentemente informações de nível de atividade.

3. Arquitetura de Fusão Multimodal:

   • Extração de Características Visuais: Os quadros de vídeo são processados através de um backbone ResNet50.
   • Fusão Cinemática: Dados cinemáticos (posição, velocidade, ângulo da pinça) são projetados no mesmo espaço de características dos embeddings de vídeo e concatenados.
   • Contextualização: Um mecanismo de atenção cruzada baseado em Transformer funde as características espaciais (vídeo/cinemática) com a informação de atividade (seja via prompts de texto ou embeddings visuais pré-treinados).
   • Modelagem Temporal: Uma Rede Convolucional Temporal (TCN) resume a entrada espacial ao longo da janela, que é então fundida com os embeddings de atividade refinados para produzir a probabilidade final de erro.

O framework avalia três configurações específicas:

• (a) Activity Prompting (Img+Txt): Utiliza embeddings de texto CLIP para contexto de atividade.
• (b) Activity Kinematics Fusion (Img+Txt+Kin): Adiciona dados cinemáticos à configuração de prompt de texto.
• (c) Activity-Aware Visual Embeddings (Img+Label): Substitui os prompts de texto por embeddings de um codificador de visão pré-treinado em rótulos de atividade.

Principais Contribuições

1. Framework Multimodal Unificado: O artigo apresenta um sistema que integra perfeitamente vídeo, cinemática e prompts textuais curados para detecção de erros em tempo real.
2. Prompting e Embeddings de Atividade: A introdução do prompting de atividade para integrar descrições de gestos, interações e erros, juntamente com um estudo comparativo desses prompts contra embeddings visuais de atividade derivados de modelos pré-treinados.
3. Integração Cinemática: Demonstração do benefício de fundir dados cinemáticos com modalidades visuais e textuais para capturar desvios de movimento finos.
   Do nível de detalhe.
4. Ganhos de Desempenho: O framework alcança melhorias significativas sobre os baselines de estado da arte (SOTA) em dois grandes conjuntos de dados.

Resultados Experimentais

Os métodos foram avaliados nos conjuntos de dados JIGSAWS (laboratório seco) e SAR-RARP50 (in-vivo) usando Leave-One-Supertrial-Out (LOSO) e divisões padrão de treino/teste, respectivamente.

• Dataset JIGSAWS:

  • A configuração Activity Kinematics Fusion com prompts de Gesture+Error alcançou o maior F1 score de 0,760.
  • Isso representa uma melhoria de 5% sobre o baseline SOTA CoG e uma melhoria de 5% sobre o baseline apenas de ResNet.
  • Adicionar dados cinemáticos ao melhor modelo de prompt de texto (Gesture+Error) melhorou o F1 score de 0,745 para 0,760.
  • O Activity Prompting (Gesture+Error) superou o Activity-Aware Visual Embeddings, sugerindo que prompts de texto curados podem igualar ou exceder o desempenho de modelos que exigem pré-treinamento denso de nível de atividade por quadro.

• Dataset SAR-RARP50:

  • A estratégia de prompting Interaction+Error alcançou o melhor F1 score de 0,746.
  • Isso corresponde a uma melhoria de 16,6% sobre o baseline SOTA SEDMamba e um ganho significativo sobre o baseline ResNet (0,590).
  • Os resultados destacam que prompts complexos que misturam intenções comportamentais finas com condições de erro são altamente eficazes.

• Eficiência:

  • O framework proposto demonstra aplicabilidade em tempo real. O modelo com melhor desempenho (Activity Kinematics Fusion) possui uma latência de ponta a ponta de aproximadamente 36 ms, permitendo uma execução próxima a 30 Hz. Isso é significativamente mais rápido que o baseline SEDMamba (368 ms) e competitivo com o CoG, apesar da menor latência por quadro do CoG.

Significância e Alegações

O artigo afirma que combinar prompts textuais curados com dados multimodais (vídeo e cinemática) é uma estratégia altamente eficaz para a detecção precisa de erros cirúrgicos. Insights principais incluem:

• Especificidade do Prompt: A qualidade e o conteúdo semântico dos prompts (especificamente a combinação de contexto de atividade com descrições explícitas de erro) são mais críticos do que a quantidade de prompts.
• Contexto Multimodal: A incorporação de informação de atividade de múltiplos níveis (gestos, interações, cinemática) fornece um framework contextual rico que supera abordagens unimodais ou de nível único.
• Eficiência de Treinamento: O estudo sugere que um forte desempenho de detecção de erro não requer necessariamente rotulagem de atividade dispendiosa e demorada e pré-treinamento de codificador separado. Prompts textuais fundamentados em conhecimento de domínio podem alcançar resultados comparáveis ou superiores aos embeddings visuais derivados de modelos pré-treinados, simplificando o pipeline de treinamento.
• Viabilidade em Tempo Real: O framework aborda a lacuna na aplicabilidade online, oferecendo um compromisso prático entre granularidade de detecção, precisão e eficiência em tempo real, ao contrário de alguns modelos SOTA que são restritos ao processamento offline.

Os autores reconhecem limitações, incluindo a dependência de datasets com vídeo e cinemática sincronizados (limitando a aplicabilidade mais ampla até que mais tais datasets estejam disponíveis), a dependência de curadoria manual de prompts textuais e a necessidade de validação adicional em procedimentos cirúrgicos menos estruturados além de sutura e passagem de agulha.