Resumo Técnico: O Conjunto de Dados SurgVU

Declaração do Problema

A cirurgia assistida por robô (RAS) gera vastas quantidades de dados de alta resolução, incluindo vídeo endoscópico, movimentos precisos do cirurgião e cinemática dos instrumentos. Embora esses dados apresentem oportunidades significativas para o aprendizado de máquina (ML) na ciência de dados cirúrgicos, o campo historicamente careceu de conjuntos de dados de grande escala e publicamente disponíveis para treinar e avaliar modelos fundamentais. Os conjuntos de dados públicos existentes são limitados em escopo, criando uma barreira para novos pesquisadores e dificultando o desenvolvimento de algoritmos robustos para tarefas como detecção de instrumentos cirúrgicos, reconhecimento de etapas e resposta a perguntas visuais.

Metodologia e Composição do Conjunto de Dados

Os autores apresentam o conjunto de dados Surgical Visual Understanding (SurgVU), uma coleção de grande escala de vídeos cirúrgicos e rótulos acompanhantes, curada a partir de sessões de treinamento em cirurgia robótica hospedadas pela Intuitive Surgical. Os dados foram coletados usando o sistema robótico da Vinci, onde cirurgiões em treinamento e especialistas realizaram etapas padronizadas de treinamento em modelos suínos.

Características Principais dos Dados:

• Escala: O conjunto de dados compreende mais de 840 horas de vídeo gravado a 60 quadros por segundo, gerando aproximadamente 18 milhões de imagens rotuladas em resolução 720p (1280 x 720).
• Fonte: 280 clipes de vídeo derivados de 155 sessões de treinamento distintas.
• Entrada Visual: Os vídeos capturam a visão do console do cirurgião, ocasionalmente incluindo imagens de fluorescência.

Estratégia de Anotação:
O conjunto de dados inclui múltiplas camadas de anotação derivadas tanto de dados automatizados do sistema quanto de revisão por especialistas clínicos:

1. Presença de Instrumentos: Logs automatizados do sistema fornecem rótulos de presença para até 12 instrumentos robóticos diferentes (por exemplo, porta-agulhas, pinças, tesouras, grampeadores). Os autores reconhecem que esses rótulos podem ser "ruidosos" devido a oclusões temporárias ou instrumentos instalados, mas não visíveis. A distribuição de instrumentos é notada como desequilibrada.
2. Etapas Cirúrgicas: Especialistas clínicos anotaram oito etapas específicas de treinamento (por exemplo, sutura, manipulação do corno uterino, manipulação de artéria/veia retal).
3. Descrições de Etapas: Para apoiar a modelagem visão-linguagem, o conjunto de dados inclui descrições textuais detalhadas para cada etapa cirúrgica, especificando elementos anatômicos, comportamento do cirurgião e uso de instrumentos.
4. Caixas Delimitadoras (Conjunto de Validação): Um conjunto de validação separado para detecção de instrumentos contém clipes de vídeo reamostrados para 1 quadro por segundo, com caixas delimitadoras anotadas por uma multidão de especialistas. As anotações focam na "mancala" (articulação do pulso rotativa) do instrumento, com exceções feitas para a ponta do instrumento se a mancala estiver indefinida ou fora de vista.
5. Pares de Pergunta e Resposta (Q&A): Um conjunto amostral de pares de perguntas e respostas é fornecido para facilitar o treinamento e a avaliação de Modelos de Linguagem Visual (VLMs), oferecendo respostas verdadeiras para consultas específicas sobre ações cirúrgicas.

Contribuições Principais

O artigo delineia várias contribuições primárias para o campo da ciência de dados cirúrgicos:

• Lançamento do Conjunto de Dados: A introdução do maior conjunto de dados de vídeo cirúrgico publicamente disponível até a data, contendo mais de 840 horas de vídeo e 18 milhões de quadros.
• Rótulos Multimodais: A provisão de diversos tipos de anotação, incluindo presença de instrumentos, classificação de etapas cirúrgicas, descrições detalhadas de etapas e pares de perguntas e respostas, permitindo pesquisa em tarefas de detecção, segmentação e geração.
• Recursos de Benchmarking: O lançamento de conjuntos de validação específicos (por exemplo, para detecção de instrumentos) e conjuntos amostrais de perguntas e respostas para padronizar a avaliação para os desafios EndoVis da MICCAI acompanhantes.
• Acessibilidade: Redução da barreira de entrada para pesquisadores de ML ao fornecer um ponto de entrada padronizado e de grande escala para treinar modelos em dados cirúrgicos.

Resultados e Desfechos Experimentais

Como um artigo sobre conjunto de dados, os autores não apresentam métricas de desempenho específicas do treinamento de novos modelos nos dados. Em vez disso, os "resultados" são enquadrados como a disponibilidade e utilidade do próprio recurso. O artigo observa que o conjunto de dados foi projetado para apoiar os desafios de aprendizado de máquina acompanhantes (realizados anualmente na MICCAI), onde equipes trabalham em problemas como detecção de instrumentos cirúrgicos e reconhecimento de etapas. O artigo fornece a infraestrutura (links para vídeo, rótulos e conjuntos de validação) para que a comunidade gere esses resultados.

Significado e Alegações

Os autores posicionam o conjunto de dados SurgVU como uma "pedra de toque" para pesquisas futuras na ciência de dados cirúrgicos. Seu significado é alegado ser triplo:

1. Expansão da Comunidade: Expõe pesquisadores de diversas disciplinas (além da própria cirurgia) aos desafios específicos da ciência de dados cirúrgicos, como lidar com rótulos ruidosos e variações anatômicas complexas.
2. Aceleração da Inovação: Ao fornecer um recurso compartilhado e de grande escala, o conjunto de dados visa acelerar o progresso da pesquisa além do que grupos de pesquisa individuais podem alcançar isoladamente.
3. Trabalho Fundamental: O conjunto de dados destina-se a servir como base para o desenvolvimento de modelos fundamentais em áreas incluindo:
   • Rastreamento e segmentação em tempo real para orientação cirúrgica.
   • Métodos de aprendizado fracamente supervisionado ou não supervisionado (dado o ruído inerente nos rótulos).
   • Reconhecimento autônomo de atividades e identificação de etapas de procedimentos.
   • Quantificação de desempenho baseada em vídeo e avaliação de habilidades.
   • Desenvolvimento de modelos de vídeo-linguagem para legendagem e busca cirúrgica.

O artigo conclui com uma perspectiva modesta, reconhecendo que, embora o conjunto de dados atual seja extenso, futuras iterações podem se expandir por meio de esforços liderados pela comunidade, anotações adicionais (por exemplo, gestos, interações com tecidos) ou integração com outras fontes de dados, como simulações. O objetivo final é impulsionar a inovação na cirurgia assistida por robô para melhorar os resultados dos pacientes.