ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments

Each language version is independently generated for its own context, not a direct translation.

Imagine que você está assistindo a uma cirurgia feita por dentro do corpo humano, através de uma pequena câmera (laparoscopia). É como tentar dirigir um carro em um túnel escuro e cheio de fumaça, onde você só vê as mãos do mecânico e as ferramentas que ele usa.

O problema é: para que um computador consiga ajudar o cirurgião (talvez para evitar acidentes ou até segurar a câmera sozinho), ele precisa entender exatamente onde estão essas ferramentas e como elas estão se movendo.

Até agora, os cientistas tentavam ensinar computadores a fazer isso pedindo que eles desenhassem o contorno de cada ferramenta, como se estivessem colorindo dentro das linhas de um livro de colorir. Isso é muito trabalhoso e demorado.

Este artigo apresenta uma solução inteligente e mais rápida chamada ROBUST-MIPS. Vamos explicar como funciona usando uma analogia simples:

1. A Ideia Principal: De "Desenhar o Contorno" para "Pontos de Conexão"

Pense nas ferramentas cirúrgicas não como objetos sólidos que precisam ser pintados, mas como bonecos de palito (stick figures).

O jeito antigo (Segmentação): Era como tentar desenhar a silhueta completa de uma tesoura, seguindo cada curva e detalhe. Demorava horas.
O jeito novo (Pose Esquelética): Em vez disso, os pesquisadores marcaram apenas pontos-chave (como joelhos e cotovelos) e ligaram eles com linhas.
- Ponto de Entrada: Onde a ferramenta entra no corpo (como a porta de um elevador).
- Ponto de Dobradiça: Onde a ferramenta tem uma junta ou muda de direção (como o cotovelo).
- Pontas: Onde a ferramenta termina (como os dedos ou a ponta de uma tesoura).

Isso é muito mais rápido de fazer e, para o computador, é até mais fácil de entender a "estrutura" do que apenas ver uma mancha colorida.

2. O Que é o ROBUST-MIPS?

O ROBUST-MIPS é um "livro de receitas" gigante para treinar computadores.

Eles pegaram um conjunto de dados antigo e famoso (chamado ROBUST-MIS), que já tinha vídeos de cirurgias reais.
Eles adicionaram a esses vídeos os "bonecos de palito" descritos acima.
O resultado é um banco de dados com mais de 10.000 imagens onde o computador pode aprender a ver não apenas o que é a ferramenta, mas como ela está posicionada, mesmo que esteja meio escondida por sangue, fumaça ou tecidos.

3. Os Desafios Especiais (O "Jogo" Difícil)

Fazer isso em cirurgias é como tentar jogar xadrez no escuro, com peças que se movem rápido e às vezes somem. O artigo explica como eles lidaram com isso:

Ferramentas Escondidas: Às vezes, a ponta da ferramenta está atrás de um órgão. O sistema aprende a dizer: "Eu não vejo a ponta, mas sei onde ela deve estar baseada no resto do braço". Eles chamam isso de "ocluso" (escondido).
Ferramentas que saem da tela: Às vezes, a ferramenta sai da imagem da câmera. O sistema permite marcar onde ela estaria, mesmo que esteja fora da tela, para manter a lógica do movimento.
Tesouras e Pinças: Como as pontas de uma tesoura podem girar e se misturar, o sistema não se importa qual ponta é "esquerda" ou "direita". Ele entende que são apenas duas pontas, e isso evita confusão.

4. O Resultado: Computadores Mais Espertos

Os pesquisadores testaram vários modelos de inteligência artificial (como RTMPose e ViTPose) usando esse novo banco de dados.

O que aconteceu? Os computadores aprenderam muito rápido! Eles conseguiram localizar as ferramentas com alta precisão, mesmo em situações caóticas.
Por que isso importa? Se o computador sabe exatamente onde está a tesoura do cirurgião, ele pode:
- Avisar se a ferramenta vai tocar em algo perigoso (segurança).
- Ajustar a câmera automaticamente para seguir o movimento (automação).
- Analisar a técnica do cirurgião para treinamento.

Resumo em uma Frase

O ROBUST-MIPS é como ensinar um computador a ver cirurgias não como um filme confuso de ferramentas, mas como um "boneco de palito" em movimento, tornando a tecnologia de cirurgia assistida por computador mais rápida, precisa e segura para todos.

Eles também liberaram o "software de desenho" que usaram para criar esses bonecos de palito, para que qualquer pessoa no mundo possa ajudar a melhorar essa tecnologia no futuro!

Each language version is independently generated for its own context, not a direct translation.

1. Problema e Motivação

A localização precisa de instrumentos cirúrgicos em vídeos endoscópicos intraoperatórios é fundamental para tecnologias de intervenção assistida por computador (CAI), como análise de segurança e controle automático do endoscópio.

Limitações Atuais: A maioria das abordagens atuais foca em segmentação semântica (máscaras de polígonos complexos) ou segmentação de instância. Embora ricas em informação, essas anotações são extremamente demoradas e custosas para criar.
Ineficiência de Caixas Delimitadoras: Em vídeos endoscópicos, as caixas delimitadoras (bounding boxes) são pouco informativas devido à estrutura alongada e articulada dos instrumentos, frequentemente cobrindo grandes áreas da imagem e sobrepondo-se excessivamente.
Necessidade: Existe uma lacuna em conjuntos de dados que ofereçam anotações de pose esquelética (pontos-chave) para instrumentos cirúrgicos, que equilibrem a riqueza da informação semântica com a facilidade de anotação, permitindo o crescimento acelerado de dados anotados.

2. Metodologia

A. Fonte de Dados e Estrutura

O conjunto de dados ROBUST-MIPS (Medical Instrument Pose and Segmentation) é derivado do dataset existente ROBUST-MIS (2019).

Origem: 10.040 quadros extraídos de 30 procedimentos cirúrgicos laparoscópicos (10 ressecções retais, 10 proctocolectomias e 10 ressecções sigmóides) realizados no Hospital Universitário de Heidelberg.
Estratégia de Divisão: Os dados são divididos em Treino, Validação e Teste com base em "deslocamentos de domínio" (domain shifts):
- Treino/Validação: Mesmos pacientes, diferentes tipos de cirurgia.
- Teste (Stage 2 & 3): Novos pacientes e tipos de cirurgia não vistos no treino, testando a generalização.

B. Protocolo de Anotação de Pose Esquelética

O trabalho introduz um protocolo rigoroso para anotação de pontos-chave (keypoints) em instrumentos, definindo quatro tipos principais:

EntryPoint: A interseção entre o eixo do instrumento e a borda circular do campo de visão (FoV). É dinâmico e muda conforme o instrumento entra/sai.
HingePoint: A articulação ou junção entre o eixo e a ponta (para instrumentos rígidos) ou a articulação (para instrumentos articulados).
Tip1 e Tip2: As pontas do instrumento. Para instrumentos simétricos (como pinças), a ordem entre Tip1 e Tip2 é invariante à permutação (não há ordem fixa esquerda/direita), tratando-os como um conjunto não ordenado.

Estados de Visibilidade:
Cada ponto-chave possui um rótulo de visibilidade:

Visible: Claramente visível.
Occluded: Presente, mas coberto (por tecido, fora do FoV circular, etc.), mas sua posição pode ser inferida geometricamente.
Missing: Invisível e não inferível (ex: ponta de um instrumento rígido que não tem segunda ponta, ou ponta totalmente oculta sem pistas visuais).

Tratamento de Trocartes:
Diferente do dataset original, o ROBUST-MIPS remove as máscaras dos trocartes (cannulas) da segmentação de instância, pois eles são estruturas estáticas. A anotação de pose começa no EntryPoint (extremidade distal do trocarte), focando apenas na geometria dinâmica do instrumento.

C. Ferramentas e Formato

Software: Foi desenvolvido um software de anotação open-source (GUI) para facilitar a marcação de pontos, permitindo zoom para fora da imagem (para pontos ocultos fora do quadro) e gestão de transições visíveis/ocultas.
Formato: As anotações são armazenadas em JSON, compatíveis com o esquema COCO (Common Objects in Context), facilitando a integração com frameworks de aprendizado de máquina existentes.
Bounding Boxes: Geradas a partir dos pontos-chave com uma margem de 20 pixels para evitar caixas muito estreitas em instrumentos alinhados horizontal ou verticalmente.

3. Contribuições Principais

ROBUST-MIPS Dataset: O primeiro grande dataset combinado que oferece simultaneamente anotações de segmentação de instância e pose esquelética para instrumentos cirúrgicos laparoscópicos.
Validação da Abordagem de Pose: Demonstra que anotações de pose esquelética são viáveis e eficientes para a localização de instrumentos, superando as limitações das caixas delimitadoras.
Métrica de Avaliação Adaptada: Propõe uma modificação na métrica COCO OKS (Object Keypoint Similarity):
- Invariância de Permutação: Calcula a pontuação considerando a troca entre Tip1 e Tip2 para instrumentos simétricos.
- Escala Robusta: Redefine o fator de escala ( $s$ ) usando a média aritmética dos quadrados das dimensões ( $\sqrt{(w^2+h^2)/2}$ ) em vez da raiz da área. Isso evita que a métrica colapse para zero quando o instrumento está alinhado aos eixos (comum em laparoscopia), garantindo invariância à rotação.
Recursos Abertos: Disponibilização do dataset, do software de anotação e dos códigos de treinamento de baseline.

4. Resultados e Avaliação

Os autores treinaram e avaliaram três modelos de estado da arte para estimativa de pose humana (adaptados para instrumentos): RTMPose, SimpleBaseline e ViTPose.

Desempenho: Os modelos alcançaram resultados promissores no conjunto de teste. O melhor modelo (ViTPose-L) atingiu:
- AP (Average Precision): 0.754
- AP em OKS=0.5: 0.842
- AR (Average Recall): 0.796
Generalização: Os modelos demonstraram capacidade de generalização em cenários desafiadores, incluindo oclusão, fumaça, sangramento e instrumentos parcialmente visíveis.
Comparação: A avaliação qualitativa (Figura 8) mostra que os modelos conseguem localizar com precisão os pontos-chave (EntryPoint, HingePoint, Tips) mesmo em condições de baixa visibilidade.

5. Significância e Impacto

Aceleração da Pesquisa: Ao fornecer anotações de pose mais rápidas de gerar do que máscaras de polígonos complexos, o dataset incentiva o crescimento de dados anotados para CAI.
Padrão de Benchmark: Estabelece um novo padrão de avaliação para a localização de instrumentos cirúrgicos, permitindo comparações diretas entre tarefas de segmentação e pose.
Aplicações Futuras: Facilita o desenvolvimento de sistemas de controle de endoscópio automático, análise de segurança cirúrgica e tecnologias de realidade aumentada que dependem da compreensão precisa da estrutura e movimento dos instrumentos.
Limitações Reconhecidas: O artigo admite que instrumentos altamente curvos (como ganchos) podem não ser perfeitamente representados por linhas retas entre pontos-chave e que a falta de classificação detalhada por tipo de instrumento (ex: tesoura vs. pinça) pode limitar certas aplicações específicas, embora seja suficiente para a tarefa geral de pose.

Em resumo, o ROBUST-MIPS é um marco para a comunidade de visão computacional cirúrgica, oferecendo uma infraestrutura robusta para o avanço de algoritmos de localização e compreensão de cenas cirúrgicas através de anotações de pose esquelética.