📄 other

Self-contained intraoperative surface acquisition on a mixed-reality headset: a comparison of sensor-based and learning-based reconstruction

Este estudo demonstra que um headset de realidade mista comercial pode adquirir superfícies de órgãos intraoperatórios usando apenas sensores integrados, constatando que, embora seu sensor de profundidade de tempo de voo geralmente ofereça precisão superior em tecidos opacos, a reconstrução RGB baseada em aprendizado fornece uma alternativa mais robusta para superfícies translúcidas onde o sensoriamento de profundidade ativo falha.

Autores originais: Bowen Xiang, Michael I. Miga

Publicado 2026-07-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bowen Xiang, Michael I. Miga

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando construir um mapa 3D perfeito de um objeto mole e mutável, como uma água-viva gigante e viva, enquanto está parado bem ao lado dele. No mundo da cirurgia, os médicos precisam fazer exatamente isso com órgãos humanos. Antes de uma operação, eles possuem um modelo 3D estático de uma tomografia computadorizada, mas assim que a cirurgia começa, órgãos como o fígado se movem, amassam e mudam de forma. Para guiar o cirurgião com segurança, eles precisam atualizar esse mapa digital em tempo real para que corresponda ao órgão real e ondulante. Isso é chamado de "registro deformável".

A parte difícil é descobrir a forma do órgão agora, sem cutucá-lo ou usar um monte de câmeras extras que entulham a sala de operação. Entre no "Mixed Reality" (Realidade Mista ou MR) através de headsets. Pense neles como óculos de alta tecnologia que permitem que você veja hologramas digitais flutuando no mundo real. Alguns desses óculos possuem "olhos" integrados que podem medir a distância, de certa forma como um morcego usando ecolocalização, mas com luz. No entanto, esses olhos integrados às vezes ficam confusos com superfícies brilhantes ou transparentes, como pele úmida ou gelatina. Assim, os cientistas estão perguntando: esses óculos conseguem medir a forma do órgão bem o suficiente por conta própria, ou eles precisam de um plano de contingência usando apenas a câmera de vídeo comum e um pouco de suposição inteligente do computador?

Este artigo mergulha exatamente nessa questão usando um headset Magic Leap 2. Os pesquisadores queriam ver se o sensor de distância integrado do headset (que dispara pulsos de luz invisíveis) poderia criar um mapa 3D perfeito de um órgão, ou se um método "baseado em aprendizado" (onde o computador olha para fotos comuns e adivinha a profundidade) seria melhor. Eles testaram isso em órgãos falsos feitos de diferentes materiais: alguns eram sólidos e foscos (como um molde de gesso branco), outros eram transparentes e maleáveis (como silicone vermelho) e até mesmo um fígado de porco real.

A equipe descobriu que não existe uma única maneira "melhor"; depende inteiramente de como o órgão se parece. Quando a superfície era sólida e opaca (como o gesso branco), o sensor de distância integrado do headset foi o vencedor claro, criando um mapa que era preciso dentro de cerca de 2 a 3 milímetros. Era como usar uma fita métrica: direto e confiável. No entanto, quando a superfície era translúcida ou complicada (como o silicone vermelho ou um fígado real), o sensor integrado ficava confuso. A luz ricocheteava dentro do material, fazendo o órgão parecer mais próximo do que realmente estava. Nesses casos, o método "baseado em aprendizado", que apenas analisava as fotos normas de vídeo, teve um desempenho melhor, evitando esses truques ópticos.

Os pesquisadores também testaram o dispositivo em um porco vivo e anestesiado para ver se funcionaria em um cenário de cirurgia real. Eles descobriram que o headset podia, de fato, capturar a superfície do fígado sem qualquer equipamento extra. No entanto, notaram uma ressalva: o método baseado em fotos precisava ver o órgão de muitos ângulos diferentes para funcionar bem. Se o cirurgião pudesse ver o fígado de apenas um lado (o que acontece em espaços cirúrgicos apertados), o método de foto tinha dificuldades, mas o sensor integrado ainda conseguia obter um mapa decente.

Em resumo, o artigo sugere que um headset de MR comercial pode atuar como uma ferramenta autossuficiente para mapear órgãos durante a cirurgia, mas a melhor estratégia muda dependendo do tecido. Se o tecido for sólido e fosco, confie no sensor de distância. Se o tecido for úmido, brilhante ou transparente, confie na suposição de fotos do computador. Os autores concluem que, ao escolher o método certo para o tecido certo, os cirurgiões poderiam um dia abandonar as câmeras externas volumosas e confiar exclusivamente em seus óculos inteligentes para navegar pela paisagem mutável do corpo humano.

Resumo Técnico: Aquisição de Superfície Intraoperatória Autossuficiente em um Headset de Realidade Mista

Definição do Problema
A navegação cirúrgica em realidade mista (MR) depende de um registro deformável de imagem-para-físico, o que requer uma superfície de órgão medida com precisão intraoperatoriamente para corrigir a deformação do tecido entre o mapeamento pré-operatório e o campo cirúrgico. Os headsets de MR comerciais atuais carecem de capacidades nativas para adquirir essa superfície, forçando a dependência da digitalização manual por estilete (lenta, esparsa e dependente do operador) ou de sistemas de câmera estéreo externos (que exigem calibração separada, drapejamento estéril e pontos de vista fixos propensos a oclusão). Além disso, pesquisas anteriores sugerem que os sensores de profundidade integrados em dispositivos de MR podem ser insuficientes para tarefas de alta precisão devido a vieses, particularmente em tecidos translúcidos. Este trabalho aborda se um headset de MR comercial (Magic Leap 2) pode funcionar como um dispositivo de aquisição de superfície autossuficiente usando apenas sensores integrados, e se uma abordagem baseada em sensores (Time-of-Flight) ou uma abordagem baseada em aprendizado (apenas RGB) produz maior precisão sob variadas condições ópticas de tecido.

Metodologia
O estudo desenvolveu e comparou dois paradigmas de reconstrução usando dados de entrada idênticos de um headset Magic Leap 2 (ML2), todos expressos dentro de um único frame de mundo rastreado por SLAM ( $F_{ML2}$ ) para eliminar a necessidade de registro entre vistas.

Caracterização da Plataforma:
- Estabilidade do Holograma: A estabilidade da origem do mundo rastreada por SLAM do ML2 foi avaliada sob quatro perturbações (caminhada, movimento rápido da cabeça, oclusão de sensor/relocalização e atualizações dinâmicas de cena) usando um estilete rastreado opticamente.
- Calibração de Sensores: O sensor de tempo de voo indireto (iToF) de curto alcance e a câmera RGB integrados foram calibrados. As medições de distância radial foram convertidas para profundidade no frame da câmera para corrigir o viés geométrico.
Aquisição de Dados e Segmentação:
- Fluxos simultâneos de RGB e profundidade foram capturados.
- Integração do SAM 2: O Segment Anything Model 2 (SAM 2) foi usado offline para gerar máscaras específicas do órgão a partir dos frames RGB, filtrando instrumentos e campos cirúrgicos ao redor. Isso garantiu que ambos os métodos de reconstrução operassem sobre definições de pixels de órgãos idênticas.
Paradigmas de Reconstrução:
- Método 1 (Baseado em Sensor): A geometria foi derivada diretamente do fluxo de profundidade iToF. Os pontos foram retroprojetados, filtrados para remoção de outliers e fundidos em uma nuvem de pontos única em $F_{ML2}$ . Um ajuste de superfície de ajuste de mínimos quadrados baseado em grade foi aplicado para gerar uma malha suave e estanque (watertight).
- Método 2 (Baseado em Aprendizado): O canal de profundidade foi descartado. A geometria foi recuperada exclusivamente a partir do varrimento RGB usando o Depth Anything 3 (DA3), um modelo fundamental de geometria multiview. A estrutura 3D resultante, sem unidade de medida, foi ancorada à escala métrica através dos centros da câmera rastreados pelo SLAM via uma transformação de similaridade de forma fechada (solução de Umeyama).
Avaliação:
- Fantasmas (Phantoms): Seis objetos foram testados: duas formas de fígado moldadas em gesso branco opaco e silicone vermelho translúcido, um fantasma de mama revestido com protetor solar e um fígado suíno ex vivo.
- Verdade Absoluta (Ground Truth): Um estilete pivotado e rastreado opticamente digitalizou as superfícies. Uma superfície de verdade absoluta contínua foi gerada via ajuste de grade para permitir a comparação densa ponto a ponto.
- Métricas: Erro Quadrático Médio (RMSE) de distâncias direcionadas ponto a ponto e Distância Média Mais Próxima Simétrica (SACPD).
- Demonstração In Vivo: Uma demonstração qualitativa foi realizada em um porco anestesiado com o fígado exposto.

Resultos Principais

Estabilidade da Plataforma: O desvio da origem do mundo do ML2 permaneceu abaixo de um valor mediano de 2 mm em todas as perturbações, confirmando que as vistas de um único varrimento podem ser agregadas diretamente sem registro adicional.
Precisão do Sensor: O sensor iToF alcançou aproximadamente 2 mm de precisão absoluta na faixa de trabalho de 0,30–0,70 m, com ruído temporal significativamente menor (~0,36 mm mediano) que o erro absoluto.
Precisão da Reconstrução (Fantasmas):
- Superfícies Opacas (Gesso): O método baseado em sensor foi significativamente mais preciso (RMSE ~2,6–3,1 mm) que o método baseado em aprendizado (RMSE ~4,7–5,0 mm).
- Superfícies Translúcidas (Silicone): A classificação se inverteu. O método baseado em aprendizado superou o método baseado em sensor (RMSE 4,3–4,6 mm vs. 4,8–5,3 mm), atribuído ao espalhamento de subsuperfície que enviesa as medições iToF.
- Tecidos Complexos: No fantasma de mama revestido com protetor solar, o método baseado em sensor manteve a vantagem (2,9 mm vs. 3,9 mm). No fígado suíno ex vivo, o método baseado em sensor mostrou uma vantagem modesta e não significativa (4,2 mm vs. 4,8 mm).
Demonstração In Vivo: A reconstrução baseada em sensor produziu uma superfície limpa (resíduo médio de 3,4 mm) no fígado do porco vivo. Por outro lado, o método baseado em aprendizado falhou em gerar uma superfície estável devido à cobertura multiview insuficiente (acesso cirúrgico de um único lado), destacando a dependência de diversidade de viewpoint.

Significância e Alegações
O artigo alega demonstrar que um headset de MR comercial pode servir como um dispositivo de aquência de superfície intraoperatória autossuficiente, eliminando a necessidade de hardware de rastreamento externo ou digitalização por estilete. A principal contribuição é a identificação de um trade-off dependente do tecido entre os paradigmas de reconstrução:

Reconstrução baseada em sensor é preferível quando os retornos de profundidade ativos são confiáveis (superfícies opacas, difusas ou adequadamente brilhantes), oferecendo precisão posicional absoluta superior.
Reconstrução baseada em aprendizado é mais robusta a modos de falha óptica inerentes ao sensor de profundidade ativo (espalhamento de subsuperfície, saturação especular, baixo albedo), mas requer cobertura multiview adequada e introduz um pequeno deslocamento posicional residual.

Os autores concluem que a escolha do paradigma de reconstrução deve ser ditada pelas características ópticas do tecido alvo e pela diversidade de viewpoint permitida pelo campo cirúrgico. O trabalho estabelece o Magic Leap 2 como um hospedeiro viável para esses pipelines, sendo que os próximos passos são a integração de segmentação em tempo real e o registro deformável subsequente.

Resumo Técnico: Aquisição de Superfície Intraoperatória Autossuficiente em um Headset de Realidade Mista

Mais como este