Action-grounded tissue affordance enables anticipatory auto-framing that lowers surgeon cognitive workload during laparoscopic surgery

Resumo Técnico: Afordância de Tecido Baseada em Ação para Enquadramento Antecipatório em Cirurgia Laparoscópica

Problema

A cirurgia laparoscópica apresenta desafios cognitivos significativos devido à dissociação entre os eixos visual e motor, visões bidimensionais restritas e a necessidade de um assistente de câmera para interpretar a intenção do cirurgião. Embora modelos de atenção computacional pudessem aliviar esse fardo ao prever regiões de interesse (ROI), sua implementação na cirurgia é dificultada pelo "gargalo de rotulagem". Ao contrário de imagens naturais, as ROIs cirúrgicas não são estruturas anatômicas estáticas, mas alvos dinâmicos ditados pela intenção funcional. Identificar esses alvos requer conhecimento procedimental especializado que é intrinsecamente tácito; especialistas convergem em loci de interação, mas não conseguem articular as regras explícitas que regem sua seleção. Consequentemente, a geração de anotações densas, por quadro, para treinar modelos de aprendizagem profunda depende de um grupo escasso de cirurgiões especialistas, tornando a supervisão manual proibitivamente cara e não escalável. Além disso, as abordagens existentes frequentemente dependem do rastreamento reativo de instrumentos, o que falha em antecipar a intenção do cirurgião antes que a ferramenta chegue ao alvo.

Metodologia

Os autores propõem uma estrutura que deriva supervisão da ação em vez de anotação manual, mudando da identificação de marcos estáticos para uma interpretação de intenção cirúrgica baseada em ação. A metodologia consiste em três componentes principais:

1. DiffeoAfford (Afordância Difeomórfica):

   • Conceito: Um pipeline orientado ao retrospecto que deduz retrospectivamente os loci de interação cirúrgica (Pontos Quentes de Afordância ou AHs) a partir de procedimentos concluídos.
   • Mecanismo: O sistema utiliza o Segment Anything Model 2 (SAM2) para segmentar instrumentos e extrair pontas. Para lidar com a deformação não rígida de tecidos moles, que invalida transformações globais simples, o DiffeoAfford emprega rastreamento com restrição difeomórfica. Isso combina transformações globais (para movimento da câmera) com campos de deformação difeomórfica local para estabelecer correspondências densas, pixel a pixel, entre os quadros.
   • Geração de Rótulos: Pontos das pontas dos instrumentos são agregados em um quadro de consulta e propagados para todos os outros quadros via campos de deslocamento. Esses pontos são filtrados e ajustados a uma distribuição Gaussiana 2D para gerar "rótulos suaves" contínuos (mapas de calor) que representam a afordância do tecido.
   • Refinamento Temporal: O pipeline segmenta automaticamente clipes de vídeo com base no comprimento do instrumento e na visibilidade do AH, garantindo que os rótulos correspondam a demonstrações de ação única coerentes.

2. Predição de Afordância em Tempo Real:

   • Um modelo de aprendizagem profunda (SegFormer) é treinado no conjunto de dados de AH gerado automaticamente.
   • Este modelo prevê hotspots de afordância em tempo real a partir da cena cirúrgica sem exigir rótulos manuais durante a inferência.
   • O centroide previsto do mapa de calor serve como o alvo para o controle da visão.

3. Aplicação AffordView:

   • Um sistema de enquadramento automático antecipatório que corta e aumenta dinamicamente o vídeo original para centralizar o locus de interação previsto.
   • Ao contrário de sistemas reativos ou assistentes de câmera humanos que inferem a intenção a partir da imagem atual, o AffordView alinha proativamente o campo de visão (FoV) com o alvo cirúrgico previsto, aproveisando a fixação natural de viés central do cirurgião nos monitores.

Principais Contribuições

• Supervisão Baseada em Ação: O artigo introduz um novo método para gerar rótulos de afordância densos, por quadro, sem anotação manual, aproveitando as próprias trajetórias de instrumentos do cirurgião como uma verdade fundamental retrospectiva.
• Pipeline DiffeoAfford: O desenvolvimento de uma estrutura de rastreamento que integra deformações difeomórficas para lidar com a dinâmica de tecidos moles, superando baselines de transformação global (similaridade e homografia) em precisão de localização.
• Antecipatório vs. Reativo: A demonstração de que a predição de afordância baseada em ação pode antecipar o olhar do cirurgião e o subsequente movimento da câmera de forma mais eficaz do que o rastreamento reativo de instrumentos ou assistentes de câmera humanos.
• Validação Clínica: Uma avaliação abrangente da aplicação AffordView usando questionários de carga de trabalho subjetiva, eletroencefalografia (EEG), pupilometria e rastreamento ocular em um estudo intraoperatório pareado.

Resultos

• Precisão de Fundamentação: No dataset público Cholec80, os rótulos gerados pelo DiffeoAfford alcançaram precisão de anotação estatisticamente equivalente a anotadores novatos fornecidos com contexto procedimental completo e aproximou-se de consenso de cirurgiões seniores. No dataset privado LCET, os rótulos fundamentados alinharam-se com o olhar intraoperatório do cirurgião sem diferença significativa em comparação com anotadores juniores em contexto.
• Desempenho de Predição:
  • Alinhamento Temporal: No dataset LCET, o modelo de predição de AH mostrou lags de centroide significativamente menores em relação ao olhar do cirurgião comparado ao olhar do assistente de câmera (ex: -0,033s vs. 0,185s durante a dissecação do triângulo de Calot).
  • Alinhamento Espacial: As predições de AH foram significativamente mais próximas do olhar do cirurgião do que tanto o olhar do assistente de câmera quanto o centro da imagem.
  • Previsão de Movimento de Câmera: No dataset AutoLaparo (histerectomia), o modelo alcançou 95,16% de consistência direcional com o movimento subsequente da câmera imediatamente antes de o movimento ocorrer. Diferente das baselines de rastreamento de instrumentos, que degradavam rapidamente conforme o intervalo temporal aumentava, a predição de AH manteve estabilidade de precisão em horizontos mais longos.
• Experiência do Usuário e Carga Cognitiva:
  • Preferência: Em um levantamento multicêntrico (28 cirurgiões), o AffordView impulsionado por AH foi significativamente preferido em relação a visões não ajustadas (77,1% de preferência) e baselines de rastreamento de instrumentos (75,4% de preferência) quanto à precisão do FoV.
  • Métricas Fisiológicas: Em um estudo intraoperatório pareado (12 pares de colecistectomias), o grupo experimental usando AffordView mostrou reduções significativas nos marcadores de carga de trabalho cognitiva:
    • EEG: Diminuição da razão teta/alfa (TAR) e do poder alfa occipital durante fases alvo.
    • Pupilometria: Redução do Índice de Atividade Pupilar (IPA).
    • Comportamental: Uma redução significativa no número de instruções verbais emitidas aos assistentes de câmera.
  • Métricas Subjetivas: Os cirurgiões relataram demandas mentais e físicas significativamente menores na escala SURG-TLX.

Significância e Alegações

O artigo afirma que derivar supervisão da ação em vez da anotação oferece uma rota escalável para assistência antecipatória na sala de operação. Ao fundamentar a afordância do tecido retrospectivamente, o sistema preenche a lacuna entre dados sensoriais brutos e raciocínio cognitivo de alto nível sem depender do conhecimento tácito de especialistas para rotulagem.

Os autores enfatizam que sua abordagem não apenas rastreia instrumentos, mas prevê onde a interação é esperada que ocorra, alinhando a interface digital com as restrições visuais-motoras humanas (especificamente o viés central e estratégias de "olhar quieto" ou quiet eye). Este alinhamento reduz o custo neural da rotação mental compensatória e da carga cognitiva estranha. O estudo conclui que, embora o sistema não substitua o cirurgião, ele atua como uma ferramenta de inteligência aumentada que amplifica as capacidades humanas ao gerenciar proativamente o campo visual, mitigando assim a sobrecarga cognitiva inerente à cirurgia laparoscópica. Os autores permanecem modestos, observando que o sistema atualmente carece de raciocínio semântico (ex: distinguir tecido maligno) e que os benefícios cognitivos observados não implicam necessariamente a preservação da vigilância periférica, que não foi medida.