Resumo Técnico: SurgOnAir

Declaração do Problema

Os sistemas atuais de IA cirúrgica lutam para fornecer uma compreensão em tempo real e temporalmente fundamentada dos fluxos de trabalho cirúrgicos. Embora os Modelos de Linguagem Multimodais Grandes (MLLMs) tenham avançado na compreensão geral de vídeos, sua dependência de backbones pesados e paradigmas de processamento offline (que exigem acesso a toda a sequência de vídeo) impede uma reação imediata à dinâmica cirúrgica em evolução. Na sala de operações, decisões críticas dependem de mudanças sutis, momento a momento, no movimento dos instrumentos e nos estados dos tecidos; até mesmo pequenos atrasos perceptivos podem comprometer a segurança ou limitar a assistência. Além disso, os métodos existentes frequentemente tratam os fluxos de trabalho cirúrgicos como sequências planas, negligenciando a estrutura hierárquica inerente (Fases $\rightarrow$ Passos $\rightarrow$ Ações) que é crucial para o fundamentamento contextual e a redução de alucinações. Há uma falta de modelos capazes de processar vídeo em streaming enquanto geram simultaneamente narrativas multiníveis e conscientes da hierarquia.

Metodologia

1. Curadoria de Dados: SurgOnAir-11K

Os autores introduzem o SurgOnAir-11K, um conjunto de dados hierárquico curado projetado para preencher a lacuna entre vídeos cirúrgicos brutos e narrativas estruturadas. O pipeline de curadoria de dados envolve:

• ASR Temporalmente Fundamentado: Uso do WhisperX-large para extrair transcrições ao nível de palavra com carimbos de data/hora precisos, criando tripletas de $\langle palavra, t_{início}, t_{fim} \rangle$.
• Correção Consciente do Domínio: Sentenças de baixa confiança (probabilidade logarítmica < -0,15) são corrigidas usando o GPT-4o com restrições estritas para normalizar a terminologia sem alterar o conteúdo.
• Filtragem Consciente da Ação: As sentenças são classificadas em AÇÃO, EXPLICAÇÃO e INTERAÇÃO. Apenas as sentenças de AÇÃO, que são estritamente fundamentadas no conteúdo visual, são retidas para supervisão.
• Construção Hierárquica: O conjunto de dados é estruturado em uma hierarquia de três níveis: Fase $\rightarrow$ Passo $\rightarrow$ Palavra. Passos procedimentais de alto nível são gerados via LLMs para garantir partições não sobrepostas e temporalmente monótonas, que são então alinhadas com fases definidas por metadados.

2. Arquitetura do Modelo: SurgOnAir

O SurgOnAir é um modelo de visão-linguagem em streaming construído sobre o backbone LiveCC-7B-Base, projetado para geração de frame-a-token em tempo real sem acesso futuro.

• Interleaving Temporal Denso: O modelo adota uma estratégia de entrada em streaming onde quadros visuais ($\langle F \rangle$) e tokens de texto ($\langle W \rangle$) são densamente intercalados: $[Con] \langle F_{t:t+k} \rangle \langle W_{t:t+k} \rangle \dots$. O passo $k$ é definido como 1 com uma taxa de quadros de 2 FPS para garantir alinhamento de granularidade fina.
• Tokens de Estado Hierárquico: Para impor uma narrativa consciente da hierarquia, o modelo utiliza tokens de transição especiais (por exemplo, <State>Fase=P1, Passo=S1</State>). Esses tokens são inseridos condicionalmente no fluxo de texto apenas quando ocorre uma transição de estado, atuando como âncoras discretas para o fluxo de trabalho. Isso permite que o modelo funcione simultaneamente como um narrador contínuo e um rastreador de estado estrito.
• Estratégia de Treinamento: O modelo emprega uma estratégia de condicionamento em etapas. Nos dois primeiros epochs, ele é condicionado ao texto ASR anterior para estabilizar o treinamento. No epoch final, o contexto ASR é removido (retendo apenas o título do vídeo), forçando o modelo a depender diretamente da evidência visual.

Principais Contribuições

1. Pipeline de Fundamentação Temporal Hierárquica: Um método inovador para converter vídeos cirúrgicos brutos e transcrições ASR em um corpus vídeo-linguagem multinível e temporalmente alinhado (SurgOnAir-11K) com supervisão explícita de Fase, Passo e Palavra.
2. Framework SurgOnAir: Um framework de streaming hierárquico que intercala tokens multimodais para processamento em tempo real. Ele aproveita exclusivamente tokens de transição especializados para prever explicitamente mudanças de estado, permitindo a geração de narrativas conscientes da hierarquia procedimental.
3. Desempenho em Tempo Real: A demonstração de um único modelo de visão-linguagem capaz de unificar o streaming através de múltiplas hierarquias do fluxo de trabalho cirúrgico, superando tanto modelos offline quanto bases de referência de streaming existentes na qualidade da narração em tempo real.

Resultados Experimentais

O modelo foi avaliado em uma divisão 80/20 do conjunto de dados SurgOnAir-11K usando uma tarefa de escolha pareada julgada pelo GPT-4o, priorizando a correção semântica e o fundamentamento sobre a perfeição sintática.

• Comparação com Bases de Referência:
  • Modelos Offline: Video-LLMs offline (LLaVA-Video-7B, Qwen2.5-VL-7B) apresentaram desempenho pobre (taxas de vitória de 11,3% e 6,2%, respectivamente), destacando sua inadequação para cenários cirúrgicos em tempo real.
  • Bases de Referência de Streaming: O modelo de streaming genérico LiveCC-7B alcançou uma taxa de vitória de 16,7%, superando os modelos offline, mas falhando em capturar nuances cirúrgicas complexas.
  • Variantes SurgOnAir: Uma versão de narração plana treinada em dados do domínio (SurgOnAir-base) alcançou uma taxa de vitória de 60,4%. O modelo SurgOnAir completo, incorporando modelagem hierárquica, alcançou a maior taxa de vitória de 66,1%.
• Estudos de Ablação:
  • Hierarquia: A remoção da estrutura hierárquica (SurgOnAir-base) reduziu a taxa de vitória para 39,4% contra o modelo completo, confirmando a necessidade de orientação estrutural.
  • Formulação de Estado: Uma variante que forçava a previsão de estado em cada token de palavra (SurgOnAir-v1) alcançou 42,5%, comparado a 57,5% para a formulação proposta consciente de transição, indicando que a geração redundante de estado prejudica a fluência da narração.
  • Correção de Fase: Quando o modelo previu corretamente a fase cirúrgica, a taxa de vitória contra o modelo base saltou para 65,8%, demonstrando que o fundamentamento preciso da fase apoia diretamente a narração alinhada contextualmente.
• Resultados Qualitativos: O modelo transita com sucesso de forma coerente através de limites procedimentais (por exemplo, de "Introdução de Malha" para "Fixação de Malha") e mantém o alinhamento temporal em nível micro, descrevendo com precisão instrumentos e anatomia no momento da interação.

Significado e Alegações

O artigo alega que o SurgOnAir representa o primeiro framework de narração cirúrgica em tempo real construído sobre modelagem hierárquica. Seu significado principal reside em avançar a compreensão cirúrgica em tempo real além da legendagem convencional de vídeos, produzindo descrições que são tanto temporalmente alinhadas quanto conscientes da hierarquia. Os autores afirmam que este trabalho estabelece uma base para futuras automações cirúrgicas e sistemas inteligentes de ensino cirúrgico.

O artigo permanece modesto quanto às suas limitações, reconhecendo que a escala atual do conjunto de dados é limitada e que o modelo ainda não realiza previsão de ações futuras, notando essas como direções promissoras para maior exploração.