Resumo Técnico: Recuperação de Vídeo por Texto com Raciocínio para Clipes de Centro Cirúrgico via Gêmeos Digitais Orientados por Ação

Declaração do Problema

As salas de operação (ORs) geram milhares de horas de filmagens, mas os stakeholders clínicos (ex: estagiários de cirurgia, equipes de qualidade) geralmente requerem clipes curtos e específicos que duram segundos ou minutos. Embora a recuperação de vídeo por texto em nível de clipe seja uma formulação natural para acessar esses segmentos, os métodos existentes enfrentam duas limitações críticas no contexto de OR:

1. Incapacidade de Lidar com Consultas Implícitas: Ao contrário da recuperação convencional, onde as consultas descrevem explicitamente o conteúdo visual, as consultas de OR são frequentemente implícitas e exigem raciocínio (ex: "o passo imediatamente anterior ao corte" ou "a ação que causou sangramento"). Os métodos atuais baseados em embeddings globais não conseguem raciocinar sobre tais consultas.
2. Falta de Discriminação Fina: Clipes do mesmo procedimento cirúrgico podem parecer visualmente quase idênticos, diferindo apenas em ações específicas e interações de entidades. As abordagens de gêmeo digital (DT) centradas em objetos focam em entidades e atributos visuais por quadro, falhando em distinguir entre clipes consecutivos que compartilham objetos idênticos, mas diferem em ações e transições de estado.

Metodologia: OR3

Os autores propõem o OR3 (Operating Room Reasoning Retrieval), um framework projetado para lidar com consultas implícitas através do raciocínio de ação temporal. A metodologia consiste em três componentes principais:

1. Gêmeos Digitais Orientados por Ação (ActDTs)

Em vez de representações centradas em objetos, o OR3 converte cada clipe de vídeo em um Gêmeo Digital Orientado por Ação (ActDT).

• Estrutura: Um ActDT é uma sequência de primitivas de ação serializadas como JSON estruturado. Ele agrupa triplas de sujeito-ação-objeto concorrentes sob intervalos temporais não sobrepostos.
• Componentes:
  • Intervalos: Definidos por timestamps de início e fim, cobrindo toda a duração do clipe sem sobreposição.
  • Triplas: Cada interação inclui um sujeito ($s$), uma ação ($v$) e um objeto ($o$).
  • Atributos: O sujeito e o objeto incluem categoria (de um vocabulário específico de OR), atributo (resumo em linguagem natural de propriedades como postura ou estado do instrumento) e localização (caixa delimitadora e profundidade).
• Geração: Modelos de Fundação de Visão (Qwen3-VL, SAM-3, DepthAnythingV3) extraem essas triplas de quadros RGB e máscaras de segmentação.

2. Recuperação Baseada em Imaginação

O OR3 reformula a tarefa de recuperação de correspondência cross-modal para correspondência intra-modal para reduzir o gap semântico entre consultas abstratas e representações de vídeo concretas.

• Geração Hipotética: Dada uma consulta implícita $q$ e metadados procedimentais $K$, um Large Language Model (LLM) gera um ActDT hipotético ($\widehat{\text{ActDT}}_q$). O LLM prevê as primitivas de ação que o clipe alvo conteria, em vez de apenas refrasear a consulta.
• Codificação Intra-Modal: Tanto o ActDT hipotético quanto os ActDTs de clipes reais são serializados como texto JSON e codificados por um único encoder de texto compartilhado ($f_\theta$). A relevância é computada via similaridade de cosseno.
• Estratégia de Treinamento: O encoder é treinado com um objetivo contrastivo usando dois tipos de negativos difíceis (hard negatives) adaptados para ActDTs:
  • Negativos Temporalmente Adjacentes: Clipes que compartilham entidades, mas diferem em ações.
  • Negativos de Permutação Temporal: Clipes onde a ordem dos intervalos é embaralhada, interrompendo a lógica temporal enquanto preserva as primitivas de ação.
  • Aumentação de Field-Dropout: Mascaramento aleatório de campos nos ActDTs reais para tornar o encoder robusto à ausência de atributos visuais presentes nos ActDTs hipotéticos.

3. Refinamento Baseado em Evidências

Para abordar a limitação de que os LLMs podem não capturar convenções específicas de procedimentos, o OR3 emprega um loop de refinamento iterativo.

• Processo: Após um ranking inicial, os $K$ candidatos principais (com seus ActDTs reais) são alimentados de volta ao LLM junto com a consulta original e o ActDT hipotético inicial.
• Revisão: O LLM identifica discrepâncias entre as primitivas de ação imaginadas e observadas e gera um ActDT hipotético revisado.
• Iteração: Este processo se repete por até $T_{ref}$ rodadas ou até que o clipe classificado no topo permaneça inalterado, permitindo que o sistema adapte a interpretação da consulta a padrões específicos do procedimento.

Construção do Benchmark

Os autores construíram um novo benchmark para recuperação de raciocínio de texto-para-vídeo em OR usando o dataset MM-OR:

• Dados: 386 clipes derivados de 17 gravações de procedimentos de joelho robótico, segmentados por fases e passos cirúrgicos.
• Consultas: 276 consultas implícitas através de quatro categorias de raciocínio:
  • Temporal: (ex: "o passo imediatamente anterior ao corte de osso")
  • Causal: (ex: "a ação que desencadeou uma violação de esterilidade")
  • Procedural: (ex: "o primeiro uso da broca após a calibração do robô")
  • Baseada em Papel: (ex: "o que a enfermeira preparou enquanto o cirurgião estava serrando")
• Divisão: Treinamento (162 consultas), Validação (48 consultas) e Teste (66 consultas).

Resultados Experimentais

Avaliado no benchmark, o OR3 supera significativamente as linhas de base existentes, incluindo métodos baseados em embedding (CLIP4Clip, X-CLIP), video-LLMs (InternVideo2, Qwen3-VL) e o método de raciocínio anterior de estado da arte (ReasonT2V).

• Desempenho Geral: O OR3 alcança 57.6% R@1 e 77.3% R@5, superando a linha de base mais forte (ReasonT2V) em 33.4 pontos percentuais em R@1.
• Detalhamento por Categoria:
  • Baseada em Papel: Desempenho mais alto (67.6% R@1), pois pares agente-ação alinham-se naturalmente com as triplas ActDT.
  • Temporal & Procedural: Mostraram os maiores ganhos absolutos sobre o ReasonT2V (36.9 e 35.3 pontos, respectivamente), demonstrando a eficácia das primitivas de ação estruturadas por intervalo.
  • Causal: Categoria mais desafiadora, porém o OR3 alcançou 42.1% R@1 comparado a 15.8% para o ReasonT2V.
• Estudos de Ablação:
  • Substituir o ActDT por DTs centrados em objetos causou a maior queda (15.2% no total), confirmando a necessidade da representação orientada por ação.
  • Remover a recuperação baseada em imaginação reduziu o R@1 em 12.1%, validando a abordagem de correspondência intra-modal.
  • O refinamento baseado em evidências contribuiu com um ganho de 7.6% no total, com o impacto mais significativo em consultas causais.

Significância e Alegações

O artigo afirma que o OR3 permite a discriminação fina entre clipes de vídeo de OR visualmente semelhantes ao mudar o foco de atributos estáticos de objetos para o raciocínio de ação temporal.

As principais contribuições incluem:

1. Formulação da Tarefa: Introdução da recuperação de raciocínio de texto-para-vídeo para clipes de OR, uma tarefa que exige a discriminação de visuais quase idênticos via consultas implícitas.
2. Inovação Metodológica: Proposta de ActDTs para codificar a dinâmica de interação objeto-ação temporal e recuperação baseada em imaginação para eliminar gaps semânticos cross-modais.
3. Refinamento Adaptativo: Introdução do refinamento baseado em evidências para adaptar a interpretação da consulta a convenções procedimentais específicas.
4. Benchmark: Fornecimento de um dataset curado de 276 consultas implícitas sobre 386 clipes para facilitar pesquisas futuras neste domínio.

Os autores concluem que sua abordagem aborda com sucesso a lacuna entre como os usuários buscam clipes de OR e como os métodos de recuperação existentes operam, embora notem que trabalhos futuros poderiam explorar outros tipos de procedimentos, consultas de múltiplos turnos e recuperação em tempo real durante procedimentos ao vivo.