Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions

Resumo Técnico: Interpolação de Rótulos com Consistência Temporal para Aprendizado Multitarefa Cirúrgico Robusto sob Condições Desafiadoras

1. Declaração do Problema

O artigo aborda uma barreira fundamental no aprendizado multitarefa (MTL) unificado para cirurgia: o descompasso de granularidade de anotação.

• Tarefas Temporais: Tarefas relacionadas ao fluxo de trabalho (reconhecimento de fase, reconhecimento de etapa, antecipação) geralmente se beneficiam da supervisão densa em nível de quadro disponível para quase todos os quadros do vídeo.
• Tarefas Espaciais: Tarefas de nível de pixel (segmentação de instrumentos, reconhecimento de ação) exigem anotação especializada de especialistas, envolvendo conhecimento clínico especializado. Consequentemente, estas são frequentemente anotadas apenas esparsamente em quadros-chave selecionados devido aos custos proibitivos de rotulagem.

Este desequilíbrio cria uma lacuna de supervisão que compromete o aprendizado de representação compartilhada. A otimização conjunta de tarefas heterogêneas é limitada porque o modelo carece de pistas espaciais densas para fundamentar as previsões temporais, enquanto o contexto temporal falha em regularizar as previsões espaciais esparsas de forma eficaz. Além disso, a propagação direta de rótulos esparsos em vídeos cirúrgicos é desafiadora devido às complexas condições intraoperatórias (oclusão, fumaça, desfoque de movimento, variação de iluminação), que fazem com que métodos de propagação baseados em aparência (como o SAM2) falhem, resultando em pseudo-rótulos temporalmente inconsistentes.

2. Metodologia

Os autores propõem o FAROS (Flow-guided Annotation for Robust Operating Scenes), um framework projetado para gerar pseudo-rótulos densos e temporalmente consistentes a partir de anotações esparsas de quadros-chave, seguido por uma arquitetura de aprendizado multitarefa unificada.

A. FAROS: Interpolação de Rótulo Guiada por Fluxo
O FAROS combina a propagação de máscara baseada em segmentação zero-shot com a estimativa de fluxo óptico para superar as limitações dos métodos baseados em aparência em ambientes cirúrgicos.

• Prompting Bidirecional do SAM2: Em vez de propagar unidirecionalmente a partir de um único quadro-chave, o sistema registra máscaras de verdade fundamental (ground-truth) de ambos os quadros-chave de contorno ($k_0$ e $k_1$) no banco de memória do SAM2. Isso permite que o modelo referencie âncoras de ambas as extremidades de um segmento, melhorando a estabilidade temporal.
• Detecção de Anomalias Baseada em Consistência de Fluxo: Para detectar falhas de propagação (ex: oclusão ou saída de instrumento), o sistema utiliza a propriedade de consistência direta-inversa do fluxo óptico (estimado via RAFT). Ele calcula um erro de consistência por pixel. Se o erro exceder um limiar ($\tau$) por um número consecutivo de quadros ($n_{confirm}$), a propagação é sinalizada como anômala.
• Reprompting Guiado por Fluxo: Ao detectar uma anomalia, o sistema calcula o fluxo reverso do quadro-chave mais próximo para o quadro atual. Ele deforma (warps) a máscara de verdade fundamental daquele quadro-chave para gerar um "prompt corretivo" geometricamente fundamentado. Este prompt é alimentado de volta no codificador de prompt do SAM2 para reinicializar a propagação, recuperando efetivamente a máscara onde a atenção baseada em aparência falhou.

B. Framework de Aprendizado Multitarefa Unificado
Os pseudo-rótulos densificados são integrados em um framework baseado em Transformer que aprende conjuntamente cinco tarefas: reconhecimento de fase cirúrgica, reconhecimento de etapa, antecipação, segmentação de instrumentos e reconhecimento de ação.

• Arquitetura: O framework emprega uma Rede de Proposta de Região (RPN) baseada em Mask2Former como linha de base para segmentação de instrumentos. No Estágio 1, a RPN é treinada com máscaras reais e pseudo-máscaras para produzir embeddings de região. No Estágio 2, a RPN é congelada e esses embeddings pré-computados são reutilizados.
• Acoplamento Espaço-Temporal: Um backbone MViT extrai características espaço-temporais. Tokens CLS dedicados são atribuídos às tarefas de nível de quadro (fase, etapa).
• Condicionamento Cruzado de Tarefas: O framework modela explicitamente as dependências entre tarefas via módulos de condicionamento leves:
  • Fase $\to$ Etapa: Características de fase informam a previsão de etapa.
  • Espacial $\to$ Temporal: Embeddings de região agrupados (presença/configuração de instrumentos) são injetados nos cabeçalhos de previsão de fase e etapa, fundamentando o reconhecimento do fluxo de trabalho na compreensão de instrumentos em nível de pixel.
• Otimização: O modelo utiliza uma soma ponderada de perdas específicas de cada tarefa, ativando-as apenas quando as anotações correspondentes (ou pseudo-rótulos) estão disponíveis, permitindo uma otimização equilibrada entre sinais de supervisão heterogêneos.

3. Principais Contribuições

1. Identificação do Descompasso de Granularidade de Anotação: O artigo identifica a disparidade entre a supervisão temporal densa e a espacial esparsa como uma barreira crítica para o MTL cirúrgico unificado e propõe o FAROS para preencher essa lacuna.
2. Framework FAROS: Um novo método de interpolação de rótulos guiado por fluxo que aumenta a segmentação zero-shot (SAM2) com orientação de fluxo óptico. Ele aborda especificamente modos de falha em condições cirúrgicas desafiadoras (oclusão, fumaça, desfoque de movimento) usando priors de movimento geométrico para detectar anomalias e realizar o reprompting do modelo de segmentação.
3. MTL Espaço-Temporal Unificado: Um framework baseado em Transformer que modela conjuntamente tarefas de nível de fluxo de trabalho e de nível de região, aproveitando a supervisão espacial densificada para permitir um aprendizado de representação cruzada equilibrado.
4. Validação Empírica: Experimentos extensos nos benchmarks GraSP, MISAW e AutoLaparo, juntamente com validação no dataset DAVIS 2017 sob um protocolo de verdade fundamental esparsa.

4. Resultados

• Validação DAVIS 2017: Sob um protocolo de verdade fundamental esparsa (quadros-chave a cada 30 quadros), o FAROS supera o baseline do SAM2 em similaridade de região ($\mathcal{J}$) e precisão de contorno ($\mathcal{F}$), demonstrando propagação robusta mesmo com longos intervalos entre quadros-chave e movimentos desafiadores.
• Benchmark GraSP: O modelo completo com interpolação guiada por fluxo ("All w/ inter") melhora significativamente as tarefas de nível de fluxo de trabalho em comparação com os baselines de tarefa única e modelos multitarefa sem interpolação. Notavelmente, o reconhecimento de etapa mostra ganhos fortes. Embora um declínio quantitativo marginal no mIoU tenha sido observado em relação ao modelo multitarefa não interpolado, a análise qualitativa indicou uma segmentação visualmente superior, com menos falsos positivos e melhor consistência temporal.
• Benchmark MISAW: O método proposto alcançou os melhores resultados em quase todas as métricas, com melhorias particularmente fortes no reconhecimento de fluxo de trabalho e antecipação de etapa. A segmentação de instrumentos também recuperou e superou os baselines de tarefa única.
• Benchmark AutoLaparo: Utilizado para isolar o efeito da interpolação de rótulos, os resultados mostraram que os modelos treinados com pseudo-rótulos interpolados melhoraram consistentemente o desempenho de segmentação (IoU, mIoU) sobre os baselines sem interpolação, mesmo sem o treinamento multitarefa conjunto.
• Eficiência: O framework atinge capacidade de tempo real (aprox. 44 clipes/s em uma única GPU) ao desacoplar a geração de máscara computacionalmente pesada (Estágio 1, congelado) da inferência multitarefa (Estágio 2).

5. Significância e Alegações

O artigo afirma que a interpolação de rótulos guiada por fluxo é essencial para realizar os benefícios do aprendizado multitarefa no entendimento de cenas cirúrgicas. Sem a interpolação, o treinamento conjunto frequentemente degrada o desempenho em relação aos baselines de tarefa única devido ao desequilíbrio de anotação.

Os autores asseguram que:

• Acoplamento Espacial-Temporal: As configurações espaciais dos instrumentos servem como priors estruturados para o reconhecimento do fluxo de trabalho. Ao densificar a supervisão espacial, o framework fornece pistas mais ricas para as transições de fase e etapa.
• Robustez: A combinação de segmentação baseada em aparência e correção de fluxo baseada em geometria lida efetivamente com condições clinicamente desafiadoras (ex: entrada/saída de instrumentos, fumaça, oclusão por sangue) onde modelos puramente baseados em aparência falham.
• Generalização: A abordagem é validada através de diversos domínios cirúrgicos (cirurgia humana assistida por robô, treinamento de microcirurgia, laparoscopia) e cenários de vídeo gerais, sugerindo que o método é robusto a variações de densidade de anotação e complexidades visuais.

O trabalho posiciona-se como uma base para o entendimento holístico de cenas cirúrgicas com eficiência de anotação, demonstrando que preencher a lacuna de supervisão permite um aprendizado de representação cruzada equilibrado que melhora o desempenho em todas as tarefas simultaneamente.