💻 computer science

On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos

Este artigo introduz o benchmark Endo-C6 e o modelo RobustEndoCLIP para demonstrar que, embora modelos de visão-linguagem temporais prontos para uso sofram um colapso severo de desempenho sob corrupções de vídeo específicas de endoscopia, a adaptação leve de poucos disparos (few-shot) pode aumentar significamente sua robustez sem alterar a interface baseada em prompts.

Autores originais: Darakshan Rashid, Raza Imam, Ufaq Khan, Muhammad Bilal, Shazad Ashraf, Dwarikanath Mahapatra, Mohammad Yaqub, Muhammad Haris Khan, Imran Razzak, Brejesh Lall, Lena Maier-Hein, Yutong Xie

Publicado 2026-08-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Darakshan Rashid, Raza Imam, Ufaq Khan, Muhammad Bilal, Shazad Ashraf, Dwarikanath Mahapatra, Mohammad Yaqub, Muhammad Haris Khan, Imran Razzak, Brejesh Lall, Lena Maier-Hein, Yutong Xie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente a assistir vídeos. Você não quer ensinar a ele um jogo específico de cada vez; em vez disso, você dá a ele um "cérebro" geral que entende tanto o que vê quanto o significado das palavras. Isso é chamado de Modelo de Visão-Linguagem. Pense nisso como um estudante que leu todos os livros da biblioteca e assistiu a todos os filmes já feitos, para que você possa apenas perguntar a ele: "O que está acontecendo neste vídeo?" e ele responde com base no que sabe. Esses robôs estão se tornando muito populares para assistir a vídeos de cirurgia, onde os médicos precisam identificar rapidamente ferramentas, fases de uma operação ou problemas de segurança sem precisar passar anos rotulando cada quadro individualmente.

No entanto, há um porém. O robô foi treinado com vídeos perfeitos, em alta definição e qualidade de estúdio. A vida real em uma cirurgia é bagunçada. É como assistir a um filme através de uma janela embaçada, com a câmera tremendo, fumaça de uma ferramenta de corte a laser ou o sinal travando devido a uma conexão de internet ruim. A grande questão que os cientistas estão fazendo é: Se você mostrar a esse robô superinteligente um vídeo de cirurgia bagunçado, ele ainda funciona? Ou ele fica confuso e começa a alucinar bobagens? Este artigo mergulha exatamente nesse problema, testando o quão bem esses modelos de IA resistem quando a qualidade do vídeo "sai dos trilhos".

O Teste de Realidade do Robô: Quando os Vídeos de Cirurgia Ficam Bagunçados

Conheça o Modelo de Visão-Linguagem Temporal (TVLM). Você pode pensar neles como os "gênios multitarefa" do mundo da IA. Em vez de serem treinados para reconhecer apenas uma coisa (como "isso é um escalpelo?"), eles são treinados para entender a história completa de um vídeo, combinando imagens em movimento com descrições de texto. Os cirurgiões os adoram porque podem fazer perguntas como: "Que fase da cirurgia é esta?" ou "Qual ferramenta está sendo usada?", sem precisar de um cérebro construído sob medida para cada pergunta.

Mas aqui está a reviravolta: esses gênios foram criados em um mundo estéril e perfeito. Os vídeos dos quais aprenderam eram limpos, estáveis e brilhantes. A cirurgia real, no entanto, é uma aventura caótica. A câmera pode ficar embaçada pelo calor, a lente pode ficar borrada, a fumaça de uma ferramenta de cautério (um dispositivo que queima tecido) pode preencher a tela, ou o vídeo pode sofrer falhas devido à perda de pacotes (como quando sua chamada de vídeo trava).

Os autores deste artigo, uma equipe de pesquisadores de lugares como o MBZUAI e o Centro Alemão de Pesquisa do Câncer, decidiram submeter esses modelos de IA ao teste de estresse definitivo. Eles perguntaram: Se jogarmos esses problemas do mundo real e bagunçados contra os modelos, eles desmoronarão?

O Obstáculo "Endo-C6"

Para responder a isso, a equipe construiu um obstáculo especial chamado Endo-C6. Imagine um nível de videogame onde você tem que navegar por seis tipos diferentes de desastres:

Desfoco (Defocus): A câmera perde a nitidez, como uma foto borrada.
Névoa (Fog/Haze): A visão fica nublada, como olhar através de um espelho de banheiro embaçado.
Ruído de Disparo (Shot Noise): A imagem fica granulada, como uma TV antiga com estática.
Desfoque de Movimento (Motion Blur): A câmera se move rápido demais, borrando a imagem.
Perda de Pacotes (Packet Loss): O vídeo pula ou trava, como uma transmissão de internet com buffering.
Fumaça de Cautério (Cautery Smoke): Fumaça espessa obscurece a visão, algo comum quando cirurgiões queimam tecidos.

Eles pegaram três modelos de IA populares (SurgVLP, HecVLP e PeskaVLP) e os passaram por este circuito de obstáculos usando vídeos de cirurgia reais de três conjuntos de dados diferentes: cirurgia laparoscópica (dentro do abdômen), endoscopia gastrointestinal (olhando para dentro da garganta ou intestino) e cirurgia colorretal.

Os Resultados Chocantes: O "Colapso"

Os resultados foram um pouco assustadores para a comunidade de IA. Quando os vídeos estavam limpos, os modelos iam bem. Mas assim que os "desastres" surgiam, os modelos sofriam o que os autores chamam de "colapso do pior caso" (worst-case collapse).

Pense nisso como um aluno que tirou nota máxima em uma prova de matemática em uma biblioteca silenciosa, mas, ao ser solicitado a resolver os mesmos problemas enquanto estava parado em um furacão com um visor embaçado, esqueceu como contar.

Em um conjunto de dados (CholecT50), a precisão dos modelos caiu de cerca de 40% em vídeos limpos para tão baixo quanto 7% quando a fumaça ou o desfoque eram introduzidos.
Em outro conjunto de dados (TEMSET-24K), os modelos foram ainda piores, caindo para uma terrível precisão de 0,4% em alguns clipes corrompidos. Isso é basicamente um palpite aleatório.

O artigo descarta explicitamente a ideia de que esses modelos estão prontos para o uso profissional em sua forma atual "pronta para uso" (off-the-shelf). Eles são muito frágeis. Uma pequena quantidade de fumaça ou desfoque pode torná-los completamente inúteis, o que é perigoso em uma cirurgia, onde a segurança é tudo.

O Herói: Um Truque de "Ajuste" Leve

Mas não entre em pânico! O artigo não apenas aponta o problema; ele oferece uma solução. Os pesquisadores desenvolveram um novo modelo chamado RobustEndoCLIP.

Em vez de retreinar todo o céreão gigante da IA (o que leva uma eternidade e exige quantidades massivas de dados), eles usaram um truque inteligente chamado VeRA (Adaptação de Matriz Aleatória Baseada em Vetores). Imagine que o modelo de IA é uma biblioteca enorme e pesada. Retreiná-la é como reconstruir a biblioteca inteira. O VeRA é como adicionar um sistema de fichas pequeno e inteligente na recepção. É incrivelmente pequeno e eficiente.

Eles pegaram uma pequena fatia de dados limpos (apenas 16% dos clipes de treinamento disponíveis) e usaram esse truque de "ficha de índice" para guiar gentilmente o modelo para que ele entendesse melhor o mundo bagunçado.

O resultado? O RobustEndoCLIP não apenas sobreviveu ao circuito de obstáculos; ele prosperou.

Enquanto os modelos antigos caíram para 7% de precisão nos piores cenários de fumaça, o novo modelo manteve-se estável em 16,83%.
No dataset mais difícil (TEMSET-24K), ele melhorou a precisão do pior caso de um ínfimo 0,40% para um muito mais confiável 19,98%.

O artigo mostra que esse ajuste leve torna o modelo muito mais robusto, especialmente nos cenários de "pior caso", sem mudar a forma como os médicos interagem com ele. Você ainda faz perguntas em linguagem natural e ele fornece respostas melhores, mesmo quando o vídeo está bagunçado.

O Que Isso Significa para o Futuro

Os autores são cuidadosos ao não dizer que "resolveram" a IA para cirurgia. Eles sugerem que seu novo benchmark, Endo-C6, deve se tornar a maneira padrão de testar esses modelos. Antes de confiarmos uma IA para ajudar em uma sala de operações, precisamos saber como ela lida com fumaça, desfoque e névoa.

O estudo conclui que, embora os modelos atuais sejam frágeis, um pouco de ajuste inteligente e eficiente pode torná-los muito mais resistentes. É um lembrete de que, no mundo real e bagunçado da cirurgia, ser "inteligente" não é suficiente; você também precisa ser "resistente". E com ferramentas como o RobustEndoCLIP, podemos estar chegando mais perto de uma IA que consiga lidar com o caos da sala de cirurgia sem perder a calma.

Resumo Técnico: Sobre a Robustez de Modelos de Visão-Linguagem Temporais para Vídeos de Endoscopia Cirúrgica

Declaração do Problema

Modelos de Visão-Linguagem Temporais (TVLMs) oferecem uma interface reutilizável e baseada em prompts para a compreensão de vídeos cirúrgicos, eliminando a necessidade de classificadores personalizados para cada novo conjunto de rótulos. No entanto, sua robustez sob artefatos de aquisição clinicamente realistas em endoscopia permanece insuficientemente caracterizada. A endoscopia cirúrgica é intrinsecamente ruidosa, sujeita a mudanças de distribuição estruturadas causadas por desfoque, névoa, borrão de movimento, ruído, fumaça de cautério e perda de pacotes. Esses artefatos, que são rotineiros durante procedimentos (ex: durante o cautério ou reposicionamento rápido), podem comprometer o alinhamento vídeo-texto. Os benchmarks de robustez atuais frequentemente falham em isolar falhas causadas por artefatos de mudanças no mix de procedimentos ou rótulos, e estudos existentes sobre VLMs médicos frequentemente omitem modelos temporais baseados em prompts ou focam em tarefas específicas como estimativa de profundidade em vez de classificação de clipes geral.

Metodologia

Os autores propõem um framework abrangente para testar a resistência dos TVLMs e melhorar sua robustez através de adaptação eficiente.

1. Endo-C6 Benchmark:
O artigo introduz o Endo-C6, um benchmark de corrupção compacto projetado para avaliar TVLMs sob seis perturbações realistas de endoscopia:

Desfoque (Defocus): Simulando a perda de foco da lente.
Névoa (Fog/Haze): Mimando fluido ou névoa na lente.
Ruído de Disparo (Shot Noise): Simulando ruído de sensor em baixa luminosidade.
Borrão de Movimento (Motion Blur): Representando movimentos rápidos de câmera.
Perda de Pacotes (Packet Loss): Simulando erros de transmissão em transmissões ao vivo.
Fumaça (Smoke): Modelando plumas de fumaça de cautério.

Essas corrupções são aplicadas em uma severidade alta fixa (severidade 5) a clipes de três conjuntos de dados públicos: CholecT50 (fases de colecistectomia laparoscópica), Kvasir (marcador/patologia GI) e TEMSET-24K (ações cirúrgicas). O protocolo de avaliação trata clipes limpos como Distribuição Interna (ID) e variantes corrompidas como mudanças de Distribuição Fora da Distribuição (OOD) controladas, medindo o desempenho via Mean-C (acurácia média entre corrupções) e Worst-C (menor acurácia entre as corrupções).

2. RobustEndoCLIP:
Para abordar a fragilidade de modelos prontos para uso, os autores propõem o RobustEndoCLIP. Esta abordagem utiliza ajuste de poucos disparos (few-shot) de parâmetros eficientes com VeRA (Vector-based Random Matrix Adaptation).

Arquitetura: Utiliza um backbone temporal CLIP pré-treinado (especificamente inicializado a partir do SurgVLP com um codificador visual ResNet-50).
Estratégia de Adaptação: Em vez de ajuste fino total ou LoRA padrão, o método utiliza o congelamento do backbone e atualiza apenas a camada de projeção totalmente conectada (FC) final. O VeRA alcança isso fixando matrizes aleatórias $A$ e $B$ e aprendendo apenas vetores de escala ( $\Lambda_b, \Lambda_d$ ), reduzindo significativamente o número de parâmetros treináveis em comparação ao LoRA.
Treinamento: O modelo é adaptado usando um pequeno subconjunto rotulado (até 16%) de dados de treinamento limpos, preservando a interface de implantação baseada em prompts enquanto "ancora" o espaço de embedding ao domínio alvo.

Principais Contribuições

Endo-C6 Benchmark: Um benchmark de corrupção diversificado cobrindo seis tipos de artefatos realistas em endoscopia gastrointestinal e cirurgia laparoscópica, organizado por saliência de domínio e estrutura temporal.
Estudo de Benchmarking Sistemático: Um protocolo de avaliação baseado em prompts reproduzível aplicado a três baselines de TVLM representativos (SurgVLP, HecVLP e PeskaVLP) através de 294 avaliações ao nível de dataset.
RobustEndoCLIP: Um TVLM especializado que alcança ganhos substanciais de robustez via adaptação leve de poucos disparos, demonstrando que o ajuste de parâmetros eficientes pode melhorar o desempenho sem alterar a interface baseada em prompts.

Resultados

O estudo avaliou 3 modelos de baseline e o proposto RobustEndoCLIP nos três datasets sob condições limpas e corrompidas.

Fragilidade dos Baselines: TVLMs prontos para uso exibem um colapso severo no pior caso sob corrupções específicas de endoscopia. Por exemplo, no CholecT50, a acurácia Worst-C dos baselines caiu para aproximadamente 7% sob fumaça e borrão de movimento, apesar de uma acurácia limpa moderada (~40-44%). No TEMSET-24K, os baselines mostraram um Worst-C tão baixo quanto 0,40%.
Sensibilidade à Corrupção: Os modos de falha são específicos do domínio. Vídeos laparoscópicos (CholecT50) são mais sensíveis à fumaça, enquanto datasets GI (Kvasir, TEMSET-24K) mostram sensibilidade heterogênea a movimento, ruído de disparo e desfoque dependendo do modelo.
Desempenho do RobustEndoCLIP: O método proposto superou significativamente os baselines tanto em configurações Mean-C quanto Worst-C.
- No CholecT50, melhorou o Worst-C de ~7% (baselines) para 16,83%.
- No Kvasir, melhorou o Worst-C de ~6,5-8,2% para 11,42%.
- No TEMSET-24K, elevou o Worst-C de ~0,4-1,5% para 19,98%.
VeRA vs. LoRA: Sob um orçamento fixo de 16% de rótulos, a adaptação baseada em VeRA gerou uma robustez superior (Mean-C) comparada ao LoRA, apesar de possuir significativamente menos parâmetros (1024 vs. ~720k). O VeRA alcançou um Mean-C médio de 29,13% entre os datasets, comparado a 16,92% para o LoRA.
Escalabilidade do Orçamento de Rótulos: A robustez geralmente melhorou com o aumento dos orçamentos de rótulos (0% a 16%), embora os retornos dependam do dataset.

Significância e Alegações

O artigo afirma que o Endo-C6 fornece um protocolo padronizado e reproduzível para relatar robustez na compreensão de vídeos endoscópicos, abordando a lacuna onde falhas raras em ambientes clínicos de alto risco são frequentemente negligenciadas. Os achados sugerem que, embora os TVLMs prontos para uso sejam frágeis sob artefatos cirúrgicos realistas, a adaptação leve de poucos disparos pode melhorar substancialmente o desempenho médio e o do pior caso. Os autores postulam que o Endo-C6 servirá como um template de relatório prático para promover sistemas de visão-linguagem clínica mais confiáveis, enfatizando que a robustez deve ser avaliada não apenas no desempenho médio, mas nas falhas de cauda (Worst-C). O estudo permanece modesto, observando que o benchmark atualmente foca em classificação baseada em prompts e que estender o mesmo para outras tarefas (ex: detecção, segmentação) ou modelos generativos é uma direção para trabalhos futuros.