Beyond Uncertainty: Generalizable Failure Monitoring for Surgical Segmentation under Acquisition Degradation

Na sala de cirurgia, um cirurgião depende de uma mão firme e olhos aguçados, mas, cada vez mais, eles também dependem de softwares que podem ver o interior do corpo. Sistemas de computação modernos podem observar um feed de vídeo ao vivo de uma câmera dentro de um paciente e desenhar automaticamente contornos ao redor de ferramentas cirúrgicas e órgãos, ajudando o cirurgião a rastrear sua posição ou avaliar sua habilidade. Esses sistemas são treinados em milhares de horas de vídeo nítido e de alta qualidade. No entanto, uma cirurgia real é desordenada. A fumaça da cauterização de tecidos, mudanças súbitas na iluminação, movimentos borrados ou até mesmo a compressão do sinal de vídeo podem degradar a imagem. Quando isso acontece, o computador ainda pode desenhar um contorno perfeito com confiança, mesmo que a imagem que ele está observando esteja excessivamente distorcida para ser precisa. Este é um erro silencioso: o sistema está errado, mas não sabe disso, e não oferece nenhum aviso ao humano que observa a tela.

Uma equipe de pesquisadores da VinUniversity, em Hanói, desenvolveu uma nova maneira de detectar esses erros silenciosos. Eles criaram um sistema chamado TCSR-Monitor, que atua como um vigia independente para o vídeo cirúrgico. Em vez de tentar consertar o modelo de visão computacional ou retreiná-lo, este novo sistema simplesmente observa o que o modelo produz e verifica o resultado contra um conjunto de regras de senso comum. Ele observa a forma do contorno desenhado, o quão suavemente ele se move de um quadro de vídeo para o próximo e a qualidade da própria imagem. Ao combinar essas observações com o próprio índice de confiança do modelo, o monitor pode detectar quando uma ferramenta está sendo identificada incorretamente, mesmo que o programa de computador original insista que está fazendo um trabalho perfeito. Os pesquisadores testaram isso em um grande conjunto de dados de vídeos cirúrgicos que foram artificialmente degradados para mimetizar problemas do mundo real, como desfoque e ruído. Eles descobriram que seu novo sistema conseguia detectar essas falhas muito melhor do que depender apenas da confiança do computador, provando que observar a forma e o movimento do resultado é tão importante quanto ouvir a voz interna do computador.

O problema central que os pesquisadores enfrentaram é que modelos de deep learning, que alimentam essas ferramentas cirúrgicas, são frequentemente excessivamente confiantes. Quando uma imagem está borrada ou escura, um modelo padrão ainda pode gerar um contorno nítido e claro de um instrumento cirúrgico, convencido de que está correto. No mundo real, isso é perigoso porque um cirurgião pode confiar em um contorno errado e cometer um erro. Métodos anteriores tentaram resolver isso medindo a incerteza, essencialmente perguntando ao computador: "O quanto você tem certeza?". Se o computador estivesse inseguro, ele levantaria um alarme. Mas os pesquisadores descobriram que, sob certos tipos de degradação de imagem, o computador permanece obstinadamente seguro, mesmo quando está completamente errado. A nova abordagem, o TCSR-Monitor, aceita que o computador pode estar confiante, mas errado, então deixa de ouvir apenas a confiança do computador e passa a observar a evidência no próprio vídeo.

Para construir este vigia, os pesquisadores projetaram um sistema que não precisa saber como o computador cirúrgico funciona internamente. É um monitor "post-hoc", o que significa que ele se posiciona sobre o modelo existente sem alterar seus pesos ou exigir acesso ao seu código interno. Isso é crucial para hospitais, onde o software que executa a cirurgia pode ser uma "caixa preta" que não pode ser modificada ou retreinada. O sistema observa o vídeo quadro a quadro. Para cada imagem, ele extrai vinte e duas pistas diferentes. Algumas dessas pistas vêm da confiança do modelo, como o quanto o modelo oscila entre diferentes possibilidades. Outras vêm da forma do contorno: uma ferramenta cirúrgica deve parecer um objeto sólido, não uma coleção dispersa de pixels. O sistema também verifica como a ferramenta se move; em um vídeo real, uma ferramenta se move suavemente, portanto, se o contorno saltar erraticamente de um quadro para o próximo, é um sinal de problemas. Finalmente, ele mede a qualidade da própria imagem, verificando desfoque, brilho e contraste.

Os pesquisadores testaram seu sistema usando um conjunto de dados chamado EndoVis 2017, que contém gravações de cirurgia robótica. Eles pegaram esses vídeos e os corromperam deliberadamente com seis tipos diferentes de problemas, incluindo desfoque Gaussiano, desfoque de movimento e compressão JPEG, em cinco níveis diferentes de severidade. Eles então pediram ao seu monitor para prever quais quadros continham uma falha, definida como um momento em que o contorno do computador não correspondia bem à ferramenta real. Para garantir que o sistema estivesse realmente aprendendo a detectar falhas e não apenas memorizando os tipos específicos de imagens ruins nas quais foi treinado, eles utilizaram um método de teste rigoroso. Eles treinaram o monitor em cinco tipos de corrupção de imagem e o testaram no sexto tipo, que ele nunca tinha visto antes. Isso é semelhante a ensinar um aluno a reconhecer um carro quebrado olhando para um pneu furado, um para-brisa rachado e uma porta amassada, e depois pedir que ele identifique um carro com uma roda faltando. O monitor teve sucesso, mostrando que havia aprendido o conceito geral de uma falha, em vez de apenas memorizar defeitos específicos.

Os resultados mostraram que confiar apenas na confiança do computador não era suficiente. Embora os métodos padrão baseados em incerteza pudessem detectar alguns erros, eles perdiam muitas das falhas confiantes que são as mais perigosas. O novo TCSR-Monitor, ao combinar confiança com forma, movimento e qualidade de imagem, superou significativamente esses métodos mais antigos. Em testes onde o sistema teve que identificar falhas em imagens que nunca tinha visto durante o treinamento, ele identificou corretamente os problemas com muito mais frequência do que as linhas de base baseadas em incerteza. Os pesquisadores também realizaram uma verificação específica para garantir que o sistema não estava apenas sinalizando qualquer imagem borrada como uma falha. Eles mostraram que o monitor podia distinguir entre uma imagem borrada onde o computador ainda estava correto e uma imagem borrada onde o computador havia cometido um erro. Esta é uma distinção crítica; um sistema que apenas grita "a imagem está ruim" não é útil se não puder dizer quando o computador está realmente errado.

No entanto, os pesquisadores fizeram questão de notar que o sistema ainda não é perfeito para uso clínico imediato. Embora tenha identificado falhas com sucesso, ele também gerou alarmes falsos. Em alguns casos, quando a imagem estava moderadamente corrompida, o sistema sinalizou quase quarenta por cento dos contornos desenhados corretamente como falhas. Isso significa que, se um cirurgião fosse confiar neste fluxo de alarmes hoje, seria interrompido por avisos mesmo quando o computador estivesse realizando seu trabalho corretamente. Para abordar isso, a equipe utilizou uma técnica estatística chamada calibração de conformidade de Mondrian. Este método ajusta a sensibilidade do alarme para diferentes níveis de degradação de imagem, garantindo que a taxa de falhas perdidas permaneça consistente em todos os tipos de problemas. Embora isso tenha equilibrado a segurança, não eliminou totalmente os alarmes falsos, destacando um compromisso entre capturar cada erro e evitar interrupções constantes.

O estudo também explorou se este sistema de monitoramento poderia funcionar com diferentes tipos de computadores cirúrgicos. Eles o testaram em um modelo mais novo e poderoso chamado SAM2, que é um modelo de visão de propósito geral. Curiosamente, para este modelo específico, a medida simples de incerteza foi, na verdade, melhor que o novo monitor complexo. Isso sugere que o novo sistema não é uma solução mágica que funciona em todas as situações, mas sim uma ferramenta especializada que brilha quando o modelo de computador subjacente é obstinadamente confiante, apesar de estar errado. Os pesquisadores descobriram que as características que seu sistema aprendeu — observar forma e movimento — podiam ser transferidas para o novo modelo, mas não superaram o método mais simples nesse caso específico. Essa nuance é importante: o valor da nova abordagem reside em sua capacidade de generalizar para problemas não vistos e em sua robustez quando o computador está confiante, porém incorreto, e não em sua capacidade de substituir todos os outros métodos.

Em última análise, este trabalho fornece uma estrutura credível para tornar a IA cirúrgica mais segura. Demonstra que, ao adicionar uma camada de observação externa que verifica a forma, o movimento e a qualidade da saída, podemos detectar erros que o próprio computador não consegue ver. Os pesquisadores disponibilizaram seu código e configurações treinadas ao público, permitindo que outros cientistas construam sobre esta base. Embora o sistema ainda precise de refinamento para reduzir os alarmes falsos antes de poder ser usado em uma sala de cirurgia real, ele oferece um caminho claro a seguir. Ele desloca o foco de esperar que o computador saiba quando está errado para construir um sistema que possa dizer quando o computador está errado, mesmo quando o computador insiste que está certo. Este é um passo vital para garantir que os assistentes digitais na sala de cirurgia permaneçam parceiros confiáveis no ambiente de alto risco da cirurgia.