Resumo Técnico: Aprendizado Contrastivo sob Auto-supervisão Temporal Ruidosa para Vídeos de Colonoscopia

Declaração do Problema

O aprendizado robusto de representações de tracklets de pólipos (sequências de detecções consecutivas do mesmo pólipo) é essencial para diversas aplicações de colonoscopia assistida por IA, incluindo caracterização de pólipos, relatórios automatizados e recuperação de lesões. Embora o aprendizado contrastivo supervisionado tenha se mostrado eficaz, ele depende de anotações de "entidade pólipo" — rótulos que vinculam detecções ao mesmo pólipo subjacente ao longo de um vídeo. A geração desses rótulos é custosa, demorada e requer expertise clínica especializada, limitando a escalabilidade das abordagens supervisionadas.

Os métodos auto-supervisionados existentes tentam contornar isso dividindo tracklets em segmentos disjuntos ou agrupando-os. No entanto, essas abordagens frequentemente falham em capturar a consistência semântica completa de uma entidade pólipo ao longo de um vídeo. Por outro lado, métodos supervisionados recentes que utilizam anotações explícitas de entidades alcançam desempenho superior, destacando uma lacuna significativa entre o aprendizado supervisionado e o auto-supervisionado. O desafio é estreitar essa lacuna sem depender de anotações manuais de entidades, apesar do ambiente visual altamente variável da colonoscopia (mudanças no ponto de vista, escala, iluminação, desfoque de movimento e oclusão).

Metodologia

O framework proposto aproveita o fluxo de trabalho sequencial inerente aos procedimentos de colonoscopia para derivar associações auto-supervisionadas a partir da estrutura temporal. A premissa central é que observações capturadas próximas no tempo provavelmente retratam a mesma entidade pólipo.

1. Estrutura Temporal como Auto-supervisão

O método constrói um conjunto de dados de tracklets $\{x_i\}$ a partir de detecções de pólipos verdadeiras. Para cada tracklet âncora $i$ dentro de um vídeo $v_i$, um "saco" de tracklets positivos candidatos é construído a partir de outros tracklets no mesmo vídeo ($v_j = v_i$).

• Classificação: Os tracklets são ordenados por sua distância temporal em relação à âncora.
• Construção do Saco: Em vez de selecionar apenas os tracklets temporalmente mais próximos (o que gera visualizações redundantes), o método amostra $K$ ranks distintos de uma distribuição exponencial $P_\tau(r) \propto \exp(-r/\tau)$. O parâmetro de temperatura $\tau$ controla a diversidade do saco: um $\tau$ baixo seleciona vizinhos próximos (alta similaridade, baixo ruído), enquanto um $\tau$ alto seleciona vizinhos distantes (alta diversidade, maior risco de associações incorretas).
• Aprendizado de Currículo: Para equilibrar o compromisso entre diversidade de visualização e correção de associação, uma variável de currículo $c \in [0, 1]$ é introduzida. A temperatura $\tau$ é gradualmente aumentada de um valor mínimo para um valor máximo ao longo do treinamento usando um agendamento cosseno. Isso permite que o modelo comece com associações seguras e altamente similares e aprenda progressivamente a partir de associações temporais mais diversas e potencialmente mais ruidosas.

2. Função de Perda Contrastiva Consciente de Ruído

Como a proximidade temporal não garante que dois tracklets pertençam ao mesmo pólipo (por exemplo, dois pólipos diferentes aparecendo em rápida sucessão), os "sacos" resultantes podem conter amostras "impuras" (tracklets de pólipos diferentes). Tratar todas as amostras em um saco como positivas pode degradar o aprendizado de representações.

Os autores propõem uma função de perda contrastiva consciente de ruído que relaxa a restrição contrastiva padrão. Em vez de exigir que todas as amostras positivas em um saco sejam similares à âncora, a perda impõe que pelo menos um tracklet no saco seja mais similar à âncora do que qualquer tracklet no saco é a qualquer outra âncora.

• Formulação Matemática: A função de perda utiliza uma aproximação log-sum-exp do operador máximo. Ela maximiza a similaridade entre a âncora e o positivo de melhor correspondência no saco, enquanto minimiza a similaridade entre a âncora e os negativos de outras âncoras.
• Efeito: Essa formulação permite que o modelo efetivamente "ignore" associações temporais ruidosas (incorretas) dentro de um saco, impedindo que elas degradem o espaço de incorporação aprendido.

3. Arquitetura

O framework utiliza um codificador leve consistindo de um ResNet-50 para extração de incorporação de quadros, seguido por uma pilha de três camadas de codificador transformer para agregar representações globais de tracklets. A perda pode ser aplicada à incorporação final do tracklet, às incorporações por quadro ou a ambas.

Principais Contribuições

1. Framework Auto-supervisionado: Uma abordagem inovadora que explora o fluxo de trabalho sequencial da colonoscopia para construir sinais de auto-supervisão a partir da estrutura temporal, eliminando a necessidade de anotações manuais de entidades de pólipos.
2. Função de Perda Contrastiva Consciente de Ruído: Uma função de perda projetada para mitigar o impacto de associações temporais ruidosas, garantindo que apenas as amostras positivas mais consistentes dentro de um saco impulsionem o processo de aprendizado.
3. Avaliação Abrangente: Uma avaliação extensa em quatro conjuntos de dados públicos (REAL-Colon, SUN, PolypSize, PolypsSet) em múltiplas tarefas downstream, demonstrando desempenho que iguala ou supera modelos de fundação recentes.

Resultados

O método foi treinado apenas em 27 vídeos (85 pólipos) do conjunto de dados REAL-Colon e avaliado em quatro tarefas downstream:

• Recuperação de Pólipos: Medida pela Precisão Média (mAP) e Taxa de Acerto (Hit Rate).
• Reidentificação (ReID): Medida por AUROC e AUPR.
• Estimativa de Tamanho: Classificação binária (diminuto vs. não diminuto) via sondagem não linear.
• Classificação Histológica: Classificação binária (adenoma vs. não adenoma) via sondagem não linear.

Destaques de Desempenho:

• vs. Baselines Auto-supervisionados: O método proposto superou abordagens auto-supervisionadas anteriores (por exemplo, TPC, MVE, SFE) com margens significativas, incluindo uma melhoria relativa de 23,69% na mAP de recuperação e uma melhoria de 24,4% na precisão histológica.
• vs. Baselines Totalmente Supervisionados: O método consistentemente alcançou desempenho superior ou comparável a baselines totalmente supervisionados (que dependem de anotações de entidades caras). Por exemplo, melhorou o AUPR em 18,56% sobre a melhor baseline supervisionada em ReID.
• vs. Modelos de Fundação: O codificador leve (25,6M de parâmetros) treinado em 27 vídeos igualou ou superou grandes modelos de fundação de propósito geral (por exemplo, DinoV2-giant com 1136M de parâmetros) e modelos de fundação específicos para endoscopia em todas as tarefas.
• Estudos de Ablação: O estudo confirmou que tanto a amostragem baseada em rank exponencial quanto a estratégia de aprendizado de currículo contribuem para ganhos de desempenho. Aplicar a perda tanto às incorporações de quadro quanto às de tracklet produziu os melhores resultados gerais.

Significado e Alegações

O artigo afirma que este trabalho viabiliza o aprendizado de representações escalável em colonoscopia reduzindo significativamente a dependência de anotações manuais enquanto mantém alto desempenho em aplicações clínicas. Ao aproveitar a estrutura procedural dos vídeos de colonoscopia e introduzir um mecanismo para lidar com o ruído inerente à auto-supervisão temporal, os autores demonstram que representações robustas de tracklets de pólipos podem ser aprendidas de forma eficiente. A capacidade de igualar ou superar o desempenho de modelos de fundação massivos usando uma arquitetura leve treinada em um pequeno conjunto de dados sugere um caminho prático para a implantação de ferramentas assistidas por IA em ambientes clínicos onde os recursos de anotação de dados são limitados.