💻 computer science

Recurrent Contrastive Learning for Imbalanced Medical Image Classification

Este artigo propõe o Aprendizado Contrastivo Recorrente (RCL), um novo framework que utiliza uma Fila de Memória Temporal para gerar Âncoras Temporais e expandir progressivamente a região de suporte latente das classes de cauda, mitigando assim o desequilíbrio de classes e melhorando as fronteiras de decisão na classificação de imagens médicas.

Autores originais: Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen

Publicado 2026-08-05

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen, Yong Jiang, Yongping Lu, Xin Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a reconhecer diferentes tipos de animais em um zoológico. Se o zoológico tiver 1.000 leões, mas apenas 5 tigres, o robô ficará muito bom em detectar leões e provavelmente esquecerá como é um tigre ou, pior, poderá pensar que todo animal parecido com um felino é um leão. Este é um problema comum no mundo da IA médica chamado "desequilíbrio de classes". Os médicos têm montanhas de dados para doenças comuns, mas muito pouco para doenças raras ou graves. Quando os modelos de IA são treinados com esses dados desiguais, eles se tornam tendenciosos para as coisas comuns e perdem os casos raros e críticos. Para corrigir isso, os cientistas geralmente tentam mostrar ao robô mais fotos dos animais raros (reamostragem) ou dizer a ele para prestar atenção extra neles durante as lições (reponderação). Mas há uma pegadinha: esses métodos geralmente apenas fazem o robô olhar com mais atenção para as poucas fotos dos animais raros que ele possui, sem realmente dar aos animais raros "espaço" suficiente no cérebro do robô para que eles se destaquem claramente dos comuns.

É aqui que um novo estudo de Zhiyuan Zhu e sua equipe entra com uma ideia inteligente chamada Aprendizado Contrastivo Recorrente (RCL). Em vez de apenas embaralhar o baralho de cartas ou gritar mais alto com os raros, eles decidiram construir um "buffer de memória" que ajuda as doenças raras a expandirem seu território na mente da IA. Pense nisso como uma pista de dança lotada onde os alunos populares (doenças comuns) estão ocupando todo o espaço. Os alunos raros (doenças raras) estão espremidos em um cantinho minúsculo. A solução dos pesquisadores é trazer "dançarinos fantasmas" de sessões de prática anteriores — versões antigas dos movimentos dos alunos raros — para ficarem ao redor deles e criar uma bolha protetora. Essa bolha empurra os alunos populares para longe, dando às doenças raras o espaço necessário para serem vistas e reconhecidas corretamente. A equipe testou isso em três conjuntos de dados médicos diferentes, incluindo exames de ultrassom de carótida, imagens de retinopatia diabética e raios-X de joelho, e descobriu que seu método consistentemente ajudou a IA a detectar as condições raras melhor do que as técnicas anteriores.

O Problema: O Efeito do "Aluno Popular" na IA Médica

No mundo das imagens médicas, nem todas as doenças são criadas iguais. Algumas, como um resfriado comum ou uma erupção cutânea leve, acontecem o tempo todo. Outras, como distúrbios genéticos raros ou estágios específicos de câncer, são muito menos frequentes. Quando treinamos uma IA para diagnosticar essas condições, é como treinar um aluno que só vê 1.000 exemplos de um resfriado comum, mas apenas 5 exemplos de uma doença rara. Naturalmente, o aluno (a IA) torna-se um especialista no resfriado comum, mas fica confuso quando vê a doença rara. Ele pode até confundir a doença rara com a comum porque, na "mente" da IA, a doença rara não tem espaço suficiente para existir por conta própria.

O artigo aponta que as soluções existentes tentam corrigir isso seja mostrando à IA mais exemplos da doença rara (reamostragem) ou dizendo à IA para "prestar mais atenção" naqueles poucos exemplos (reponderação). Embora esses métodos ajudem um pouco, eles não resolvem o problema raiz: as doenças raras ainda estão espremidas em um canto minúsculo e lotado no espaço de características da IA. Elas são tão compactas que as doenças comuns facilmente "invadem" seu território, levando a erros.

A Solução: Dançarinos Fantasmas e Bolhas Protetoras

Os autores propõem uma nova estratégia chamada Aprendizado Contrastivo Recorrente (RCL). Para entender como funciona, imagine o processo de aprendizado da IA como uma série de sessões de treinamento ao longo do tempo.

1. A Memória de Viagem no Tempo (Fila de Memória Temporal)
Normalmente, uma IA só lembra dos exemplos que vê no lote atual de treinamento. O RCL introduz uma "Máquina do Tempo" especial chamada Fila de Memória Temporal (TMQ). Esta fila não apenas guarda as imagens atuais; ela salva os "estados de características" (a compreensão da IA sobre as imagens) de sessões de treinamento anteriores. É como manter um diário do que a IA aprendeu na semana passada, no mês passado e assim por diante. Isso permite que a IA olhe para trás para ver como entendia as doenças raras no passado, mesmo que não tenha visto muitos novos exemplos delas recentemente.

2. Os Dançarinos Fantasmas (Âncoras Temporais)
Aqui está o truque de mágica. Quando a IA está tentando aprender sobre uma doença rara (uma "classe de cauda"), ela consulta seu diário de viagem no tempo. Ela seleciona os "dançarinos fantasmas" — representações de características antigas dessa doença rara de sessões anteriores. Esses fantasmas são então usados para criar uma Âncora Temporal (TAR).

Imagine que a doença rara é uma pequena ilha em um vasto oceano. As doenças comuns são continentes enormes por perto. Sem ajuda, as ondas do oceano (as características da doença comum) lavam a ilha, tornando difícil distingui-la. As TARs atuam como uma série de boias ou uma barreira protetora colocada ao redor da ilha. Essas boias são feitas das versões "fantasmagóricas" da ilha do passado. Ao colocar essas boias ao redor da doença rara, a IA efetivamente expande o território da ilha. Ela cria uma "zona de amortecimento" que empurra as doenças comuns para longe, garantindo que a doença rara tenha seu próprio espaço distinto.

3. O Loop Recorrente
O processo é "recorrente", o que significa que acontece repetidamente. À medida que a IA treina, ela continua atualizando sua fila de memória com novas informações, mas também mantém as âncoras antigas. Isso cria um campo crescente e expansivo ao redor das doenças raras, tornando-as mais robustas e fáceis de separar das comuns.

O Que Eles Descobriram: Uma Imagem Mais Clara

A equipe testou este método em três conjuntos de dados médicos do mundo real:

Ultrassom de Carótida: Imagens de vasos sanguíneos no pescoço para verificar placa (3.404 imagens).
Retinopatia Diabética: Imagens oculares para verificar perda de visão (3.662 imagens).
Osteoartrite de Joelho: Raios-X de joelhos para graduar a gravidade da artrose (8.260 imagens).

Em todos os três casos, o método RCL mostrou melhorias consistentes sobre os melhores métodos existentes.

No conjunto de dados de Carótida, o novo método alcançou uma Acurácia Balanceada de 87,10%, superando o recorde anterior.
No conjunto de dados de Joelho, melhorou a Acurácia Balanceada em 9,09% em comparação ao uso apenas do modelo de IA base sem os truques especiais de memória.
No conjunto de dados de Olho, o método alcançou um escore de Kappa Ponderado Quadrático de 0,92, que é um escore muito alto indicando excelente concordância com especialistas humanos.

Os pesquisadores também visualizaram o que estava acontecendo dentro do cérebro da IA usando uma técnica chamada t-SNE (que é como um mapa que mostra o quão perto ou longe as coisas estão umas das outras). Eles viram que, sem o método deles, as doenças raras eram espremidas em pontos minúsculos e lotados. Com o RCL, as doenças raras se expandiram em áreas maiores e bem definidas, com zonas de amortecimento claras entre elas e as doenças comuns. Os "dançarinos fantasmas" (âncoras) conseguiram criar um campo protetor que impediu que as doenças comuns as sufocassem.

Por Que Isso Importa

Este artigo sugere que não precisamos apenas de mais dados para doenças raras; precisamos de formas mais inteligentes de usar os dados que já possuímos. Ao usar o próprio histórico da IA para construir um campo protetor ao redor de condições raras, podemos tornar a IA médica mais justa e precisa. Isso é crucial porque, no mundo real, perder uma doença rara, mas grave, pode ser fatal. Os autores observam que, embora seu método funcione bem, ele atualmente requer algum ajuste manual de configurações (como quantos "fantasmas" manter na memória). Trabalhos futuros visarão tornar esse processo automático. Mas, por enquanto, essa abordagem de "memória de viagem no tempo" oferece uma nova maneira promissora de garantir que os pacientes mais raros recebam a atenção que merecem de nossos médicos de IA.

Resumo Técnico: Aprendizado Contrastivo Recorrente para Classificação de Imagens Médicas Desbalanceadas

Definição do Problema

A classificação de imagens médicas frequentemente enfrenta um desbalanceamento de classes severo devido às disparidades inerentes na incidência de doenças, onde condições raras (classes de cauda) possuem significativamente menos amostras do que condições comuns (classes de cabeça). As abordagens existentes, como o reamostragem de classes e o reponderamento de perda (loss reweighting), operam primariamente dentro da distribuição de características observada. Embora esses métodos ajustem como as características são ponderadas ou amostradas, eles falham em ampliar explicitamente a região de suporte latente das classes de cauda. Consequentemente, as representações das classes de cauda permanecem excessivamente compactas e são facilmente invadidas pelas classes de cabeça no espaço de características, levando a fronteiras de decisão enviesadas e redução da separabilidade interclasse. Isso é particularmente crítico, pois as classes de cauda frequentemente correspondem a doenças graves ou raras, onde a identificação precisa é vital para a tomada de decisão clínica.

Metodologia: Aprendizado Contrastivo Recorrente (RCL)

Os autores propõem o Aprendizado Contrastivo Recorrente (RCL), um framework que aborda o desbalanceamento de classes sob uma perspectiva de "expansão de campo". Em vez de apenas reponderar os dados existentes, o RCL expande ativamente a região de suporte das classes de cauda no espaço latente. A metodologia consiste em três componentes principais:

1. Backbone e Extração de Características

O framework utiliza o DINOv3 com adaptadores LoRA (Low-Rank Adaptation) como backbone.

Arquitetura: Uma imagem de entrada é processada para extrair um token de classe de 1280 dimensões ( $f_i$ ).
Heads: Um cabeçalho de classificador ( $G(\cdot)$ ) produz predições para supervisão de entropia cruzada, enquanto um cabeçalho de projeção ( $P(\cdot)$ ) mapeia as características para um embedding normalizado de 256 dimensões ( $z_i$ ) para aprendizado contrastivo.
Estratégia de Treinamento: O backbone DINOv3 é congelado, e apenas os adaptadores LoRA e os cabeçalhos são otimizados, garantindo uma adaptação eficiente com poucos parâmetros treináveis.

2. Fila de Memória Temporal (TMQ)

Para superar as limitações do aprendizado contrastivo baseado em lotes (batch-level) ou filas FIFO, o RCL introduz uma Fila de Memória Temporal (TMQ).

Função: A TMQ preserva características de nível de corpus através de múltiplas épocas de treinamento, fornecendo referências globais diversificadas.
Mecanismo: Em cada época $m$ , o embedding de projeção $z_i^{(m)}$ atualiza a característica armazenada $q_i^{(m)}$ no banco de memória $Q^{(m)}$ via uma Média Móvel Exponencial (EMA):
$q_i^{(m)} = (1 - \lambda)q_i^{(m-1)} + \lambda z_i^{(m)}$
Armazenamento: Os bancos atualizados são enfileirados ao longo do tempo, formando uma sequência $TMQ = \{Q^{(m)}\}_{m=0}^M$ . Isso permite que o modelo acesse embeddings globais históricos, garantindo que os pares positivos e negativos para o aprendizado contrastivo sejam temporalmente diversos e alinhados com o espaço de representação em evolução.

3. Âncoras Temporais (TARs) e Perda Contrastiva Recorrente

A inovação central é a construção de Âncoras Temporais (TARs) para formar um "campo de âncoras" ao redor das classes de cauda.

Construção de Âncoras: Para as classes de cauda, o modelo recupera características de bancos de memória históricos (épocas $m-st$). Aplica-se o agrupamento K-means às características intra-classe e selecionam-se as características mais distantes do centro do cluster (bottom- $k_t$ ). Essas características selecionadas são perturbadas com ruído Gaussiano para criar o conjunto de âncoras $A$ .
Expansão de Campo: Essas âncoras são recorrentemente reutilizadas para ocupar a região circundante das características das classes de cauda no espaço latente. Isso cria uma margem de buffer que suprime a invasão das classes de cabeça.
Função de Perda: O framework emprega uma perda contrastiva recorrente ( $L_{RCL}$ ) que incorpora tanto as características do lote atual quanto as âncoras construídas:
$L_{RCL} = -\log \frac{\sum_{q \in Q_+^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A_+} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}{\sum_{q \in Q^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}$
A perda final é uma combinação de entropia cruzada e a perda contrastiva recorrente: $L = L_{ce} + \alpha L_{RCL}$ .

Principais Contribuições

O artigo delineia três contribuições primárias:

Framework RCL: Um novo framework de aprendizado desbalanceado que amplia as regiões de suporte das classes de cauda injetando âncoras temporais construídas recorrentemente no aprendizado contrastivo, mitigando efetivamente a invasão das classes de cabeça.
Fila de Memória Temporal (TMQ): Um mecanismo para preservar embeddings históricos de nível de corpus através das fases de treinamento, os quais são utilizados para construir as TARs para a expansão de campo das classes de cauda.
Validação Empírica: Experimentos extensos em três conjuntos de dados médicos desbalanceados (um conjunto de carótida multicêntrico privado, APTOS 2019 e KneeOA) demonstrando melhorias consistentes sobre baselines robustos.

Resultados Experimentais

O método foi avaliado em três conjuntos de dados utilizando Acurácia Balanceada (Bacc), F1-score, Acurácia e Kappa Ponderado Quadrático (QWK).

Desempenho: O RCL alcançou a melhor Acurácia Balanceada em todos os três conjuntos de dados.
- Carótida: 87,10% Bacc (vs. 79,75% para o DINOv3 vanilla).
- APTOS 2019: 69,01% Bacc e 0,922 QWK (superando o método de topo do ranking de CNN-Ensemble do desafio original).
- KneeOA: 70,19% Bacc (vs. 61,10% para o DINOv3 vanilla).
Agnosticismo de Backbone: Ao utilizar ResNet50 em vez de DINOv3, o RCL ainda apresentou melhorias substanciais, superando inclusive o desempenho do ajuste fino (fine-tuning) do DINOv3 nos conjuntos de dados Carótida e KneeOA.
Análise Qualitativa: Visualizações t-SNE confirmaram que o RCL cria uma distribuição de características mais equilibrada. Especificamente, o "campo de âncoras" expandiu a fronteira das classes de cauda e ocupou regiões intermediárias entre as classes de cabeça e de cauda, formando um buffer eficaz que afastou os centros das classes de cauda das distribuições das classes de cabeça.

Significância e Alegações

O artigo afirma que o RCL oferece uma mudança significativa no tratamento do desbalanceamento de classes ao ir além da simples reponderação ou reamostragem. Ao interpretar o aprendizado de representação a partir de uma perspectiva de expansão de campo, o método amplia explicitamente a região de suporte latente das classes de cauda. Essa abordagem evita que as representações das classes de cauda sejam "invadidas" pelas classes de cabeça dominantes, melhorando assim a separação interclasse e a equidade da fronteira de decisão.

Os autores observam que, embora o framework seja eficaz, ele atualmente depende de ajuste manual de hiperparâmetros (ex: passos de amostragem e razões de seleção de âncoras). Eles identificam o desenvolvimento de uma seleção de âncoras adaptativa como uma direção para trabalhos futuros para abordar essa limitação. O código é disponibilizado para facilitar pesquisas adicionais neste domínio.