🤖 machine learning

CANDOR: Chance-Calibrated Discordance in Frozen Foundation Encoders

O artigo apresenta o CANDOR, uma métrica de discordância calibrada por chance que revela que os codificadores de fundação congelados não são inerentemente cegos a achados médicos, mas sofrem de separação geométrica fraca e seleção de cabeça deficiente, como evidenciado por suas altas taxas de erro de vizinho mais próximo, mesmo quando cabeças leves alcançam um desempenho forte.

Autores originais: Soroosh Tayebi Arasteh, Sven Nebelung, Daniel Truhn

Publicado 2026-07-22

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Soroosh Tayebi Arasteh, Sven Nebelung, Daniel Truhn

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a reconhecer diferentes tipos de pássaros. Você mostra a ele milhões de fotos, e ele aprende a identificar um "pintassilgo" ou um "chapim" observando as formas e cores nas imagens. É assim que os modernos "modelos de fundação" funcionam: eles são cérebros gigantes, pré-treinados, que já viram quase tudo, de gatos a carros ou nuvens. Agora, imagine que você quer usar esse mesmo robô para ajudar médicos a lerem raios-X. Você não quer retreinar o robô inteiro; você só quer anexar uma "cabeça" minúscula e simples que diga "sim, há um osso quebrado" ou "não, está tudo bem".

A grande questão é: o robô realmente vê o osso quebrado em sua memória interna, ou ele está apenas adivinhando com base em outras pistas? Geralmente, verificamos se o robô é bom vendo com que frequência a pequena cabeça acerta a resposta. Mas e se o mapa interno do robô for, na verdade, bagunçado? E se, no fundo de seu cérebro, uma foto de um osso quebrado se parecer mais com uma foto de um osso saudável do que com outra foto de um osso quebrado? Se isso for verdade, o robô não está "cego" — ele está apenas confuso. É como um bibliotecário que organizou os livros por cor em vez de por história; ele pode encontrar um livro vermelho, mas não consegue dizer se é um mistério ou um romance apenas olhando para a estante. Este artigo faz uma pergunta crucial: quando esses robôs poderosos estão congelados em seu lugar, eles são verdadeiramente cegos para detalhes médicos ou estão apenas fracos em separá-los?

O Problema do Jeito Antigo

Por muito tempo, os cientistas mediram esses robôs congelados pela eficiência com que uma "cabeça" simples conseguia ler suas características. Se a cabeça obtivesse uma pontuação alta, todos assumiam que o robô era inteligente. Mas os autores deste artigo, Soroosh Tayebi Arasteh e sua equipe, perceberam que esse método era como julgar um chef pela sua capacidade de servir uma refeição sem verificar se a comida está realmente cozida.

Eles encontraram uma armadilha oculta na forma como medimos a "confusão". Imagine que você está tentando encontrar um amigo em uma sala lotada. Se seu amigo estiver usando um chapéu vermelho, e houver 100 pessoas com chapéus vermelhos, mas apenas 1 pessoa com um chapéu azul, e você pedir ao robô para encontrar a pessoa de chapéu azul, o robô pode simplesmente adivinhar "azul" porque é raro. As ferramentas de medição antigas estavam sendo enganadas pela frequência ou raridade de uma doença. Se uma doença fosse rara, as ferramentas diriam que o robô estava "colapsado" (completamente inútil) apenas porque a matemática estava desequilibrada, não porque o robô era realmente ruim. Era como culpar um detetive por falhar em encontrar uma agulha em um palheiro, quando o problema real era que o palheiro era feito de 99% de agulhas e 1% de feno.

Surge o CANDOR: O Juiz Justo

Para corrigir isso, a equipe inventou uma nova ferramenta chamada CANDOR (Discordância Calibrada pelo Acaso). Pense no CANDOR como um árbitro que garante que o jogo seja justo antes do apito inicial.

Veja como funciona: Em vez de deixar o robô olhar para uma multidão bagunçada, o CANDOR estabelece um jogo perfeitamente equilibrado. Ele pega a foto de um paciente com um problema específico (como um colapso pulmonar, chamado pneumotórax) e pede ao robô para encontrar seus cinco "vizinhos" mais próximos em sua memória. Mas aqui está o truque: o CANDOR força o robô a escolher entre dois grupos de vizinhos que têm exatamente o mesmo tamanho. Um grupo tem pacientes com o problema, e o outro grupo tem pacientes sem o problema.

Se o robô for realmente bom, os pacientes com o problema devem estar mais próximos do grupo do "problema". Se o robô estiver confuso, os pacientes com o problema estarão mais próximos do grupo do "sem problema". Como os grupos são do mesmo tamanho, o robô tem 50/50 de chance de acertar por sorte. Isso dá aos cientistas um "nível de acaso" perfeito para comparar.

A Descoberta Chocante: Não Cego, Apenas Fraco

Quando a equipe rodou o CANDOR em 22 robôs poderosos diferentes em 20 conjuntos de dados diferentes (incluindo raios-X de tórax, exames de olhos e até fotos de pássaros), eles descobriram algo surpreendente.

Primeiro, eles provaram que os robôs não são cegos. As ferramentas antigas faziam parecer que os robôs eram completamente inúteis para doenças raras, mas o CANDOR mostrou que os robôs realmente possuem a informação. Eles não estão encarando uma parede branca; eles estão apenas parados em uma sala com neblina.

No entanto, os robôs são muito fracos. Mesmo o melhor robô do estudo, chamado RAD-DINO, que foi treinado especificamente para raios-X de tórax, ainda se confundiu em 18,4% dos casos de pneumotórax. Isso significa que, para quase um em cada cinco pacientes com um pulmão colapsado, o mapa interno do robô posicionou esse paciente mais perto de uma pessoa saudável do que de outra pessoa com o pulmão colapsado.

Os números foram ainda mais drásticos para outras condições. Para o glaucoma (uma doença ocular), o melhor robô apresentou o desempenho de puro acaso (50%), o que significa que não era melhor do que jogar uma moeda para o alto. Para espécies de pássaros, o mesmo robô era um gênio, confundindo-se apenas 4,5% das vezes. Mas para raios-X de tórax, ele se confundiu 42,8% das vezes. É como se o robô fosse um mestre cuca que consegue identificar perfeitamente um tempero raro, mas se confunde quando lhe pedem para diferenciar sal de açúcar.

Por Que Isso Acontece?

A equipe também perguntou: "O que faz um robô se confundir?". Eles testaram muitas ideias. É porque o robô é muito pequeno? Não. É porque foi treinado com dados antigos? Não. É porque a doença é rara? Não.

Eles encontraram uma coisa que prevê fortemente a confusão: Retenção de Apagamento. Imagine que você tira uma foto de um osso quebrado e depois usa uma borracha mágica para apagar a parte quebrada, deixando apenas o osso saudável. Se você mostrar essa foto "apagada" ao robô, o mapa interno dele muda?

Se o roba for inteligente, seu mapa deve mudar drasticamente porque a parte mais importante sumiu.
Se o robô for fraco, seu mapa mal se move. É como uma pessoa que está olhando para a foto de um cachorro, mas está focando no gramado ao redor; se você apaga o cachorro, ela nem percebe.

A equipe descobriu que os robôs que mal se moviam quando a evidência era apagada eram os mesmos que se confundiam mais. Isso sugere que os robôs não estão olhando para a doença em si; eles estão olhando para outra coisa na imagem, como o formato da caixa torácica ou a iluminação, e perdendo o problema real.

A Boa Notícia e a Má Notícia

O artigo termina com uma reviravolta esperançosa, porém realista. Embora um único robô possa se confundir, a equipe descobriu que, se você tiver um painel de 11 robôs diferentes, quase sempre haverá um deles que acerta.

Pense nisso como um grupo de detetives. Se um detetive perde uma pista, outro pode capturá-la. A equipe mostrou que, embora um único robô possa errar 35,9% dos casos, um sistema inteligente que escolha o melhor robô para cada imagem específica poderia errar apenas 2,8%. A informação está lá; ela está apenas espalhada por diferentes robôs. O problema não é que os dados estão faltando; é que ainda não construímos um sistema bom o suficiente para escolher o robô certo para o trabalho.

A Conclusão

Este artigo não diz que devemos descartar nossos médicos de IA. Em vez disso, ele nos dá uma maneira nova e mais justa de verificar se eles estão funcionando. Ele nos diz que esses robôs congelados não são cegos, mas são frágeis. Eles podem ser facilmente enganados e frequentemente perdem os detalhes finos que mais importam. Ao usar o CANDOR, médicos e cientistas podem agora identificar exatamente em quais doenças um robô é fraco antes mesmo de tentarem usá-lo. É um lembrete de que, só porque um robô é grande e poderoso, não significa que ele veja tudo com clareza; às vezes, ele só precisa de um mapa melhor.

Resumo Técnico: CANDOR – Discordância de Chance-Calibrada em Codificadores de Fundações Congelados

Declaração do Problema

A avaliação atual de codificadores de fundação congelados baseia-se quase exclusivamente no desempenho de uma "cabeça" leve (por exemplo, um classificador linear) treinada nas características congeladas do codificador, tipicamente medida pela Área Sob a Curva de Característica de Operação do Receptor (AUROC). Esta métrica governa escolhas de implantação, mas falha em revelar um modo de falha crítico: o colapso geométrico.

Medidas geométricas existentes, como a discordância de vizinhos mais próximos, tentam quantificar quão bem um codificador separa classes em seu espaço de características. No entanto, essas medidas são confundidas pela prevalência de classe. Quando os bancos de referência (amostras positivas e negativas) são de tamanhos desiguais, o banco maior domina a busca de vizinhos mais próximos devido à densidade, e não pela separação geométrica. Consequentemente, achados raros parecem "colapsados" (ou seja, os positivos estão mais próximos dos negativos) simplesmente porque os negativos são mais numerosos, não porque o codificador carece de informação. Isso cria um viés sistemático onde a severidade da falha relatada acompanha a raridade do achado, em vez da qualidade da codificação.

Metodologia: O Framework CANDOR

Os autores introduzem o CANDOR (Chance-Calibrated Neighborhood DiscORdance), uma medida projetada para isolar a falha geométrica do viés de prevalência.

Operador Central

O CANDOR mede a proporção de amostras positivas que um codificador coloca mais próximas de seus vizinhos de rótulo oposto do que de sua própria espécie, dentro de um contexto de aquisição estritamente correspondente (ex: mesmo hospital, mesma projeção, mesma visualização).

Correspondência de Contexto: O conjunto de dados é particionado em contextos $s$ baseados em covariáveis de aquisição (local, projeção, fonte do dataset) para garantir que as comparações sejam feitas apenas entre imagens que diferem unicamente pelo achado de interesse.
Bancos de Tamanho Igual: Para um positivo de consulta $x$ no contexto $s$ , o método constrói dois bancos de referência: um banco positivo $B^+_s$ e um banco negativo $B^-_s$ , ambos de tamanho igual $n$ .
Métrica de Discordância ( $DM_g$ ): Para um positivo de consulta $x$ , o método calcula a similaridade de cosseno média para seus $k$ vizinhos mais próximos no banco negativo ( $c^-$ ) e no banco positivo ( $c^+$ ). A discordância é definida como $DM_g(x) = c^-(x) - c^+(x)$ .
O Operador ( $D$ ): A métrica final é a probabilidade de que $DM_g(x) > 0$ para um $x$ positivo aleatório:
$D(g; F, s) = \Pr[DM_g(x) > 0 \mid F(x) = 1, x \in s]$
Isso representa a parcela de positivos que o codificador coloca mais perto do rótulo oposto do que de sua própria espécie.

Garantias Teóricas

Nível de Chance Exato: Os autores provam (Lema 1) que, se os bancos de referência forem de tamanho igual, os grupos de rótulos são permutáveis sob rerotulagem. Portanto, para um codificador sem informação sobre o achado (um codificador "cego"), a taxa de discordância esperada é exatamente 0,5 (50%). Isso fornece uma hipótese nula fixa e teórica sem a necessidade de estimativa empírica.
Viés Não Corrigido: O artigo demonstra que bancos desiguais ( $m > n$ ) fazem com que a taxa de discordância exceda 0,5 para codificadores cegos, fabricando sistematicamente a aparência de colapso para achados raros.

Instrumentos Adicionais

Limite de Irredutibilidade: Os autores provam que, se uma amostra positiva possui um "gêmeo discordante" (um vizinho negativo mais próximo do que qualquer vizinho positivo), a margem normalizada ( $m/L$ ) de qualquer cabeça Lipschitz naquele codificador é limitada. Isso implica que, para esses casos específicos, nenhuma capacidade de cabeça pode separar as classes; a falha é geométrica.
Retenção de Apagamento: Uma métrica livre de rótulo que mede o quanto a representação muda quando a região de evidência anotada é ocluída (preenchida com a média). Alta retenção (pouco movimento) sugere que o codificador não está atendendo à evidência.
Impureza de Vizinhança: Um escore livre de rótulo que tenta sinalizar gêmeos discordantes sem rótulos de verdade fundamental (ground truth), embora o artigo descubra que isso performa mal comparado a baselines baseados em confiança.

Principais Contribções

Um Operador Calibrado por Chance: A introdução de bancos de referência de tamanho igual fixa o nível de chance em exatamente 0,5, corrigindo o viés de prevalência em medidas de discordância existentes.
Um Limite de Irredutibilidade: Uma prova teórica mostrando que gêmeos discordantes impõem um limite rígido na margem de qualquer cabeça Lipschitz, distinguindo entre codificadores "cegos" (sem informação) e "fracos" (a informação existe, mas está geometricamente comprimida).
Um Mapa Abrangente de Falhas: Uma análise empírica através de 22 codificadores, 20 datasets, 7 domínios e 605.443 imagens, revelando que codificadores congelados não são cegos, mas codificam achados granulares finos de forma fraca, com taxas de falha variando significativamente por domínio.

Resultados Experimentais

Escopo

O estudo avalia 22 codificadores congelados (incluindo RAD-DINO, DINOv3, CLIP e modelos específicos de domínio como Phikon e RETFound) através de:

Radiografia de Tórax: 12 achados em 11 contextos de aquisição (MIMIC-CXR, CheXpert, etc.).
Outros Domínios Médicos: Histopatologia, Fundoscopia (Retinopatia, Glaucoma), Dermatologia, Mamografia.
Domínios Naturais: Espécies de aves, variantes de aeronaves.

Principais Achados

Não São Cegos, Mas São Fracos: Contrário à hipótese de que codificadores são "cegos" para achados médicos granulares, a métrica corrigida CANDOR mostra que nenhum codificador é verdadeiramente cego (todos os scores estão significantes abaixo do nível de chance de 50%). No entanto, eles são fracos.
- Exemplo: O melhor modelo de tórax (RAD-DINO) atinge um AUROC de 84,5 para pneumotórax, mas ainda coloca 18,4% dos positivos de pneumotórax mais próximos de um filme negativo do que de um positivo dentro do mesmo hospital.
- Exemplo: Entre 12 achados de tórax, a taxa média de discordância é de 27,7%.
Variância de Domínio: A fraqueza não é uniforme.
- Resolvidos: Histopatologia (ladrilhos de tumor) e espécies de aves são bem resolvidos (taxas de discordância de ~2,7%–7,7%).
- Fracos: Achados de tórax têm uma mediana de discordância de 42,1%.
- Nível de Chance: Glaucoma e malignidade mamográfica são codificados no ou próximo ao nível de chance (49,8%–50,0%), performando não melhor do que um ViT inicializado aleatoriamente.
Seleção vs. Informação: Embora uma única cabeça Lipschitz seja limitada pela geometria dos gêmeos discordantes, um seletor "oráculo" que escolhe a melhor cabeça por imagem pode recuperar performance significativa. Em casos onde uma única cabeça perde 35,9% dos positivos, um seletor entre 11 cabeças perde apenas 2,8%. O déficit é de seleção, não de informação.
Correlação de Retenção de Apagamento: Existe uma forte correlação positiva (Spearman 0.855) entre a retenção de apagamento (o quanto pouco o embedding se move quando a evidência é ocluída) e a taxa de discordância. Codificadores que mal se movem quando a evidência é removida são aqueles que colocam positivos ao lado de seus opostos.
Sem Associação com Outros Fatores: A falha não está associada ao objetivo de pré-treino (SSL vs. I-T vs. Supervisionado), escala do modelo, ano de lançamento ou tamanho do achado.

Significância e Alegações

O artigo afirma que o CANDOR fornece uma ferramenta de diagnóstico de pré-treino que pode sinalizar quais achados um codificador congelado suporta mal antes de qualquer cabeça ser treinada.

Reversão de Conclusões: A correção inverte a interpretação da falha do codificador. Em vez de achados raros serem "colapsados" devido à prevalência, eles são revelados como sendo codificados com uma fraqueza específica e mensurável.
Limitação Estrutural: A falha é estrutural. Se um gêmeo discordante existe, a própria geometria impede que qualquer cabeça Lipschitz alcance uma margem ampla. A única saída é uma regra de seleção não-Lipschitz (escolher diferentes codificadores para diferentes imagens), o que requer acesso ao rótulo durante a inferência.
Implicação Prática: Codificadores congelados não são universalmente "cegos" para evidências clínicas granulares; em vez disso, eles codificam tipos específicos de evidência (como achados de tórax) de forma fraca. Essa fraqueza é mensurável, irredutível pela arquitetura da cabeça e mapeável através de domínios.

Os autores concluem que, embora a lacuna entre o que um painel de codificadores sabe e o que um único codificador congelado pode extrair seja grande, o valor imediato do CANDOR é sua capacidade de identificar o "terreno macio" — achados específicos onde a geometria congelada é insuficiente para uma separação confiável.