Resumen Técnico: CANDOR – Discordancia Calibrada por Azar en Codificadores de Fundamentos Congelados

Declaración del Problema

La evaluación actual de los codificadores de fundamentos congelados depende casi exclusivamente del rendimiento de una "cabeza" ligera (por ejemplo, un clasificador lineal) entrenada sobre las características congeladas del codificador, típicamente medida mediante el Área Bajo la Curva de la Característica de Operación del Receptor (AUROC). Esta métrica rige las decisiones de despliegue, pero no logra revelar un modo de fallo crítico: el colapso geométrico.

Las medidas geométricas existentes, como la discordancia de los vecinos más cercanos, intentan cuantificar qué tan bien un codificador separa las clases en su espacio de características. Sin embargo, estas medidas están confundidas por la prevalencia de clase. Cuando los bancos de referencia (muestras positivas y negativas) son de tamaños desiguales, el banco más grande domina la búsqueda de vecinos más cercanos debido a la densidad y no a la separación geométrica. En consecuencia, los hallazgos poco frecuentes aparecen como "colapsados" (es decir, los positivos están más cerca de los negativos) simplemente porque los negativos son más numerosos, no porque el codificador carezca de información. Esto crea un sesgo sistemático donde la severidad del fallo reportado sigue la rareza del hallazgo en lugar de la calidad de la codificación.

Metodología: El Marco CANDOR

Los autores introducen CANDOR (Discordancia de Vecindad Calibrada por Azar), una medida diseñada para aislar el fallo geométrico del sesgo de prevalencia.

Operador Central

CANDOR mide la proporción de muestras positivas que un codificador coloca más cerca de sus vecinos de etiqueta opuesta que de su propia clase, dentro de un contexto de adquisición estrictamente emparejado (por ejemplo, mismo hospital, misma proyección, misma vista).

1. Emparejamiento de Contexto: El conjunto de datos se particiona en contextos $s$ basados en covariables de adquisición (sitio, proyección, conjunto de datos de origen) para asegurar que las comparaciones se realicen únicamente entre imágenes que difieren solo por el hallazgo de interés.
2. Bancos de Tamaño Igual: Para una consulta positiva $x$ en el contexto $s$, el método construye dos bancos de referencia: un banco positivo $B^+_s$ y un banco negativo $B^-_s$, ambos de tamaño igual $n$.
3. Métrica de Discordancia ($DM_g$): Para una consulta positiva $x$, el método calcula la similitud de coseno promedio con sus $k$ vecinos más cercanos en el banco negativo ($c^-$) y en el banco positivo ($c^+$). La discordancia se define como $DM_g(x) = c^-(x) - c^+(x)$.
4. El Operador ($D$): La métrica final es la probabilidad de que $DM_g(x) > 0$ para un $x$ positivo aleatorio:
   $$D(g; F, s) = \Pr[DM_g(x) > 0 \mid F(x) = 1, x \in s]$$
   Esto representa la proporción de positivos que un codificador coloca más cerca de la etiqueta opuesta que de su propia clase.

• Garantías Teóricas:
  • Nivel de Azar Exacto: Los autores demuestran (Lema 1) que si los bancos de referencia son de tamaño igual, los grupos de etiquetas son intercambiables bajo relabelado. Por lo tanto, para un codificador sin información sobre el hallazgo (un codificador "ciego"), la tasa de discordancia esperada es exactamente 0.5 (50%). Esto proporciona una hipótesis nula fija y teórica sin necesidad de estimación empírica.
  • Sesgo No Corregido: El artículo demuestra que los bancos desiguales ($m > n$) causan que la tasa de discordancia exceda 0.5 para codificadores ciegos, fabricando sistemáticamente la apariencia de colapso para hallazgos raros.

Instrumentos Adicionales

• Límite de Irreducibilidad: Los autores demuestran que si una muestra positiva tiene un "gemelo discordante" (un vecino negativo más cercano que cualquier vecino positivo), el margen normalizado ($m/L$) de cualquier cabeza Lipschitz en ese codificador está limitado. Esto implica que, para estos casos específicos, ninguna capacidad de la cabeza puede separar las clases; el fallo es geométrico.
• Retención de Borrado: Una métrica libre de etiquetas que mide cuánto cambia la representación cuando la región de evidencia anotada es ocluida (rellenada con la media). Una alta retención (poco movimiento) sugiere que el codificador no está atendiendo a la evidencia.
• Impureza de Vecindad: Una puntuación libre de etiquetas que intenta detectar gemelos discordantes sin etiquetas de verdad de campo (ground truth), aunque el artículo encuentra que esto funciona peor en comparación con las líneas base basadas en confianza.

Contribuciones Clave

1. Un Operador Calibrado por Azar: La introducción de bancos de referencia de tamaño igual fija el nivel de azar en exactamente 0.5, corrigiendo el sesgo de prevalencia en las medidas de discordancia existentes.
2. Un Límite de Irreducibilidad: Una prueba teórica que muestra que los gemelos discordantes imponen un tope duro al margen de cualquier cabeza Lipschitz, distinguiendo entre codificadores "ciegos" (sin información) y codificadores "débiles" (la información existe pero está geométricamente comprimida).
3. Un Mapa Exhaustivo de Fallos: Un análisis empírico a través de 22 codificadores, 20 conjuntos de datos, 7 dominios y 605,443 imágenes, revelando que los codificadores congelados no son ciegos sino que codifican hallazgos finos de forma débil, con tasas de fallo que varían significamente según el dominio.

Resultados Experimentales

Alcance

El estudio evalúa 22 codificadores congelados (incluyendo RAD-DINO, DINOv3, CLIP y modelos específicos de dominio como Phikon y RETFound) a través de:

• Radiografía de Tórax: 12 hallazgos en 11 contextos de adquisición (MIMIC-CXR, CheXpert, etc.).
• Otros Dominios Médicos: Histopatología, Fondo de ojo (Retinopatía, Glaucoma), Dermatología, Mamografía.
• Dominios Naturales: Especies de aves, Variantes de aeronaves.

Hallazgos Clave

• No son Ciegos, sino Débiles: Contrario a la hipótesis de que los codificadores son "ciegos" ante hallazgos médicos finos, la métrica corregida de CANDOR muestra que ningún codificador es verdaderamente ciego (todos los puntajes están significativamente por debajo del nivel de azar del 50%). Sin embargo, son débiles.
  • Ejemplo: El mejor modelo de tórax (RAD-DINO) logra un AUROC de 84.5 para neumotórax pero aún coloca el 18.4% de los positivos de neumotórax más cerca de una película negativa que de una positiva dentro del mismo hospital.
  • Ejemplo: A través de 12 hallazgos de tórax, la tasa de discordancia promedio es del 27.7%.
• Variación de Dominio: La debilidad no es uniforme.
  • Resuelto: La histopatología (teselas de tumores) y las especies de aves se resuelven bien (tasas de discordancia ~2.7%–7.7%).
  • Débil: Los hallazgos de tórax tienen una mediana de discordancia de 42.1%.
  • Nivel de Azar: El glaucoma y la malignidad mamográfica se codifican en o cerca del nivel de azar (49.8%–50.0%), desempeñándose no mejor que un ViT inicializado aleatoriamente.
• Selección vs. Información: Mientras que una única cabeza Lipschitz está limitada por la geometría de los gemelos discordantes, un selector "oráculo" que elige la mejor cabeza por imagen puede recuperar un rendimiento significativo. En casos donde un selector único falla en el 35.9% de los positivos, un selector entre 11 cabezas falla solo en el 2.8%. El déficit es de selección, no de información.
• Correlación de Retención de Borrado: Existe una fuerte correlación positiva (Spearman 0.855) entre la retención de borrado (cuánto se mueve el embedding cuando se ocluye el hallazgo) y la tasa de discordancia. Los codificadores que apenas se mueven cuando se elimina la evidencia son aquellos que colocan los positivos junto a sus opuestos.
• Sin Asociación con Otros Factores: El fallo no está asociado con el objetivo de preentrenamiento (SSL vs. I-T vs. Supervisado), la escala del modelo, el año de lanzamiento o el tamaño del hallazgo.

Significado y Reivindicaciones

El artículo afirma que CANDOR proporciona una herramienta de diagnóstico de pre-entrenamiento que puede señalar qué hallazgos soporta pobremente un codificador congelado antes de entrenar cualquier cabeza.

• Reversión de Conclusiones: La corrección revierte la interpretación del fallo del codificador. En lugar de que los hallazgos raros estén "colapsados" debido a la prevalencia, se revela que están codificados con una debilidad específica y medible.
• Limitación Estructural: El fallo es estructural. Si existe un gemelo discordante, la geometría misma impide que cualquier cabeza Lipschitz logre un margen amplio. La única salida es una regla de selección no Lipschitz (elegir diferentes codificadores para diferentes imágenes), lo cual requiere acceso a la etiqueta durante la inferencia.
• Implicación Práctica: Los codificadores congelados no son universalmente "ciegos" a la evidencia clínica fina; más bien, codifican tipos específicos de evidencia (como los hallazgos de tórax) de forma débil. Esta debilidad es medible, irreducible por la arquitectura de la cabeza y mapeable a través de dominios.

Los autores concluyen que, si bien la brecha entre lo que un panel de codificadores sabe y lo que un único codificador congelado puede extraer es grande, el valor inmediato de CANDOR es su capacidad para identificar "terreno blando": hallazgos específicos donde la geometría congelada es insuficiente para una separación confiable.