Resumen Técnico: RADAR (Divergencia Angular Relativa a través de Representaciones)

Enunciado del Problema

En el aprendizaje automático moderno, expandir los conjuntos de datos de entrenamiento con dominios fuente auxiliares es una estrategia estándar para abordar las limitaciones de datos. Sin embargo, esta práctica no garantiza una mejora en el rendimiento downstream y puede conducir a una transferencia negativa, donde la incorporación de información fuente degrada activamente el rendimiento objetivo. Identificar qué dominios fuente generarán una transferencia positiva es difícil, porque evaluar empíricamente cada candidato requiere una costosa reentrenamiento completo del modelo. Las métricas de transferibilidad existentes a menudo dependen de representaciones estáticas en una sola capa o requieren preentrenamiento en el conjunto de datos objetivo, fallando en capturar la evolución estructural dinámica de las representaciones a través de la jerarquía del modelo.

Metodología: RADAR

Los autores proponen RADAR (Divergencia Angular Relativa a través de Representaciones), una métrica fundamentada geométricamente diseñada para estimar la transferibilidad cruzada de dominios utilizando únicamente características congeladas de modelos fundacionales. El método opera analizando la evolución de las representaciones a nivel de capa en lugar de instantáneas estáticas.

Mecanismo Central

1. Extracción de Trayectorias a Nivel de Capa: Para un modelo fundacional preentrenado $\Phi$, se extraen representaciones de características intermedias $h^{(l)}(x)$ en cada capa $l$.
2. Construcción Geométrica de Triángulos: Para una muestra ancla dada $x$ y una muestra secundaria $x'$ (ya sea dentro del mismo dominio o a través de dominios), el método construye un triángulo geométrico de vectores de desplazamiento que abarca las capas $l$ y $l+1$:
   • Separación ($v_{sep}$): El vector entre $h^{(l)}(x)$ y $h^{(l)}(x')$.
   • Desvío ($v_{detour}$): El vector desde $h^{(l)}(x')$ hasta $h^{(l+1)}(x)$.
   • Trayectoria ($v_{traj}$): El desplazamiento directo desde $h^{(l)}(x)$ hasta $h^{(l+1)}(x)$.
   • Nota: El artículo demuestra que $v_{sep} + v_{detour} = v_{traj}$ exactamente.
3. Cálculo de Descriptores: El método calcula dos descriptores clave para estos triángulos:
   • Alineación Angular ($\theta$): La similitud del coseno entre los vectores de separación y desvío.
   • Distancia Relativa ($d$): La longitud de trayectoria de exceso normalizada del desvío de dos pasos en comparación con la trayectoria directa ($d = \frac{\|v_{sep}\| + \|v_{detour}\| - \|v_{traj}\|}{\|v_{traj}\|}$).
   • Adaptación Topológica: Si bien la métrica puede definirse sobre distancias geodésicas para espacios hiperesféricos (por ejemplo, características DINO), los autores adoptan una formulación unificada en espacio euclidiano ya que demostró ser más robusta a través de modalidades, particularmente para texto.
4. Modelado de Distribuciones:
   • El método muestrea pares para calcular distribuciones empíricas de $\theta$ y $d$ para pares dentro del dominio y pares cruzados entre dominios.
   • Para garantizar la viabilidad computacional, se utiliza una estrategia de muestreo estratificado, ponderando los pares según su distancia a los centroides de clase (capturando tanto la dinámica inlier-inlier como inlier-outlier).
   • Se ajustan Modelos de Mezcla Gaussiana (GMM) a estas distribuciones para modelar las densidades de probabilidad continuas de las dinámicas dentro del dominio y cruzadas entre dominios.
5. Medición de Divergencia: La puntuación final de transferibilidad se deriva de la divergencia simétrica de Kullback-Leibler (KL) entre los dos GMM. Una divergencia más baja indica una mayor similitud estructural y, en consecuencia, una mayor transferibilidad predicha.
6. Trayectorias Extendidas: Para capturar cambios estructurales holísticos, la métrica concatena descriptores a través de una ventana de capas (por ejemplo, de $l-6$ a $l+6$), creando un vector de características de alta dimensión antes de ajustar el GMM.

Contribuciones Clave

1. Evolución Estructural Dinámica a Nivel de Capa: RADAR es la primera métrica que evalúa la transferibilidad midiendo la divergencia entre distribuciones continuas dinámicas de trayectorias geométricas (ángulos y distancias relativas) a través de las capas de la red, en lugar de distribuciones de características estáticas.
2. Rendimiento Predictivo Altamente Competitivo: La métrica logra un rendimiento entre los tres primeros en 7 de 10 configuraciones en los puntos de referencia de visión y texto, asegurando el mejor rendimiento absoluto en 6 de ellos. Consistentemente supera o iguala a las líneas base de última generación como LEEP, LogME, NCE, TransRate y S-OTDD.
3. Estimación Robusta y Eficiente: A través de extensos estudios de ablación, los autores demuestran que RADAR es robusto ante la elección de hiperparámetros (tamaño de muestra, radio de ventana, temperatura) y computacionalmente eficiente, a menudo superando a las líneas base en entornos solo de CPU debido a su dependencia de características congeladas y submuestreo.

Resultados Experimentales

Los autores evaluaron RADAR en:

• Modalidades de Visión: Backbones CLIP y DINOv3 en DomainNet, OfficeHome y PACS.
• Modalidades de Texto: Qwen3-Embedding y EmbeddingGemma en EuroEval y AmazonReviews.

Hallazgos Clave:

• Rendimiento: RADAR logró la mejor Mejora de Correlación Media (MCI) en DomainNet tanto para CLIP como para DINOv3, y en OfficeHome para CLIP. En texto, logró los mejores resultados en EuroEval para EmbeddingGemma (superando a la siguiente mejor línea base en más de 30 puntos porcentuales) y fue competitivo en AmazonReviews.
• Regímenes de Separación de Dominios: RADAR sobresale cuando las transiciones de dominio son suaves (baja corrupción/separación) o claramente separadas (alta corrupción/separación). Su rendimiento se degrada en regímenes "intermedios" (por ejemplo, conjunto de datos PACS) donde los dominios exhiben una separación dispersa y no uniforme que no es lo suficientemente suave para la alineación de trayectorias ni lo suficientemente distinta para una estimación de divergencia limpia.
• Diferencias de Modalidad: Las representaciones de texto favorecen estrictamente el espacio euclidiano y las características angulares, mientras que las representaciones de visión muestran robustez tanto en espacios euclidianos como pseudo-cartesianos.
• Robustez ante Corrupción: En ImageNet-C, RADAR demostró una robustez excepcional en niveles de corrupción extremos (Severidad 5), donde fallaron las métricas estadísticas estáticas, aunque mostró vulnerabilidad ante ruido sintético moderado (Severidad 3).

Significado y Afirmaciones

El artículo afirma que la estructura geométrica a nivel de capa porta una señal de transferibilidad significativa que las métricas estáticas de una sola capa no logran capturar. Al medir la divergencia de cómo evolucionan las representaciones a través de las capas, RADAR proporciona una manera principada y computacionalmente eficiente de predecir las clasificaciones de ganancia de transferencia sin reentrenar modelos.

Los autores enfatizan que su enfoque está motivado por la Hipótesis de Enderezamiento Perceptual y la observación de que las representaciones más informativas en los modelos fundacionales no siempre se encuentran en la capa final. Argumentan que RADAR ofrece un marco unificado cruzado de modalidades para las decisiones de aprendizaje por transferencia, particularmente efectivo cuando los desplazamientos de dominio están bien definidos. Sin embargo, reconocen modestamente las limitaciones, señalando que el poder predictivo de la métrica se degrada en escenarios con estructuras de dominio dispersas y superpuestas, y que la dependencia de los GMM presenta un cuello de botella computacional para el filtrado en tiempo real.