Resumen Técnico: GRASP – Adaptadores Residuales Guiados con Partición por Muestra

Enunciado del Problema

Los transformadores de flujo de correspondencia de texto a imagen exhiben una degradación severa del rendimiento en distribuciones de cola larga, particularmente en dominios como la imagen médica, donde las patologías raras dominan los escenarios del mundo real. Si bien los modelos funcionan bien en las clases frecuentes de "cabeza", sufren un colapso de modos en las clases de "cola", generando imágenes con poca fidelidad y diversidad limitada. Los autores identifican la causa raíz como una patología a nivel de optimización: durante el ajuste fino, las actualizaciones de gradiente para las clases de cabeza y cola no coinciden tanto en norma como en dirección. Estos gradientes promedian destructivamente a nivel de parámetros, lo que hace que el modelo priorice las clases frecuentes y colapse la representación de las raras. Las intervenciones existentes, como estrategias de muestreo posteriores al entrenamiento o modificaciones de la función de pérdida durante el entrenamiento, no abordan esta desalineación específica de gradientes, a menudo dejando la distribución subyacente sin cambios o modificando el objetivo generativo de maneras que no atacan directamente el fallo de optimización.

Metodología

El artículo propone GRASP (Adaptadores Residuales Guiados con Partición por Muestra), una intervención arquitectónica no invasiva diseñada para mejorar la alineación de gradientes sin alterar el objetivo de ajuste de flujo ni el proceso de muestreo.

1. Partición por Muestra mediante Condicionamiento

En lugar de aprender una red de enrutamiento (lo cual conlleva el riesgo de ser dominada por los gradientes de las clases de cabeza), GRASP emplea una partición estática y determinista del espacio de condicionamiento.

• Base Teórica: En el ajuste de flujo condicional, los valores de condición indexan conjuntos distintos de trayectorias de probabilidad. Los autores argumentan que particionar a lo largo del vector de condición es la factorización estructuralmente correcta para servir como proxy de la alineación de gradientes.
• Implementación: Una función de enrutamiento estática $\pi: \mathcal{C} \to \{1, \dots, K\}$ asigna cada muestra a uno de $K$ expertos basándose en su condición.
  • Contexto Médico (MIMIC-CXR-LT): Las muestras se particionan en grupos semánticos (Cabeza, Media, Cola) y se dividen además por un prior específico del dominio (Saludable vs. Patológico), resultando en cuatro expertos.
  • Contexto General (ImageNet-LT): La partición se logra mediante agrupamiento de incrustaciones de texto (biseción K-means) en el codificador de texto congelado, sin priores específicos del dominio.
• Robustez: El método se basa en priores "gruesos" (por ejemplo, bins de frecuencia o agrupamiento estándar) en lugar de una separación semántica perfecta. El objetivo es asegurar que, en promedio, las muestras dentro de un experto compartan dinámicas de gradiente más homogéneas que aquellas entre expertos.

2. Adaptadores Residuales Guiados

Una vez enrutadas las muestras, la arquitectura utiliza adaptadores residuales específicos de grupo insertados en las capas de alimentación frontal del backbone preentrenado congelado (Flux).

• Mecanismo: Para una muestra $x_i$ enrutada al experto $k = \pi(c_i)$, la salida de la capa es $h_{l+1} = F_l(h_l) + A_{k,l}(h_l)$, donde $F_l$ es la transformación base compartida y $A_{k,l}$ es el adaptador específico del experto.
• Aislamiento de Gradientes: Los parámetros dentro del adaptador $k$ se actualizan solo por las muestras asignadas a ese experto. Esto aísla los gradientes específicos del grupo, evitando la interferencia destructiva de las actualizaciones de clases de cabeza mientras permite que el backbone compartido acumule una estructura transferible.
• Diseño: Los adaptadores son transformaciones ligeras de dos capas. A diferencia de LoRA, no imponen una reducción estricta de dimensionalidad, permitiendo adaptadores más anchos ($d' \approx d$ o $d' > d$) para estabilizar el ajuste fino a través de grandes brechas de dominio.

Contribuciones Clave

1. Transferencia de Consistencia de Gradientes al Ajuste de Flujo: Los autores adaptan el objetivo de consistencia de gradientes del modelado de lenguaje de cola larga (Dong et al.) al ajuste de flujo de texto a imagen. Crucialmente, reemplazan el mecanismo de enrutamiento aprendido con una partición determinista impulsada por el condicionamiento. Argumentan que en el ajuste de flujo condicional, el condicionamiento indexa naturalmente la geometría de las trayectorias de probabilidad, lo que hace que la partición estática sea una factorización estructuralmente correcta en lugar de una heurística genérica.
2. Diseño No Invasivo y Componible: GRASP deja la función de pérdida de ajuste de flujo y el muestreador intactos, modificando solo qué parámetros absorben qué gradientes. Esto permite que se componga con intervenciones ortogonales. Los autores demuestran que combinar GRASP con muestreo minoritario auto-guiado en el tiempo de inferencia produce resultados superiores en comparación con cualquiera de los métodos por separado.
3. Validación Empírica del Condicionamiento como Proxy de Gradiente: A través de estudios de ablación y análisis de gradientes, el artículo valida que la homogeneidad del condicionamiento se correlaciona fuertemente con la consistencia de gradientes por experto, confirmando que las particiones estáticas aproximan efectivamente el agrupamiento ideal de gradientes incluso con priores ruidosos.

Resultados

El método fue evaluado en MIMIC-CXR-LT (radiografías de tórax médicas), NIH-CXR-LT (clasificación aguas abajo) e ImageNet-LT (generación general de cola larga).

• Calidad y Diversidad de Generación de Imágenes:
  • En MIMIC-CXR-LT, GRASP redujo el FID general hasta un 80% en comparación con el ajuste fino completo y aumentó la cobertura de clases de cola hasta un 44%.
  • Superó a las líneas base más avanzadas, incluido el ajuste fino completo, adaptadores genéricos y variantes de Mezcla de Expertos (MoE) con enrutamiento aprendido como MoCLE.
  • El análisis cualitativo mostró que GRASP recuperó características específicas de clase para patologías raras (por ejemplo, Neumoperitoneo) que las líneas base suavizaron o colapsaron.
• Clasificación Aguas Abajo:
  • Cuando las imágenes sintéticas generadas por GRASP se utilizaron para entrenar un clasificador DenseNet-121 en NIH-CXR-LT, el modelo logró una puntuación F1 macro que igualaba a la del entrenamiento con datos reales.
  • Crucialmente, GRASP permitió puntuaciones F1 no nulas en 9 de 13 clases, mientras que el ajuste fino completo solo logró esto en 3 clases.
• Generalización: Los resultados en ImageNet-LT confirmaron que el mecanismo no está atado a sesgos inductivos médicos y se generaliza a tareas amplias de generación de cola larga.

Significado y Afirmaciones

El artículo posiciona a GRASP como una herramienta controlada de aumento y análisis, afirmando explícitamente que las imágenes sintéticas no son un sustituto de cohortes fundamentadas clínicamente o de la revisión por expertos. Los autores enfatizan que los datos sintéticos pueden preservar o amplificar sesgos si se utilizan sin procedencia y validación.

El significado principal reclamado es que el enrutamiento estático es la opción predeterminada para la generación de texto a imagen de cola larga siempre que existan priores incluso gruesos sobre el condicionamiento (un caso común en imagen médica). A diferencia del enrutamiento aprendido, que falla en regímenes de cola larga extrema debido al dominio de las clases de cabeza, la partición estática garantiza que cada muestra de cola actualice su experto asignado. Esto proporciona un mecanismo estable, eficiente y no invasivo para mitigar patologías a nivel de optimización sin modificar el objetivo generativo central.