Resumen Técnico: BiCo – Alineación Bilinerar de Coordenadas para Transferencia de Vectores de Tarea Sin Entrenamiento

Enunciado del Problema

El paradigma predominante en el aprendizaje automático moderno consiste en adaptar modelos preentrenados a gran escala a tareas especializadas posteriores mediante ajuste fino. Sin embargo, a medida que las familias de modelos preentrenados se expanden con nuevas variantes que difieren en escala, datos de preentrenamiento o recetas de entrenamiento, la experiencia adquirida mediante ajuste fino queda vinculada a la parametrización específica del modelo original. En consecuencia, cuando se lanza una nueva versión del modelo, el conocimiento ajustado no puede reutilizarse directamente, lo que hace necesarios procesos de ajuste fino costosos y repetitivos.

Los enfoques existentes para transferir esta experiencia de "vector de tarea" (definida como la diferencia de parámetros $\tau = \theta_{ft} - \theta_{pre}$) entre diferentes modelos enfrentan limitaciones significativas. Los métodos que dependen de la alineación en el espacio de parámetros (por ejemplo, re-basin mediante simetrías de permutación) requieren compatibilidad arquitectónica estricta y dimensiones coincidentes. Los métodos recientes sin entrenamiento que utilizan señales específicas de la tarea, como activaciones o gradientes (por ejemplo, THESEUS, GradFix), proporcionan correspondencias parciales pero aún exhiben una brecha de rendimiento sustancial en comparación con el ajuste fino directo del modelo objetivo. El desafío central es transferir vectores de tarea entre modelos con diferentes anchos, profundidades y configuraciones de preentrenamiento sin actualizaciones adicionales de parámetros.

Metodología: BiCo

Los autores proponen BiCo (Alineación Bilinerar de Coordenadas), un marco sin entrenamiento que replantea la transferencia de vectores de tarea como un problema de alineación en doble espacio.

1. Perspectiva Teórica: Formación Bilinerar de Vectores de Tarea

Los autores revisan la formación mecánica de un vector de tarea. Al analizar la regla de actualización del descenso de gradiente, demuestran que un vector de tarea $\tau^{(l)}$ para una capa $l$ es la acumulación de interacciones bilineales entre las activaciones del lado de entrada ($x_t$) y los gradientes del lado de salida ($g_t$) a lo largo de la trayectoria de ajuste fino:
$$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$$
Esta formulación implica que un vector de tarea no es meramente un desplazamiento de parámetros, sino un acoplamiento de dos espacios de coordenadas distintos: el espacio de activación de entrada y el espacio de gradiente de salida. Los autores argumentan que una transferencia exitosa requiere alinear ambos espacios para preservar la geometría subyacente de la actualización, en lugar de alinear solo activaciones o solo parámetros.

2. El Marco BiCo

BiCo estima mapeos de Procrustes ortogonales para ambos espacios, de entrada y de salida, utilizando un pequeño conjunto de calibración ($N$ muestras) y una sola pasada hacia adelante-hacia atrás a través de modelos preentrenados congelados. Ningún parámetro del modelo objetivo se actualiza.

• Alineación del Lado de Entrada: El método asume que las activaciones preentrenadas sirven como proxies efectivos para las activaciones de la trayectoria. Calcula la covarianza cruzada entre las activaciones preentrenadas de la fuente ($\bar{X}_{A,pre}$) y las activaciones preentrenadas del objetivo ($\bar{X}_{B,pre}$). Se deriva una solución de Procrustes ortogonal ($R_{in}$) mediante Descomposición en Valores Singulares (SVD) para mapear las coordenadas de entrada de la fuente al espacio de entrada del objetivo, preservando la geometría relacional (medida por la Alineación de Kernel Centrada, CKA).
• Alineación del Lado de Salida: De manera similar, el método calcula gradientes con respecto a las salidas de la capa en la inicialización preentrenada ($\bar{G}_{A,pre}$ y $\bar{G}_{B,pre}$). Se estima una segunda solución de Procrustes ortogonal ($R_{out}$) para alinear las coordenadas del gradiente de salida. Este paso es crucial porque las dimensiones de salida a menudo difieren entre los modelos fuente y objetivo, y las direcciones "sensibles a la tarea" pueden estar codificadas en bases diferentes.
• Transferencia de Vector de Tarea: El vector de tarea de la fuente $\tau_A^{(l)}$ se transforma en la actualización compatible con el objetivo $\hat{\tau}_B^{(l)}$ aplicando los mapeos aprendidos a ambos lados de la estructura bilinear:
  $$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$$
  El modelo objetivo final se actualiza como $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$.

3. Manejo de Discrepancias Estructurales

• Discrepancia de Ancho: La formulación de Procrustes maneja naturalmente casos donde las dimensiones de entrada/salida difieren (por ejemplo, transferencia de estrecho a ancho o de ancho a estrecho) mediante la búsqueda de la proyección ortogonal óptima.
• Discrepancia de Profundidad: Para modelos con diferentes números de capas, se emplea una estrategia simple de coincidencia discreta de índices de capas, mapeando la capa objetivo $j$ a la capa fuente más cercana $i(j)$.

Contribuciones Clave

1. Revisión de la Formación de Vectores de Tarea: El artículo establece que los vectores de tarea son acumulaciones de interacciones bilineales entre activaciones de entrada y gradientes de salida, lo que motiva un enfoque de alineación en doble espacio en lugar de alineación en espacio único o espacio de parámetros.
2. Marco BiCo: Introducción de un método sin entrenamiento que utiliza alineación de Procrustes ortogonal tanto en activaciones de entrada como en gradientes de salida para transferir vectores de tarea. Requiere únicamente una sola pasada hacia adelante-hacia atrás en un pequeño conjunto de calibración y no implica actualizaciones de parámetros ni ajuste de hiperparámetros.
3. Validación Empírica: Experimentos extensos en benchmarks de visión por computadora (benchmark 8-Vision) y procesamiento de lenguaje natural (suite GLUE) demuestran que BiCo supera consistentemente a las líneas base existentes sin entrenamiento (por ejemplo, THESEUS, GradFix, TransFusion) y reduce la brecha de rendimiento con el ajuste fino directo, incluso entre modelos con diferentes anchos, profundidades y distribuciones de preentrenamiento.

Resultados

• Escalado de Ancho: Al transferir desde un ViT-B/16 a un ViT-B/16-plus más ancho, BiCo supera significativamente al relleno ingenuo y a THESEUS. Con solo 100 muestras de calibración, BiCo logra una ganancia promedio de precisión de +18,88% sobre la línea base zero-shot, en comparación con +3,81% para THESEUS.
• Arquitectura Idéntica: Incluso cuando las arquitecturas coinciden pero los datos de preentrenamiento difieren (Datacomp-XL a LAION-2B), la transferencia ingenua degrada el rendimiento. BiCo mejora la precisión promedio en +17,81% sobre la línea base zero-shot con 5 ejemplos por clase, superando sustancialmente a GradFix y THESEUS.
• Escalado de Profundidad y Ancho: En escenarios desafiantes que involucran discrepancias tanto de profundidad como de ancho (ViT-B/16 a ViT-L/14), BiCo mejora la línea base zero-shot en +12,89%, demostrando generalizabilidad estructural.
• Generalización en NLP: Aplicado a modelos T5 (T5-3B a T5-Large), BiCo muestra mejoras robustas en la precisión de sondeo lineal en tareas GLUE, escalando efectivamente con el número de muestras de calibración.
• Estudios de Ablación: El análisis confirma que alinear solo el lado de entrada o solo el lado de salida es insuficiente. La combinación de ambos, específicamente utilizando gradientes para el lado de salida, es crítica para el rendimiento. La alineación solo de entrada puede incluso degradar el rendimiento por debajo de la línea base zero-shot en capas profundas.

Significado y Afirmaciones

El artículo afirma que BiCo aborda la ineficiencia de volver a ajustar modelos mediante la habilitación de la reutilización directa de experiencia específica de la tarea entre diversas variantes de modelos. Al interpretar los vectores de tarea como interacciones bilineales, los autores argumentan que preservar la geometría tanto del espacio de activación de entrada como del espacio de gradiente de salida es esencial para una transferencia efectiva.

El significado de este trabajo radica en su capacidad para:

• Reducir la Sobrecarga Computacional: Eliminar la necesidad de ajuste fino iterativo de modelos objetivo, requiriendo únicamente una sola pasada hacia adelante-hacia atrás para la calibración.
• Habilitar la Reutilización Escalable: Facilitar la transferencia de conocimiento entre modelos con diferentes anchos, profundidades y configuraciones de preentrenamiento, lo cual es crítico a medida que evolucionan las familias de modelos fundamentales.
• Cerrar la Brecha de Rendimiento: Reducir sustancialmente la brecha entre la transferencia sin entrenamiento y el ajuste fino directo, ofreciendo una alternativa práctica y plug-and-play para la adaptación de modelos.

Los autores mantienen modestia respecto a las limitaciones, señalando que el método asume estructuras internas suficientemente compatibles (por ejemplo, dentro de la misma familia de backbones) y que persiste una pequeña brecha con el ajuste fino directo, lo que sugiere que la alineación lineal de coordenadas por sí sola podría no capturar toda la información específica de la tarea. También señalan que el método no corrige inherentemente los sesgos presentes en el vector de tarea de la fuente o en los datos de calibración.