The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order

Resumen Técnico: La Geometría del Aprendizaje Secuencial

Planteamiento del Problema
Los flujos de aprendizaje secuencial, que van desde la adaptación de preentrenamiento de siguiente token hasta el ajuste fino de instrucciones (SFT) y la Optimización de Preferencia Directa (DPO), son inherentemente dependientes del orden. Cuando un modelo se adapta de $N$ dominios fuente candidatos a un dominio objetivo, existen $N!$ currículos de entrenamiento posibles. La búsqueda exhaustiva de este espacio es computacionalmente intratable incluso para un $N$ moderado. El desafío central es predecir si el entrenamiento en el dominio $A$ seguido de $B$ ($A \to B$) produce una pérdida objetivo menor que el orden inverso ($B \to A$) sin ejecutar ambos programas de entrenamiento completos.

Metodología
El artículo postula que la dependencia del orden es un fenómeno geométrico estructurado que surge de la no conmutatividad de los operadores de actualización de gradiente. Los autores derivan una cantidad geométrica local y computable —el conmutador de Lie— para predecir el orden de transferencia óptimo.

1. Fundamento Teórico:
   Sea $L_D(\theta)$ la pérdida en el dominio $D$ con gradiente $g_D$ y Hessiano $H_D$. Un único paso de gradiente es un operador $U_D(\theta) = \theta - \eta g_D(\theta)$. Para dos fuentes $A$ y $B$, la diferencia en el espacio de parámetros tras dos pasos en órdenes opuestos es:
   $$\theta_{AB} - \theta_{BA} = \eta^2 (H_B g_A - H_A g_B) + O(\eta^3)$$
   El término $b_{AB} := H_B g_A - H_A g_B$ se identifica como el corchete de Lie de los campos vectoriales de flujo de gradiente. Este vector impulsa la dependencia del orden.

2. Predicción por Pares (El Planificador):
   Para predecir qué orden minimiza la pérdida en un dominio objetivo $E$, el método proyecta el vector del corchete sobre el gradiente objetivo $g_E$. La puntuación direccional es:
   $$\sigma^{(E)}_{AB} = \langle g_E, b_{AB} \rangle$$
   Si $\sigma^{(E)}_{AB} < 0$, se predice que $A \to B$ resultará en una pérdida menor; de lo contrario, se prefiere $B \to A$.

   • Estimación de Coincidencia de Deriva (Drift-Matched Estimation): Para mejorar la precisión más allá del régimen infinitesimal, el gradiente objetivo $g_E$ no se evalúa en la inicialización $\theta_0$, sino en un "punto de referencia de Trotter" $\theta_{ref} = \theta_0 - \eta(g_A + g_B)$. Este punto aproxima la deriva de primer orden compartida de ambos órdenes, reduciendo el error en la estimación del gradiente.
   • Eficiencia Computacional: El método requiere solo gradientes y Productos Hessiano-Vector (HVP). No materializa matrices Hessianas completas. En la práctica, los cálculos se restringen a un subconjcio de parámetros entrenables (por ejemplo, las últimas capas del transformador para LLMs), lo que hace que el costo sea aproximadamente de 3 evaluaciones de gradiente y 2 HVPs por par.

3. Programación Escalable (Torneos de Corchete de Lie):
   Para $N > 2$ fuentes, las puntuaciones por pares definen un torneo ponderado. Los autores proponen un ranking de Borda/suma de filas para determinar el orden del currículo sin evaluar las $N!$ permutaciones.

   • Optimización Clave: Al utilizar un gradiente de referencia objetivo compartido ($\theta_0$) para todos los pares, los pesos de las aristas por pares pueden calcularse mediante productos punto de los gradientes de las fuentes y HVPs precomputados ($u_i = H_i g_E$).
   • Complejidad: Esto reduce el problema de programación a $O(N)$ productos punto y un ordenamiento $O(N \log N)$, evitando la materialización de la matriz completa de $O(N^2)$.

Contribuciones Clave

1. Teoría del Conmutador para el Orden de Transferencia: El artículo establece un vínculo teórico entre la diferencia de pérdida objetivo dependiente del orden y la puntuación del corchete direccional $\sigma^{(E)}_{AB}$, demostrando que su signo predice el orden óptimo por pares.
2. Planificador por Pares Desplegable: Introducción de un estimador de Trotter con coincidencia de deriva que utiliza gradientes y HVPs para predecir efectos de orden con alta precisión, incluyendo métricas para "apuestas" (magnitud del efecto) y "confianza" (alineación).
3. Torneos de Corchete de Lie: Un método escalable para la programación de múltiples dominios que transforma la búsqueda de currículos de $N!$ en un problema de clasificación, permitiendo el ordenamiento eficiente de docenas de dominios.
4. Selección Automática del Tamaño de Paso: Un "piloto automático" ($\eta$-autopilot) basado en la teoría que selecciona automáticamente tamaños de paso a partir de datos piloto para equilibrar la detectabilidad frente a las restricciones de estabilidad de orden superior.
5. Validación Amplia: El marco es validado a través de SFT de instrucciones, DPO, adaptación de preentrenamiento de siguiente token y adaptación de modelos de difusión.

Resultos Experimentales

• Precisión por Pares:
  • Instrucción-SFT: Logró un 98.1% de precisión de signo en $k=1$ (un paso por dominio) y un 73.1% en $k=20$.
  • DPO: Logró un 98.9% de precisión en $k=1$ y un 72.2% en $k=20$.
  • Preentrenamiento/Difusión: A través de cuatro LLMs y un modelo de difusión, el método mantuvo una alta precisión (por ejemplo, 92.0% en Llama-3.2-1B, 91.1% en difusión), superando significativamente a las líneas base aleatorias.
• Generalización de Largo Horizonte: El predictor, computado una vez en la inicialización, siguió siendo efectivo en horizontes de entrenamiento largos. En Llama-3.2-1B, la precisión se mantuvo en 81.5% para $k=20$ y 65.3% para $k=50$ (100 actualizaciones totales), con una reducción de arrepentimiento (regret) significativa en comparación con el orden aleatorio.
• Programación de Muchos Dominios:
  • $N$ Pequeño ($N=3$): El método recuperó el mejor de todos los esquemas de $3!$ en el 87.5% de los ensayos.
  • $N$ Grande: En 56 temas de MMLU, el método alcanzó el percentil muestreado 99.0–99.6-ésimo, superando drásticamente la línea base de gradiente de norma descendente (que cayó por debajo del percentil 1). En 85 dominios de lenguajes de programación Stack, alcanzó el percentil 99 para un objetivo de Python.
• Eficiencia: El planificador se vuelve computacionalmente más barato que la evaluación a la fuerza bruta de ambos órdenes aproximadamente en $k \approx 3$ pasos por dominio.

Significado y Reivindicaciones
El artículo redefine el aprendizaje secuencial como un problema de torneo geométrico. Reivindica que el corchete de Lie proporciona tanto información de orden por pares local como una primitiva escalable para construir programas de muchos dominios. Los resultados sugieren que la no conmutatividad de las actualizaciones de gradiente es un factor dominante en el diseño de currículos, y que esta estructura geométrica puede explotarse para evitar la búsqueda exhaustiva. Los autores enfatizan que el método es particularmente efectivo para escenarios de ajuste fino de parámetros eficientes (por ejemplo, ajustar solo las últimas capas o adaptadores) y que la primitiva geométrica por pares se generaliza a través de diferentes objetivos de entrenamiento (SFT, DPO, preentrenamiento) y arquitecturas (Transformers, UNets). El artículo no pretende resolver la optimización global de currículos arbitrarios, sino demostrar que una heurística geométrica local puede recuperar esquemas casi óptimos con un gasto computacional mínimo.