From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging

Resumen Técnico: De señales "débiles" a modelos fuertes mediante la agregación de deltas de preferencia

Planteamiento del problema
El entrenamiento de modelos de lenguaje extensos (LLM) fuertes requiere típicamente datos de supervisión de alta calidad, los cuales suelen ser escasos o prohibitivamente costosos de anotar. Si bien trabajos recientes (p. ej., Geng et al., 2025) demostraron que las señales de supervisión "débiles", derivadas de las diferencias de calidad relativa entre pares de modelos débil–más débil (p. ej., Qwen3 4B vs. 1.7B), pueden mejorar a los modelos más fuertes, una cuestión crítica permanece: ¿pueden agregarse constructivamente múltiples señales débiles para obtener mayores beneficios?

Las estrategias de agregación ingenuas enfrentan obstáculos significativos. El entrenamiento secuencial en múltiples conjuntos de datos de preferencia conduce al olvido catastrófico, mientras que el entrenamiento conjunto en conjuntos de datos mixtos a menudo no logra superar al mejor conjunto de datos individual debido a conflictos de gradiente. Además, los métodos existentes para combinar actualizaciones de modelos (como el simple promedio de pesos) a menudo ignoran la estructura geométrica de las actualizaciones de bajo rango, lo que provoca una interferencia destructiva al fusionar diversas direcciones de preferencia.

Metodología
Los autores proponen la Agregación de Deltas de Preferencia (PDA, por sus siglas en inglés), un marco de dos etapas diseñado para agregar múltiples señales de supervisión "débiles" sin depender de datos de alta calidad.

1. Derivación del Delta de Preferencia:

   • El marco construye conjuntos de datos de preferencia a partir de $n$ pares distintos de modelos débil–más débil. Para cada par, la respuesta del modelo débil más fuerte se trata como la muestra "elegida" (chosen) y la respuesta del modelo más débil como la "rechazada" (rejected).
   • Un modelo estudiante fuerte ($\theta_s$) es ajustado finamente de forma independiente en cada conjunto de datos de preferencia utilizando métodos de eficiencia de parámetros (específicamente LoRA).
   • Cada adaptador LoRA resultante ($\Delta W_i$) representa un delta de preferencia, capturando la dirección de mejora específica inducida por la brecha de calidad relativa de ese par de modelos específico.

2. Fusión de Alineación Geométrica (GAM):

   • Para agregar estos adaptadores independientes, los autores introducen la Fusión de Alineación Geométrica (GAM), un nuevo método de fusión que aborda la interferencia direccional.
   • Descomposición: La matriz de actualización de bajo rango de cada adaptador se descompone mediante la Descomposición en Valores Singulares (SVD) en bases ortogonales ($U, V$) y valores singulares ($S$).
   • Alineación de Subespacios: Reconociendo que los adaptadores entrenados de forma independiente pueden aprender subespacios similares con sistemas de coordenadas rotacionalmente desalineados, GAM alinea todos los adaptadores a un adaptador de referencia utilizando la alineación de Procrustes Ortogonal en la variedad de Grassmann, lo que sincroniza las orientaciones de las bases preservando los subespacios subyacentes.
   • Reconstrucción: Las bases direccionales alineadas ($\tilde{U}, \tilde{V}$) y las magnitudes ($\tilde{S}$) se promedian de forma independiente y luego se reconstruyen para formar la actualización de peso fusionada final ($\Delta W_{GAM}$), la cual se añade al modelo estudiante preentrenado.

Contribuciones Clave

1. Agregación de Deltas de Preferencia (PDA): El primer marco que mejora los modelos fuertes agregando datos de preferencia pareados de múltiples pares de modelos débil–más débil mediante la fusión de LoRA, evitando la necesidad de supervisión de alta calidad.
2. Fusión de Alineación Geométrica (GAM): Una técnica de fusión consciente de la geometría que mitiga la interferencia direccional mediante la descomposición de adaptadores, la alineación de sus subespacios de bajo rango vía SVD y alineación de Procrustes, y el promedio independiente de los componentes direccionales y de magnitud.
3. Validación Empírica: Experimentos extensos que demuestran que PDA-GAM compone eficazmente capacidades complementarias codificadas en distintos deltas de preferencia, superando tanto a los baselines de un solo delta como a los de agregación basada en entrenamiento.

Resultados Experimentales
El marco fue evaluado en razonamiento de conocimiento (MATH, GPQA, MMLU, GSM8K) y búsqueda agéntica (benchmarks de una sola etapa y de múltiples etapas como MuSiQue, HotpotQA).

• Ganancias de Rendimiento: Utilizando únicamente datos de preferencia de baja calidad de modelos más débiles, PDA-GAM mejoró el modelo Qwen3-8B en un promedio de 6.8 puntos en razonamiento de conocimiento y 7.3 puntos en búsqueda agéntica.
• Comparación con Baselines:
  • PDA-GAM superó a todos los baselines de un solo delta y a los métodos de agregación basados en entrenamiento (entrenamiento secuencial y conjunto), los cuales sufrieron de olvido catastrófico o conflictos de gradiente.
  • Superó al mejor baseline de un solo delta por 2.1 puntos (razonamiento) y 4.3 puntos (búsqueda agéntica).
  • Superó consistentemente a los métodos de fusión LoRA existentes (Promedio Ingenuo, TIES-Merging, KnOTS). Notablemente, mientras que TIES-Merging se estancó en las tareas de búsqueda agéntica, PDA-GAM continuó mejorando a medida que se añadían más señales.
• Generalización: Se observaron mejoras similares en el modelo estudiante Tülu3-8B, lo que indica una robusta generalización a través de diferentes arquitecturas.
• Análisis Composicional: El análisis cualitativo reveló que los modelos de un solo delta suelen exhibir una especialización fuerte (p. ej., alta búsqueda adaptativa pero pobre verificación), mientras que PDA-GAM compuso con éxito estos comportamientos complementarios, logrando un alto rendimiento en ambos dominios simultáneamente.

Significancia y Reivindicaciones
El artículo afirma que la agregación constructiva de múltiples señales "débiles" permite que los modelos fuertes superen el techo de rendimiento de cualquier fuente de señal única. Los autores atribuyen estas ganancias a la composición efectiva de capacidades complementarias codificadas a través de distintos deltas de preferencia.

El trabajo valida la Hipótesis del Aprendizaje de Delta en entornos de búsqueda agéntica de múltiples turnos más complejos, extendiendo su aplicabilidad más allá de las tareas simples de razonamiento. Al introducir GAM, el artículo aborda la incompatibilidad geométrica de diversos adaptadores LoRA, sugiriendo que la alineación de subespacios es crucial para una composición de modelos robusta. Los autores señalan que estas ganancias dependen de señales direccionalmente diversas; la agregación de pares conductualmente homogéneos produce solo mejoras marginales, lo que destaca la importancia de la diversidad de la señal.

Limitaciones
Los autores reconocen tres limitaciones principales:

1. El método depende de señales direccionalmente diversas; la agregación de pares homogéneos produce ganancias limitadas.
2. El estudio está limitado a un conjunto específico de pares de modelos débil–más débil, y el comportamiento de escalabilidad con colecciones más grandes permanece inexplorado.
3. Aunque se compararon métodos basados en entrenamiento y basados en LoRA, no se investigaron otras posibles estrategias de agregación.