Resumen Técnico: Fusión Parcial de Redes Neuronales

Enunciado del Problema

Los conjuntos de redes neuronales (ensembles) suelen superar a los modelos individuales al combinar sus salidas, ofreciendo mayor robustez y rendimiento predictivo. Sin embargo, los ensembles incurrir en costos computacionales significativos, ya que requieren almacenar múltiples modelos en memoria y aumentan el tiempo de inferencia. Por el contrario, los métodos de agregación de pesos (como el promediado de pesos) producen modelos únicos y eficientes en costos, pero a menudo sufren una reducción en la precisión, especialmente cuando las redes que se fusionan no han sido alineadas o fueron entrenadas sobre distribuciones de datos diferentes. Las técnicas existentes de agregación de pesos suelen depender de una invarianza de permutación estricta (igualar capas de tamaño idéntico) o requieren procedimientos de alineación complejos que pueden no generalizarse a arquitecturas heterogéneas o tamaños de capa desiguales.

El desafío central abordado es encontrar un equilibrio eficiente entre el alto rendimiento de los ensembles y el bajo costo computacional de la agregación de pesos. Los métodos actuales tienden a ser binarios: o bien se agregan completamente los pesos (potencialmente perdiendo rendimiento) o se mantiene un ensemble completo (incurriendo en altos costos). Existe la necesidad de un mecanismo flexible para interpolar entre estos extremos.

Metodología

El artículo introduce Fusión Parcial, un método que interpola entre la agregación de pesos y los ensembles al fusionar solo los neuronas más similares entre redes, manteniendo el resto de las neuronas aisladas. Este enfoque permite un equilibrio flexible, a nivel de capa, entre el tamaño del modelo y el rendimiento.

1. Fusión Parcial mediante Transporte Óptimo Parcial

El método principal propuesto extiende las técnicas existentes de agregación de pesos basadas en la similitud a nivel de neurona.

• Concepto: En lugar de alinear todas las neuronas entre dos redes (como en la Fusión de Transporte Óptimo (OT) estándar), la fusión parcial identifica y empareja solo las neuronas más similares. Las neuronas no emparejadas (las más disímiles) se dejan aisladas, preservando sus pesos originales.
• Mecanismo: Los autores utilizan Transporte Óptimo Parcial (Partial OT). Dadas dos redes $A$ y $B$, se calcula un acoplamiento $\tilde{\pi}$ que empareja solo una fracción $(1-\alpha)$ de la masa entre las neuronas de las dos redes, donde $\alpha \in [0, 1]$ es un parámetro que controla el grado de fusión.
  • $\alpha = 0$: Corresponde a la agregación completa de pesos (todas las neuronas emparejadas).
  • $\alpha = 1$: Corresponde a un ensemble (ninguna neurona emparejada).
• Implementación: El método codifica las capas como distribuciones de probabilidad discretas basadas en características de las neuronas (por ejemplo, vectores de activación o matrices de pesos). Resuelve un problema de OT parcial para encontrar el emparejamiento óptimo de las neuronas más similares. La red fusionada resultante $C$ contiene tres componentes por capa: neuronas aisladas de $A$, neuronas fusionadas (pesos promediados) y neuronas aisladas de $B$.
• Optimización Global: Para mejorar la alineación, el método incorpora un enfoque de iteración de punto fijo (inspirado en Ainsworth et al., 2023) que optimiza las permutaciones/emparejamientos globalmente a través de las capas en lugar de capa por capa, teniendo en cuenta las dependencias entre capas.

2. Poda Generalizada

El artículo enmarca la fusión parcial desde una perspectiva complementaria: Poda Generalizada de modelos ensemble.

• Concepto: En lugar de comenzar con la agregación de pesos y relajarla, esta visión comienza con un ensemble (un modelo concatenado grande) y aplica una operación de poda. A diferencia de la poda estándar que solo elimina neuronas, la poda generalizada permite que las neuronas se combinen linealmente.
• Formalismo: Esto se formaliza como la transformación de los pesos de un modelo ensemble grande $E$ en una red más pequeña $S$ mediante transformaciones lineales (kernels estocásticos).
• Enfoque de Agrupamiento: Se propone una realización específica de la poda generalizada utilizando clustering (agrupamiento). Las neuronas del ensemble se agrupan, y las neuronas dentro de un grupo se combinan linealmente. Esto ofrece más grados de libertad que la fusión parcial, ya que no restringe las combinaciones a pares de diferentes redes.
• Sesgo Inductivo: Los autores señalan que la fusión parcial impone un sesgo inductivo específico: solo combina linealmente neuronas si provienen de redes diferentes y limita las combinaciones a pares. Se hipotetiza que este sesgo es beneficioso para las Redes Neuronales Convolucionales (CNN), mientras que el enfoque de agrupamiento más flexible podría ser más adecuado para los Perceptrones Multicapa (MLP).

Contribuciones Clave

1. Marco de Fusión Parcial: La introducción de un método para interpolar entre la agregación de pesos y los ensembles al fusionar solo las neuronas más similares, proporcionando un equilibrio ajustable entre el costo computacional y el rendimiento.
2. Perspectiva de Poda Generalizada: La unificación teórica de la fusión parcial y la compresión de modelos bajo el concepto de poda generalizada, donde las neuronas pueden combinarse linealmente en lugar de simplemente eliminarse. Esto extiende la aplicabilidad del método a la compresión de un solo modelo.
3. Algoritmos Concretos:
   • Fusión OT Parcial: Una extensión de la fusión de modelos basada en OT utilizando transporte óptimo parcial para manejar emparejamientos desiguales y tamaños de capa.
   • Poda basada en Agrupamiento: Un método para la poda generalizada utilizando agrupamiento jerárquico para combinar linealmente neuronas, ofreciendo flexibilidad en la compresión de modelos.
4. Validación Empírica: Experimentos en MLP y CNN (VGG11, ResNet18) en diversos conjuntos de datos (MNIST, CIFAR10) que demuestran que la fusión parcial logra un rendimiento más cercano a los ensembles con significativamente menos parámetros.

Resultados

Los experimentos demuestran la eficacia de los métodos propuestos en varios regímenes:

• Agregación de Conjuntos de Datos Divididos (Datos Heterogéneos): Al fusionar modelos entrenados en diferentes divisiones de datos (por ejemplo, uno especializado y otro general), la Fusión OT Parcial supera significativamente a la fusión OT estándar. Aumentar el número de neuronas aisladas (aumentando $\alpha$) conduce a mejoras monótonas en el rendimiento, cerrando la brecha entre el modelo agregado y el ensemble. Por ejemplo, un aumento del 20-40% en el recuento de neuronas produjo ganancias claras de precisión sobre la fusión estándar.
• Ajuste Fino (Fine-Tuning): Los modelos parcialmente fusionados, cuando se ajustan finamente con un subconjunto pequeño de datos (1% para MNIST, 5% para CIFAR10), superan consistentemente tanto a los modelos individuales como al ensemble completo en precisión.
• Agregación de Mismos Datos: Al fusionar modelos entrenados en los mismos datos con diferentes semillas, la agregación completa de pesos a menudo funciona mal para CNN (como VGG11) pero mejor para ResNets debido a las conexiones residuales. La fusión parcial proporciona una interpolación robusta, recuperando el rendimiento perdido en la fusión completa.
• Compresión de Modelo Único (Poda Generalizada):
  • Para MLP, la poda generalizada mediante agrupamiento supera significativamente tanto a la poda no estructurada como a la poda con post-procesamiento (Fusión OT). Los autores atribuyen esto a la capacidad del agrupamiento para equilibrar los errores de "eliminación" (poda) y "difuminación" (combinación lineal).
  • Para CNN (VGG11), la Fusión OT Parcial a menudo supera al agrupamiento, lo que sugiere que el sesgo inductivo de emparejar pares específicos de neuronas es más efectivo para las capas convolucionales.
• Eficiencia de Parámetros: Los métodos permiten tamaños de modelo entre los de una sola red y un ensemble completo. Por ejemplo, un modelo parcialmente fusionado con $\alpha=0.5$ utiliza aproximadamente 1.45$\times$ los parámetros de una sola red (comparado con 2$\times$ para un ensemble) mientras logra una precisión mucho más cercana al ensemble.

Significado y Afirmaciones

El artículo afirma que la idea principal es la significancia de las diferencias en las similitudes a nivel de neurona. Las neuronas varían en su unicidad; algunas son altamente similares entre redes, mientras que otras desempeñan roles únicos. Los métodos propuestos explotan estas diferencias:

• Fusión Parcial aprovecha el hecho de que mantener aisladas las neuronas más disímiles aumenta la similitud promedio de las neuronas agregadas restantes, lo que conduce a un promediado de pesos más efectivo.
• Poda Generalizada explota el equilibrio entre eliminar neuronas (perdiendo información) y combinarlas linealmente (difuminando información).

Los autores posicionan su trabajo como un paso hacia un estudio estructurado de las operaciones de fusión en el espacio de pesos de las redes neuronales. Enfatizan que los métodos proporcionan un equilibrio flexible y eficiente entre el tamaño del modelo y el rendimiento, a menudo generando ganancias de rendimiento desproporcionadas para pequeños aumentos en el tamaño del modelo. El artículo se mantiene modesto respecto a las implicaciones futuras, señalando que la escalabilidad a modelos más grandes y el desarrollo de criterios principistas para decisiones a nivel de capa (por ejemplo, qué capas fusionar vs. aislar) son direcciones abiertas para trabajos futuros. El código se pone a disposición para facilitar investigaciones adicionales.