Scaling Unsupervised Multi-Source Federated Domain Adaptation through Group-Wise Discrepancy Minimization

Planteamiento del Problema

La Adaptación de Dominio No Supervisada Multi-Fuente (UMDA) busca aprender un modelo que generalice a un dominio objetivo no etiquetado aprovechando datos etiquetados de múltiples dominios fuente. Si bien el aprendizaje federado ofrece una solución que preserva la privacidad al evitar el intercambio de datos crudos, los métodos existentes de UMDA federada luchan con la escalabilidad. Los enfoques actuales están típicamente diseñados para escenarios a pequeña escala (2–6 fuentes) y sufren de una alta sobrecarga computacional o inestabilidad en el entrenamiento cuando aumenta el número de dominios fuente heterogéneos. Específicamente, los métodos que dependen del alineamiento por pares se vuelven computacionalmente prohibitivos ($O(N^2)$), mientras que aquellos que utilizan muestreo aleatorio por pares (por ejemplo, FACT) introducen una alta varianza y fallan en converger en entornos de alta diversidad.

Metodología: El Marco GALA

Los autores proponen GALA (Aprendizaje Adaptativo Basado en Agrupación), un marco de UMDA federada diseñado para escalar con la heterogeneidad de diversos dominios fuente. GALA opera mediante dos mecanismos principales:

1. Minimización de la Discrepancia Inter-Grupo (IGD)
Para abordar la complejidad cuadrática del alineamiento por pares completo, GALA introduce un objetivo de discrepancia a nivel de grupo.

• Mecanismo: En cada ronda de entrenamiento, los $N$ predictores fuente se dividen aleatoriamente en dos grupos disjuntos, $G_1$ y $G_2$.
• Agregación: Se forman predictores promediados ponderados para cada grupo ($F_{G_1}$ y $F_{G_2}$).
• Objetivo: El modelo minimiza la discrepancia $\ell_1$ entre estos dos predictores de grupo en los datos objetivo no etiquetados:
  $$L_{IGD} = \mathbb{E}_{x \sim D_T} [\|F_{G_1}(G(x)) - F_{G_2}(G(x))\|_1]$$
• Ventaja Teórica: A diferencia del muestreo aleatorio por pares (que tiene alta varianza) o del cálculo completo por pares (que es costoso), IGD promedia muchas diferencias por pares antes de tomar la norma. Esto resulta en una aproximación de baja varianza y complejidad lineal del objetivo de alineamiento global. Aunque introduce un pequeño sesgo, la reducción de la varianza conduce a un entrenamiento más estable.

2. Ponderación Basada en Centroides Escalada por Temperatura (MDMGB+)
Para prevenir la transferencia negativa desde fuentes irrelevantes o ruidosas, GALA estima dinámicamente la relevancia de cada fuente para el objetivo.

• Similitud de Centroides: Los clientes calculan centroides suaves por clase en el espacio de características. El servidor calcula la similitud del coseno entre los centroides fuente y el centroide objetivo.
• Escalado por Temperatura: Los autores introducen una versión modificada del algoritmo MDMGB, denominada MDMGB+. Aplica una función softmax con un parámetro de temperatura ajustable $\tau$ a las puntuaciones de similitud:
  $$w_n = \frac{\exp(\tau \cdot S(r_T^c, r_n^c))}{\sum_j \exp(\tau \cdot S(r_T^c, r_j^c))}$$
• Función: La temperatura $\tau$ controla la selectividad. Valores más altos amplifican las pequeñas diferencias en similitud, asignando un mayor peso a las fuentes mejor alineadas con el objetivo y suprimiendo las irrelevantes. Estos pesos se utilizan para formar los predictores de grupo en el paso IGD.

Flujo del Algoritmo:
El proceso implica rondas iterativas donde el servidor difunde el modelo global, los clientes calculan centroides y actualizan los modelos localmente, el servidor agrega los extractores de características utilizando pesos de relevancia y, finalmente, el dominio objetivo actualiza el extractor de características minimizando la pérdida IGD entre los dos predictores de grupo.

Contribuciones Clave

1. Análisis de Escalabilidad: Los autores identifican que los métodos distribuidos de UMDA existentes no convergen o se vuelven computacionalmente inviables a medida que crece el número de fuentes heterogéneas, una brecha en gran medida no abordada en la literatura actual.
2. Discrepancia Inter-Grupo (IGD): Un objetivo novedoso que aproxima la discrepancia por pares completa a un costo lineal con baja varianza, permitiendo un alineamiento robusto en configuraciones a gran escala.
3. Algoritmo GALA: Un marco escalable de UMDA federada que combina IGD con un esquema de ponderación basado en centroides escalado por temperatura para priorizar las fuentes relevantes para el objetivo y mitigar la transferencia negativa.
4. Benchmark Digit-18: La introducción de un nuevo benchmark compuesto por 18 conjuntos de datos de dígitos diversos (que abarcan cambios sintéticos y del mundo real) para probar rigurosamente la escalabilidad y la heterogeneidad de las fuentes, abordando la escasez de benchmarks de UMDA a gran escala.

Resultados Experimentales

El artículo evalúa GALA en benchmarks estándar (Digit-Five, Office-Caltech10) y en el nuevo benchmark Digit-18.

• Benchmarks Estándar: GALA logra un rendimiento de vanguardia (SOTA) o cercano a SOTA en Digit-Five y Office-Caltech10, igualando o superando a métodos como FACT y KD3A.
• Escalabilidad (Digit-18): En configuraciones de alta diversidad (hasta 18 fuentes), los métodos existentes muestran una degradación significativa:
  • FACT: Se vuelve inestable con alta varianza y falla en converger en objetivos desafiantes a medida que aumenta el número de fuentes.
  • KD3A: Sufre un crecimiento exponencial del tiempo de ejecución debido a pasos de consenso secuenciales, volviéndose computacionalmente inviable más allá de 9 fuentes.
  • GALA: Mantiene una precisión y convergencia estables. En la configuración de 18 fuentes, GALA logra una ganancia promedio del 5.3% sobre FACT y supera a todos los puntos de referencia en cada dominio objetivo.
• Estudios de Ablación: Los resultados confirman que tanto el objetivo IGD como la ponderación MDMGB+ son críticos. IGD por sí solo falla en converger en objetivos difíciles sin la ponderación, mientras que la ponderación por sí sola es insuficiente sin el alineamiento por grupos.
• Eficiencia: Aunque GALA tiene un costo por ronda ligeramente superior al de FACT debido al alineamiento de grupos, evita la explosión computacional exponencial de KD3A, manteniendo una escalabilidad lineal.

Significado y Afirmaciones

El artículo afirma ser el primero en abordar explícitamente la escalabilidad en la UMDA distribuida en relación con el número de dominios fuente heterogéneos. El significado de GALA radica en su capacidad para permitir un entrenamiento estable y paralelizable a través de muchas fuentes diversas donde los métodos actuales fallan en converger o son computacionalmente inviables. Al combinar la minimización de la discrepancia por grupos con la priorización dinámica de fuentes, GALA establece un nuevo estado del arte para la adaptación de dominio multi-fuente a gran escala y de alta diversidad, particularmente en entornos federados sensibles a la privacidad. Los autores señalan que, aunque el método incurre en mayores costos de comunicación por ronda que los métodos selectivos, proporciona un flujo de trabajo centralizado sin requerir que el objetivo reciba todos los modelos fuente, y el trabajo futuro podría centrarse en reducir la frecuencia de participación de las fuentes.