FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning

Aquí se presenta un resumen técnico detallado del artículo "FMCL: Agrupamiento de Clientes Consciente de la Clase con Representaciones de Modelos Fundacionales para Aprendizaje Federado Heterogéneo."

1. Planteamiento del Problema

El Aprendizaje Federado (FL) permite el entrenamiento colaborativo de modelos sin compartir datos crudos, pero sufre significativamente bajo la heterogeneidad estadística (datos no IID). En escenarios del mundo real (por ejemplo, atención sanitaria, dispositivos móviles), las distribuciones de datos de los clientes varían debido a demografía, tipos de dispositivos o protocolos de adquisición.

• Limitación de los Modelos Globales: Los métodos de agregación estándar como FedAvg asumen una única distribución global, lo que conduce a un rendimiento subóptimo cuando los datos de los clientes divergen.
• Limitación del FL Agrupado Existente (CFL):
  • Métodos basados en gradientes (por ejemplo, CFL, IFCA): Dependen del entrenamiento iterativo para calcular gradientes, los cuales son ruidosos al inicio del entrenamiento, inestables y requieren ajuste de hiperparámetros (umbrales) o conocimiento previo del número de clústeres ($K$).
  • Métodos de un solo disparo (por ejemplo, PACFL, FECFL): Utilizan firmas derivadas de datos, pero a menudo dependen de estadísticas de píxeles crudos (falta de significado semántico) o incrustaciones de características medias simples (ignorando la estructura distribucional intraclase). Frecuentemente dependen de umbrales de distancia heurísticos y carecen de mecanismos principistas para la selección automática de clústeres.

2. Metodología: Marco de Trabajo FMCL

Los autores proponen FMCL (Agrupamiento de Clientes Basado en Modelo Fundacional), un marco de un solo disparo y consciente de la clase que realiza la agrupamiento antes de que comience el entrenamiento federado, sin requerir comunicación adicional durante la optimización.

A. Componentes Principales

1. Representaciones de Modelo Fundacional (FM):

   • FMCL utiliza un modelo fundacional congelado y específico del dominio (por ejemplo, CHIEF para patología, USFM para ultrasonido, ViT-Tiny para imágenes naturales) para extraer incrustaciones semánticas de alto nivel.
   • A diferencia de los píxeles crudos o codificadores inicializados aleatoriamente, los FMs proporcionan características transferibles y semánticamente ricas.

2. Firmas de Clientes Conscientes de la Clase:

   • En lugar de una única incrustación global por cliente, FMCL construye una firma $\mathcal{S}_i$ para cada cliente $i$ que captura la distribución de cada clase presente en su conjunto de datos local.
   • Para cada clase $c$ en los datos del cliente $i$:
     • Incrustación Media ($\mu_{i,c}$): El vector de características promedio de las muestras pertenecientes a la clase $c$.
     • Peso de la Clase ($w_{i,c}$): La proporción de muestras de la clase $c$ en relación con el tamaño total del conjunto de datos del cliente.
   • Firma: $\mathcal{S}_i = \{ (\mu_{i,c}, w_{i,c}) \}_{c \in \mathcal{C}_i}$.

3. Distancia Coseno Consciente de la Superposición:

   • Para medir la similitud entre dos clientes ($i$ y $j$), FMCL calcula una distancia coseno ponderada entre sus incrustaciones condicionales a la clase.
   • Ponderación: La contribución de cada clase superpuesta $c$ se pondera por $\min(w_{i,c}, w_{j,c})$.
   • Escala de Superposición: La distancia final se escala inversamente por la superposición total $\Omega_{ij} = \sum \min(w_{i,c}, w_{j,c})$.
     • Racional: Esto evita que los clientes con muy pocas clases compartidas parezcan artificialmente similares solo porque coinciden en esas clases dispersas. Penaliza los pares con soporte de etiquetas compartidas limitado.
   • Clientes No Superpuestos: Si los clientes no comparten clases ($C_{ij} = \emptyset$), se les asigna una gran distancia derivada del percentil 95/99 de las distancias observadas.

4. Selección Automática de Clústeres:

   • FMCL emplea una estrategia basada en datos para determinar el número óptimo de clústeres ($K$) sin ajuste manual.
   • Proceso:
     1. Calcular el Coeficiente de Variación (CV) de las distancias fuera de la diagonal en la matriz de pares para estimar la heterogeneidad general.
     2. Definir una ventana candidata adaptativa para $K$ basada en el CV.
     3. Realizar agrupamiento jerárquico para cada $K$ en la ventana y evaluar utilizando el Puntaje de Silueta.
     4. Seleccionar el $K$ correspondiente al máximo local dominante de la curva de silueta.

3. Contribuciones Clave

• Firmas Semánticas de Clientes: Introduce un método novedoso de construcción de firmas utilizando modelos fundacionales congelados que modelan explícitamente las distribuciones condicionales a la clase, capturando la estructura semántica mejor que las estadísticas crudas o las incrustaciones medias.
• Métrica Consciente de la Superposición: Propone una nueva métrica de distancia que tiene en cuenta la superposición de clases y el peso distribucional, asegurando una medición de similitud robusta incluso cuando los clientes tienen distribuciones de clases dispersas o desequilibradas.
• Un Solo Disparo y Agnóstico a la Arquitectura: La agrupamiento se realiza una vez antes del entrenamiento, introduciendo cero sobrecarga de comunicación durante la fase de optimización federada y permaneciendo agnosta a la arquitectura del modelo aguas abajo.
• Automatización Principista: Proporciona un mecanismo determinista y basado en datos (análisis de Silueta guiado por CV) para seleccionar el número de clústeres, eliminando la necesidad de ajuste manual de hiperparámetros.

4. Resultados Experimentales

Los autores evaluaron FMCL en tres conjuntos de datos: BUSI (Ultrasonido de Mama), LungHist700 (Histopatología Pulmonar) e Imagenette (Imágenes Naturales).

• Rendimiento: FMCL superó consistentemente a los modelos globales de referencia (FedAvg, FedProx) y a métodos de agrupamiento anteriores (CFL, PACFL, FECFL) en todas las métricas (Precisión, Macro-F1, AUC-ROC).
  • Ejemplo (BUSI): FMCL (Auto-K) logró una Precisión del 91.68% y un F1 del 88.72%, superando significativamente a FedAvg (56.34% de Precisión) e incluso a versiones mejoradas con FM de otros métodos de agrupamiento (por ejemplo, FECFL (FM) con 73.15% de Precisión).
• Impacto de los Componentes:
  • Modelos Fundacionales: Reemplazar las características crudas con incrustaciones de FM mejoró significativamente el rendimiento de los métodos existentes (por ejemplo, PACFL (FM) vs. PACFL).
  • Conciencia de Superposición: Eliminar el término de escala consciente de la superposición ("FMCL no superposición") resultó en una degradación consistente del rendimiento, validando la importancia de la métrica de distancia propuesta.
  • Selección Automática: La variante "Auto-K" generalmente superó a las configuraciones de $K$ fijo, demostrando la robustez del algoritmo de selección.
• Estabilidad: FMCL mostró un comportamiento de agrupamiento más estable y una convergencia más rápida en comparación con los métodos iterativos basados en gradientes.

5. Significado

• Puente entre FMs y FL: Este trabajo demuestra la utilidad práctica de los modelos fundacionales a gran escala en el contexto del aprendizaje federado, específicamente para caracterizar las distribuciones de datos de los clientes sin requerir centralización de datos.
• Robustez ante la Heterogeneidad: Al modelar explícitamente las distribuciones a nivel de clase y la superposición, FMCL aborda los problemas de "cola larga" y "clase dispersa" comunes en implementaciones reales de FL heterogéneo (por ejemplo, subtipos de enfermedades raras).
• Despliegue Práctico: La naturaleza de un solo disparo del marco lo hace altamente adecuado para escenarios de despliegue donde el ancho de banda de comunicación es limitado o donde la coordinación iterativa es inviable. Ofrece una base modular y agnosta a la arquitectura para futuras investigaciones en la intersección de modelos fundacionales y aprendizaje federado.