Resumen Técnico: Inferencia Federada Basada en Incrustación de Consenso (CE-FI)

1. Enunciado del Problema

El artículo aborda el desafío de habilitar la inferencia cooperativa entre múltiples modelos de aprendizaje automático desplegados de forma independiente en entornos distribuidos. Si bien existe una demanda creciente de aprovechar múltiples modelos para mejorar el rendimiento de la inferencia, los marcos existentes enfrentan limitaciones significativas en entornos sensibles a la privacidad o transorganizacionales:

• El Aprendizaje Federado (FL) típicamente requiere compartir actualizaciones del modelo o parámetros, lo que arriesga ataques de inversión del modelo y viola las restricciones de propiedad intelectual.
• La Inferencia Federada (FI) Estándar a menudo asume que todos los clientes comparten los mismos datos de entrada crudos o utilizan una arquitectura de codificador común para generar representaciones intermedias compatibles.
• Los enfoques de Ensemble en el Borde dependen de un codificador compartido, lo cual a menudo es inviable cuando los modelos son heterogéneos (arquitecturas diferentes) o cuando incluso la divulgación parcial del modelo está prohibida.

En consecuencia, no existe un marco que permita a modelos preentrenados heterogéneos cooperar en el momento de la inferencia sin compartir entradas crudas, parámetros del modelo o asumir un codificador común, y sin requerir datos etiquetados para la etapa cooperativa.

2. Metodología: Marco CE-FI

Los autores proponen la Inferencia Federada Basada en Incrustación de Consenso (CE-FI), un marco diseñado para unir espacios de características heterogéneos utilizando únicamente representaciones intermedias y datos no etiquetados.

Modelo del Sistema

• Entorno: Un entorno de silos cruzados con $K$ dispositivos, cada uno con un modelo preentrenado local $M_k$ (compuesto por una red de cabeza $M^H_k$ y una red de cola $M^T_k$).
• Restricciones: Los dispositivos no pueden compartir entradas crudas $x$, parámetros del modelo ni arquitecturas. Solo pueden compartir características intermedias.
• Suposición de Datos: Un conjunto de datos no etiquetado compartido $D_{share}$ es accesible para todos los dispositivos (por ejemplo, datos de registro públicos o datos de sensores), pero no hay datos etiquetados disponibles para la fase de entrenamiento cooperativo.

Componentes Principales

CE-FI introduce dos capas aprendibles por dispositivo, entrenadas de manera auto-supervisada:

1. Capa de Incrustación de Consenso (CE) ($F_k$):

   • Función: Mapea la característica intermedia específica del dispositivo $z_k = M^H_k(x)$ a un espacio de incrustación compartido y agnóstico al dispositivo $z'_k = F_k(z_k)$.
   • Entrenamiento: Optimizada mediante aprendizaje contrastivo (específicamente una aproximación de la pérdida NT-Xent) utilizando los datos no etiquetados compartidos. El objetivo es alinear las incrustaciones de diferentes dispositivos para la misma muestra de entrada hacia un centroide común, minimizando la distancia entre $z'_i$ y $z'_j$ para el mismo $x$.
   • Privacidad: Solo se intercambian las incrustaciones de consenso; las entradas crudas y las características intermedias originales permanecen locales.

2. Capa de Salida Cooperativa (CO) ($G_k$):

   • Función: Mapea la incrustación de consenso $z'_k$ de vuelta a los logits de salida específicos de la tarea $m'_k = G_k(z'_k)$.
   • Entrenamiento: Optimizada mediante distilación de conocimiento utilizando el modelo preentrenado local como "maestro". La capa CO minimiza la divergencia Kullback–Leibler (KL) entre su salida y los logits producidos por la red de cola del modelo local ($M^T_k$) en los datos no etiquetados compartidos.
   • Objetivo: Permite que el dispositivo genere predicciones precisas basadas únicamente en la incrustación de consenso compartida.

Inferencia y Agregación

Durante la inferencia, un dispositivo procesa una entrada $x$ a través de sus capas de cabeza y CE para generar una incrustación de consenso, que se comparte con otros dispositivos. Cada dispositivo receptor procesa esta incrustación a través de su capa CO para generar logits.

• Estrategia de Ensemble: El artículo evalúa varios métodos de agregación. Destaca que la Energía Mínima (seleccionar el dispositivo con la puntuación de energía más baja derivada de los logits) es efectiva para manejar muestras Fuera de Distribución (OOD) y desajustes graves de etiquetas, a menudo superando al promedio simple o a la votación en configuraciones altamente no-IID.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Inferencia Cooperativa sin Compartición de Entradas ni Modelos: CE-FI logra la cooperación entre modelos preentrenados heterogéneos sin compartir parámetros, entradas crudas o asumir un codificador común. Se basa únicamente en el intercambio de características intermedias y el aprendizaje auto-supervisado.
2. Entrenamiento Auto-supervisado: El marco introduce una capa de incrustación basada en aprendizaje contrastivo y una capa de predicción basada en distilación de conocimiento, ambas entrenadas exclusivamente con datos no etiquetados, reduciendo los costos de anotación.
3. Caracterización Teórica: Los autores analizan formalmente la relación entre CE-FI y la FI convencional con compartición de entradas. Demuestran que, bajo condiciones ideales de alineación, CE-FI es teóricamente equivalente a la FI con compartición de entradas, y derivan límites que muestran que la degradación del rendimiento es proporcional al error en la alineación de la incrustación de consenso.
4. Evaluación Exhaustiva: Experimentos extensos en tareas de imagen (CIFAR-10/100), texto (IMDB) y series temporales (UCI-HAR) bajo diversas condiciones no-IID (incluyendo conjuntos de etiquetas disjuntos) validan la efectividad del marco.

4. Resultados Experimentales

• Rendimiento vs. Líneas Base: CE-FI supera consistentemente a la Inferencia en Solitario en todas las modalidades y condiciones no-IID. En muchos escenarios, se acerca al rendimiento de la FI con Compartición de Entradas y el Ensemble en el Borde, a pesar de operar bajo restricciones más estrictas.
• Heterogeneidad: El marco sigue siendo efectivo incluso cuando los dispositivos utilizan diferentes arquitecturas de codificador (por ejemplo, ViT, ResNet, ConvNeXt) y diferentes objetivos de preentrenamiento (Supervisado, CLIP, DINOv3).
• Sensibilidad del Ensemble: La elección de la estrategia de ensemble es crítica. Si bien la votación suave funciona bien en configuraciones no-IID leves, la selección por Energía Mínima mejora significativamente la robustez en condiciones no-IID severas (Sesgadas/Disjuntas) al filtrar predicciones poco fiables de dispositivos que carecen de clases específicas.
• Desde Cero vs. Preentrenado: CE-FI funciona incluso cuando los modelos se entrenan desde cero, aunque las ganancias de rendimiento son más pronunciadas con codificadores preentrenados. El estudio identifica que la calidad de la estructura semántica subyacente en los espacios de características locales limita el rendimiento en configuraciones desde cero.
• Análisis de Cuello de Botella: Los estudios de ablación revelan que la alineación de representaciones en la capa CE es el principal cuello de botella. Forzar un espacio de incrustación de consenso unificado mejora significativamente la precisión, particularmente en configuraciones desde cero, mientras que excluir datos OOD del entrenamiento tiene un impacto negligible.
• Privacidad y Reconstrucción: Los ataques de reconstrucción (usando DCGAN) sobre las incrustaciones de consenso produjeron reconstrucciones de baja calidad (RMSE ~0.22, SSIM ~0.16), lo que sugiere que compartir incrustaciones de consenso no revela trivialmente las entradas crudas, aunque no es inmune a todos los riesgos de privacidad.
• Costo de Comunicación: En tareas de clasificación de imágenes, transmitir incrustaciones de consenso de 256 dimensiones (2.1 KB) fue más eficiente que transmitir imágenes crudas (4.6–6.2 KB).

5. Significado y Afirmaciones

El artículo afirma que CE-FI representa un paso significativo hacia la IA distribuida práctica y que preserva la privacidad. Al eliminar las suposiciones de entradas compartidas y codificadores comunes, permite la cooperación en escenarios donde la Inferencia Federada tradicional es inviable (por ejemplo, diagnósticos médicos con modelos propietarios y leyes estrictas de privacidad de datos).

Los autores mantienen un tono modesto respecto a los resultados:

• Reconocen que, aunque CE-FI se acerca al rendimiento de la FI convencional, persiste una brecha, principalmente debido a una alineación de representaciones imperfecta.
• Señalan que la estrategia de ensemble óptima depende en gran medida de la modalidad y del grado de no-IID, sugiriendo que un método de agregación "de talla única" es subóptimo.
• Identifican la alineación de representaciones como el desafío central para la mejora futura, en lugar de la filtración de datos o la selección de ensemble por sí solos.

En última instancia, el trabajo proporciona una prueba de concepto de que la inferencia cooperativa es alcanzable bajo las restricciones más estrictas de privacidad de datos y modelos, aprovechando únicamente datos no etiquetados compartidos y representaciones intermedias.