Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge

Resumen Técnico: Incentivación del Aprendizaje Federado Dividido Multi-inquilino para Modelos Fundacionales en el Borde de la Red

Planteamiento del Problema
Los Modelos Fundacionales (FMs, por sus siglas en inglés) como GPT-4, BERT y LLaMA requieren un ajuste fino extensivo con datos específicos de un dominio para lograr un alto rendimiento en tareas derivadas. Sin embargo, los dispositivos locales (por ejemplo, teléfonos inteligentes, relojes inteligentes) a menudo carecen de los recursos computacionales para manejar el ajuste fino de parámetros completos de un FM, mientras que las preocupaciones de privacidad impiden que los datos salgan del dispositivo. El Aprendizaje Federado Dividido (SFL, por sus siglas en inglés) aborda esto delegando computaciones parciales a servidores de borde, permitiendo un ajuste fino sinérgico entre el dispositivo y el borde.

Mientras que la investigación actual en SFL se centra en escenarios de un solo inquilino, las redes de borde prácticas albergan cada vez más múltiples inquilinos de SFL que compiten por el mismo conjunto de dispositivos locales para soportar diversas tareas derivadas (por ejemplo, clasificación de imágenes, análisis de sentimiento, conversión de voz a texto). Este entorno multi-inquilino introduce tres desafíos críticos:

1. Participación Independiente de Dispositivos: Los dispositivos locales, movidos por intereses propios, seleccionan tareas basadas en incentivos, lo que potencialmente causa un sesgo de datos donde tareas específicas son dominadas por un subconjmero de dispositivos.
2. Evaluación de la Contribución de Dispositivos: Es difícil predecir cómo el nivel de participación de un dispositivo impacta el rendimiento final del FM antes de que el proceso de entrenamiento se complete, lo que dificulta el diseño de estrategias de incentivos efectivas.
3. Competencia Inter-inquilino: Múltiples inquilinos compiten por dispositivos de alta calidad, lo que requiere un mecanismo para equilibrar la participación y asegurar un rendimiento justo entre todos los inquilinos.

Los mecanismos de incentivos actuales están diseñados mayoritariamente para el Aprendizaje Federado (FL) de un solo inquilino o para el SFL estándar, y carecen de las estrategias personalizadas necesarias para coordinar dispositivos con intereses propios a través de tareas de ajuste fino de FM multi-inquilino competitivas.

Metodología
Los autores proponen PRINCE (Mecanismo de Incentivo de Precio), un nuevo marco diseñado para guiar a múltiples inquilinos de SFL en la oferta de incentivos de precio estratégicos para solicitar la participación de dispositivos de alta calidad. La metodología se basa en tres componentes principales:

1. Agregación SFL Global Resiliente al Sesgo:
   Para abordar la participación independiente de los dispositivos, el artículo introduce un esquema de agregación de modelo global sin sesgos. A diferencia del FedAvg estándar que asume una participación total, este esquema repondera las actualizaciones de modelo de los dispositivos participantes mediante el inverso de sus probabilidades de participación ($1/q_{i,j}$). Esto asegura que el modelo FM global permanezca sin sesgo hacia el escenario de participación total de dispositivos, incluso cuando los dispositivos se unen a las tareas de forma probabilística.

2. Límite de Convergencia de SFL para la Evaluación de Contribución:
   Para resolver el desafío de evaluar las contribuciones de los dispositivos sin completar el entrenamiento, los autores derivan un límite de convergencia de SFL riguroso. Este límite relaciona analíticamente la pérdida esperada del FM global con los niveles de participación de los dispositivos ($q_{i,j}$), la heterogeneidad de los datos locales y las magnitudes de los gradientes. Este límite teórico sirve como un sustituto de la pérdida global esperada, permitiendo a los inquilinos de SFL estimar el impacto de diferentes estrategias de precios en el rendimiento del FM antes de su ejecución.

3. Modelado de Juego de Stackelberg y de Congestión:
   La interacción entre los inquilinos de SFL y los dispositivos locales se modela como un Juego de Stackelberg de Múltiples Líderes y Múltiples Seguidores:

   • Líderes (Inquilinos de SFL): Determinan estrategias de precios óptimas ($P_i$) para minimizar su pérdida global esperada del FM dentro de un presupuesto de pago.
   • Seguidores (Dispositivos Locales): Responden seleccionando niveles de participación ($q_{i,j}$) para diversas tareas para maximizar su utilidad (pago menos costo de computación).
   • Competencia Inter-inquilino: La competencia entre inquilinos por dispositivos compartidos se modela como un Juego de Congestión. Los inquilinos ajustan iterativamente sus estrategias de precios para mejorar su pérdida global, convergiendo hacia un Equilibrio de Nash (NE) dentro del juego de congestión, el cual corresponde al Equilibrio de Stackelberg (SE) del sistema general.

Se propone un algoritmo descentralizado para implementar este juego, donde los inquilinos y los dispositivos actualizan iterativamente sus estrategias hasta alcanzar el SE.

Contribuciones Clave

• Primera Exploración de SFL Multi-inquilino para FMs: El artículo es el primero en explorar mecanismos de incentivos efectivos para SFL multi-inquilino específicamente diseñados para el ajuste fino de Modelos Fundacionales a través de diversas modalidades de datos (texto, imágenes, audio).
• Diseño Resiliente al Sesgo: Introduce un esquema de agregación global que elimina los sesgos del modelo causados por la participación independiente y probabilística de los dispositivos.
• Límite de Convergencia Teórica: La derivación de un límite de convergencia de SFL riguroso proporciona una herramienta analítica para que los inquilinos evalúen las contribuciones de los dispositivos y diseñen estrategias de precios sin conocimiento previo del rendimiento del modelo final.
• Mecanismo PRINCE: El desarrollo de un algoritmo descentralizado de incentivo de precio basado en la teoría de juegos de Stackelberg y de congestión que logra la convergencia en tiempo finito hacia un equilibrio óptimo, equilibrando la competencia inter-inquilino y los incentivos de los dispositivos.

Resultados Experimentales
Los autores evaluaron PRINCE utilizando simulaciones con cuatro inquilinos representativos de SFL (ViT para clasificación de imágenes, BERT para análisis de sentimiento, Whisper para conversión de voz a texto y LLaMA para respuesta a preguntas) a través de 100 dispositivos locales.

• Aceleración del Rendimiento: PRINCE aceleró el ajuste fino de FM hasta 3.07x en comparación con los enfoques de vanguardia (FedPEFT, FAIR y MSDA).
• Precisión Objetivo: PRINCE cumplió consistentemente con los objetivos de rendimiento para todas las tareas derivadas. En contraste, los referentes como FAIR y MSDA no lograron alcanzar las precisiones objetivo para tareas específicas (por ejemplo, Respuesta a Preguntas y Conversión de Voz a Texto) dentro de plazos razonables.
• Comparación con FL: Comparado con el FL clásico (FedPEFT), PRINCE logró la precisión objetivo un 31.36% más rápido en promedio, resaltando la eficiencia de la sinergia dispositivo-borde en SFL para cargas de trabajo de FM con recursos limitados.
• Robustez: El mecanismo mantuvo una optimización equilibrada entre los inquilinos y demostró convergencia en tiempo finito (promediando 42 iteraciones) independientemente de la escala del sistema.

Significancia
El artículo afirma que PRINCE proporciona una base sólida para la adopción generalizada de SFL en redes de borde para el ajuste fino de Modelos Fundacionales. Al abordar las complejidades específicas de los entornos multi-inquilino —específicamente el comportamiento independiente de los dispositivos, la evaluación de la contribución y la competencia inter-inquilino— el mecanismo propuesto asegura que las diversas tareas derivadas puedan ejecutarse de manera eficiente y justa preservando la privacidad de los datos. El trabajo cierra la brecha entre el diseño de incentivos teóricos y los requisitos prácticos de desplegar IA a gran escala y preservadora de la privacidad en el borde de la red.