Federated Foundation Language Model Post-Training Should Focus on Open-Source Models

Resumen Técnico: El post-entrenamiento de modelos de lenguaje fundacionales federados debe centrarse en modelos abiertos

Declaración del problema
El artículo aborda la práctica emergente de aplicar el Aprendizaje Federado (FL, por sus siglas en inglés) al post-entrenamiento de modelos de lenguaje fundacionales (FLM). Si bien el FL ofrece un paradigma descentralizado para adaptar modelos a tareas específicas sin centralizar datos privados, los enfoques recientes dependen cada vez más de modelos fundacionales de caja negra y caja gris (es decir, modelos a los que se accede únicamente mediante una API con pesos y arquitectura ocultos). Los autores argumentan que replicar ciegamente las estrategias de post-entrenamiento centralizado utilizando estos modelos cerrados en un contexto de FL contradice los principios fundamentales de la federación, específicamente la privacidad de los datos, la autonomía del cliente y la transparencia. El problema central es determinar si la conveniencia y el rendimiento de los modelos cerrados justifican la erosión de los beneficios fundamentales del FL cuando se aplican al post-entrenamiento.

Metodología y marco de trabajo
El artículo emplea un marco conceptual y analítico en lugar de experimentación empírica. La metodología consiste en:

1. Clasificación de la apertura del modelo: Los autores categorizan los FLM en cuatro tipos distintos basados en la accesibilidad y las licencias:
   • Código abierto (Open-Source): Acceso total a pesos, código fuente, arquitectura y datos de entrenamiento bajo licencias permisivas.
   • Pesos abiertos (Open-Weight): Acceso total a pesos y arquitectura, pero sin código fuente ni datos de entrenamiento (a menudo bajo licencias restrictivas).
   • Caja gris (Gray-Box): Acceso parcial vía API, permitiendo un ajuste fino limitado (por ejemplo, capas de adaptadores o soft prompts) mientras el modelo base permanece congelado y propietario.
   • Caja negra (Black-Box): Restringido al intercambio de tokens mediante API; sin acceso a parámetros internos, arquitectura o interfaces de ajuste fino.
2. Análisis comparativo: Los autores evalúan sistemáticamente estos tipos de modelos frente a los tres pilares del FL: Privacidad (mantener los datos locales), Autonomía (control del cliente sobre el entrenamiento y el uso) y Heterogeneidad (acomodar diversas distribuciones de datos).
3. Auditoría de seguridad y privacidad: El artículo analiza la superficie de ataque y los mecanismos de defensa disponibles (por ejemplo, Privacidad Diferencial, Agregación Segura, Cifrado Homomórfico) para diferentes métodos de post-entrenamiento (Ajuste Fino Completo, LoRA, Ajuste de Prompts, RLHF) a través de las cuatro categorías de modelos.
4. Marco de decisión: Se construye un árbol de decisión para guiar a los profesionales en la selección de tipos de modelos basados en restricciones específicas como recursos locales, requisitos de licencia y necesidades de seguridad.

Contribuciones clave
El artículo realiza cinco contribuciones primordiales:

1. Taxonomía de la apertura: Una clasificación detallada de los modelos fundacionales y sus implicaciones específicas para los métodos de post-entrenamiento federado, destacando que la apertura del modelo dicta las técnicas de optimización disponibles (por ejemplo, el Ajuste Fino Completo es imposible con modelos de caja negra).
2. Análisis crítico de los modelos cerrados: Una discusión rigurosa sobre por qué el uso de modelos de caja negra y caja gris en FL es problemático. Los autores demuestran que depender de APIs de terceros para el post-entrenamiento reintroduce el riesgo de filtración de datos (ya que los datos de entrada deben salir del cliente) y disminuye la autonomía del cliente.
3. Argumento a favor de los modelos abiertos: Un argumento estructurado de que los modelos de código abierto y de pesos abiertos se alinean mejor con los objetivos del FL. Permiten el uso de mecanismos de privacidad robustos, permiten un control integral sobre el proceso de entrenamiento y admiten una gama más amplia de técnicas de post-entrenamiento eficientes como el Ajuste Fino de Parámetros Eficientes (PEFT) y LoRA.
4. Análisis de seguridad y privacidad: Una evaluación granular de qué ataques (envenenamiento, inferencia de membresía, inversión de gradientes) son relevantes para métodos de post-entrenamiento y tipos de modelos específicos, y qué defensas son controlables por el cliente en cada escenario.
5. Guía de selección práctica: Un árbol de decisión y directrices complementarias para ayudar a investigadores y profesionales a elegir el tipo de modelo apropiado (abierto vs. cerrado) basándose en sus restricciones operativas específicas y requisitos de privacidad.

Resultados y hallazgos

• Compatibilidad: Los modelos de código abierto y de pesos abiertos son totalmente compatibles con todos los métodos de post-entrenamiento (FFT, LoRA, RLHF, Ajuste de Prompts) y permiten el despliegue local, asegurando que los datos nunca abandonen el cliente.
• Limitaciones de los modelos cerrados: Los modelos de caja negra restringen el post-entrenamiento a métodos basados en prompts (por ejemplo, soft prompts, gradientes textuales) y requieren que los clientes envíen datos a un proveedor central, violando fundamentalmente el principio de "los datos permanecen locales" del FL. Los modelos de caja gris ofrecen un punto medio, pero siguen dependiendo de la infraestructura gestionada por el proveedor.
• Control vs. Riesgo: Si bien los modelos abiertos aumentan la superficie de ataque del cliente (requiriendo que los clientes implementen sus propias defensas), otorgan control total sobre dichas defensas. Por el contrario, los modelos cerrados reducen la superficie de ataque para el cliente (ya que el proveedor gestiona el modelo base) pero eliminan la capacidad del cliente para verificar o controlar la seguridad del sistema subyacente.
• Impacto de las licencias: Las licencias restrictivas (comunes en modelos de "pesos abiertos" como Llama 3) pueden obstaculizar la autonomía del cliente al imponer restricciones de uso que pueden entrar en conflicto con casos de uso federados específicos, incluso si los pesos son accesibles.

Significancia y afirmaciones
El artículo afirma que la tendencia actual de adoptar modelos de caja negra para el post-entrenamiento federado es un desalineamiento estratégico que socava el propósito mismo del aprendizaje federado. Los autores sostienen que el post-entrenamiento de modelos de lenguaje fundacionales federados debe centrarse en modelos abiertos.

La importancia de este trabajo radica en proporcionar una lente crítica para que la comunidad evalúe las compensaciones entre la conveniencia de los modelos cerrados basados en API y las garantías de privacidad/autonomía de los modelos abiertos. Los autores posicionan su trabajo como una "caja de herramientas" para ayudar a los investigadores a tomar decisiones informadas, argumentando que, si bien los modelos cerrados tienen ventajas en entornos centralizados (rendimiento, facilidad de despliegue), son generalmente inadecuados para los objetivos descentralizados y de preservación de la privacidad del FL. El artículo concluye que los modelos abiertos son la opción por defecto para el FL, siendo los modelos cerrados un recurso de última instancia solo cuando sea absolutamente necesario debido a limitaciones de recursos o necesidades de licencias específicas.