💻 computer science

Decoupled Training with Local Reinforcement Fine-Tuning in Federated Learning

Este artículo propone FedDTL, un marco novedoso de aprendizaje federado para Modelos Visión-Lenguaje que desacopla los codificadores de imagen y texto para garantizar actualizaciones globales coherentes y emplea una estrategia de ajuste fino local en dos etapas que combina el aprendizaje supervisado con el aprendizaje por refuerzo para equilibrar eficazmente la adaptación a tareas globales y la generalización bajo distribuciones de datos heterogéneas.

Autores originales: Yuting Ma, Lechao Cheng, Xiaohua Xu

Publicado 2026-05-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuting Ma, Lechao Cheng, Xiaohua Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un grupo de amigos intentando aprender una nueva habilidad juntos, como identificar diferentes tipos de aves, pero viven en ciudades distintas y no pueden compartir sus álbumes de fotos privados. Esta es la idea central del Aprendizaje Federado: todos aprenden localmente en sus propios dispositivos y solo comparten lo que han aprendido, no sus datos crudos.

Ahora, imagina que estos amigos están utilizando un "experto en aves" preentrenado y superinteligente (un Modelo Visión-Lenguaje) para ayudarlos. El problema es que, si todos estudian simplemente sus propias fotos locales y luego intentan promediar sus apuntes, las cosas se vuelven caóticas. Algunos amigos podrían volverse demasiado obsesionados con las aves específicas de su propio patio trasero (sobre-especialización), mientras que otros podrían aprender formas completamente diferentes de describir las aves, haciendo imposible combinar sus conocimientos en una guía útil (inconsistencia).

El artículo presenta un nuevo método llamado FedDTL para solucionar esto. Así es como funciona, desglosado en conceptos simples:

1. La Estrategia del "Equipo Dividido" (Entrenamiento Desacoplado)

En la mayoría de los métodos, cada amigo intenta aprender tanto cómo ver el ave (Codificador de Imagen) como cómo describirla con palabras (Codificador de Texto) por su cuenta. Esto lleva a confusión porque las descripciones de todos se desvían.

FedDTL divide el trabajo:

Los Artistas Locales (Clientes): Cada amigo mantiene su cámara y su álbum de fotos. Entrenan su "Codificador de Imagen" localmente para reconocer las aves en sus propias fotos. Esto mantiene sus fotos privadas a salvo.
El Bibliotecario Central (Servidor): Un servidor central entrena el "Codificador de Texto". En lugar de mirar fotos, el servidor solo aprende los nombres de las aves (por ejemplo, "Cardenal", "Arrendajo Azul").
La Conexión: Los amigos envían su "comprensión visual" al servidor, y el servidor devuelve las "definiciones textuales". Es como si los amigos enviaran bocetos al bibliotecario, y el bibliotecario devolviera las definiciones correctas del diccionario. Esto asegura que todos estén usando el mismo "idioma" para describir lo que ven, manteniendo al grupo alineado sin que nadie vea las fotos privadas de los demás.

2. La "Danza de Dos Pasos" (Ajuste Fino Local en Dos Etapas)

Incluso con el equipo dividido, si un amigo estudia sus fotos locales durante demasiado tiempo, podría empezar a memorizar la iluminación específica o el fondo de su propio jardín, olvidando cómo reconocer el ave en un entorno diferente. Esto se llama "sobre-especialización".

FedDTL resuelve esto con un proceso de entrenamiento de dos pasos para cada amigo:

Paso 1: El Calentamiento (Ajuste Fino Supervisado - SFT):
Primero, el amigo realiza una sesión de estudio rápida y estándar. Mira sus fotos y aprende a emparejarlas con los nombres de las aves proporcionados por el Bibliotecario Central. Esto los pone al día de manera rápida y fiable. Piensa en esto como memorizar las tarjetas de estudio.
Paso 2: El Impulso de Refuerzo (Aprendizaje por Refuerzo - RL):
Después del calentamiento, el amigo cambia a un modo de "prueba y error". En lugar de solo memorizar, son recompensados por ser generales en lugar de solo específicos.
- La Analogía: Imagina que el amigo está jugando un juego donde tiene que adivinar el ave. Si adivina correctamente, obtiene un punto. Pero aquí está el giro: se les alienta a adivinar correctamente incluso cuando la foto está ligeramente borrosa o tiene un ángulo extraño.
- El artículo utiliza una técnica llamada GRPO (Optimización de Política Relativa de Grupo). Es como tener un grupo de amigos adivinando la misma ave al mismo tiempo. Si un amigo adivina correctamente mientras otros adivinan mal, ese amigo recibe un "bono" por ser más general. Esto evita que simplemente memoricen los píxeles exactos de sus fotos locales y los obliga a aprender la esencia verdadera del ave, haciéndolos mejores para reconocer aves que nunca han visto antes.

¿Por qué es esto un gran avance?

Los métodos anteriores intentaron solucionar estos problemas añadiendo reglas complejas o simplemente promediando los apuntes de todos. Pero en entornos de "Datos Completos" (donde los amigos tienen muchas fotos, no solo unas pocas), esos métodos antiguos fallaron. O bien hacían al grupo demasiado inconsistente, o hacían que los individuos se volvieran demasiado obsesionados con sus propios datos.

FedDTL afirma ser el primero en equilibrar con éxito dos cosas a la vez:

Adaptación Global: El grupo aprende la tarea bien juntos (todos están de acuerdo en qué es un "Cardenal").
Generalización: El grupo aún puede reconocer aves en entornos nuevos e inéditos (no solo las fotos específicas del patio trasero en las que se entrenaron).

Los Resultados

Los autores probaron esto en muchos conjuntos de datos diferentes (como identificar flores, mascotas y comida) bajo diversas condiciones difíciles (algunos amigos con tipos de datos muy diferentes a los de otros). Descubrieron que FedDTL superó consistentemente a otros métodos, especialmente cuando había muchos datos para procesar. Logró mantener al grupo unificado mientras aseguraba que ningún amigo se volviera demasiado "terco" con sus datos locales.

En resumen, FedDTL es una forma más inteligente para que un grupo distribuido aprenda juntos: separa el "ver" del "nominar" para mantener a todos alineados, y utiliza un proceso de entrenamiento de dos pasos para asegurar que aprendan las reglas generales del juego, no solo los detalles específicos de su propio patio trasero.

Resumen Técnico: Entrenamiento Desacoplado con Ajuste Fino Local por Refuerzo en Aprendizaje Federado (FedDTL)

Declaración del Problema

El Aprendizaje Federado (AF) combinado con Modelos Visuales-Lingüísticos (VLM) preentrenados, como CLIP, ofrece un paradigma prometedor para la adaptación a tareas posteriores preservando la privacidad de los datos. Sin embargo, los enfoques existentes que dependen de una optimización completamente local con una agregación simple de parámetros enfrentan dos desafíos críticos, particularmente bajo distribuciones de datos heterogéneas y regímenes de datos completos:

Inconsistencia de Optimización Inter-cliente: Bajo configuraciones No-IID (por ejemplo, sesgo de etiquetas y desplazamiento de características), los clientes optimizan objetivos locales desajustados. Esto conduce a gradientes locales desalineados y a una "deriva del cliente", donde los clientes convergen hacia diferentes sistemas de coordenadas de representación. En consecuencia, el promedio simple de parámetros falla al producir una actualización semántica global coherente, degradando la adaptación a la tarea global.
Especialización Excesiva Intra-cliente: En regímenes de datos completos con trayectorias de entrenamiento local largas, los módulos de ajuste fino eficientes en parámetros (PEFT) ligeros tienden a volverse excesivamente especializados en las frecuencias de etiquetas sesgadas y las estadísticas de características específicas de un cliente. Aunque esto mejora el ajuste local, compromete severamente la generalización a clases no vistas o dominios desplazados.

Los métodos actuales a menudo abordan estos problemas mediante regularización o restricciones de alineación, pero siguen siendo insuficientes porque dependen de una optimización solo local. Además, muchas evaluaciones se limitan a configuraciones de pocos ejemplos, lo que podría subestimar los efectos negativos acumulados en escenarios realistas de datos completos.

Metodología: FedDTL

Los autores proponen FedDTL, un marco novedoso que integra un esquema de entrenamiento de codificadores desacoplado con una estrategia de ajuste fino local en dos etapas para equilibrar la adaptación a la tarea global y la generalización.

1. Entrenamiento Desacoplado de Codificadores

Inspirado en el desacoplamiento de modalidades en CLIP, FedDTL separa el entrenamiento de los codificadores de imagen y texto a través de la arquitectura cliente-servidor:

Codificador de Imagen Local: El codificador de imagen ( $V$ ) procesa imágenes privadas crudas y se entrena localmente en cada cliente para preservar la privacidad de los datos.
Codificador de Texto Global: El codificador de texto ( $T$ ), que opera sobre descripciones textuales a nivel de categoría (por ejemplo, "una foto de una [nombre de clase]"), se optimiza centralmente en el servidor.
Mecanismo: Los clientes alinean sus representaciones visuales locales con las incrustaciones textuales globales consistentes del servidor. Esta alineación de modalidades entre servidor y cliente actúa como una restricción semántica, reduciendo la inconsistencia de optimización inter-cliente sin requerir que los clientes mantengan codificadores de texto locales.
Eficiencia: Ambos codificadores utilizan el ajuste LoRA (Adaptación de Bajo Rango) sobre backbones congelados para minimizar la sobrecarga computacional y los costos de comunicación.

2. Ajuste Fino Local en Dos Etapas

Para mitigar la especialización excesiva intra-cliente, FedDTL emplea un proceso de entrenamiento local secuencial:

Etapa 1: Adaptación a la Tarea basada en SFT (Inicio cálido): Los clientes realizan un Ajuste Fino Supervisado (SFT) en sus codificadores de imagen locales utilizando una pérdida de entropía cruzada. Esta etapa proporciona un inicio cálido de optimización rápido y fiable, adaptando rápidamente el modelo a la distribución de la tarea local.
Etapa 2: Mejora de la Generalización basada en RL: Tras el SFT, los clientes cambian a una etapa de Aprendizaje por Refuerzo (RL) inspirada en la Optimización de Política Relativa de Grupo (GRPO).
- Inyección de Estocasticidad: Dado que los codificadores de imagen producen incrustaciones deterministas, los autores inyectan ruido gaussiano no sesgado en el espacio de incrustaciones latentes para inducir estocasticidad para el muestreo de acciones.
- Recompensa y Política: El modelo de política se actualiza basándose en una recompensa basada en la precisión (clasificación correcta = 1, de lo contrario 0). El objetivo minimiza una pérdida de gradiente de política con recorte $\epsilon$ y un término de regularización de divergencia KL contra un modelo de referencia híbrido (que combina el modelo SFT final y la política global más reciente).
- Objetivo: Esta etapa refina la trayectoria de actualización local para prevenir la sobre-memorización de datos locales, mejorando así la generalización a clases y dominios no vistos.

3. Coordinación Global

Tras el ajuste fino local, los clientes cargan los parámetros LoRA actualizados y las incrustaciones de imagen normalizadas (específicamente los tokens de clase) al servidor. El servidor agrega los parámetros visuales LoRA mediante un promedio ponderado y actualiza el codificador de texto global utilizando las incrustaciones recopiladas, completando la ronda de AF.

Contribuciones Clave

Esquema de Entrenamiento Desacoplado: Una arquitectura novedosa donde el codificador de imagen se optimiza localmente para la privacidad, mientras que un codificador de texto centralizado proporciona un ancla semántica global. Este diseño reduce la inconsistencia inter-cliente y mejora la adaptación a la tarea global a través de diversas distribuciones de datos de AF.
Ajuste Fino Local en Dos Etapas: Una estrategia que combina SFT para una adaptación rápida y una etapa de RL inspirada en GRPO para suprimir la especialización excesiva intra-cliente. Este enfoque estabiliza el entrenamiento local y mejora la generalización en configuraciones heterogéneas y de datos completos.
Evaluación Exhaustiva: Experimentos extensos en nueve puntos de referencia bajo regímenes de pocos ejemplos y datos completos, cubriendo sesgo de etiquetas y desplazamiento de características. Los resultados demuestran que FedDTL equilibra efectivamente la adaptación a la tarea global y la generalización, superando las líneas base anteriores de VLM federados.

Resultados Experimentales

El artículo evalúa FedDTL en conjuntos de datos que incluyen CIFAR-10/100, EuroSAT, Tiny-ImageNet, Oxford-Pet, Flower102, Caltech101/256, Food101, Office-Caltech10 y DomainNet.

Sesgo de Etiquetas (Generalización de Base a Nuevo): En configuraciones No-IID de datos completos, FedDTL logra la precisión más alta en clases base (por ejemplo, 91.64% frente a 80.56% para FedMaPLe en CIFAR-100) mientras mantiene un rendimiento competitivo en clases nuevas. Evita con éxito la degradación severa de la generalización observada en líneas base como pFedDC y pFedMMA, que sufren de especialización excesiva en regímenes de datos completos.
Desplazamiento de Características: En configuraciones de dominio cruzado (Office-Caltech10, DomainNet), FedDTL logra la precisión promedio más alta en casi todas las configuraciones, incluidas aquellas con desplazamiento de características y sesgo de etiquetas combinados.
Estudios de Ablación:
- Eliminar el esquema de codificadores desacoplados reduce significativamente la precisión base en configuraciones No-IID, confirmando su papel en la resolución de la inconsistencia inter-cliente.
- Eliminar la etapa de RL conduce a una menor precisión en clases nuevas, confirmando su efectividad para preservar la generalización.
- La estrategia de dos etapas (SFT + RL) supera el uso de SFT o RL por separado, validando la naturaleza complementaria de la adaptación rápida y la mejora de la generalización.
Privacidad y Comunicación: El marco reduce los costos de comunicación cargando solo incrustaciones de tokens de clase. Añadir perturbación de ruido a estas incrustaciones proporciona protección adicional de privacidad con una pérdida mínima de rendimiento.

Significado y Afirmaciones

El artículo afirma que FedDTL aborda una brecha crítica en la investigación de VLM federados: la incapacidad de los métodos existentes para manejar simultáneamente la inconsistencia inter-cliente y la especialización excesiva intra-cliente, particularmente en escenarios realistas de datos completos.

Resolución Sistemática: A diferencia de trabajos anteriores que dependen de un promedio simple de parámetros o regularización solo local, FedDTL resuelve sistemáticamente la inconsistencia mediante la alineación de modalidades entre servidor y cliente y la especialización excesiva mediante refinamiento basado en RL.
Robustez: El marco demuestra robustez a través de diversas distribuciones de datos (IID, Dirichlet, No-IID) y regímenes de aprendizaje (de pocos ejemplos a datos completos).
Practicidad: Al aprovechar LoRA y un cronograma de dos etapas, el método equilibra el rendimiento del modelo con la eficiencia computacional, haciéndolo adecuado para dispositivos de borde.

Los autores concluyen que su enfoque proporciona un camino más estable y efectivo para adaptar VLM preentrenados en entornos federados, asegurando que los modelos globales permanezcan tanto adaptables a tareas específicas como generalizables a escenarios no vistos.