🤖 machine learning

Prompt Estimation from Prototypes for Federated Prompt Tuning of Vision Transformers

El artículo propone PEP-FedPT, un marco unificado de aprendizaje federado para Vision Transformers que logra tanto generalización como personalización mediante la introducción de una Promesa Mixta Contextualizada por Clase (CCMP), que combina adaptativamente las promesas específicas de clase utilizando prototipos globales y priores del cliente sin almacenar parámetros entrenables dependientes del cliente.

Autores originales: M Yashwanth, Sharannya Ghosh, Aditay Tripathi, Anirban Chakraborty

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: M Yashwanth, Sharannya Ghosh, Aditay Tripathi, Anirban Chakraborty

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva y superinteligente de libros (un Transformador de Visión preentrenado) que sabe un poco sobre todo, pero no es un experto en ningún tema específico. Quieres enseñar a esta biblioteca a convertirse en un experto en una materia concreta, como identificar aves raras o detectar enfermedades en radiografías, pero no puedes trasladar todos los libros a un solo lugar. En su lugar, tienes cientos de sucursales pequeñas y locales (clientes) dispersas por todo el mundo, cada una con una colección de libros diferente y única.

Este es el desafío del Aprendizaje Federado: entrenar un modelo global inteligente sin mover nunca los datos privados de las sucursales locales.

El Problema: El Dilema de «Talla Única» frente a «Demasiado Personal»

El artículo identifica una lucha frustrante al intentar enseñar a esta biblioteca:

El Enfoque Global (Demasiado Rígido): Si le das a cada sucursal exactamente el mismo conjunto de instrucciones (un «prompt global»), la biblioteca funciona bien para la sucursal promedio, pero fracasa estrepitosamente en aquellas con datos extraños o únicos. Es como dar un manual genérico de «Cómo Cocinar» a una sucursal que solo tiene mariscos; las instrucciones no se adaptan a sus ingredientes específicos.
El Enfoque Personal (Demasiado Estrecho): Si permites que cada sucursal escriba sus propias instrucciones personalizadas, se convierten en expertos en sus datos locales específicos, pero olvidan cómo comunicarse con el resto de la red. Se vuelven tan especializados que no pueden ayudar a nadie más, y si entra una nueva sucursal, no tienen ni idea de qué hacer.

La Solución: PEP-FedPT (El «Mixólogo Inteligente»)

Los autores proponen un nuevo método llamado PEP-FedPT. Imagina esto como un «Mixólogo Inteligente» que crea una bebida personalizada para cada sucursal, pero sin necesidad de almacenar un libro de recetas secreto en cada sucursal.

Así es como funciona, usando una analogía sencilla:

1. Los Ingredientes Compartidos (Prompts Globales)

El servidor central (la cabecera de la biblioteca) envía un conjunto de Prompts Compartidos. Estos son como ingredientes básicos y universales (sal, pimienta, agua) sobre los que todos están de acuerdo. Ayudan a la biblioteca a entender lo básico.

2. Los Sabores Especiales (Prompts Específicos por Clase)

El servidor también mantiene un conjunto de Prompts Específicos por Clase. Imagina estos como concentrados de sabor distintos: uno para «Aves», otro para «Coches», otro para «Árboles». Estos se comparten globalmente, por lo que todos tienen acceso a las mismas botellas de sabor.

3. La Mezcla Mágica (CCMP)

Esta es la gran innovación del artículo. En lugar de simplemente entregarle a una sucursal un solo sabor o una mezcla genérica, el sistema crea un Prompt Mezclado Contextualizado por Clase (CCMP) para cada imagen individual que ve la sucursal.

¿Cómo decide la mezcla?

La Prueba del «Olfato» (Prototipos): El sistema observa la imagen y pregunta: «¿Esto se parece más a un ave o a un coche?». Utiliza un «mapa global» (prototipos de clase) para estimar la probabilidad.
El «Menú Local» (Priors de Clase): También verifica el menú local de la sucursal. Si una sucursal ve principalmente aves, el sistema sabe que debe inclinarse más hacia el sabor de «Aves».

El sistema mezcla los sabores de «Aves» y «Coches» en una proporción precisa basada en estos dos factores. Es como si un mixólogo dijera: «Esta imagen parece un 80 % un ave y un 20 % un coche, así que mezclaré un 80 % de sabor de ave y un 20 % de sabor de coche para esta bebida específica».

Por Qué Esto Es un Cambio de Reglas

Sin Libros de Recetas Secretos: Las sucursales no necesitan almacenar sus propios manuales de instrucciones únicos y pesados. Solo utilizan los sabores globales compartidos y los mezclan al instante. Esto ahorra cantidades masivas de memoria y espacio de comunicación.
Lo Mejor de Dos Mundos: La «bebida» resultante es lo suficientemente personalizada para manejar los datos extraños de la sucursal (generalización), pero sigue conectada a la red global (personalización).
Amigable con la Privacidad: Las sucursales solo devuelven resúmenes diminutos (prototipos) de lo que han aprendido, no las imágenes reales. Es como enviar una descripción de los sabores utilizados, no la comida real.

Los Resultados

El artículo probó esto en varios conjuntos de datos «difíciles» (como CIFAR-100 y TinyImageNet) donde los datos son desordenados y distribuidos de manera desigual.

El Ganador: PEP-FedPT superó consistentemente a todos los demás métodos.
La Prueba: No solo obtuvo una puntuación promedio más alta; también ayudó a las sucursales de peor rendimiento a mejorar significativamente. Logró ser a la vez un gran experto local y un vecino global útil simultáneamente.

En resumen, el artículo presenta una forma de entrenar un modelo de IA gigante a través de muchas fuentes de datos diferentes y desordenadas, permitiendo que el modelo «mezcle y combine» sus propias instrucciones al instante, utilizando un conjunto compartido de herramientas y un poco de contexto local. Logra el equilibrio perfecto entre ser un generalista y un especialista.

Resumen Técnico: PEP-FedPT

Enunciado del Problema

El Aprendizaje Federado (FL) enfrenta desafíos significativos al adaptar grandes Vision Transformers (ViTs) preentrenados a tareas posteriores bajo heterogeneidad de datos. Aunque el Ajuste de Prompts Visuales (VPT) ofrece una solución eficiente en parámetros para el ajuste fino, los enfoques existentes luchan por equilibrar la generalización y la personalización:

Ajuste de Prompts Global: Métodos como FedPR utilizan prompts compartidos entre todos los clientes. Aunque generalizan bien, no logran adaptarse a distribuciones de datos de clientes altamente heterogéneas (no iid), lo que provoca "deriva del cliente" y un rendimiento subóptimo.
Ajuste de Prompts Personalizado: Métodos como pFedPG generan prompts específicos para cada cliente. Aunque se adaptan bien a los datos locales, a menudo sufren sobreajuste, resultando en una mala generalización a clientes no vistos o no participantes. Además, muchos enfoques personalizados asumen la participación completa de todos los clientes en cada ronda, lo cual es poco práctico en sistemas de FL del mundo real.
Enfoques Híbridos Existentes: Métodos como SGPT intentan cerrar esta brecha utilizando prompts específicos de grupos, pero introducen complejidad de optimización mediante mecanismos de selección no diferenciables y procesos de entrenamiento en dos etapas.

La pregunta central abordada es: ¿Podemos lograr una personalización efectiva confiando únicamente en prompts compartidos globalmente?

Metodología: PEP-FedPT

Los autores proponen PEP-FedPT (Estimación de Prompts a partir de Prototipos para el Ajuste de Prompts Federado), un marco unificado que logra la personalización sin almacenar parámetros entrenables dependientes del cliente. La innovación central es el Prompt Mixto Contextualizado por Clase (CCMP).

1. Arquitectura del Prompt

El marco utiliza dos conjuntos de parámetros entrenables compartidos globalmente entre todos los clientes:

Prompts Compartidos ( $P_S$ ): Insertados en la primera capa del ViT. Estos capturan representaciones de bajo nivel, agnósticas a la clase, comunes en la variedad.
Prompts Específicos por Clase ( $P_C$ ): Un conjunto de prompts correspondientes a cada clase, compartidos globalmente.

2. Prompt Mixto Contextualizado por Clase (CCMP)

En lugar de insertar un único prompt estático, PEP-FedPT genera dinámicamente un prompt mixto ( $m$ ) para cada muestra de entrada en capas intermedias (específicamente las capas 5, 6 y 7 en los experimentos). Este prompt mixto es una combinación suave de los prompts globales específicos por clase, ponderada por puntuaciones derivadas de:

Prototipos Globales de Clase ( $\mu$ ): Centroides agregados de las representaciones del token CLS para cada clase, calculados promediando los tokens CLS de los puntos de datos dentro de una clase a través de los clientes. Estos se actualizan periódicamente mediante promediado federado con momento.
Priors de Clase del Cliente ( $\delta$ ): La distribución empírica de etiquetas (frecuencia de clases) específica a los datos locales de cada cliente.

3. Mecanismo de Mezcla de Prompts

Para una entrada dada $x$ en el cliente $k$ , el sistema calcula un vector de pesos suaves $s$ para los prompts específicos por clase:

Puntuación de Similitud: Se calcula la similitud del coseno entre la representación del token CLS de la entrada ( $cls_{l-1}$ ) en la capa $l$ y los prototipos globales de clase ( $\mu$ ).
Puntuación Ponderada: Estas similitudes se escalan por los priors de clase locales del cliente ( $\delta$ ) y un parámetro de temperatura ( $\tau$ ).
Normalización: Las puntuaciones se normalizan para formar una distribución de probabilidad.
Mezcla: El CCMP final se calcula como la suma ponderada de los prompts globales específicos por clase: $m = P_C \times s$ .

Esto permite que cada cliente personalice dinámicamente el prompt basándose en su distribución de datos local y la entrada actual, utilizando únicamente información global (prompts y prototipos) y estadísticas locales (priors), sin transmitir datos crudos ni pesos de modelo específicos del cliente.

4. Fundamentos Teóricos

El artículo proporciona dos justificaciones teóricas para el diseño del CCMP:

Minimización de la Cota Superior Cuadrática: Los autores demuestran que el CCMP minimiza una cota superior cuadrática sobre la función de pérdida global, asumiendo que la pérdida es suave de Lipschitz y que el espacio de prompts es compacto. La estrategia de mezcla óptima se alinea con el promedio ponderado de los prompts de clase basado en los priors de clase.
Optimalidad MMSE: Se muestra que el CCMP es el estimador de Error Cuadrático Medio Mínimo (MMSE) del verdadero prompt de clase dado el token CLS de representación observado.

Contribuciones Clave

Marco Unificado: Introducción de PEP-FedPT, que optimiza conjuntamente prompts compartidos y específicos por clase para abordar la heterogeneidad de datos en el aprendizaje federado de ViT, logrando un equilibrio entre generalización y personalización.
Estrategia de Mezcla Novel: Diseño del CCMP, que genera prompts por muestra como una función de prompts globales específicos por clase, modulados por priors de clase locales y prototipos globales. Esto elimina la necesidad de almacenamiento local de prompts o la generación en el servidor de prompts específicos del cliente.
Perspectivas Teóricas: Demostración de que el CCMP minimiza una cota superior cuadrática sobre la pérdida y es óptimo en el sentido MMSE.
Superioridad Empírica: Validación extensa que muestra que el método supera a las líneas base más avanzadas en diversos escenarios de heterogeneidad.

Resultados Experimentales

El método fue evaluado en CIFAR-100, TinyImageNet, DomainNet e iNaturalist bajo diversas configuraciones no iid (divisiones patológicas y distribuciones Dirichlet).

Rendimiento: PEP-FedPT superó consistentemente a las líneas base (incluyendo FedVPT, FedPR, SGPT y pFedPG) tanto en Precisión Media como en Precisión Local Peor.
- En CIFAR-100 (Patológico), logró una 95.46% de precisión media, superando a pFedPG (92.96%) y FedVPT-D (85.15%).
- En TinyImageNet, mejoró la precisión media en un 8.59% sobre pFedPG.
Generalización: En evaluaciones retenidas (pruebas en clientes que no participaron en el entrenamiento), PEP-FedPT mantuvo una alta precisión (93.71% en CIFAR-100), mientras que métodos personalizados como pFedPG fallaron en generalizar (marcados como NA o significativamente más bajos).
Eficiencia: El método requirió significativamente menos rondas de comunicación (12 rondas para alcanzar el 83% de precisión en CIFAR-100) y una sobrecarga de comunicación menor (4.6M de parámetros comunicados) en comparación con SGPT (13M) y FedVPT-D.
Estudios de Ablación: Los experimentos confirmaron que combinar Prompts Compartidos con CCMP produce ganancias significativas sobre el uso de Prompts Compartidos solos. La inclusión de Priors de Clase mejoró aún más el rendimiento, particularmente en configuraciones patológicas.

Significado y Afirmaciones

El artículo afirma que PEP-FedPT establece una base sólida para el ajuste de prompts federado eficiente y generalizable de Vision Transformers. Su significado principal radica en resolver la compensación entre personalización y generalización en FL:

Logra personalización aprovechando las distribuciones de datos locales (mediante priors) para mezclar prompts dinámicamente.
Mantiene la generalización confiando exclusivamente en prompts y prototipos compartidos globalmente, evitando los problemas de sobreajuste de los modelos totalmente personalizados.
Ofrece escalabilidad al no requerir almacenamiento de parámetros específicos del cliente ni participación completa de todos los clientes, haciéndolo adecuado para dispositivos periféricos con recursos limitados.

Los autores señalan limitaciones, específicamente que el método depende de estimaciones empíricas de priors de clase y centroides, lo cual puede ser poco fiable en configuraciones semi-supervisadas o no supervisadas, y que la ventaja disminuye en distribuciones de datos estrictamente IID donde el método se reduce efectivamente al Fed-VPT estándar. Sin embargo, dentro del contexto del aprendizaje federado no IID, el enfoque propuesto ofrece una solución robusta, fundamentada teóricamente y empíricamente superior.