💻 computer science

FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs

FedLNS es un marco de trabajo del lado del servidor que mitiga la manipulación adversarial en el entrenamiento de LLM federados mediante el filtrado de actualizaciones de clientes maliciosos a través de un análisis ligero de los cambios en los parámetros de las capas de normalización, logrando una robustez superior a través de diversas arquitecturas de modelos sin requerir intercambio de datos adicionales ni ejemplos de ataque etiquetados.

Autores originales: Kai Li, Jong-Ik Park, Carlee Joe-Wong, Wei Ni, Falko Dressler

Publicado 2026-08-20

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Kai Li, Jong-Ik Park, Carlee Joe-Wong, Wei Ni, Falko Dressler

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje extensos son los motores detrás de los asistentes inteligentes, las herramientas de búsqueda y las ayudas de escritura que utilizamos a diario. Estos sistemas aprenden leyendo vastas cantidades de texto, pero mucha de la información más valiosa está guardada en lugares privados: mensajes personales, registros médicos o documentos corporativos patentados. Para enseñar a un modelo utilizando estos datos privados sin ver los datos en sí mismos, los investigadores utilizan un método llamado aprendizaje federado. En esta configuración, el modelo viaja hacia los datos en lugar de que los datos viajen hacia él. La computadora central envía una copia del modelo actual a muchos dispositivos diferentes, cada dispositivo entrena con su propia información privada y luego envía de vuelta solo los cambios que aprendió. La computadora central combina entonces estos cambios para crear un modelo más inteligente y actualizado. Este proceso protege la privacidad, pero crea una nueva vulnerabilidad: la computadora central no puede ver lo que sucedió en los dispositivos locales. Un dispositivo deshonesto podría fingir aprender de datos privados mientras en realidad es alimentado con instrucciones falsas, engañando a la computadora central para que adopte lecciones dañinas que degradan la capacidad del modelo para hablar o escribir correctamente.

Un equipo de investigadores ha desarrollado una nueva forma de detectar estas actualizaciones deshonestas antes de que puedan dañar el modelo global. Llaman a su sistema FEDLNS, un método que actúa como un puesto de control de seguridad para la información que fluye de regreso al servidor central. En lugar de intentar inspeccionar cada una de las partes de las masivas actualizaciones del modelo —que pueden contener miles de millones de números y son demasiado complejas para ser revisadas exhaustivamente—, los investigadores se centran en un conjunto pequeño y específico de números dentro del modelo. Estos números controlan cómo el modelo escala y desplaza su comprensión interna del lenguaje, actuando como una especie de firma de cómo se ajustó el modelo. Al observar cómo cambian estos números específicos, el servidor puede construir un perfil de lo que es el aprendizaje normal y honesto. Cuando un dispositivo envía de vuelta una actualización, el servidor compara su firma contra un historial de firmas de otros dispositivos. Si los cambios de un dispositivo se ven demasiado diferentes de la multitud, el sistema lo marca como sospechoso y lo aparta, evitando que la mala actualización se mezcle en el modelo final.

Los investigadores probaron este enfoque en tres tipos diferentes de modelos de lenguaje, que van desde aquellos que predicen la siguiente palabra en una oración hasta aquellos que completan palabras faltantes, y finalmente a modelos grandes similares a los que impulsan los chatbots modernos. Simularon un escenario donde hasta el cuarenta por ciento de los dispositivos participantes eran maliciosos, intentando deliberadamente corromper el modelo enseñándole asociaciones incorrectas entre palabras. En estas condiciones difíciles, el nuevo sistema filtró con éxito las actualizaciones dañinas. Los modelos entrenados con esta protección funcionaron significamente mejor que aquellos entrenados con métodos de seguridad existentes. Específicamente, los modelos protegidos cometieron menos errores al predecir la siguiente palabra, mostrando una reducción de la confusión de hasta un dieciocho por ciento en comparación con el siguiente mejor método. También mostraron menos incertidumbre en sus elecciones, lo que significa que eran menos propensos a producir oraciones confusas o sin sentido.

Lo que hace que este descubrimiento sea particularmente útil es que no requiere que el servidor central tenga una lista de actores maliciosos conocidos, ni necesita un detector separado y preentrenado para atrapar a los mentirosos. El sistema aprende qué es lo normal simplemente observando al grupo de dispositivos a lo largo del tiempo. Espera hasta haber visto suficientes dispositivos diferentes para construir una imagen confiable de un comportamiento honesto, y luego comienza el filtrado. Los investigadores encontraron que cuanto más observaba el sistema a los dispositivos antes de comenzar el filtrado, mejor funcionaba, aunque aún podía trabajar eficazmente con una visión parcial del grupo. Crucialmente, esta protección ocurre enteramente en el lado del servidor; los dispositivos que envían las actualizaciones no necesitan cambiar su software ni enviar información adicional, lo que hace que el método sea fácil de añadir a los sistemas existentes sin ralentizarlos.

El estudio confirma que es posible asegurar el aprendizaje federado sin sacrificar la privacidad ni requerir datos de confianza. Al centrarse en una firma compacta y consciente de la arquitectura en lugar de en todo el modelo, los investigadores crearon un escudo ligero que detiene la manipulación maliciosa antes de que se propague. En sus simulaciones, este enfoque superó consistentemente a otras seis técnicas de seguridad comunes a través de diferentes distribuciones de datos y tipos de modelos. Los resultados sugieren que, al monitorear los sutiles cambios internos de un modelo, podemos mantener la integridad del aprendizaje colaborativo incluso cuando una gran parte de los participantes intenta engañar al sistema. Esto ofrece un camino práctico para construir inteligencia artificial más confiable que pueda aprender de datos privados sin ser fácilmente engañada por actores maliciosos.

Resumen Técnico: FedLNS – Aprovechamiento del Modelado de Firmas de Capas de Normalización para Mitigar la Manipulación Adversaria en LLMs Federados

Planteamiento del Problema

El Aprendizaje Federado (FL) permite que los Modelos de Lenguaje de Gran Escala (LLMs) aprendan de datos privados distribuidos sin centralizar el texto bruto. Sin embargo, esta arquitectura crea una brecha de seguridad crítica: el servidor no puede verificar las entradas locales, los objetivos o los procesos de optimización que generan las actualizaciones de los clientes. Un cliente malicioso puede manipular su supervisión local reemplazando tokens de objetivo correctos por otros incorrectos (manipulación de objetivos), optimizando así asociaciones falsas entre contexto y token. Cuando estas actualizaciones corruptas se agregan, degradan el rendimiento del modelo global y aumentan el riesgo de una generación poco fiable o con alucinaciones.

Los métodos existentes de FL con robustez bizantina (por ejemplo, Multi-Krum, Mediana por Coordenada, Media Recortada) operan típicamente sobre actualizaciones de todo el modelo. Este enfoque vincula el procesamiento del servidor a la alta dimensionalidad de los LLMs modernos, donde las variaciones benignas en conjuntos masivos de parámetros pueden ocultar desviaciones maliciosas. Además, los métodos recientes de reducción de dimensiones o de detección supervisada suelen requerir muestras de ataque etiquetadas, datos de un servidor de confianza o detectores entrenados por separado, los cuales a menudo no están disponibles en entornos federados prácticos.

Metodología: FedLNS

Los autores proponen FedLNS (Federated Learning with Normalization Signatures), un marco de trabajo en el lado del servidor diseñado para el cribado ligero y no supervisado de actualizaciones maliciosas. La innovación central radica en representar las actualizaciones de los clientes no mediante sus vectores de parámetros completos, sino mediante "firmas" compactas derivadas de los cambios en los parámetros entrenables de las capas de normalización.

1. Firmas de Capas de Normalización:
En lugar de analizar millones de parámetros, FedLNS extrae una firma $s_{t,i}$ para cada cliente $i$ en la ronda $t$ . Esta firma se define como la diferencia en los parámetros de normalización entrenables (por ejemplo, escala y sesgo en LayerNorm o RMSNorm) entre el modelo local del cliente y el modelo global actual:
$s_{t,i,\ell} = p_\ell(w_{t,i}) - p_\ell(w_t)$
donde $p_\ell$ representa los parámetros entrenables concatenados de la capa de normalización $\ell$ . Estas capas controlan el escalado y el desplazamiento de las representaciones ocultas, lo que convierte sus cambios de parámetros en un indicador compacto y consciente de la arquitectura sobre cómo el entrenamiento local altera las representaciones internas del modelo.

2. Banco de Historial del Servidor y Referencia Robusta:
El servidor mantiene un banco de historial $B_t$ que almacena las firmas de normalización más recientes de los clientes observados. Una vez que se ha observado un número suficiente de identidades de clientes distintos ( $M_{act}$ ), el servidor construye una referencia robusta para la ronda actual:

Estadísticas Robustas: Para cada capa de normalización, el servidor calcula la mediana por coordenada ( $m_{t,\ell}$ ) y la Desviación Absoluta de la Mediana ( $d_{t,\ell}$ ) de las firmas en el banco de historial. Esto proporciona una estimación robusta del centro y la escala de la población, resistente a valores atípicos.
Estandarización: Las firmas de los clientes actuales se estandarizan contra esta referencia para producir vectores de características $z_{t,i}$ .
Puntuación de Desviación: Se calcula una puntuación de desviación escalar $\delta_{t,i}$ como la mediana de la desviación absoluta estandarizada a través del vector de características.

3. Cribado No Supervisado mediante GMM Guiado por BIC:
FedLNS emplea un Criterio de Información Bayesiano (BIC) para guiar una regla de cribado de Modelos de Mezcla Gaussiana (GMM). El servidor ajusta tanto un GMM de un componente como uno de dos componentes diagonales a las firmas de clientes estandarizadas:

Si el modelo de un componente es preferido (indicando una población homogénea), todos los clientes son retenidos.
Si el modelo de dos componentes es preferido, los clientes se particionan en dos grupos. El grupo con la mediana de desviación más baja (más cercano a la referencia histórica) se retiene para la agregación, mientras que el grupo de alta desviación se descarta.
Este proceso no requiere conocimiento previo de la fracción de clientes maliciosos, no requiere datos etiquetados, ni conjuntos de datos de un servidor de confianza.

4. Agregación:
Tras el cribado, las actualizaciones de todo el modelo retenidas se agregan utilizando reglas de muestreo ponderadas estándar (por ejemplo, FedAvg) u otros métodos de agregación de FL compatibles. El cribado no añade sobrecarga de comunicación, ya que las firmas se extraen en el lado del servidor a partir de los modelos devueltos.

Contribuciones Clave

Representación Compacta de la Actualización del Modelo: Introducción de una firma de actualización de capa de normalización que reduce la representación del cribado de la dimensionalidad de todo el modelo a un subconjunto pequeño y consciente de la arquitectura.
Cribado No Supervisado Basado en Historial: Desarrollo de una regla de retención en el servidor que construye una referencia robusta entre clientes a partir de firmas observadas, combinando la estandarización de mediana/MAD con el modelado de mezclas guiado por BIC. Esto elimina la necesidad de ataques etiquetados, datos de confianza o detectores auxiliares.
Evaluación de Arquitecturas Cruzadas: Evaluación exhaustiva en modelos de estilo GPT, BERT y LLaMA entrenados desde cero con 200 clientes bajo particiones de datos IID y no-IID.

Resultados Experimentales

Los autores evaluaron FedLNS frente a seis líneas base (FedAvg, Norm-Bound, Median, Trimmed Mean, Multi-Krum, FLAME) bajo manipulación de objetivos que afectaba hasta al 40% de la población de clientes.

Reducción de Perplejidad: Bajo una población maliciosa del 40%, FedLNS logró la menor perplejidad de prueba en las tres arquitecturas y ambos tipos de partición de datos.
- IID: Reducciones de 11.59% (GPT), 3.88% (BERT) y 4.98% (LLaMA) en comparación con la línea base más fuerte.
- No-IID: Reducciones de 18.57% (GPT), 10.05% (BERT) y 5.67% (LLaMA) en comparación con la línea base más fuerte.
Entropía Semántica: FedLNS también logró la menor entropía semántica a nivel de token, lo que indica una reducción de la incertidumbre predictiva. Las reducciones máximas alcanzaron un 6.50% en el entorno BERT no-IID.
Robustez ante la Intensidad del Ataque: A medida que la fracción maliciosa aumentaba del 0% al 40%, FedLNS mostró una degradación limitada en la perplejidad (un aumento del 2.82%) en comparación con los aumentos significativos en las líneas base (por ejemplo, FedAvg aumentó un 27.97%).
Cobertura del Banco: Los experimentos mostraron que aumentar la cobertura de activación (el número de clientes requeridos antes de comenzar el cribado) generalmente mejoró el rendimiento temprano del entrenamiento, observándose mejoras monotónicas en la perplejidad a medida que aumentaba la cobertura.

Significación y Reivindicaciones

El artículo afirma que FedLNS aborda las limitaciones de escalabilidad y dependencia de datos de las defensas de FL existentes para LLMs. Al aprovechar las firmas de las capas de normalización, el método proporciona un mecanismo de cribado modular, ligero y no supervisado que no depende de:

Datos brutos del cliente o conjuntos de datos de un servidor de confianza.
Actualizaciones maliciosas etiquetadas.
Fracciones de clientes maliciosos predefinidas.
Detectores entrenados por separado o modelos globales auxiliares.

Los autores posicionan a FedLNS como una solución práctica para mejorar la robustez del modelo global y reducir la incertidumbre predictiva en el entrenamiento de LLMs federados, mitigando específicamente los riesgos derivados de la generación semánticamente inconsistente o con alucinaciones causada por señales de entrenamiento corruptas. El análisis teórico respalda el método al acotar el error de cribado y caracterizar la convergencia bajo agregación con cribado, demostrando que las actualizaciones retenidas aproximan la dirección del gradiente global benigno.