Resumen Técnico: Modelos de Protocolo Inextraíbles (UPMs)

1. Declaración del Problema

El artículo aborda los desafíos económicos y de seguridad del entrenamiento descentralizado para modelos fundacionales grandes. Si bien los sistemas descentralizados permiten agrupar recursos de computación distribuidos para entrenar modelos masivos, enfrentan un problema crítico de "apropiabilidad": si los pesos completos del modelo son accesibles para los participantes, los contribuyentes no pueden recuperar sus costos de entrenamiento porque el modelo puede ser extraído y utilizado fuera del protocolo.

Los enfoques descentralizados actuales (por ejemplo, Paralelismo de Datos o Paralelismo de Pipeline estándar) a menudo requieren que los participantes mantengan réplicas completas del modelo o permitan la reconstrucción de pesos completos con el tiempo. Esto conduce a la materialización de pesos, donde un atacante (o coalición) puede eventualmente acceder a todos los fragmentos del modelo en diferentes pasos de tiempo para reconstruir un modelo funcional y extraíble. El artículo argumenta que, para que el entrenamiento descentralizado sea económicamente viable, el modelo debe ser inextraíble, asegurando que ningún participante posea nunca el conjunto completo de pesos y que los pesos recopilados en diferentes momentos no puedan unirse para formar un modelo coherente.

2. Metodología: Modelos de Protocolo Inextraíbles (UPMs)

Los autores proponen los Modelos de Protocolo Inextraíbles (UPMs), un marco que aprovecha el Paralelismo de Pipeline (PP) para imponer la inextraibilidad de los pesos sin depender de primitivas criptográficas pesadas.

Mecanismo Central: Transformaciones Invertibles que Varían en el Tiempo

La innovación central es la inyección periódica de transformaciones aleatorias e invertibles en los límites entre las etapas del pipeline.

• Configuración: El modelo se fragmenta en $S$ etapas de pipeline secuenciales. Los participantes mantienen y procesan solo una etapa a la vez.
• Morfismo: En pasos de tiempo específicos, el protocolo introduce una función identidad entre etapas adyacentes $f_i$ y $f_{i+1}$, descompuesta en una transformación aleatoria $T$ y su inversa $T^{-1}$.
  • La transformación $T$ se pliega en los pesos de salida de la etapa $i$ ($V_i \leftarrow V_i T$).
  • La inversa $T^{-1}$ se pliega en los pesos de entrada de la etapa $i+1$ ($U_{i+1} \leftarrow T^{-1} U_{i+1}$).
• Naturaleza Efímera: Las transformaciones se descartan inmediatamente después del pliegue. Solo existen dentro de los pesos.
• Incompatibilidad: Si bien la función de red de extremo a extremo permanece matemáticamente idéntica en cualquier paso de tiempo único $t$, los pesos recopilados en diferentes pasos de tiempo ($t$ y $t'$) se vuelven incompatibles. Unir $f_i(t)$ con $f_{i+1}(t')$ falla porque el espacio de activación intermedio ha sido transformado por $T(t)$, pero la etapa subsiguiente espera el espacio transformado por $T(t')$. Reconstruir el modelo requiere adivinar la "matriz puente" de todas las transformaciones intermedias, lo cual es computacionalmente inviable.

Manejo de Componentes Arquitectónicos

El artículo detalla cómo aplicar estas transformaciones a diversos componentes de redes neuronales preservando la funcionalidad:

• Subfunciones Válidas: El método se aplica a subfunciones de la forma $g(X) = \Phi(XU)V$. Las transformaciones se aplican a $U$ y $V$.
• Conexiones Residuales: En los Transformers, las conexiones residuales imponen naturalmente la incompatibilidad total. La transformación aplicada a la conexión residual depende tanto de las transformaciones de entrada como de salida del límite, impidiendo que un atacante parta la etapa en conjuntos independientes de pesos.
• Capas de Normalización (RMSNorm): Dado que la normalización es no lineal, el pliegue estándar es difícil. Los autores proponen introducir una matriz de acumulación $Q$ en la capa de normalización y absorber los pesos de escalado en la capa lineal subsiguiente. Esto permite pliegue de transformaciones en $Q$ y los pesos lineales mientras se preserva la propiedad RMSNorm debido a la ortogonalidad de la $Q$ inicial.
• Clases de Transformación: Para garantizar la estabilidad numérica y la resistencia a ataques de fuerza bruta, los autores utilizan:
  • Matrices Ortogonales de Haar: Valores singulares unitarios, error numérico mínimo y aleatoriedad uniforme.
  • Matrices de Bajo Número de Condición: Matrices de la forma $UDV^T$ con valores singulares controlados para introducir perturbaciones de alta frecuencia mientras se acota el error de punto flotante.

Ajustes de Entrenamiento e Inferencia

• Entrenamiento: El marco requiere un manejo específico de los gradientes. Si los pesos se transforman como $W(T) = WT$, los gradientes se transforman como $G(T) = GT^{-T}$. Los autores utilizan el optimizador Muon, que depende únicamente del primer momento de los gradientes, permitiendo que los pasos de actualización permanezcan consistentes con el modelo no transformado al usar transformaciones ortogonales.
• Inferencia: Para mitigar la acumulación de errores de punto flotante por el pliegue repetido de transformaciones, el sistema almacena pesos de alta precisión (FP64) en disco. En cada paso de morfismo, las transformaciones se aplican a la copia de alta precisión, se convierten a baja precisión (por ejemplo, FP16/BF16) y se cargan en la VRAM de la GPU.

3. Contribuciones Clave

1. Introducción del Marco: La propuesta de UPMs, un marco de entrenamiento e inferencia que permite la prestación de servicios de modelos colaborativos sin permitir que ningún participante extraiga el conjunto completo de pesos.
2. Análisis Teórico: Un análisis exhaustivo de qué arquitecturas (Transformers, MLPs, RNNs) admiten UPMs, los requisitos para las transformaciones (aleatoriedad, invertibilidad, número de condición) y la prueba matemática de cómo estas transformaciones hacen incoherentes los ensamblajes entre diferentes tiempos.
3. Resistencia a Ataques:
   • Extracción Directa: Se demostró que la probabilidad de que un atacante acceda a todas las etapas dentro de una ventana de tiempo corta es negligible, especialmente con "incompatibilidad total" (conexiones residuales).
   • Ataques de Unión: Se mostró que resolver matrices puente a través de activaciones intermedias es impráctico debido a la necesidad de entradas idénticas en diferentes pasos de tiempo, lo cual se defiende fácilmente mediante verificaciones de distribución.
   • Ataques Basados en Aprendizaje: Se demostró empíricamente que el ajuste fino de un modelo "unido" (pesos de diferentes pasos de tiempo) requiere $\ge 60\%$ de los recursos de computación necesarios para entrenar el modelo desde cero, preservando la viabilidad económica del protocolo.
4. Validación Empírica: Experimentos extensos en los modelos Qwen-2.5-0.5B y Llama-3.2-1B.

4. Resultados

• Equivalencia Funcional: En Qwen-2.5-0.5B y Llama-3.2-1B, aplicar 10,000 pasos de morfismo con transformaciones ortogonales resultó en una degradación de rendimiento negligible ($\Delta PPL < 0.01$; deriva Jensen–Shannon $< 4 \times 10^{-5}$) en FP32. Con la solución de alta precisión, se mantuvo la estabilidad en FP16 y BF16.
• Sobrecarga:
  • Inferencia: Aplicar una transformación cada 30 segundos añade aproximadamente 3% de latencia, 0.1% de ancho de banda y 10% de sobrecarga de memoria de GPU.
  • Entrenamiento: La sobrecarga es mínima, añadiendo 1.6% de tiempo y <1% de memoria, ya que el paso hacia atrás domina los costos.
• Viabilidad del Ataque:
  • Unión: El ajuste fino de un modelo Llama 3.2-1B unido requirió aproximadamente 60% de los tokens necesarios para entrenar desde cero para alcanzar la misma perplejidad.
  • Ratio de Exclusión: Incluso con acceso a todos los pesos incompatibles, el ratio de exclusión (computación requerida para atacar vs. entrenar desde cero) permanece alto ($\ge 0.6$), haciendo que el ataque sea económicamente inviable para la mayoría de las coaliciones.

5. Significado y Afirmaciones

El artículo afirma que los UPMs resuelven la contradicción entre el entrenamiento colaborativo y el secreto de los pesos. Al vincular el valor del modelo al protocolo en lugar de a pesos estáticos, los UPMs hacen práctico incorporar mecanismos de incentivos programáticos en el entrenamiento descentralizado impulsado por la comunidad.

• Viabilidad Económica: El marco asegura que se mantenga la "exclusión" del modelo, permitiendo compensar a los contribuyentes por su computación sin el riesgo de que el modelo sea robado y utilizado libremente.
• Compatibilidad con Código Abierto: Los UPMs permiten que las arquitecturas de modelos, hiperparámetros y conjuntos de datos permanezcan de código abierto mientras se mantienen los pesos inextraíbles.
• Descentralización Sin Confianza: El sistema avanza hacia un entrenamiento totalmente sin confianza e inextraíble, posicionando a los UPMs como un pilar técnico para una IA abierta y descentralizada.

Los autores reconocen limitaciones, señalando que la seguridad depende de una mayoría honesta de participantes y que las evaluaciones actuales se limitan a simulaciones de una sola máquina, excluyendo ataques de canal lateral del mundo real (tiempo, caché). También notan que la imposibilidad de inspeccionar los pesos podría dificultar las evaluaciones de seguridad, sugiriendo que la supervisión de diversas partes interesadas es necesaria para mitigar esto.