Resumen Técnico: Inferencia Colaborativa de Borde-Nube Eficiente y Consciente de la Privacidad para Modelos de Lenguaje de Gran Escala

1. Declaración del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLMs) en dispositivos orientados al usuario presenta un trilema de latencia interactiva, recursos de cómputo locales limitados y exposición de la privacidad.

• Inferencia en la Nube Pura: Aunque ofrece un cómputo abundante, requiere la transmisión de prompts sin procesar, historiales de diálogo e identificadores de contexto largo a un servidor remoto, lo que crea riesgos significativos de privacidad y sobrecarga de comunicación.
• Inferencia en el Dispositivo Pura: A menudo es inviable para CPUs de consumo, GPUs móviles y dispositivos de borde integrados debido a la insuficiencia en el rendimiento de computación matricial, las restricciones de memoria y la necesidad de compatibilidad con tiempos de ejecución multiplataforma.
• Inferencia Dividida Existente: Las soluciones actuales carecen de un control granular sobre el caché KV, no logran adaptarse a capacidades específicas del dispositivo (CPU vs. GPU vs. Borde) y no proporcionan una estrategia combinada para la seguridad de la red y la protección contra la filtración de estados ocultos.

El artículo aborda la necesidad de un marco que equilibre estas restricciones manteniendo las decisiones sensibles a la privacidad y el cómputo ligero de forma local, mientras se delega el pesado proceso de decodificación a la nube bajo un control estricto del punto final (endpoint).

2. Metodología

El marco propuesto es un flujo de trabajo de inferencia colaborativa de borde-nube autorizado por el punto final. La filosofía central es que el punto final retiene la autoridad sobre el uso del caché KV y realiza cómputos ligeros, mientras que la nube ejecuta la inferencia de las capas del decodificador autorizadas y las proyecciones de alta dimensión.

2.1 Arquitectura del Sistema y Flujo de Trabajo

El sistema opera a través de un bucle colaborativo que involucra los siguientes pasos:

1. Preprocesamiento del Punto Final: El punto final realiza la tokenización de la entrada, el cómputo de embeddings y la preparación de características adaptables al dispositivo. Genera una tupla de control de inferencia $(flagCache, LCache, dtype, \ell)$, donde $flagCache$y$LCache$ autorizan explícitamente si y cuántas entradas del caché KV históricas puede utilizar la nube.
2. Preparación de Características Adaptables al Dispositivo:
   • CPU: Las características se particionan en bloques para transmisión (streaming), permitiendo que el punto final decripte y procese el bloque $k$ mientras recibe el bloque $k+1$.
   • GPU: Los módulos locales se segmentan por capa Transformer o cabeza de atención, utilizando paralelismo de tensores y empaquetamiento (batching) local.
   • Borde (Edge): Los módulos se exportan a ONNX y se ejecutan mediante ONNX Runtime con cuantización.
3. Inferencia del Decodificador en la Nube Autorizada: La nube recibe tensores de características cuantizados y encriptados junto con la tupla de control. Realiza la inferencia del decodificador utilizando únicamente las entradas de caché KV históricas autorizadas (si las hay) y las características de entrada actuales.
4. Proyección de Vocabulario Distribuida: Para evitar la transmisión de logits completos, la cabeza de proyección de vocabulario se divide a lo largo de la dimensión oculta:
   • El punto final computa un componente local de baja dimensión ($z_{end}$).
   • La nube computa el componente de alta dimensión ($z_{cloud}$).
   • Enmascaramiento Adaptativo al Lenguaje: Si la generación se restringe a un idioma específico (por ejemplo, solo chino), la nube solo devuelve los logits para ese subconjunto de vocabulario, reduciendo significativamente la carga útil de bajada.
5. Decodificación Especulativa y Verificación: El punto final utiliza un módulo de borrador (draft) ligero y local para proponer tokens futuros. La nube verifica estos borradores contra el modelo objetivo bajo la ventana de caché KV autorizada. Los tokens aceptados se comprometen al caché, reduciendo las rondas de interacción.
6. Fusión y Muestreo: El punto final fusiona los logits parciales ($z = z_{end} + z_{cloud}$), aplica el enmascaramiento de lenguaje (asignando $-\infty$ a los tokens no autorizados) y muestrea el siguiente token.

2.2 Mecanismos de Seguridad y Privacidad

• Protección de Transporte: Todas las cargas útiles de tensores y los logits recortados se cuantizan (por ejemplo, a 8 bits) y se protegen mediante encriptación AES-GCM en tránsito.
• LoRA Local en el Punto Final: Los módulos ligeros (modelos de borrador, proyecciones locales) se adaptan usando LoRA. Sus pesos permanecen estrictamente locales al punto final, evitando que la nube acceda al conjunto completo de parámetros de la adaptación local.
• Autorización Explícita de Caché: El punto final controla la exposición del contexto histórico. Una nueva sesión puede deshabilitar el reuso de caché, y las sesiones en curso pueden reducir la ventana autorizada basándose en los requisitos de privacidad.

3. Contribuciones Clave

El artículo describe cinco contribuciones primarias:

1. Flujo de Trabajo de Caché KV Controlado por el Punto Final: Un modelo de inferencia colaborativa donde el punto final autoriza explícitamente el uso de las entradas de caché KV históricas, evitando la transmisión de prompts sin procesar o identificadores de historial en texto plano.
2. Proyección de Vocabulario Distribuida: Un diseño que divide la cabeza del clasificador por dimensiones de estado oculto, permitiendo que el punto final compute un componente local y la nube compute un componente de alta dimensión sin devolver una distribución de logits completa (especialmente bajo generación restringida por idioma).
3. Decodificación Especulativa Integrada: Un mecanismo donde el punto final aloja un módulo de borrador ligero y la nube verifica los tokens, reduciendo las rondas de interacción y el trabajo de decodificación del lado de la nube sin exponer los parámetros completos del módulo del punto final.
4. Estrategia de Despliegue Heterogéneo: Un marco unificado que soporta CPU pura (transmisión por bloques), dispositivos equipados con GPU (segmentación/empaquetado de modelos) y dispositivos de borde integrados (ONNX Runtime cuantizado).
5. Estrategia de Protección Combinada: La integración de la encriptación de transporte AES-GCM, módulos LoRA locales y la autorización explícita de caché para mitigar tanto la exposición a nivel de comunicación como la de los estados ocultos.

4. Resultados Experimentales

Los autores implementaron un prototipo utilizando un Transformer de solo decodificador de clase 7B ($D=4096, V=150,000$) y lo evaluaron a través de perfiles de CPU, GPU y Borde bajo condiciones de red controladas (20ms RTT, 100 Mbps).

• Reducción de Latencia: El marco redujo la latencia por token hasta en un 46.1% en comparación con la inferencia dividida ingenua. Para una respuesta de 128 tokens, las latencias fueron 19.4s (CPU), 12.3s (GPU) y 21.0s (Borde).
• Eficiencia de Comunicación: Al utilizar la proyección de vocabulario dividida y el enmascaramiento adaptativo al lenguaje, el marco redujo las cargas útiles de bajada hasta en un 67.4% en comparación con la transferencia de logits completos (por ejemplo, el modo solo inglés redujo la carga útil a ~49 KB/token frente a ~146 KB para el vocabulario completo).
• Calidad de Generación: El marco mantuvo las métricas de nivel de tarea dentro de un margen estrecho respecto al modelo objetivo completo en la nube. El acuerdo de siguiente token fue del 98.6%, con una degradación insignificante en la perplejidad y las puntuaciones de referencia (MMLU, GSM8K, HumanEval) en comparación con el modelo completo en la nube.
• Ablación de Componentes: Eliminar la decodificación especulativa aumentó la latencia significativamente (por ejemplo, de 96ms a 126ms por token en GPU). Eliminar la compresión adaptativa al lenguaje aumentó drásticamente la carga útil de bajada.

5. Significancia y Reivindicaciones

El artículo posiciona este trabajo como una solución práctica a nivel de sistema para la tensión entre latencia, restricciones de cómputo y privacidad en el despliegue de LLMs.

• Practicidad sobre Garantías Formales: Los autores declaran explícitamente que el marco no es un sustituto para la computación multipartita segura, la encriptación homomórfica o la privacidad diferencial formal. En su lugar, ofrece una "capa de protección práctica a nivel de sistema" que reduce la exposición bajo un modelo de amenaza de "honesto pero curioso".
• Desplegabilidad: La significancia reside en su capacidad para soportar hardware heterogéneo (desde dispositivos de borde con recursos limitados hasta GPUs de alto nivel) manteniendo una calidad de generación cercana al modelo completo en la nube.
• Compromiso Privacidad-Rendimiento: El diseño demuestra que el control explícito del punto final sobre el uso del caché y la proyección de vocabulario puede reducir significativamente la exposición de datos (prompts sin procesar, logits completos, pesos locales) sin incurrir en penalizaciones de latencia prohibitivas.

El artículo concluye que esta arquitectura colaborativa proporciona una base para sistemas de inferencia de LLM desplegables y conscientes de la privacidad, ofreciendo una alternativa equilibrada a las soluciones puras de nube o puras de dispositivo.