💬 NLP

X-CoSD: Communication-Efficient Cross-Vocabulary Collaborative Speculative Decoding

Este artículo propone X-CoSD, un marco de decodificación especulativa colaborativa eficiente en comunicación y sin pérdidas que permite la inferencia de LLM distribuida entre dispositivos y servidores con vocabularios heterogéneos mediante la introducción de un remuestreo híbrido y una variante de remuestreo en el servidor con verificación en el dispositivo para acelerar significativamente la generación de tokens sin comprometer la calidad de la salida.

Autores originales: Jaeduk Lee, Wan Choi

Publicado 2026-09-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jaeduk Lee, Wan Choi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial moderna, las herramientas más poderosas son los modelos de lenguaje extensos, vastos cerebros digitales capaces de escribir código, componer historias y resolver problemas complejos. Sin embargo, estos modelos son pesados y lentos de ejecutar, requiriendo a menudo servidores masivos alejados del usuario. Para hacerlos más rápidos, los investigadores han desarrollado una técnica llamada decodificación especulativa. Imagine un equipo donde un asistente rápido y ligero redacta algunas frases, y un experto sénior las revisa instantáneamente. Si el asistente acierta, el equipo avanza rápidamente; si el asistente se equivoca, el experto corrige el error. Esta colaboración permite que el sistema genere texto mucho más rápido de lo que el experto podría trabajar solo. Sin embargo, para que este trabajo en equipo ocurra entre un teléfono y un servidor distante, deben hablar exactamente el mismo idioma, hasta la lista específica de palabras y símbolos que reconocen. En el mundo real, los diferentes dispositivos suelen utilizar diferentes diccionarios, lo que crea una barrera que anteriormente ha impedido que esta colaboración rápida funcione sin problemas.

Un equipo de investigadores de la Universidad Nacional de Seúl ha resuelto esta barrera con un nuevo marco de trabajo que llaman X-CoSD. Su trabajo aborda un cuello de botella específico: cuando el teléfono y el servidor no comparten el mismo vocabulario, el servidor debe enviar una enorme cantidad de datos de vuelta al teléfono cada vez que se comete un error, ralentizando todo el proceso hasta dejarlo a paso de tortuga. Los investigadores diseñaron un sistema que permite que el teléfono y el servidor colaboren incluso cuando sus diccionarios no coinciden, sin sacrificar la calidad de la escritura o la velocidad de la respuesta. Demostraron que su método preserva la inteligencia exacta del modelo de servidor potente mientras reduce drásticamente la cantidad de datos que deben viajar por internet.

El núcleo del problema reside en cómo estos modelos gestionan los errores. Cuando el servidor revisa el borrador del teléfono y rechaza un token, debe proporcionar una nueva opción correcta. En intentos previos para solucionar la discrepancia de vocabulario, el servidor enviaba su mapa de probabilidades completo —una lista de cada palabra posible que podría elegir a continuación— de vuelta al teléfono. Esto es como si un profesor le enviara al estudiante el libro de texto completo cada vez que el estudiante comete un solo error ortográfico. Es increíblemente ineficiente, especialmente en redes inalámbricas donde enviar grandes cantidades de datos requiere tiempo y energía. Los investigadores se dieron cuenta de que el teléfono solo necesita ver las palabras en las que tanto él como el servidor están de acuerdo, además de un poco de información adicional para manejar las palabras que solo el servidor conoce.

Para resolver esto, el equipo introdujo un método llamado remuestreo híbrido. En lugar de enviar el diccionario completo de posibilidades, el servidor envía solo las probabilidades de las palabras que aparecen tanto en el vocabulario del teléfono como en el del servidor. También envía un único número que representa cuánto peso tienen las palabras únicas del servidor. Con esta información limitada, el teléfono puede decidir matemáticamente si elige una palabra de la lista compartida o si pide al servidor que elija una palabra de su lista única. Si el teléfono elige una palabra de la lista compartida, esto sucede instantáneamente. Si el servidor necesita elegir una palabra única, envía solo esa palabra, en lugar de la lista completa de opciones. Este enfoque asegura que el resultado final sea perfectamente preciso, coincidiendo con lo que el potente modelo del servidor habría producido por sí solo, pero evita la pesada transferencia de datos que solía lastrar el sistema.

Los investigadores fueron un paso más allá con una versión mejorada llamada X-CoSD-E, que añade otra capa de eficiencia. En esta configuración, cuando ocurre un error, el servidor envía primero un pequeño puñado de candidatos de reemplazo al teléfono. El teléfono comprueba estas pocas opciones de inmediato. Si una de ellas es lo suficientemente buena, el proceso se detiene ahí y no se envía más información. El servidor solo envía la lista más grande de probabilidades si el teléfono rechaza todos y cada uno de los candidatos iniciales. Esta estrategia de "probar algunos primero" significa que, en la mayoría de los casos, el sistema evita la pesada transferencia de datos por completo. El equipo probó esto en diversas tareas, incluyendo la traducción automática, el resumen de artículos de noticias y la resolución de problemas matemáticos, utilizando diferentes modelos para el teléfono y el servidor.

Los resultados mostraron que este nuevo método funciona tan bien como el potente modelo del servidor trabajando solo, manteniendo la misma alta calidad de generación de texto. Al mismo tiempo, redujo significativamente la cantidad de datos enviados de ida y vuelta. En sus experimentos, el nuevo sistema generó tokens mucho más rápido que los métodos anteriores que intentaban gestionar diferentes vocabularios, particularmente cuando la conexión a internet era lenta o la transferencia de datos era limitada. Los investigadores descubrieron que, al gestionar cuidadosamente qué información se envía y cuándo, podían mantener la colaboración fluida. Este trabajo demuestra que la inteligencia artificial colaborativa de alta velocidad es posible incluso cuando los dispositivos involucrados no hablan exactamente el mismo idioma, abriendo la puerta a herramientas de IA más eficientes y accesibles en los dispositivos cotidianos.

Declaración del Problema

La Decodificación Especulativa Colaborativa (CoSD) es un marco de inferencia distribuida donde un Modelo de Lenguaje Pequeño (SLM) en el dispositivo redacta tokens candidatos y un Modelo de Lenguaje Grande (LLM) en el servidor los verifica. Aunque la CoSD acelera la generación y descarga la computación, los métodos existentes dependen de una suposición crítica: el SLM y el LLM deben compartir el mismo vocabulario.

En entornos heterogéneos prácticos (por ejemplo, diferentes familias o proveedores de modelos), los vocabularios suelen diferir. Una extensión directa de CoSD a estos entornos requiere transmitir la distribución de probabilidad completa del LLM del servidor sobre todo el vocabulario cada vez que un token es rechazado, para que el dispositivo pueda realizar un remuestreo exacto. Esto crea un cuello de botella de comunicación prohibitivo, particularmente en el enlace descendente (downlink), que domina la latencia de extremo a extremo en redes inalámbricas. Además, los métodos de CoSD con eficiencia de comunicación existentes (como U-HLM) a menudo sacrifican la calidad de la decodificación (con pérdida) o aún requieren una pesada transmisión de las distribuciones por el enlace ascendente (uplink).

Metodología

Los autores proponen X-CoSD, un marco diseñado para vocabularios heterogéneos de SLM–LLM que garantiza una decodificación sin pérdida (preservando la distribución del LLM del servidor) mientras minimiza la sobrecarga de comunicación. El marco se basa en dos mecanismos centrales:

1. Remuestreo Híbrido (HR)

X-CoSD se basa en el enfoque de Intersección a Nivel de Token (TLI), donde el SLM en el dispositivo redacta tokens solo a partir del vocabulario común ( $V_C$ ) compartido por ambos modelos. Cuando un token es rechazado, la distribución residual (la masa de probabilidad necesaria para el remuestreo) se descompone en dos regiones:

Región del Vocabulario Común ( $V_C$ ): Tokens presentes en ambos modelos.
Región Exclusiva del LLM ( $V_O$ ): Tokens presentes solo en el LLM del servidor.

En lugar de enviar la distribución completa, HR aprovecha la estructura de la distribución residual para realizar un remuestreo distribuido:

El servidor calcula la masa de probabilidad residual total para $V_C$ ( $\theta_c$ ) y $V_O$ ( $\theta_o$ ).
El servidor transmite únicamente las probabilidades del LLM para la región común ( $V_C$ ) y el escalar $\theta_o$ al dispositivo.
El dispositivo selecciona probabilísticamente una región de remuestreo:
- Si se selecciona $V_C$ , el dispositivo realiza un remuestreo local desde la región común.
- Si se selecciona $V_O$ , el dispositivo solicita al servidor que muestree desde la región exclusiva del LLM. El servidor envía entonces solo la cadena destokenizada (no la distribución completa) correspondiente al token muestreado.

Este enfoque asegura que nunca se transmita la distribución completa del LLM, reduciendo significativamente la carga del enlace descendente.

2. Remuestreo del Servidor con Verificación del Dispositivo (SR-DV)

Para reducir aún más la sobrecarga, los autores proponen X-CoSD-E, una variante mejorada que utiliza SR-DV.

Tras un rechazo, el servidor muestrea un pequeño número de candidatos de reemplazo ( $K$ ) de la distribución completa del LLM y envía solo estos tokens y sus probabilidades al dispositivo.
El dispositivo verifica estos candidatos utilizando una función de probabilidad de aceptación específica ( $\alpha(x)$ ) derivada en el artículo.
Si un candidato es aceptado, el proceso termina. Si todos los $K$ candidatos son rechazados (o después de $M$ iteraciones), el sistema recurre a HR para asegurar un remuestreo residual exacto.
Este enfoque probabilístico evita la transmisión de la distribución de la región común en la mayoría de los casos, reduciendo aún más la latencia.

Contribuciones Clave

Soporte de Vocabulario Cruzado: X-CoSD es el primer marco de CoSD diseñado explícitamente para vocabularios heterogéneos sin requerir el reentrenamiento de modelos o destilación de conocimiento en línea.
Garantía Sin Pérdida: El artículo proporciona pruebas teóricas (Teoremas 1 y 2) que demuestran que tanto X-CoSD como X-CoSD-E preservan la distribución exacta del LLM del servidor, asegurando una calidad de generación idéntica a la del LLM del servidor.
Eficiencia de Comunicación: Al restringir la transmisión de la distribución a la región del vocabulario común (HR) o reemplazarla con tokens candidatos (SR-DV), el marco reduce drásticamente la carga de comunicación del enlace descendente en comparación con las extensiones directas.
Mecanismo SR-DV: La introducción de un mecanismo de respaldo que prioriza el intercambio de candidatos de baja latencia sobre la transmisión de la distribución completa.

Resultados Experimentales

Los autores evaluaron X-CoSD y X-CoSD-E utilizando Vicuna-68M (SLM) con Llama-3.1-8B y Qwen2-7B (LLMs) en tareas que incluyen traducción automática (WMT-DeEn), resumen (XSum, CNN/DailyMail), razonamiento matemático (GSM8K) y preguntas y respuestas (MMLU).

Calidad de Generación: Tanto X-CoSD como X-CoSD-E lograron puntuaciones de calidad de generación comparables al LLM del servidor (puntuaciones relativas $\approx$ 1.0), confirmando la propiedad sin pérdida. En contraste, las líneas base con pérdida (Greedy/Target Resampling) y U-HLM mostraron una degradación significativa de la calidad.
Carga de Comunicación:
- Enlace Descendente (Downlink): X-CoSD redujo la carga del enlace descendente en órdenes de magnitud en comparación con la extensión "Directa" (que envía la distribución completa). X-CoSD-E redujo aún más esta carga al evitar la transmisión de la distribución en muchos casos de rechazo.
- Enlace Ascendente (Uplink): A diferencia de algunas líneas base que requieren subir las distribuciones del SLM, X-CoSD mantiene una baja carga del enlace ascendente, transmitiendo solo los IDs de los tokens y sus probabilidades.
Rendimiento (Throughput) y Latencia:
- X-CoSD y X-CoSD-E lograron un mayor rendimiento de tokens que el LLM del servidor por sí solo y superaron a la línea base "Directa", particularmente a medida que aumentaba el ancho de banda del enlace descendente.
- X-CoSD-E demostró la menor latencia por token entre los métodos sin pérdida, manteniendo un alto rendimiento incluso bajo tasas de transmisión de enlace descendente variables (100–300 Mbps).

Significancia

El artículo afirma que X-CoSD y X-CSD-E representan un paso práctico hacia el despliegue real de la inferencia colaborativa de LLM. Al abordar el problema del desajuste de vocabulario sin sacrificar la precisión de la decodificación, estos marcos permiten una colaboración eficiente y sin pérdidas entre diversos modelos en el dispositivo y potentes LLMs en el servidor. Esto es particularmente significativo en entornos inalámbricos donde el ancho de banda de comunicación es un cuello de botella principal, permitiendo una inferencia más rápida sin comprometer la calidad del texto generado.