💬 NLP

Scaling Embeddings Outperforms Scaling Experts in Language Models

Este trabajo demuestra que escalar las dimensiones de los *embeddings* puede ser más eficiente que escalar los expertos en arquitecturas MoE, presentando el modelo LongCat-Flash-Lite como prueba de que esta estrategia mejora el rendimiento y la eficiencia en tareas de codificación y agentes.

Autores originales: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Publicado 2026-02-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Dilema de la IA: ¿Más "Cerebros" o más "Diccionarios"?

Imagina que estás construyendo un robot súper inteligente. Para que sea brillante, tienes dos formas de gastar tu presupuesto de "memoria y capacidad":

La estrategia de los "Expertos" (MoE): Es como contratar a miles de especialistas. Si le preguntas de medicina, llama al doctor; si es de cocina, llama al chef. Esto es lo que hacen casi todos los modelos actuales (como GPT). El problema es que, a medida que contratas a más especialistas, el robot se vuelve lento, se confunde al decidir a quién llamar y gasta demasiado tiempo en "comunicaciones" internas.
La estrategia de los "Embeddings" (El enfoque de este papel): En lugar de contratar más especialistas, decides darle al robot un diccionario de conceptos infinitamente más profundo y detallado. No solo sabe qué es una "manzana", sino que tiene una conexión instantánea y ultra-detallada con "manzana roja crujiente en otoño".

El descubrimiento de este estudio es que, a veces, es mucho mejor darle al robot un diccionario gigante que contratar a mil especialistas más.

¿Cómo funciona su truco? (La analogía de las piezas de LEGO)

El equipo de Meituan inventó algo llamado "N-gram Embedding". Imaginalo así:

Normalmente, la IA lee palabra por palabra: "El", "gato", "duerme". Es como si solo viera piezas de LEGO sueltas.

Con su método, la IA no solo ve la pieza suelta, sino que tiene una "caja de memoria" que reconoce automáticamente grupos de piezas: "El gato", "gato duerme", "el gato duerme". Al reconocer estos "bloques" de información de antemano, la IA no tiene que esforzarse tanto en entender el contexto; el contexto ya viene "pegado" a la palabra. Es como si, en lugar de leer letra por letra, leyeras frases enteras de un solo vistazo.

Las 3 Reglas de Oro que descubrieron

Para que este "diccionario gigante" funcione y no arruine al robot, los investigadores descubrieron tres secretos:

No te pases de la raya: Si gastas todo tu dinero en el diccionario y te quedas sin dinero para los especialistas, el robot será un erudito que no sabe razonar. El consejo es: no uses más del 50% de tu presupuesto en el diccionario.
Evita las "palabras que chocan": Si tu diccionario es malo, dos conceptos distintos podrían terminar con la misma definición (como si "perro" y "avión" significaran lo mismo por error). Ellos aprendieron a diseñar el diccionario para que esto casi nunca pase.
Dale un "empujoncito" al inicio: Al principio, el diccionario es tan nuevo que la IA lo ignora. Tuvieron que aplicar una técnica de "amplificación" para que la información del diccionario sea lo suficientemente fuerte como para que el resto del cerebro la escuche.

El resultado: LongCat-Flash-Lite

Para demostrar que tenían razón, crearon un modelo llamado LongCat-Flash-Lite.

Es un modelo "híbrido" muy inteligente: tiene un tamaño enorme (68.5 mil millones de parámetros), pero es increíblemente rápido y ligero porque no tiene que activar todo su cerebro para responder.

¿En qué es bueno?
Es un campeón en tareas de programación (coding) y en ser un "agente" (un robot que puede usar herramientas, como buscar en internet o usar una calculadora). En estas tareas, donde la precisión de los detalles es vital, su "diccionario gigante" le da una ventaja aplastante sobre los modelos que solo usan "especialistas".

En resumen:

En lugar de intentar hacer un cerebro más complejo y lento añadiendo más neuronas de razonamiento, este estudio demuestra que hacer que la base del conocimiento (el lenguaje) sea mucho más rica y detallada es una forma más inteligente y rápida de crear una IA superpoderosa.

Resumen Técnico: El escalado de embeddings supera al escalado de expertos en modelos de lenguaje

El Problema: El límite del escalado de expertos (MoE)

Actualmente, la arquitectura de Mezcla de Expertos (MoE) es el estándar para escalar modelos de lenguaje (LLMs) de forma dispersa (sparse). Sin embargo, el equipo de Meituan identifica dos problemas críticos:

Rendimientos decrecientes: A medida que se aumentan los expertos, la ganancia marginal en rendimiento disminuye, acercándose a un punto de saturación de eficiencia.
Cuellos de botella de sistema: El aumento de expertos incrementa la sobrecarga de comunicación en entornos distribuidos y la presión sobre el ancho de banda de la memoria.

El estudio plantea una pregunta fundamental: ¿Existe una dimensión de escalado ortogonal a los expertos que sea más eficiente? Los autores proponen que la capa de embeddings es una dimensión inherentemente dispersa con una complejidad de búsqueda $O(1)$ que ha sido subutilizada.

Metodología: Capa de Embedding N-gram

Para aprovechar el potencial de los embeddings, los autores proponen la integración de una Capa de Embedding N-gram. En lugar de usar solo el token individual, el modelo utiliza una tabla de búsqueda que captura la semántica de secuencias de tokens (n-gramas).

Componentes clave de la arquitectura:

Mecanismo de N-gramas: Para un token $t_i$ , el embedding aumentado $e_i$ es un promedio de la tabla de base (1-grama) y tablas de n-gramas (2-gramas, 3-gramas, etc.) calculadas mediante una función de hash de rodamiento polinómico.
Sub-tablas y Proyección: Para mitigar las colisiones de hash, dividen cada tabla de n-gramas en $K$ sub-tablas con diferentes tamaños de vocabulario y aplican una matriz de proyección lineal para devolver el vector al espacio de dimensión $D$ .
Amplificación de Embedding: Descubrieron que la señal del embedding puede ser "ahogada" por la señal de la atención en el flujo residual. Para solucionar esto, implementaron técnicas de amplificación (como factores de escala $\sqrt{D}$ o LayerNorm) para asegurar que el embedding contribuya efectivamente al entrenamiento.

Contribuciones Clave

Análisis de Regímenes de Escalado: Identificaron que el escalado de embeddings es superior al de expertos en regímenes de alta dispersión (cuando el ratio de parámetros totales vs. activados es alto).
Principios de Diseño de Arquitectura:
- Presupuesto de parámetros: No se debe asignar más del 50% del presupuesto total de parámetros a los embeddings N-gram.
- Mitigación de colisiones: El tamaño del vocabulario de los n-gramas debe evitar ser un múltiplo entero del vocabulario base para prevenir colisiones de hash.
- Ancho vs. Profundidad: El escalado de embeddings es más efectivo en modelos más anchos (mayor dimensión oculta) que en modelos más profundos.
Optimización de Inferencia: Introdujeron un N-gram Cache (similar al KV Cache) y kernels de CUDA personalizados para reducir la latencia de búsqueda, permitiendo que la reducción de parámetros activos se traduzca en una velocidad real de inferencia.

Resultados: LongCat-Flash-Lite

Los autores presentan su modelo, LongCat-Flash-Lite, un modelo de 68.5B de parámetros totales con solo 2.9B a 4.5B de parámetros activados. Un dato impresionante es que asignaron más de 30B de parámetros a los embeddings.

Resultados principales:

Superación de la línea base: Supera consistentemente a modelos MoE con la misma cantidad de parámetros activados (LongCat-Flash-Lite-Vanilla).
Dominio de Agentes y Código: El modelo muestra un rendimiento excepcional en tareas de agentes (uso de herramientas) y programación (coding). En el benchmark SWE-Bench (resolución de problemas de ingeniería de software), alcanzó un 54.4%, superando significativamente a modelos como Gemini 2.5 Flash-Lite y Qwen3.
Razonamiento Matemático: Demostró una capacidad superior en pruebas de alta dificultad como AIME24 y AIME25.

Significancia y Conclusión

Este trabajo cambia el paradigma de cómo se deben construir los modelos de lenguaje masivos. Sugiere que, en lugar de simplemente añadir más expertos (que consume mucha computación y comunicación), los desarrolladores deberían invertir masivamente en la riqueza de la capa de embeddings.

La capacidad de capturar contexto local mediante n-gramas, combinada con una gestión eficiente de la memoria, permite crear modelos que son extremadamente inteligentes pero computacionalmente ligeros, lo que es crucial para la próxima generación de aplicaciones de IA en dispositivos y servicios de alta escala.