💬 NLP

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

Este artículo presenta Hidden Decoding, un nuevo método de escalado que mejora los Grandes Modelos de Lenguaje al expandir la computación de tokens a lo largo de la dimensión de la longitud de la secuencia mediante la factorización de flujo, permitiendo ganancias significativas de rendimiento en escalas de frontera sin modificar la arquitectura fija del Transformer ni incurrir en costos de entrenamiento prohibitivos.

Autores originales: Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Sh

Publicado 2026-07-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Shi, Jing Lei, Junjie Zhang, Laiyi Li, Le Tian, Linhao Zhang, Miao Fan, Sijun Zhang, Wei Jia, Weiwei Shi, Wenhan Li, Wentao Zhao, Wenteng Liang, Xiao Zhou, Xiaojin Zhou, Xihuai Wang, Xinyu Gao, Xuanliang Wang, Xuyang Ao, Yang Yu, Yangxiu You, Yinuo Zhao, Yufei Kuang, Yufei Wang, Yuan Liu, Yuan Liu, Yuwen Chen, Zhencong Tian, Zhongyin Zhao, Zilin Yu, Zitao Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un cerebro de robot súper inteligente (un Modelo de Lenguaje Grande) que ya es bastante increíble. Normalmente, para hacerlo aún más inteligente, los científicos intentan hacer el cerebro más grande: añadiendo más capas, más neuronas, más de todo. Pero eso es como intentar construir un rascacielos encima de otro rascacielos: cuesta una fortuna, toma una eternidad y, a veces, la cuadrilla de construcción (las computadoras de entrenamiento) simplemente no puede manejar el tamaño.

El equipo de IA de WeChat se hizo una pregunta diferente: ¿Qué pasaría si mantenemos el cerebro exactamente del mismo tamaño, pero le damos más tiempo para pensar en cada palabra?

El problema con el "Bucle" (Looping)

Algunos investigadores intentaron resolver esto haciendo que el robot "recorra en bucle" su pensamiento. Imagina a un estudiante leyendo una oración, luego leyéndola de nuevo, luego otra vez, usando las mismas células cerebrales una y otra vez para obtener una mejor respuesta. Esto se llama un modelo "en bucle" o "recurrente".

Pero aquí está el truco: cuando intentas entrenar a los robots más grandes (aquellos con cientos de miles de millones de parámetros), esta idea del bucle rompe la línea de ensamblaje. Las computadoras que entrenan estos modelos trabajan en una tubería, donde cada parte del cerebro hace su trabajo una vez y pasa el testigo. Si haces que el robot se detenga y vuelva a leer la misma oración, la línea entera se estanca, y las costosas computadoras se quedan inactivas. Es como una cinta transportadora de una fábrica que se detiene constantemente para dejar que un trabajador vuelva a hacer el mismo tornillo; la fábrica se paraliza.

La solución: "Decodificación Oculta" (La Línea de Ensamblaje Secreta)

El equipo de WeChat ideó un truco ingenioso llamado Decodificación Oculta (Hidden Decoding). En lugar de hacer que el robot lea la misma palabra una y otra vez en un bucle, hacen que el robot lea la palabra varias veces a la vez, pero en carriles secretos paralelos.

Piensa en ello como un equipo de carreras de autos. En lugar de que un auto dé tres vueltas a la pista para obtener el mejor tiempo de vuelta, envían cuatro autos idénticos (flujos) por la pista simultáneamente.

La Configuración: Cuando el robot ve una palabra (como "manzana"), no solo la convierte en un código. La convierte en cuatro códigos diferentes, cada uno yendo a su propio carril secreto.
El Trabajo Secreto: Estos cuatro carriles pasan por las capas del cerebro. Los tres primeros carriles son "ocultos". Ellos hacen todo el trabajo pesado, el pensamiento y el razonamiento, pero no se les permite decir la respuesta todavía. Son como el equipo de lluvia de ideas en la sala de atrás.
La Palabra Final: Solo el cuarto carril (el flujo final) tiene permitido gritar la siguiente palabra. El cerebro solo es evaluado por esta respuesta final.
La Memoria: Crucialmente, el cerebro recuerda lo que pensaron los tres primeros carriles. Conserva sus notas (llamadas "cachés de Clave-Valor") para que la siguiente palabra pueda leer las notas de lluvia de ideas de la palabra anterior.

De esta manera, el robot obtiene cuatro veces el poder de pensamiento para cada palabra, pero no necesita construir un cerebro más grande ni detener la línea de ensamblaje. Simplemente procesa una secuencia de datos más larga de un solo golpe.

Haciéndolo Asequible: El Truco de "Factorización de Flujo"

Podrías pensar: "Espera, si tengo cuatro carriles hablando entre sí, ¿no se volverá la matemática increíblemente complicada?". Si cada carril intentara hablar con todos los demás en cada paso, el costo explotaría (¡subiría 16 veces!).

Para solucionar esto, el equipo utilizó un método llamado Atención Factorizada por Flujo (Stream-Factorized Attention).

La mayor parte del tiempo: Los carriles se mantienen en sus propias burbujas. El Carril 1 habla con el Carril 1, el Carril 2 con el Carril 2. No se molestan entre sí.
A veces: Solo unas pocas capas específicas permiten que los carriles intercambien notas y mezclen sus ideas.

Esto mantiene el costo bajo. En lugar de que el costo aumente 16 veces, solo aumenta aproximadamente de 4.4 a 5.1 veces (lo cual es cercano al aumento de 4x en los carriles). Esto hace posible entrenar estos modelos supergrandes sin romper el banco.

¿Funcionó?

El equipo probó esto en dos modelos masivos: uno con 80 mil millones de parámetros y uno gigante de 617 mil millones. No cambiaron el tamaño del cerebro; simplemente activaron el "modo de 4 carriles".

Los Resultados: Los modelos se volvieron más inteligentes. En pruebas difíciles de matemáticas y ciencia, el modelo de 617 mil millones mejoró su puntuación en la prueba "GPQA Diamond" de 89.1 a 91.2. En la prueba de física "PHYBench", pasó de 75.3 a 76.3.
La Tendencia: También probaron con 2 carriles, 4 carriles y 8 carriles. A medida que añadían más carriles, las puntuaciones seguían subiendo. Esto sugiere que añadir más "carriles de pensamiento" es una forma real de hacer que los modelos sean más inteligentes sin reconstruirlos.

Lo que Descartaron

El equipo fue cuidadoso al verificar si esto era solo una casualidad. Probaron otras formas de usar los carriles adicionales:

Forzar a cada carril a adivinar: Si obligaban a los tres primeros carriles a intentar predecir la respuesta también (en lugar de solo al último), el modelo en realidad se volvía peor.
Mezclar las respuestas: Si simplemente promediaban los pensamientos de los cuatro carriles, esto tampoco funcionaba tan bien como dejar que el carril final decidiera.
Compartir las notas: Si hacían que los carriles compartieran las mismas notas de memoria en lugar de mantener las suyas propias, el modelo era ligeramente menos preciso.

Esto demuestra que el ingrediente secreto es dejar que los primeros carriles tengan un pensamiento silencioso y privado y mantengan sus notas separadas, para que el carril final pueda usar esa sabiduría profunda y acumulada para tomar la mejor decisión.

La Conclusión

La Decodificación Oculta muestra que no siempre necesitas un cerebro más grande para ser más inteligente. A veces, solo necesitas darle al cerebro más tiempo para pensar en paralelo. Al convertir una sola palabra en una línea de ensamblaje secreta de pensamientos, el equipo de WeChat encontró una manera de aumentar la inteligencia de los modelos de escala de frontera sin el costo masivo de construir uno nuevo y más grande. Es una forma práctica y de ingeniería para exprimir más inteligencia de los modelos que ya tenemos.

Resumen Técnico: Decodificación Oculta a Escala

Declaración del Problema

El escalado de los Modelos de Lenguaje Extensos (LLMs) tradicionalmente se ha basado en ampliar la arquitectura Transformer, lo que requiere rondas costosas de preentrenamiento y aumenta los costos de servicio. Para modelos fundacionales que ya son robustos, la expansión adicional de la arquitectura suele ser poco práctica. Aunque trabajos recientes sugieren que asignar más computación por token (incluso con parámetros fijos) puede mejorar el razonamiento y la precisión, los enfoques existentes enfrentan obstáculos significativos de escalabilidad:

Transformers de Profundidad Recurrente (en Bucle/Looped): Estos reutilizan los mismos bloques Transformer múltiples veces por token para aumentar la computación. Sin embargo, son difíciles de escalar a modelos de frontera (por ejemplo, 100B+ de parámetros) porque la naturaleza iterativa de la computación en bucle rompe las suposiciones de paralelismo de pipeline utilizadas para entrenar los modelos más grandes, lo que genera tiempos de inactividad en la GPU.
Expansión de la Longitud de Secuencia: Alimentar entradas más largas es compatible con los pipelines de entrenamiento estándar, pero requiere un método para expandir la computación sin simplemente aumentar la ventana de contexto para el mismo token.

El artículo aborda el desafío de mejorar una arquitectura Transformer existente aumentando la computación por token sin alterar la profundidad o el ancho de la arquitectura, manteniendo la compatibilidad con el paralelismo de pipeline y la infraestructura de entrenamiento a gran escala.

Metodología: Decodificación Oculta (Hidden Decoding)

Los autores proponen la Decodificación Oculta, un método de escalado de la longitud de la secuencia aplicado durante el Preentrenamiento Continuo (CPT). El mecanismo central expande cada token de entrada en $n$ flujos paralelos procesados dentro de un único pase hacia adelante (forward pass).

1. Expansión de Tokens Multifluido

Expansión de Embedding: En lugar de una única tabla de embeddings de vocabulario, el modelo utiliza $n$ tablas de embeddings independientes ( $E_1, \dots, E_n$ ). Un token de entrada $x_i$ se expande en una secuencia de $n$ representaciones: $(E_1(x_i), E_2(x_i), \dots, E_n(x_i))$ .
Construcción de la Secuencia: Estas representaciones se entrelazan para formar una secuencia expandida de longitud $nL$ (donde $L$ es la longitud de la secuencia original).
Objetivo de Entrenamiento: Solo el flujo final ( $E_n$ ) es supervisado. El modelo predice el siguiente token $x_{i+1}$ basándose en el estado oculto de la posición del flujo final. Los primeros $n-1$ flujos actúan como "estados de computación latente" sin pérdida directa, lo que les permite refinar la representación internamente antes de la predicción final.

2. Atención Factorizada por Flujo (Stream-Factorized Attention)

Para evitar que el costo de atención escale cuadráticamente ( $O(n^2 L^2)$ ) con la longitud de la secuencia expandida, los autores introducen la Atención Factorizada por Flujo:

Capas Intra-Flujo: La mayoría de las capas restringen la atención a posiciones dentro del mismo flujo. Esto reduce la complejidad a aproximadamente $O(nL^2)$ .
Capas Cross-Stream (Entre Flujos): Un pequeño subconjunto de capas (por ejemplo, atención completa o capas de ventana deslizante del modelo base) permite la mezcla entre flujos.
Eficiencia: Este diseño mantiene el costo de atención cercano al lineal en $n$ en lugar de cuadrático, lo que hace que el método sea entrenable para modelos con más de 100B de parámetros.

3. Expansión Progresiva e Inicialización

Para gestionar el entrenamiento de grandes factores de expansión, los autores emplean una Expansión Progresiva (por ejemplo, $n=1 \to 2 \to 4 \to 8$ ). Utilizan una Inicialización de Replicación Cíclica, donde las nuevas tablas de embeddings se inicializan copiando las existentes (por ejemplo, $E_{n+k} \leftarrow E_k$ ). Esto permite que el modelo reproduzca el comportamiento de la configuración más pequeña inicialmente y luego se adapte suavemente.

4. Optimizaciones Arquitectónicas (Específicas de WeLM)

Para la arquitectura WeLM, los autores aprovechan un diseño de Espejo de KV (KV-Mirror). Dado que los flujos intermedios no portan pérdida y solo contribuyen con contexto vía Keys y Values (KV), las capas espejadas (que computan KV de capas anteriores) pueden omitir el procesamiento de los flujos intermedios por completo. Esto reduce aún más el tiempo de entrenamiento en aproximadamente un 20% en su configuración de modelo de 80B.

Principales Contribuciones

Escalado de Frontera con Arquitectura Fija: El artículo demuestra la primera aplicación exitosa del escalado de la longitud de la secuencia en la escala de 100B+ MoE. Entrenaron WeLM-HD4-80B y WeLM-HD4-617B (con $n=4$ ), logrando mejoras de rendimiento sobre sus contrapartes no-HD sin agrandar la arquitectura Transformer.
Expansión Eficiente de la Longitud de Secuencia: La introducción de la Atención Factorizada por Flujo permite el entrenamiento con secuencias expandidas a un costo que es casi lineal en $n$ (por ejemplo, una expansión de 4x cuesta ~4.4x–5.1x por lote, muy por debajo del costo de 16x de la atención densa).
Escalado del Factor de Expansión: Los experimentos muestran que aumentar el factor de expansión $n$ (de 2 a 8) mejora consistentemente la pérdida de modelado de lenguaje y la precisión en tareas posteriores, validando a $n$ como un control de escalado práctico para arquitecturas fijas.

Resultados Experimentales

Los autores evaluaron la Decodificación Oculta en modelos MoE de frontera y líneas base densas:

Rendimiento de Frontera (WeLM-HD4-80B & 617B):
- WeLM-HD4-80B superó a WeLM-80B en los nueve benchmarks compartidos, con ganancias significativas en SciCode (+4.2), PHYBench (+4.0) y FrontierMath (+3.2).
- WeLM-HD4-617B mejoró respecto a WeLM-617B en los nueve benchmarks, incluyendo GPQA Diamond (+2.1), HLE (+1.8) y FrontierMath (+2.0).
- Estos modelos fueron entrenados usando una receta de post-entrenamiento de solo SFT temprana para asegurar una comparación controlada, aislando el efecto de la Decodificación Oculta.
Escalado con el Factor de Expansión ( $n$ ):
- En el modelo denso Qwen3-8B-Base, aumentar $n$ de 1 a 8 resultó en mejoras monotónicas en la precisión promedio (por ejemplo, MMLU mejoró de 78.2 a 81.6).
- En el 80B MoE, aumentar $n$ de 1 a 8 elevó el MMLU de 85.0 a 87.5 y redujo el Pile-test BPB de 0.386 a 0.378.
Estudios de Ablación:
- Diseño de Supervisión: Supervisar solo el flujo final arrojó mejores resultados que aplicar la pérdida a todos los flujos o sumar las salidas de los flujos.
- Retención de KV: Retener cachés de KV separados para cada flujo (en lugar de compartirlos) mejoró la precisión, confirmando que los flujos intermedios proporcionan un contexto distinto y útil.
- Composición de la Atención: Los modelos con solo unas pocas capas de mezcla total entre flujos (por ejemplo, 4 de 27) funcionaron casi tan bien como los modelos con mezcla total en todas las capas, validando la eficiencia de la Atención Factorizada por Flujo.
Throughput de Inferencia:
- La Decodificación Oculta mantiene un alto throughput en escenarios de bajo batch y baja latencia (reteniendo el 83–88% del throughput de la línea base con batch size 1).
- El throughput disminuye en escenarios de contexto largo y alto batch (cayendo a ~27% con batch size 32 y 32k de entrada), reflejando el aumento de la computación por token.

Significancia y Reivindicaciones

El artículo afirma que la Decodificación Oculta proporciona un camino práctico y de ingeniería realista para escalar los LLMs de frontera cuando la expansión adicional de la arquitectura es demasiado costosa.

Compatibilidad: A diferencia de los Transformers en bucle, la Decodicción Oculta se ajusta naturalmente al paralelismo de pipeline y a los stacks de entrenamiento de modelos grandes estándar, porque la computación adicional se manifiesta como una secuencia más larga en lugar de una profundidad iterativa.
Efectividad: Es el primer método demostrado que logra escalar con éxito la expansión de la longitud de la secuencia al régimen de 100B+ MoE, produciendo mejoras medibles en benchmarks de razonamiento y conocimiento.
Escalabilidad: El método demuestra que el factor de expansión $n$ es un eje de escalado viable, ofreciendo ganancias de rendimiento que crecen con $n$ sin requerir nuevas arquitecturas de modelo o un reentrenamiento masivo de la arquitectura base.

Los autores posicionan este trabajo como una solución al "muro de escalado" que enfrentan los modelos fundacionales fuertes, ofreciendo una forma de extraer más capacidad de los parámetros existentes mediante computación latente eficiente.