🤖 machine learning

Fast and Expressive Multi-Byte Prediction with Probabilistic Circuits

Este artículo presenta MTPC, un marco basado en circuitos probabilísticos para la predicción de múltiples tokens que optimiza el equilibrio entre expresividad y latencia mediante la codificación de distribuciones conjuntas sobre tokens futuros, acelerando así significativamente la generación de LLM a nivel de bytes y subpalabras mientras preserva el rendimiento del modelo original.

Autores originales: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Publicado 2026-06-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando escribir una historia, pero tienes una regla muy estricta: solo puedes escribir una letra a la vez. Cada vez que escribes una letra, tienes que detenerte, pensar y preguntarle a tu cerebro súper inteligente (la IA) qué sigue. Así es como funcionan la mayoría de los Grandes Modelos de Lenguaje (LLM) actuales. Es preciso, pero increíblemente lento, especialmente si estás escribiendo en "bytes" (los bloques de construcción básicos del texto) en lugar de palabras completas, porque tienes que escribir miles de letras para redactar una sola oración.

Este artículo presenta un nuevo método llamado MTPC (Circuitos de Predicción Multi-Token) para resolver este problema de velocidad sin perder la calidad de la historia.

Así es como funciona, utilizando algunas analogías de la vida cotidiana:

1. El Problema: El "Juego de Adivinar" frente a la "Bola de Cristal"

Para acelerar las cosas, los investigadores probaron un truco llamado Predicción Multi-Token (MTP). En lugar de adivinar una letra, la IA intenta adivinar un bloque entero de letras a la vez (como adivinar las siguientes 8 letras de una palabra).

La Forma Antigua (Suposición de Independencia): Imagina que estás adivinando las siguientes 8 letras de una palabra, pero tratas cada letra como si no tuviera relación con las demás. Adivinas la primera letra, luego la segunda, luego la tercera, ignorando por completo que si la primera es "C", la segunda es poco probable que sea "Z".
- El Resultado: Esto es rápido, pero lleva al sinsentido. Podrías obtener "Cretoria" en lugar de "Pretoria" o "Craporia" porque el modelo no se dio cuenta de que esas letras deberían encajar entre sí. Es como intentar construir una casa eligiendo ladrillos al azar sin comprobar si encajan.
La Nueva Forma (MTPC): Los autores dicen: "Dejemos de adivinar letras de forma aislada. Vamos a adivinar todo el bloque como un grupo conectado". Utilizan una herramienta matemática llamada Circuito Probabilístico.
- La Analogía: Piensa en la forma antigua como una fila de personas pasándose una nota, donde cada uno susurra una palabra al azar. La nueva forma es como un director dirigiendo una orquesta. El director (el circuito) sabe que si el primer instrumento toca un acorde de Do mayor, los siguientes instrumentos deben tocar notas que encajen con ese acorde. Entiende las dependencias entre las letras.

2. El Kit de Herramientas: El "Arquitecto de Circuitos"

El artículo propone un marco flexible (MTPC) que te permite elegir qué tan "conectadas" deben estar las letras. Ofrecen diferentes "arquitecturas" (formas de circuitos) para equilibrar velocidad e inteligencia:

FF (Totalmente Factorizado): El modo "Adivinanza Aleatoria". Rápido, pero torpe. (Los miembros de la orquesta tocan solos).
CP (Canónica Policíaca): Un "Adivinanza de Grupo". Adivinan algunos temas principales y construyen las letras alrededor de ellos. Un poco más inteligente.
HMM (Modelo Oculto de Markov): Una "Reacción en Cadena". La primera letra influye en la segunda, que influye en la tercera, y así sucesivamente. Esto es muy inteligente pero lento, porque tienes que esperar a que una termine antes de empezar la siguiente.
BTree (Árbol Binario): El "Huddle de Equipo" (reunión de equipo). Este es la estrella del artículo. Imagina dividir las 8 letras en dos grupos de 4. El modelo adivina el primer grupo y el segundo grupo al mismo tiempo, pero están vinculados por un "líder de equipo" (una variable oculta) que asegura que ambos coincidan en el tema general.
- Por qué es genial: Obtiene la inteligencia de la "Reacción en Cadena" pero la velocidad de la "Adivinanza Aleatoria" porque hace dos cosas a la vez.

3. La Red de Seguridad: "Decodificación Especulativa"

Podrías preocuparte: "Si la IA adivina un bloque entero de una vez, ¿qué pasa si se equivoca?".

El artículo utiliza una técnica llamada Decodificación Especulativa.

La Analogía: Imagina a un corredor rápido (el Modelo de Borrador) y a un juez lento y ultra preciso (el Verificador).
1. El corredor rápido sale disparado y adivina las siguientes 8 letras.
2. El juez lento las revisa una por una.
3. Si el juez está de acuerdo con la suposición del corredor, ¡genial! Nos quedamos con esas letras.
4. Si el juez no está de acuerdo, nos detenemos justo ahí, descartamos las suposiciones erróneas y solo conservamos las que el juez aprobó.

Debido a que el Modelo de Borrador (MTPC) es tan bueno entendiendo cómo se conectan las letras (gracias al circuito BTree), el juez está de acuerdo con el corredor mucho más a menudo que antes. Esto significa que podemos conservar más de las suposiciones rápidas, acelerando todo el proceso.

4. Los Resultados: Acelerando sin Romper Nada

Los autores probaron esto en dos modelos de IA específicos:

EvaByte: Un modelo que ya escribe en bytes.
Llama 3.2 3B (Byte): Un modelo popular convertido para escribir en bytes.

Los Hallazgos:

Aceleración Masiva: Comparado con el método antiguo de "una letra a la vez", MTPC hizo que EvaByte fuera 5.15 veces más rápido y que Llama fuera 2.24 veces más rápido.
Mejor que el Truco de "Independencia": Incluso comparado con otros métodos rápidos que simplemente adivinan letras de forma independiente, MTPC fue 1.17 veces más rápido.
Sin Pérdida de Calidad: Crucialmente, debido a la "Red de Seguridad" (Decodificación Especulativa), la calidad del resultado final es exactamente la misma que si la IA lo hubiera escrito una letra a la vez. No pierdes precisión por ganar velocidad.

Resumen

El artículo presenta una nueva forma de hacer que la generación de texto de la IA sea más rápida, enseñándole a la IA a adivinar fragmentos de texto como un grupo conectado en lugar de letras aisladas. Al utilizar una estructura de "Árbol Binario" (BTree) inteligente para organizar estas suposiciones y un "Juez" para verificarlas, lograron un aumento de velocidad masivo (hasta 5 veces) mientras garantizan que el texto sea perfecto. Es como enseñarle a un mecanógrafo a escribir palabras completas de una vez, pero con una red de seguridad que detecta cualquier error tipográfico al instante.

Resumen Técnico: Predicción de Múltiples Bytes Rápida y Expresiva con Circuitos Probabilísticos

Planteamiento del Problema

Los modelos de lenguaje de gran escala (LLM) autorregresivos (AR) generan texto un token a la vez, lo que incurre en una alta latencia y costos energéticos. Este cuello de botella es particularmente severo en los LLM a nivel de bytes, que carecen de tokenizadores pero requieren significativamente más pasos de decodificación para generar la misma longitud de texto en comparación con los modelos de subpalabras. Si bien la Predicción de Múltiples Tokens (MTP) ofrece una solución al predecir una ventana de tokens futuros simultáneamente, los enfoques actuales enfrentan un compromiso crítico entre expresividad y eficiencia:

Supuestos de Independencia: Muchos métodos MTP actuales asumen que los tokens futuros son independientes (Totalmente Factorizados, FF). Aunque son eficientes, sacrifican la expresividad, lo que conduce a continuaciones de tipo "ensalada de bytes" (por ejemplo, combinaciones sin sentido de bytes válidos) y bajas tasas de aceptación durante la decodificación especulativa.
Cabezales Autorregresivos Superficiales: Otros métodos (por ejemplo, Hydra, EAGLE) mantienen la generación autorregresiva dentro de la ventana de predicción. Aunque son más expresivos, están más cerca de una decodificación AR acelerada que de un verdadero MTP conjunto y no exponen la estructura de dependencia como una elección de modelado ajustable.
Latencia vs. Expresividad: Existe una falta de un marco sistemático para navegar el espectro entre modelos totalmente factorizados y distribuciones conjuntas complejas sin incurrir en una latencia prohibitiva.

Metodología: Marco MTPC

Los autores proponen MTPC (Multi-Token Prediction Circuits), un marco que utiliza Circuitos Probabilísticos (PC) para parametrizar la distribución conjunta sobre los tokens futuros. MTPC trata la distribución conjunta como un grafo computacional tratable que codifica modelos de mezcla jerárquicos, permitiendo una exploración sistemática de variantes arquitectónicas.

Componentes Principales

Arquitecturas de Circuitos Probabilísticos: MTPC generaliza los métodos existentes e introduce nuevas estructuras para modelar las dependencias entre bytes futuros:
- MTPC-FF: Un modelo totalmente factorizado (equivalente al MTP independiente estándar) representado como un producto de unidades de entrada.
- MTPC-CP: Una descomposición Canónica de Producto (CP) que introduce una variable latente discreta para crear una mezcla de componentes factorizados, recuperando algunas dependencias.
- MTPC-HMM: Una parametrización de Modelo Oculto de Márkov (HMM) utilizando una secuencia de variables latentes para capturar dependencias distantes mediante matrices de transición dependientes del tiempo.
- MTPC-BTree: Una novedosa factorización de Árbol Binario (Binary Tree) que codifica una jerarquía de variables latentes. Esta estructura permite el muestreo paralelo de tokens y variables latentes, abordando los problemas de asimetría y latencia encontrados en los HMM.
Parametrización con LLMs:
- El marco utiliza un esqueleto (backbone) de LLM (con adaptadores LoRA opcionales) para extraer características contextuales del historial de entrada.
- Un cabezal de red neuronal mapea estas características a los parámetros del PC (distribuciones de unidades de entrada y pesos de unidades de suma), creando un circuito condicional neuronal.
- Esto permite que el modelo abstraiga estructuras de circuitos específicas (FF, CP, HMM, BTree) y se concentre en aprender los parámetros tensorializados.
Integración de Decodificación Especulativa:
- MTPC emplea decodificación auto-especulativa, donde el modelo de borrador (cabezal MTPC) y el verificador (LLM AR) comparten el mismo esqueleto.
- El modelo de borrador muestrea una ventana de tokens en paralelo desde el PC.
- El verificador acepta o rechaza estos tokens en paralelo.
- Garantías: El marco garantiza que la decodificación codiciosa (greedy) produce resultados idénticos al LLM AR objetivo, y que el muestreo coincide con el objetivo en expectativa, asegurando que no hay pérdida en la calidad de la generación.
Dimensiones de Compromiso (Trade-off):
- Arquitectura del Circuito: Elegir entre FF, CP, HMM o BTree para equilibrar el modelado de dependencias y el costo computacional.
- Compartición de Capas: Ajustar el número de capas LoRA en el modelo de borrador (de 0 a 4 capas) para controlar la divergencia entre las representaciones del borrador y del verificador, ajustando aún más el compromiso entre expresividad y latencia.

Contribuciones Clave

Marco MTPC: Introducción de un marco MTP rápido basado en Circuitos Probabilísticos que relaja los supuestos de independencia y generaliza los métodos de descomposición tensorial (como CP) en un marco de PC unificado.
Análisis Sistemático de Compromisos: Identificación rigurosa de los compromisos entre tokens aceptados (expresividad) y la latencia de generación. El artículo demuestra que el rendimiento óptimo (throughput) no siempre se logra con el modelo más expresivo (por ejemplo, HMM), sino con arquitecturas como BTree que ofrecen un mejor paralelismo.
Validación Empírica: Retroajuste de MTPC en dos LLM a nivel de bytes:
- EvaByte (6.5B): Un modelo a nivel de bytes preentrenado con capacidades MTP.
- Llama 3.2 3B (Byte): Una versión de bytes de un modelo de subpalabras popular, no preentrenado para MTP.

Resultados Experimentales

Los autores evaluaron MTPC en GPUs NVIDIA L40S y RTX 3090 utilizando el conjunto de datos Tulu 3.

Ganancias de Rendimiento (Throughput):
- EvaByte: MTPC logró una aceleración de 5.15× sobre la generación AR estándar y una aceleración de 1.17× sobre el MTP con supuestos de independencia (FF).
- Llama 3.2 3B: MTPC logró una aceleración de 2.24× sobre la generación AR y una aceleración de 1.17× sobre el MTP FF.
Desempeño de la Arquitectura:
- BTree vs. HMM: Aunque los HMM lograron altas tasas de aceptación, su naturaleza autorregresiva introdujo una alta latencia, resultando en un rendimiento general más bajo. Las arquitecturas BTree lograron el equilibrio óptimo, permitiendo el muestreo paralelo y alcanzando el mayor rendimiento, especialmente para tamaños de ventana grandes ( $n=16$ ).
- Capas LoRA: Agregar adaptadores LoRA al modelo de borrador aumentó la expresividad (tokens aceptados) pero también la latencia. La configuración óptima varió según el modelo: 1 capa LoRA fue óptima para EvaByte, mientras que 2 capas LoRA beneficiaron a Llama.
Tamaño de Ventana: Extender la ventana de predicción a $n=16$ impulsó significativamente el rendimiento para los circuitos expresivos (HMM, BTree) en comparación con $n=8$ , especialmente cuando se combinaba con adaptadores LoRA.

Significado y Reivindicaciones

El artículo afirma que MTPC proporciona una manera sistemática de navegar el espectro de variantes arquitectónicas de MTP, yendo más allá de la elección binaria entre la predicción independiente y los cabezales autorregresivos superficiales. Al aprovechar los Circuitos Probabilísticos, el marco permite modelar explícitamente las dependencias entre tokens manteniendo la tractabilidad.

Los autores enfatizan que estas ganancias de rendimiento se logran sin sacrificar la calidad de la generación, ya que el proceso de decodificación especulativa garantiza la alineación con el LLM AR objetivo. El trabajo sugiere que los LLM a nivel de bytes, que a menudo se ven obstaculizados por la sobrecarga computacional, pueden volverse más comunes a través de estas estrategias eficientes de predicción de múltiples bytes. El marco se presenta como una herramienta flexible para optimizar la eficiencia de los modelos de próxima generación a nivel de bytes, y el código y los modelos se ponen a disposición pública.