💬 NLP

Breaking the Autoregressive Chain: Hyper-Parallel Decoding for Efficient LLM-Based Attribute Value Extraction

Este artículo presenta la Decodificación Hiperparalela (HPD), un algoritmo novedoso que acelera la inferencia de modelos de lenguaje grandes para tareas como la Extracción de Valores de Atributos aprovechando la independencia condicional de las secuencias de salida para permitir la generación de tokens paralela y fuera de orden, reduciendo así el tiempo y los costos de inferencia hasta en 13,8 veces sin comprometer la calidad.

Autores originales: Theodore Glavas, Nikhita Vedula, Dushyanta Dhyani, Yilun Zhu, Shervin Malmasi

Publicado 2026-04-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Theodore Glavas, Nikhita Vedula, Dushyanta Dhyani, Yilun Zhu, Shervin Malmasi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un bibliotecario altamente cualificado (la IA) encargado de rellenar una pila masiva de tarjetas de producto. Cada tarjeta tiene una lista de campos en blanco que debes completar, como "Tamaño de pantalla", "Tipo de pantalla" y "Resolución".

La forma antigua (Decodificación autoregresiva):
Tradicionalmente, el bibliotecario las rellena una por una, estrictamente de arriba a abajo. Debe terminar de escribir "Tamaño de pantalla" antes de poder siquiera empezar a pensar en "Resolución". Aunque "Tamaño de pantalla" no tiene nada que ver con "Resolución", el bibliotecario se ve obligado a esperar a que la primera tarea se complete antes de comenzar la siguiente. Es como una carretera de un solo carril donde cada coche debe esperar a que el que va delante termine antes de moverse. Esto es lento y costoso porque el bibliotecario trabaja de forma secuencial.

La forma nueva (Decodificación hiperparalela o HPD):
El artículo introduce un truco ingenioso llamado Decodificación Hiperparalela (HPD). Los autores se dieron cuenta de que, para tareas como esta, las respuestas son en realidad independientes. Conocer el tamaño de la pantalla no cambia la resolución. ¿Entonces, por qué esperar?

La HPD permite al bibliotecario trabajar en todos los campos en blanco al mismo tiempo.

Así es como logran este truco de magia sin romper el cerebro del bibliotecario (el modelo de IA):

Los huecos "falsos": El bibliotecario está entrenado para observar la posición de las palabras y entender el orden. La HPD engaña al bibliotecario creando "huecos falsos" en la oración. Imagina que el bibliotecario ve una lista donde la primera respuesta está en la posición 1, pero la segunda respuesta se salta mágicamente a la posición 10, y la tercera a la posición 20.
Rellenar los huecos: Como el bibliotecario piensa que estas respuestas están muy separadas en la oración, no importa que las esté escribiendo todas simultáneamente. Puede generar la primera letra de "Tamaño de pantalla", la primera letra de "Resolución" y la primera letra de "Tipo de pantalla" todas en el mismo instante.
La cadena de montaje: En el siguiente momento, rellena la segunda letra de las tres respuestas a la vez. Sigue haciendo esto hasta que todos los campos estén completos.

El bono de "apilamiento":
El artículo también menciona un segundo truco llamado Apilamiento de documentos. Imagina que, en lugar de rellenar una tarjeta, se le da al bibliotecario una pila de 10 tarjetas y se le dice que rellene los mismos campos para todas ellas a la vez. La HPD combina esto con el truco de los "huecos falsos". Ahora, el bibliotecario no solo está rellenando 3 campos en una tarjeta; está rellenando 3 campos en 10 tarjetas diferentes simultáneamente. Es como una cadena de montaje de fábrica que de repente duplica su velocidad al procesar múltiples productos en paralelo.

Los resultados:
El artículo probó esto con datos reales de comercio electrónico (como especificaciones de televisores). Descubrieron que:

Velocidad: Podían procesar hasta 13,8 veces más rápido que el método antiguo.
Costo: Como es mucho más rápido, cuesta hasta 13,8 veces menos ejecutarlo.
Calidad: Las respuestas eran igual de precisas que el método antiguo y lento. En algunos casos, incluso fueron ligeramente mejores.

En resumen:
El artículo no inventa un nuevo bibliotecario; solo inventa una nueva forma de organizar el escritorio. Al reorganizar los "IDs de posición" (los números de asiento) y usar una máscara especial para decirle al bibliotecario qué palabras observar, rompieron la regla que dice "debes hacer una cosa a la vez". Esto convierte una carretera lenta de un solo carril en una autopista de alta velocidad con múltiples carriles, ahorrando enormes cantidades de tiempo y dinero a las empresas que necesitan extraer datos de millones de descripciones de productos.

Nota importante: Los autores especifican que esto funciona para tareas donde las respuestas son independientes (como los atributos de los productos). No afirman que esto funcione para tareas donde la respuesta a una pregunta depende en gran medida de la respuesta a la anterior (como escribir una historia compleja o resolver un problema matemático paso a paso).

1. Planteamiento del Problema

La Extracción de Valores de Atributo (AVE) es una sub-tarea crítica en la Extracción de Información (EI), particularmente en el comercio electrónico, donde los modelos deben extraer múltiples valores independientes (por ejemplo, Tamaño de Pantalla, Resolución, Soporte HDR) de un único documento de producto no estructurado.

El Cuello de Botella: Los Modelos de Lenguaje Grandes (LLM) estándar utilizan decodificación autoregresiva, generando tokens secuencialmente ( $t=1, 2, \dots$ ). Esto crea una dependencia donde la generación del $n$ -ésimo valor de atributo depende de la finalización del $(n-1)$ -ésimo valor.
La Ineficiencia: Esta naturaleza secuencial impide la paralelización, lo que conduce a una alta latencia de inferencia y costos prohibitivos al procesar conjuntos de datos masivos de forma offline.
La Oportunidad: En las tareas de AVE, la extracción de diferentes valores de atributo es condicionalmente independiente dado el contexto del documento de entrada. El valor de "Tamaño de Pantalla" teóricamente no requiere que se conozca primero el valor de "Resolución". Sin embargo, la generación autoregresiva estándar impone una cadena de dependencias artificial que limita el rendimiento.

2. Metodología: Decodificación Hiper-Paralela (HPD)

Los autores proponen la Decodificación Hiper-Paralela (HPD), un algoritmo de inferencia novedoso que rompe la cadena autoregresiva para generar múltiples valores de atributo independientes simultáneamente dentro de un solo prompt.

Mecanismos Principales

Rompiendo la Cadena de Dependencia:
- HPD asume independencia condicional: $P(V_1, \dots, V_N | p) = \prod P(V_n | p)$ .
- En lugar de generar tokens $1 \to T$ secuencialmente, HPD genera el primer token de todos los $N$ valores en paralelo, luego el segundo token de todos los $N$ valores, y así sucesivamente.
- Esto reduce el número de pasos de inferencia de $T$ (total de tokens) a $K_{max}$ (longitud máxima de un solo valor).
Manipulación de IDs de Posición:
- Para habilitar la generación paralela dentro de un LLM estándar solo decodificador, HPD manipula los IDs de Posición.
- Inserción de Huecos: El prompt de entrada se construye con un "esqueleto" que contiene las claves de los atributos. Los IDs de posición se incrementan en un tamaño de hueco ( $K_{max}$ ) después de cada clave de atributo, creando "ranuras" para los valores.
- Memoria Desordenada: Los nuevos tokens se añaden al final de la secuencia en memoria (para mantener la continuidad de la caché de Clave-Valor) pero se les asignan IDs de posición que los colocan lógicamente en los huecos.
- Máscaras de Atención Personalizadas: Se aplica una máscara de atención causal modificada basada en los IDs de posición en lugar del orden de memoria. Esto asegura que, al generar el $k$ -ésimo token de un valor, el modelo no pueda "ver" los $k$ -ésimos tokens de otros valores (manteniendo la causalidad) pero sí pueda ver el prompt y los tokens anteriores de su propio valor.
Apilamiento de Documentos (Hiper-Paralelismo):
- HPD introduce una segunda dimensión de paralelismo apilando múltiples documentos ( $J$ ) dentro de un solo prompt.
- Dado que los valores entre diferentes documentos también son independientes, el sistema puede decodificar $J \times N$ tokens en un solo paso de inferencia.
Entrenamiento y Ajuste Fino:
- Compatibilidad Zero-Shot: HPD funciona directamente sobre modelos preentrenados sin cambios arquitectónicos.
- Estrategia de Ajuste Fino: Para abordar la discrepancia entre entrenamiento/prueba (donde los datos de entrenamiento son secuenciales pero la inferencia es paralela), los autores ajustan finamente los modelos utilizando una máscara de atención modificada que imita el patrón de inferencia de HPD. Esto permite que el modelo aprenda la distribución de atención específica requerida para la decodificación paralela.

3. Contribuciones Clave

Algoritmo Novel: Introducción de HPD, que permite la generación de hasta 96 tokens por prompt (mediante apilamiento de documentos y múltiples atributos) aprovechando memoria y cómputo compartidos entre secuencias independientes.
Eficiencia Plug-and-Play: HPD es compatible con técnicas existentes de reducción de costos (cuantización, destilación de conocimiento) y la inferencia por lotes estándar, sin requerir cambios en la arquitectura subyacente del LLM.
Generalización Teórica: Aunque diseñado para AVE, el método se basa en la suposición de independencia condicional, lo que lo hace teóricamente aplicable a cualquier tarea con estructuras de salida independientes.
Evaluación Exhaustiva: Pruebas extensas en tres benchmarks de comercio electrónico (OA-Mine, AE110k, Reseñas de Amazon 2023) a través de diversos tamaños de modelo (de 1.7B a 32B parámetros).

4. Resultados Experimentales

Los autores evaluaron HPD frente a la decodificación autoregresiva (AR) estándar y la Decodificación Especulativa.

Rendimiento y Velocidad:
- HPD logró una aceleración de hasta 13.8X en el tiempo de inferencia en comparación con la decodificación AR.
- En el conjunto de datos de Reseñas de Amazon, HPD logró un aumento de rendimiento de 10.78X sobre AR, superando significativamente a la Decodificación Especulativa (que solo logró una aceleración de ~2X).
Reducción de Costos:
- Los costos de inferencia se redujeron hasta en 13.8X (por ejemplo, de 7.74 $a 0.89$ por cada 1k productos para Qwen3-32B en Reseñas de Amazon).
- Extrapolando a un corpus de 500 millones de documentos, HPD podría ahorrar aproximadamente 597,000 $ en comparación con AR y 486,000 $ en comparación con GPT-4.1.
Calidad de Salida:
- Sin Degradación de Calidad: HPD mantuvo puntuaciones F1 de vanguardia. En algunos casos (por ejemplo, AE110k), los modelos HPD ajustados finamente superaron a los baselines AR en ~4.5%.
- Evaluación Humana: Pruebas humanas a ciegas en Reseñas de Amazon confirmaron que las salidas de HPD fueron preferidas o iguales a las salidas de AR y GPT-4.1.

5. Significado e Impacto

Resolviendo el Cuello de Botella Offline: HPD se dirige específicamente al escenario de inferencia por lotes offline (común en tuberías de procesamiento de datos), donde el rendimiento y el costo son más críticos que la respuesta de baja latencia para una sola solicitud.
Utilización de Hardware: Al maximizar el número de tokens generados por paso de inferencia, HPD utiliza mejor la VRAM de la GPU y los recursos de cómputo, superando las limitaciones secuenciales de los Transformers estándar.
Viabilidad Económica: La drástica reducción en los costos de inferencia hace que la EI generativa de alta calidad sea viable para aplicaciones industriales a gran escala (por ejemplo, catalogar millones de productos) donde los costos anteriores eran prohibitivos.
Futuras Direcciones: El artículo sugiere que HPD podría extenderse a otros dominios con estructuras de salida independientes, siempre que se mantenga la suposición de independencia condicional.

Conclusión: La Decodificación Hiper-Paralela representa un cambio de paradigma en la inferencia de LLM para tareas de extracción estructurada. Al desacoplar la generación de secuencias independientes mediante la manipulación de IDs de posición y el enmascaramiento de atención personalizado, logra ganancias masivas de eficiencia sin sacrificar la calidad de la salida.