💬 NLP

Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing

El artículo presenta "Copy-as-Decode", un mecanismo de decodificación que acelera la edición de texto y código en modelos de lenguaje al recopiar secuencias de entrada mediante una prellenado paralelo con restricciones gramaticales, logrando aceleraciones de hasta 303 veces sin necesidad de entrenamiento de extremo a extremo.

Autores originales: Ziyang Liu

Publicado 2026-04-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ziyang Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un libro de 300 páginas y necesitas hacerle una corrección muy pequeña: cambiar una sola palabra en la página 150.

El problema actual (La forma "tonta" de hacerlo):
Hoy en día, cuando usas una Inteligencia Artificial (IA) para editar texto o código, funciona como un estudiante que, aunque solo necesita cambiar una palabra, decide volver a escribir todo el libro desde la página 1 hasta la 300.

Lee la página 1, la escribe.
Lee la página 2, la escribe.
...y así hasta la 300.
Al final, la página 150 tiene la corrección, pero las otras 299 páginas son idénticas a las originales.
Resultado: Tarda mucho tiempo y gasta mucha energía, aunque la mayor parte del trabajo ya estaba hecho.

La solución de este papel (Copy-as-Decode):
Los autores proponen un método inteligente llamado "Copiar como Decodificar". En lugar de reescribir todo, le dan a la IA un "guion" o un "programa" con dos instrucciones simples:

<copiar>: "Oye, las páginas 1 a 149 son perfectas. Solo cópialas tal cual".
<generar>: "Aquí en la página 150, escribe la nueva palabra".
<copiar>: "Y las páginas 151 a 300, también cópialas tal cual".

La analogía del "Cinta de Video" (La magia técnica)

Para entender por qué esto es tan rápido, imagina que la IA es una cinta de video antigua (como las VHS) que tiene que proyectar la película.

El método antiguo: Para mostrar 1000 cuadros de video, la máquina tiene que pasar la cinta lentamente, cuadro por cuadro, leyendo cada uno individualmente. Si solo necesitas cambiar un cuadro en el medio, la máquina sigue pasando la cinta lenta y tediosamente desde el principio hasta el final.
El nuevo método (Copy-as-Decode):
- Cuando la IA dice "Copia las páginas 1-149", en lugar de pasar la cinta lentamente, el sistema salta directamente a esa parte de la cinta.
- Usa un "acelerador" (llamado prefill paralelo) que carga esos 149 cuadros en la memoria de golpe, de un solo golpe, como si fuera un rayo láser.
- Luego, la máquina se detiene solo para escribir la nueva palabra (el cuadro que necesita generar).
- Luego, salta de nuevo y carga los cuadros restantes de golpe.

El resultado:

Si la IA tiene que "escribir" 500 palabras, pero 490 de ellas ya existen en el texto original, el método antiguo tarda en "leer" y "escribir" las 500.
El nuevo método tarda en "leer" y "escribir" solo las 10 palabras nuevas, y en milisegundos copia las 490 restantes.

¿Qué descubrieron los autores?

Velocidad extrema: En pruebas reales, copiar bloques de texto con este método fue entre 7 y 300 veces más rápido que escribirlos de nuevo. Es como cambiar de ir en bicicleta a ir en un cohete para esas partes que ya existen.
Funciona en la vida real: Analizaron miles de correcciones de código y texto. Descubrieron que en la mayoría de los casos (entre el 74% y el 98%), la IA solo necesita generar una pequeña parte y puede copiar el resto.
Precisión: El sistema es tan estricto que si la IA elige mal el bloque de texto a copiar (por ejemplo, copia la página 149 en lugar de la 150), el resultado falla. Es como un robot de cocina: si le pides "cortar la zanahoria" y corta la manzana por error, el plato sale mal. Por eso, el reto futuro es entrenar a la IA para que sea perfecta eligiendo qué copiar y qué escribir.

En resumen

Este papel no inventa una IA más inteligente, sino una forma más eficiente de usar la IA que ya tenemos.

Es como pasar de reconstruir toda una casa ladrillo por ladrillo cada vez que quieres cambiar una ventana, a simplemente pedirle al albañil que copie los 999 ladrillos que ya están bien puestos y solo trabaje en el ladrillo nuevo.

Antes: Tardas horas.
Ahora: Tardas segundos.

La IA deja de ser un "escritor obsesivo" que reescribe todo, para convertirse en un "editor inteligente" que sabe exactamente qué partes guardar y qué partes cambiar.

1. El Problema

Los modelos de lenguaje grandes (LLM) actuales editan texto y código mediante regeneración autoregresiva completa. Incluso cuando la mayoría de los tokens del resultado son idénticos a los de la entrada (por ejemplo, en correcciones de bugs o revisiones de documentos), el modelo vuelve a generar cada token uno por uno. Esto genera dos costos ineficientes:

Latencia: El tiempo de respuesta escala con la longitud total de la salida, no con el tamaño real del cambio (edición).
Inestabilidad: El modelo tiene libertad para "desviarse" en tokens que deberían haberse mantenido fijos, aumentando el riesgo de errores.

Las soluciones existentes (como diff unificado o bloques de búsqueda/reemplazo) reducen el número de tokens generados, pero aún requieren que el modelo regenere el contexto estructural o sufren de ambigüedad en los anclajes de texto.

2. Metodología: Copy-as-Decode

El artículo propone un mecanismo de capa de decodificación llamado Copy-as-Decode, que transforma la generación de ediciones en un proceso de decodificación estructurada sobre una gramática de dos primitivas, combinada con una aceleración de hardware.

A. Gramática y Decodificación Restringida

En lugar de generar texto libre, el modelo emite un programa estructurado con dos operaciones:

<copy lines="i-j"/>: Copia un rango de líneas ( $i$ a $j$ ) del documento de entrada original.
<gen> ... </gen>: Genera nuevo contenido libremente.

Un Autómata Finito de Estados (FSM) a nivel de token garantiza la validez sintáctica del programa. El FSM restringe las logits del modelo para asegurar que solo se emitan tokens consistentes con el estado actual (ej. solo números dentro de una etiqueta de copia, o texto libre dentro de una etiqueta de generación). Esto garantiza una tasa de análisis (parse rate) del 100%.

B. Splicing de KV Cache (Prefill Paralelo)

La innovación central es cómo se manejan las operaciones de copia:

Cuando el modelo decide copiar un rango de líneas, los tokens correspondientes ya son conocidos (son literales de la entrada).
En lugar de generarlos paso a paso, el sistema realiza un prefill paralelo único.
Se inyectan directamente los tokens de entrada en el KV Cache (caché de llaves y valores) del modelo mediante una sola pasada de forward.
Esto salta $N$ pasos de decodificación autoregresiva por un rango de $N$ tokens, compartiendo la primitiva de aceleración del speculative decoding pero con una aceptación determinista y garantizada (probabilidad de aceptación = 1), ya que los tokens de entrada actúan como el "borrador".

C. Resolver Determinista

Un componente externo (resolver) toma el programa generado y el documento original, y reconstruye el documento editado final. Este proceso es puramente determinista y sin pérdida de información (lossless).

3. Contribuciones Clave

El artículo no presenta un modelo entrenado de extremo a extremo, sino un mecanismo y tres propiedades medibles que definen sus límites teóricos y prácticos:

Aceleración de Kernel (Speedup): Demostración de que copiar tokens mediante prefill paralelo es significativamente más rápido que la decodificación autoregresiva.
Techo de Copia (Copy Ceiling): Un análisis cuantitativo de qué porcentaje de los tokens de oro (la respuesta ideal) en corpus reales pueden representarse como rangos de líneas continuos.
Propiedad de Pérdida Nula (Pipeline Losslessness): La garantía de que, si el selector de rangos es perfecto (oráculo), el sistema reconstruye la respuesta exacta sin errores.

4. Resultados Cuantitativos

A. Aceleración de Kernel

En pruebas con Qwen2.5 (1.5B y 7B) en una GPU A100:

Copiar rangos de 8 a 512 tokens mediante prefill paralelo es 6.8x a 303x más rápido que la generación autoregresiva.
La aceleración crece linealmente con la longitud del rango en regímenes dominados por la sobrecarga de kernel.

B. Techo de Copia y Límites de Velocidad

Analizando corpus como ProbeEdit (texto) y HumanEvalPack-Fix (Python/JS):

Cobertura: Entre el 74% y el 98% de los tokens de la respuesta ideal pueden representarse como copias de líneas continuas.
Límite de Velocidad (bndexact): Combinando la cobertura de datos con la curva de aceleración del kernel, el límite superior teórico de velocidad de reloj es:
- 29.0x para ediciones de texto corto (ProbeEdit).
- 3.4x para correcciones de bugs en Python.
- 4.2x para correcciones de bugs en JavaScript.
- 13.0x promedio global.

C. Sensibilidad y Aprendizaje

Fragilidad: El sistema es muy sensible a errores en la selección de rangos. Un error de solo 1 línea en los índices de copia reduce la Exact Match (EM) de 100% a un 15.48% promedio.
Pilotaje de Entrenamiento (SFT): Un modelo pequeño (Qwen2.5-Coder-1.5B) fine-tuneado para seleccionar rangos logró mejorar la EM de 0% (base no entrenada) a 12-17% en un conjunto de prueba. Esto demuestra que la tarea es aprendible, aunque aún no está lista para producción.

D. Comparación con Baselines

Formato vs. Otros: Comparado con formatos de edición estándar (como bloques de búsqueda/reemplazo de Aider o diff unificado), Copy-as-Decode logra una fidelidad perfecta (100% round-trip) con un presupuesto de tokens igual o menor, evitando los fallos de ambigüedad de anclaje comunes en otros métodos.

5. Significado e Impacto

Cambio de Paradigma: Propone tratar la edición no como "generación de texto" sino como "ejecución de un programa de edición" donde la mayoría de las operaciones son copias deterministas aceleradas por hardware.
Eficiencia sin Entrenamiento Masivo: El mecanismo de aceleración (splicing de KV) funciona con cualquier modelo preentrenado que pueda ser guiado por una gramática (vía FSM), sin necesidad de reentrenar el modelo base para la tarea de copia.
Hoja de Ruta: Establece que el cuello de botella actual no es la velocidad de inferencia, sino la precisión del selector de rangos. El trabajo futuro se centra en entrenar selectores más robustos y en integrar la primitiva de splicing en servidores de inferencia de producción (como vLLM o SGLang) para obtener las ganancias de velocidad completas en entornos de lotes (batching).

En resumen, Copy-as-Decode demuestra que es posible reducir drásticamente la latencia en tareas de edición de LLMs explotando la redundancia de la entrada mediante una combinación de gramáticas restringidas y optimizaciones de kernel de hardware, ofreciendo un límite teórico de velocidad de hasta 30x en ciertos escenarios.