💬 NLP

Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing

Dit paper introduceert Copy-as-Decode, een mechanisme dat tekst- en codebewerkingen versnelt door het kopiëren van invoersegmenten om te zetten in een parallelle voorafvulling van de KV-cache binnen een grammatica-gedwongen decoderingsstructuur, wat leidt tot aanzienlijke snelheidswinsten zonder eind-tot-eind training.

Oorspronkelijke auteurs: Ziyang Liu

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziyang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel lang document hebt, bijvoorbeeld een recept of een stuk code, en je wilt er slechts één zin in aanpassen.

In de huidige wereld van AI-modellen (zoals de slimme chatbots die we kennen), is het antwoord op die vraag vaak: "Ik ga het hele document opnieuw herschrijven, woord voor woord, van begin tot eind."

Dat is alsof je een boek wilt corrigeren, maar in plaats van alleen de ene verkeerde zin aan te passen, je het hele boek opnieuw typt, inclusief alle pagina's die perfect waren. Het kost veel tijd, energie en rekenkracht, terwijl 90% van de tekst precies hetzelfde blijft.

Deze paper introduceert een slimme nieuwe methode genaamd "Copy-as-Decode" (Kopiëren als Decoderen). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Oude Manier: Het Nieuwe Typen

Stel je voor dat je een AI vraagt om een foutje in een code te fixen. De AI begint dan als een zeer geduldige, maar trage schrijver. Hij leest je vraag, en schrijft vervolgens het hele nieuwe document opnieuw, letterlijk één woord per woord.

Het probleem: Als je document 1000 woorden heeft en je verandert er maar 10, moet de AI toch 1000 woorden "uitdenken". Hij besteedt dus 99% van zijn tijd aan het herschrijven van dingen die al perfect waren.

2. De Nieuwe Manier: De "Magische Schaar"

De auteurs van dit papier zeggen: "Waarom schrijven we het opnieuw als we het al hebben?"
In plaats van de AI te laten typen, geven we hem een speciale taal (een grammatica) waarin hij kan zeggen:

"Ik kopieer regels 1 tot 50 direct uit het origineel."
"Ik typ nu een nieuwe zin."
"Ik kopieer regels 55 tot 100 direct uit het origineel."

Dit lijkt simpel, maar de truc zit in hoe de computer dit uitvoert.

De Creatieve Analogie: De Bibliotheek vs. De Schrijver

Stel je voor dat de AI een enorme bibliotheek is waar boeken (woorden) op een rij staan.

De oude manier (Autoregressief): De bibliothecaris moet elk woord uit het originele boek uit de kast halen, naar een nieuwe tafel brengen, en daar neerleggen. Hij doet dit één voor één. Als hij 1000 woorden moet verplaatsen, duurt het lang.
De nieuwe manier (Copy-as-Decode): De AI zegt: "Ik wil de hele sectie van pagina 10 tot 20 overnemen." In plaats van dat hij die pagina's één voor één verplaatst, gebruikt hij een magische schaar (de "parallel prefill").
- Hij snijdt die hele sectie uit het originele boek.
- Hij plakt die sectie direct in het nieuwe boek.
- Dit gebeurt in één enkele beweging, in plaats van honderden kleine bewegingen.

Waarom is dit zo snel?

In de technische wereld noemen ze dit een "parallel prefill".

Oude manier: 1000 stappen (1000 keer denken).
Nieuwe manier: 1 stap om te zeggen "kopieer dit blok", en 1 stap om de nieuwe tekst te bedenken.

De paper laat zien dat dit 6 tot wel 300 keer sneller is voor het kopiëren van grote stukken tekst. Het is alsof je van een fiets op een sneltrein springt voor het grootste deel van je reis, en alleen voor de laatste paar meter weer op de fiets stapt.

De Drie Belangrijkste Punten (in simpele taal)

Het is niet nodig om de AI opnieuw te leren:
De auteurs hebben geen nieuwe, zware AI getraind. Ze hebben gewoon een slimme "regelset" (een FSM) toegevoegd die de AI dwingt om deze kopieer-commands te gebruiken. De AI doet het al, maar nu op een veel efficiëntere manier.
Het werkt bijna perfect:
Ze hebben getest op echte code en teksten. Ze ontdekten dat in 74% tot 98% van de gevallen, het grootste deel van het antwoord gewoon een kopie van de invoer is. De "magische schaar" kan dus bijna het hele werk doen.
Het is onfeilbaar (als de regels goed zijn):
Omdat de AI niet zelf de tekst bedenkt die hij kopieert, maar gewoon "plakt" wat er al was, kan hij geen fouten maken in die gekopieerde stukken. Hij kan alleen fouten maken bij het kiezen welke stukken hij moet kopiëren. Als hij de juiste regels kiest, is het resultaat 100% perfect.

Wat betekent dit voor de toekomst?

Voor nu is dit een prototype. Het is alsof ze een nieuwe, super-snelle motor hebben gebouwd, maar ze moeten nog de rest van de auto (de software die de AI aanstuurt) aanpassen om er volledig gebruik van te maken.

Maar de boodschap is helder: We hoeven niet alles opnieuw te genereren. Door slim te "plakken" in plaats van te "typen", kunnen we AI-toepassingen voor het bewerken van tekst en code veel sneller, goedkoper en efficiënter maken.

Samengevat in één zin:
In plaats van dat de AI het hele boek opnieuw schrijft, laat je hem zeggen: "Ik houd dit deel vast, ik verander dit kleine stukje, en ik houd de rest vast," en de computer plakt het in een flits.

1. Het Probleem

Huidige Large Language Models (LLM's) bewerken tekst en code door de volledige output autoregressief (token per token) te genereren, zelfs wanneer het grootste deel van de output identiek is aan de invoer.

Inefficiëntie: Bij typische bewerkingen (zoals het repareren van een bug of het herschrijven van een paragraaf) blijft 74–98% van de tokens onveranderd. Het model herhaalt echter de berekening voor deze tokens, wat leidt tot onnodige latentie.
Kosten: De wall-clock-tijd schaalt met de totale lengte van de output, niet met de grootte van de daadwerkelijke wijziging.
Afwijking: Omdat het model alles opnieuw genereert, bestaat het risico dat het model afwijkt van de oorspronkelijke tekst op plekken die juist vastgehouden hadden moeten worden.

Bestaande oplossingen zoals speculative decoding (voorspellen met een kleiner model) bieden geen garantie voor het exact kopiëren van invoer-tokens, en zoek-en-vervang-formaten (zoals in Aider) lijden vaak onder ambiguïteit bij het vinden van de juiste locatie.

2. Methodologie: Copy-as-Decode

De auteurs introduceren een mechanisme op het decoderingsniveau dat tekstbewerking herschrijft als gestructureerd decoderen over een grammatica met twee primitieven.

A. De Grammatica en FSM

In plaats van vrije tekst te genereren, produceert het model een programma volgens een strikte grammatica, afgedwongen door een Finite State Machine (FSM) op token-niveau:

<copy lines="i-j"/>: Verwijst naar een bereik van regels in de invoerdocumentatie.
<gen> ... </gen>: Genereert nieuwe inhoud.
De FSM garandeert dat de output altijd syntactisch geldig is (100% parse-rate) en beperkt de logit-keuzes van het model tot tokens die consistent zijn met de huidige staat (bijv. alleen cijfers tijdens het specificeren van regelnummers).

B. Parallel Prefill Splicing (De Kerninnovatie)

Zodra het model een <copy>-opdracht kiest met een bereik [i, j]:

De tokens voor die regels zijn al bekend (ze komen uit de invoer).
In plaats van autoregressief $N$ stappen te doorlopen, wordt een enkele parallel-prefill forward pass uitgevoerd.
Deze pass "plakt" (splice) de $N$ invoer-tokens direct in de KV-cache (Key-Value cache) van het model.
Dit omzeilt $N$ autoregressieve decode-stappen. Het mechanisme deelt de parallelle kernel van speculative decoding, maar vervangt de probabilistische verificatie door een deterministische, grammatica-afgedwongen acceptatie (acceptatiekans = 1).

C. Deterministische Resolver

Een aparte, deterministische resolver (R) neemt het gegenereerde programma en de originele invoer en voegt de <copy>-delen en <gen>-delen samen tot het definitieve bewerkte document. Dit proces is verliesvrij (lossless).

3. Belangrijkste Bijdragen

Het paper biedt geen eind-tot-eind getraind model, maar een mechanisme met drie meetbare eigenschappen die onafhankelijk zijn van de kwaliteit van het basismodel:

Kernel-snelheidswinst (Kernel Speedup):
- Het vervangen van autoregressieve decoding door parallel prefill voor kopiëren is aanzienlijk sneller.
- Op Qwen2.5-modellen (1.5B en 7B) is het kopiëren van $N$ tokens (waarbij $N \in [8, 512]$ ) 6.8x tot 303x sneller dan het genereren ervan. De snelheidswinst groeit lineair met de span-lengte in de overhead-gedomineerde regime.
Kopieerplafond (Copy Ceiling):
- De auteurs analyseren hoe groot het deel van de "gouden" (ideale) output is dat als contigu bereik uit de invoer gekopieerd kan worden.
- Op datasets zoals ProbeEdit en HumanEvalPack-Fix is 74–98% van de tokens realiserbaar via regel-niveau kopieerprimitieven.
- Door dit te combineren met de gemeten snelheidswinst, wordt een gesloten-formule bovengrens ( $bnd_{exact}$ ) voor de wall-clock-tijd berekend:
  - Tot 29.0x versnelling voor tekstbewerkingen (ProbeEdit).
  - 3.4x tot 4.2x voor code-bugfixes (Python/JS).
  - Een gepoolde versnelling van 13.0x.
Pijplijn-verliesvrijheid (Pipeline Losslessness):
- Met "oracle" programma's (perfect gegenereerd door een diff-algoritme) kan de resolver het originele gouden document 100% exact reconstrueren op alle 482 testgevallen.
- Dit bewijst dat eventuele fouten in een toekomstig systeem niet liggen aan het mechanisme zelf, maar uitsluitend aan de span-selectie (het kiezen van de juiste regels) door het model.

4. Resultaten en Analyse

Kernprestaties: De experimenten tonen aan dat de parallelle prefill-kernel de autoregressieve loop significant versnelt, vooral bij langere kopieer-bereiken.
Gevoeligheid voor Span-selectie: Een perturbatiestudie toont aan dat het mechanisme zeer gevoelig is voor fouten in het kiezen van regelnummers. Een afwijking van slechts één regel ( $\epsilon=1$ ) laat de Exact Match (EM) score van 100% instorten naar 15.48%. Dit onderstreept dat een getrainde selector zeer nauwkeurig moet zijn.
SFT Pilot (Supervised Fine-Tuning): Een klein pilot-experiment met Qwen2.5-Coder-1.5B toonde aan dat het leren van deze grammatica mogelijk is. De EM-score steeg van 0% (ongetraind) naar 12–17% (met 95% betrouwbaarheidsinterval [7.0, 26.0]). Dit is een bewijs van leerbaarheid, maar nog geen productieklaar resultaat.
Vergelijking met andere formaten: In vergelijking met search/replace (Aider) en unified diffs biedt Copy-as-Decode een betere balans tussen token-efficiëntie en nauwkeurigheid. Search/replace faalt vaak door ambiguïteit, terwijl unified diffs te veel header-tokens vereisen. Copy-as-Decode heeft de laagste token-begroting bij perfecte round-trip-nauwkeurigheid.

5. Betekenis en Toekomstperspectief

Paradigmaverschuiving: Het paper beweert dat kopiëren niet dezelfde kosten mag hebben als genereren. Door invoer-tokens als "draft" te gebruiken met een acceptatiekans van 1, wordt de efficiëntie van het kopiëren gemaximaliseerd.
Onafhankelijkheid: Het mechanisme vereist geen end-to-end training van het taalmodel zelf, maar slechts een FSM-constrained decoder en een splicing-mechanisme.
Toekomstige stappen:
- Schalen van de selector-training naar grotere modellen (7B) en grotere datasets.
- Uitbreiding naar token-niveau kopieerprimitieven (in plaats van alleen regel-niveau) om het kopieerplafond te verhogen naar 91–99%.
- Integratie van de splicing-primitief in productieservers zoals vLLM of SGLang voor echte batch-verwerking en paginated attention.
- Combinatie met speculative decoding voor de <gen>-delen om de totale snelheid verder te verhogen.

Conclusie: Copy-as-Decode biedt een fundamenteel efficiëntere manier om LLM's tekst en code te laten bewerken door het kopiëren van bestaande content te ontlasten van de autoregressieve kosten, met theoretische versnellingen tot wel 30x voor specifieke bewerkingstaken, mits de span-selectie nauwkeurig genoeg is.