🤖 machine learning

Scratchpad Patching: Decoupling Compute from Patch Size in Byte-Level Language Models

Questo articolo introduce lo Scratchpad Patching (SP), una tecnica che disaccoppia il calcolo dalla dimensione delle patch nei modelli linguistici a livello di byte inserendo dinamicamente scratchpad transitori per mitigare il ritardo delle patch, consentendo così patch più grandi per ridurre i costi della cache KV e del calcolo senza sacrificare la qualità del modello.

Autori originali: Lin Zheng, Vasilisa Bashlovkina, Timothy Dozat, Dan Garrette, Laura Rimell, Joshua Maynez

Pubblicato 2026-05-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Lin Zheng, Vasilisa Bashlovkina, Timothy Dozat, Dan Garrette, Laura Rimell, Joshua Maynez

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover leggere un libro molto lungo, ma hai una regola rigida: puoi guardare il testo solo in grandi blocchi, come afferrare un pugno di pagine alla volta. È così che funzionano i moderni modelli AI "basati su patch". Invece di leggere parola per parola (token), leggono byte per byte (il codice informatico grezzo delle lettere) in gruppi chiamati patch.

Il problema con questo approccio "afferra un pugno" è un fenomeno che gli autori chiamano Patch Lag (Ritardo delle Patch).

Il Problema: Il "Pugno Obsoleto"

Immagina di leggere un paragrafo. Affetti un blocco di testo (una patch) da elaborare.

L'Ultima Pagina: Quando arrivi all'ultima pagina di quel blocco, hai il quadro completo di ciò che hai appena letto. Puoi fare un'ipotesi perfetta su ciò che segue.
La Prima Pagina: Ma quando sei sulla prima pagina dello stesso blocco, non hai ancora visto il resto del blocco! Sei costretto a indovinare basandoti sul precedente blocco che hai letto.

Se i tuoi blocchi sono enormi (diciamo, lunghi 16 byte), i primi 15 byte indovinano basandosi su informazioni "obsolete" del passato. Più grande è il blocco, più a lungo dura questo "ritardo" e peggio l'AI diventa nel prevedere la lettera successiva.

Di solito, devi scegliere:

Blocchi Piccoli: Ottima precisione, ma l'AI deve fare molto lavoro (lento e costoso).
Blocchi Grandi: Veloce ed economico, ma l'AI commette più errori perché indovina troppo in anticipo.

La Soluzione: Il "Quaderno di Appunti"

Gli autori introducono un trucco intelligente chiamato Patching con Quaderno di Appunti (SP).

Pensala così: stai ancora afferrando quei grandi pugni di pagine (patch) per mantenere le cose efficienti. Ma, dentro la tua mano, hai un quaderno di appunti transitorio.

Mentre guardi le prime pagine del blocco, prendi rapidamente appunti sul tuo quaderno.

La Magia: Questi appunti sono temporanei. Li usi per aggiornare la tua comprensione immediatamente così da fare ipotesi migliori per le pagine successive.
Il Rovescio della Medaglia: Una volta finito il blocco e passato al successivo, butti via il quaderno. Non lo conservi nella tua memoria a lungo termine (la "KV cache").

Questo permette all'AI di avere la velocità dei blocchi grandi (perché salva solo il risultato finale del blocco) ma l'intelligenza dei blocchi piccoli (perché ha aggiornato le sue conoscenze a metà blocco).

Come Sa Quando Usare il Quaderno?

L'AI non usa il quaderno per ogni singola lettera; sarebbe troppo lento. Invece, usa un sistema a "semaforo" basato sull'Entropia (una parola elegante per "sorpresa" o "incertezza").

Bassa Sorpresa: Se il testo è noioso e prevedibile (come "il gatto si sedette sul..."), l'AI salta il quaderno. Sa cosa sta arrivando.
Alta Sorpresa: Se il testo diventa complesso o imprevedibile (come un improvviso nome di variabile di codice o un simbolo strano), l'AI attiva il quaderno. Dice: "Aspetta, questo è importante! Fammi fermare e rivalutare tutto ciò che ho visto finora in questo blocco prima di indovinare la lettera successiva."

I Risultati: Il Meglio di Due Mondi

Il documento dimostra che questo metodo funziona come un interruttore magico:

Qualità senza Costo: Anche usando blocchi molto grandi (16 byte), l'AI con i Quaderni di Appunti performa quasi come se stesse leggendo byte per byte.
Risparmio di Memoria: Poiché il quaderno viene buttato via immediatamente, l'AI non ha bisogno di memorizzare memoria extra. Mantiene la "KV cache" (la memoria a breve termine dell'AI) 16 volte più piccola rispetto a un modello standard byte per byte.
Velocità Flessibile: Puoi alzare o abbassare l'"interruttore del quaderno" dopo che il modello è stato addestrato. Se hai bisogno che sia super veloce, spegni i quaderni. Se hai bisogno che sia più intelligente, accendili. Non hai bisogno di riaddestrare il modello per farlo.

Analogia di Sintesi

Immagina di essere uno chef che cuoce una pentola enorme di zuppa.

Vecchio Metodo (Patching Standard): Assaggi la zuppa solo una volta ogni 10 minuti. Se aggiungi un ingrediente piccante al minuto 1, non lo assaggi di nuovo fino al minuto 10. A quel punto, il sapore potrebbe essere sbagliato.
Nuovo Metodo (Patching con Quaderno): Assaggi ancora solo una "assaggiatura ufficiale" completa ogni 10 minuti per registrare la ricetta. Ma, nel frattempo, immergi un cucchiaio ogni volta che l'odore cambia drasticamente (alta entropia) per regolare immediatamente il condimento. Butti via il cucchiaio dopo aver assaggiato, così non devi lavare un milione di cucchiai (memoria), ma la tua zuppa ha un sapore perfetto.

Il documento dimostra che aggiungendo questi "assaggi temporanei" (quaderni), puoi cuocere una pentola enorme di zuppa (elaborare testo lungo) velocemente, a basso costo e con un sapore perfetto.

Riepilogo Tecnico: Patching con Scratchpad (SP)

Enunciato del Problema

I modelli linguistici moderni si basano tipicamente sulla tokenizzazione per segmentare il testo in unità di sotto-parola, un processo che introduce fragilità, sensibilità alla formattazione dei prompt e difficoltà di scalabilità. Gli approcci privi di tokenizzatore che operano direttamente sui byte offrono una soluzione, ma soffrono di costi computazionali proibitivi a causa delle lunghe sequenze. Per mitigare ciò, i modelli a livello di byte basati su patch aggregano byte contigui in "patch" più grandi, elaborandole come singole unità per ridurre la lunghezza della sequenza e l'impronta della KV-cache.

Tuttavia, gli autori identificano un compromesso fondamentale nelle architetture standard basate su patch: il ritardo della patch (patch lag). In questi modelli, il tronco principale (il motore di calcolo primario) aggiorna la propria rappresentazione solo ai confini delle patch. Di conseguenza, per qualsiasi byte all'interno di una patch che non sia l'ultimo, il modello deve fare affidamento su una rappresentazione "obsoleta" dalla patch precedente per preservare la causalità. Man mano che le dimensioni delle patch aumentano per migliorare l'efficienza, questo ritardo si amplia, costringendo più previsioni a basarsi su un contesto datato, il che degrada significativamente la qualità della modellazione. Ciò crea un accoppiamento stretto in cui patch più grandi producono una migliore efficienza ma una qualità inferiore.

Metodologia: Patching con Scratchpad (SP)

Il documento introduce il Patching con Scratchpad (SP), un meccanismo progettato per disaccoppiare l'allocazione del calcolo dalla dimensione della patch, affrontando così il ritardo della patch senza aumentare l'impronta persistente della KV-cache.

Meccanismo Principale

Invece di impegnare una singola rappresentazione solo alla fine di una patch, SP inserisce stati scratchpad transienti in posizioni interne selezionate all'interno di una patch.

Stati Transienti: Quando viene attivato uno scratchpad, il modello aggrega tutti i byte visti finora all'interno della patch corrente, passa questa aggregazione attraverso il tronco principale e genera una nuova rappresentazione.
Preservazione della Causalità: Questa nuova rappresentazione è immediatamente disponibile per le successive previsioni di byte all'interno della stessa patch, sostituendo la rappresentazione obsoleta dalla patch precedente.
Efficienza della KV-Cache: Crucialmente, questi stati scratchpad non vengono persistiti nella KV cache. Vengono calcolati al volo durante l'inferenza e immediatamente scartati. Solo la rappresentazione finale "impegnata" della patch viene memorizzata. Ciò consente al modello di eseguire più passaggi di raffinamento all'interno di una patch senza aumentare l'impronta di memoria al momento dell'inferenza o la lunghezza effettiva della sequenza vista dal tronco.

Strategia di Attivazione

Per evitare il costo computazionale di un aggiornamento ad ogni byte (che annullerebbe i vantaggi del patching), SP impiega un meccanismo di attivazione selettiva:

Attivazione Basata sull'Entropia: Un aggiornamento dello scratchpad viene attivato alla posizione del byte $n$ se l'entropia della previsione del byte successivo dell'encoder supera una soglia predefinita ( $\tau_{SP}$ ).
Adattività al Contenuto: Questa strategia alloca selettivamente il calcolo alle regioni "ad alta densità di informazioni" dove il modello è incerto, saltando le regioni prevedibili.
Regolazione Post-Hoc: Poiché l'attivazione si basa su una soglia applicata all'output dell'encoder, la frequenza degli aggiornamenti dello scratchpad può essere regolata al momento dell'inferenza senza riaddestramento, consentendo compromessi flessibili tra calcolo e qualità.

Architettura

SP è agnostico rispetto al patchifier sottostante (il metodo utilizzato per definire i confini delle patch). Si integra nella standard architettura a cinque componenti basata su patch (Encoder, Patchifier, Tronco Principale, Unpatchifier, Decoder) modificando il flusso delle informazioni all'interno della patch. Durante l'addestramento, gli stati scratchpad vengono srotolati e concatenati all'input del tronco con una maschera di attenzione causale specializzata che impedisce agli scratchpad di attendere stati futuri o altri scratchpad, garantendo che aggregino solo byte passati all'interno della patch corrente.

Contributi Chiave

Disaccoppiamento del Calcolo dalla Dimensione della Patch: SP introduce un meccanismo generale che consente ai modelli di utilizzare patch più grandi (per l'efficienza) senza subire il degrado della qualità tipicamente associato all'aumento del ritardo della patch.
Affrontare il Ritardo della Patch: Gli autori caratterizzano il ritardo della patch come una modalità di fallimento strutturale dei modelli basati su patch e dimostrano che SP riduce efficacemente questo ritardo aggiornando il contesto all'interno della patch.
Inferenza Efficiente: SP ottiene questi miglioramenti mantenendo la stessa lunghezza della sequenza di patch impegnata e la stessa impronta della KV-cache dei modelli basati su patch standard.
Controllo Flessibile del Calcolo: Il metodo consente la regolazione post-hoc del calcolo al momento dell'inferenza tramite soglie di entropia, offrendo un controllo a "singola manopola" per i compromessi tra efficienza e accuratezza.

Risultati Sperimentali

Gli autori hanno valutato SP su quattro famiglie di patchifier (Dimensione Fissa, SpaceByte, Basata sull'Entropia e H-Net) su dataset di linguaggio naturale, codice e matematica.

Frontiera Qualità-Efficienza: SP sposta costantemente la frontiera di Pareto della qualità (misurata in Bit per Byte, BPB) rispetto all'efficienza (riduzione della sequenza).
Grandi Dimensioni delle Patch: A dimensioni di patch aggressive (ad esempio, 16 byte per patch), i modelli potenziati da SP eguagliano o si avvicinano da vicino alle prestazioni dei baseline a livello di byte. Ad esempio, un modello a dimensione fissa (p=16) con SP ha raggiunto un'accuratezza media NLU del 54,2, quasi uguale al baseline a livello di byte (54,1), utilizzando una KV cache 16 volte più piccola e 3-4 volte meno calcolo per l'inferenza.
Generazione di Codice: SP ha migliorato significativamente i tassi pass@1 sui benchmark MBPP e HumanEval, in particolare per grandi dimensioni delle patch dove i modelli vanilla faticavano.
Allocazione del Calcolo: In confronti con FLOPs equivalenti, i modelli SP generalmente hanno eguagliato o superato i baseline non-SP, suggerendo che i guadagni derivano da una allocazione del calcolo meglio mirata piuttosto che semplicemente dall'aggiunta di più calcolo.
Robustezza Multilingue: SP ha migliorato le prestazioni dei modelli basati su patch su 200 lingue (FLORES-200), riducendo il divario con i modelli puri a livello di byte.

Significato e Affermazioni

Il documento afferma che il Patching con Scratchpad rappresenta un passo pratico verso modelli linguistici end-to-end più flessibili. Consentendo ai modelli di decidere dove allocare il calcolo in base alla densità di informazioni piuttosto che ereditare una segmentazione rigida da un tokenizzatore o patchifier, SP offre un compromesso superiore tra lunghezza della sequenza persistente, costo computazionale e prestazioni del compito.

Gli autori sottolineano che SP è una tecnica generica applicabile a molte architetture esistenti basate su patch. Osservano che con SP in atto, il divario di prestazioni tra diverse strategie di patchificazione (ad esempio, dimensione fissa vs. confini appresi) si riduce, suggerendo che l'allocazione del calcolo potrebbe essere un collo di bottiglia più critico rispetto al metodo specifico di definizione dei confini delle patch.

Il lavoro è modesto nelle sue limitazioni: si concentra sul patching a stadio singolo e non riduce direttamente i FLOPs al momento dell'addestramento rispetto ai baseline standard (sebbene migliori l'efficienza dell'inferenza). Gli autori suggeriscono che lavori futuri potrebbero esplorare architetture gerarchiche e regole di aggiornamento più ricche.