KazByte: Adapting Qwen models to Kazakh via Byte-level Adapter

1. Il Problema: La "Tassa del Tokenizzatore" sulle Lingue Agglutinanti

Il paper identifica un problema fondamentale nell'uso dei Large Language Models (LLM) pre-addestrati (come Qwen2.5) per lingue a risorse limitate e morfologicamente complesse come il kazako.

• Fertilità dei Token: Il kazako è una lingua agglutinante turca con una ricca morfologia suffissale. I tokenizzatori standard basati su BPE (Byte-Pair Encoding), progettati per lingue ad alta risorsa come l'inglese, frammentano le parole kazake in un numero eccessivo di token.
  • Esempio: Una singola forma verbale inflessa (es. "dal tuo atto di correre") può essere un'unica unità semantica, ma il tokenizzatore Qwen la spezza in 10-12 token.
  • Conseguenze: Questo crea una "tassa dei token" che raddoppia o triplica la lunghezza delle sequenze rispetto all'inglese. Ciò aumenta i costi computazionali, riduce la finestra di contesto effettiva e indebolisce la capacità del modello di cogliere la morfologia kazaka specifica.
• Limiti delle Soluzioni Attuali:
  • Rimappatura dei pesi: Sostituire il vocabolario e rimappare i pesi non è fattibile senza un riaddestramento massiccio, poiché altererebbe le statistiche delle co-occorrenze e le posizioni apprese dal modello.
  • Estensioni BPE: Approcci come MATT migliorano i tokenizzatori estesi, ma non eliminano il problema di fondo della lunghezza della sequenza.

2. Metodologia: L'Architettura ByteKaz

Gli autori propongono ByteKaz, un approccio che bypassa completamente il tokenizzatore, elaborando direttamente i byte grezzi attraverso un adattatore bidirezionale che si interfaccia con un modello Qwen2.5-7B congelato.

L'architettura è ispirata al Byte Latent Transformer (BLT) e al paradigma LLaVA (adattatori per modalità congelate), ma adattata per l'input/output in byte.

Componenti Chiave:

1. Codificatore Locale (Local Encoder): Un piccolo transformer (6-8 strati) che prende la sequenza di byte e li raggruppa in "patch" dinamiche basate sull'entropia. Le patch a bassa entropia (suffissi comuni) sono fuse, mentre quelle ad alta entropia (inizi di parole, caratteri rari) ricevono patch dedicate.
2. Proiezione: Un layer lineare proietta le rappresentazioni delle patch dallo spazio del codificatore (512 dim) allo spazio di Qwen (4096 dim).
3. Corpo del Modello (Qwen2.5-7B): Il modello LLM principale rimane congelato inizialmente. Riceve le patch proiettate invece dei token BPE.
4. Decodificatore Locale (Local Decoder): Un transformer simmetrico al codificatore che, partendo dallo stato nascosto di Qwen, ricostruisce la sequenza di byte originale in modo autoregressivo.

Protocollo di Addestramento a Fasi (Staged Training):

L'ipotesi centrale è che un addestramento in due fasi sia necessario per adattare l'interfaccia senza distruggere la conoscenza preesistente:

• Fase A (Allineamento dell'Adattatore):
  • Obiettivo: Addestrare solo l'adattatore (codificatore, proiezioni, decodificatore).
  • Stato di Qwen: Congelato.
  • Dati: Testo in inglese e cinese (per mantenere la distribuzione di input vicina a quella pre-addestrata).
  • Loss: Cross-entropy a livello di byte + opzionale allineamento degli stati nascosti (MSE) tra il percorso delle patch e gli stati del teacher (Qwen originale su token BPE).
• Fase B (Adattamento al Kazako):
  • Obiettivo: Adattare il modello al linguaggio kazako.
  • Stato: L'adattatore viene congelato. Vengono aggiornati solo i pesi dei layer di attenzione (Q, K, V, O) di Qwen. I blocchi MLP/FFN rimangono congelati per preservare la capacità fattuale.
  • Dati: Corpus pre-addestramento kazako (SozKZ, ~5-10B token).
  • Motivazione: La nuova geometria della sequenza (patch vs token) richiede principalmente un ricalibrazione delle dipendenze di attenzione, non un nuovo apprendimento di fatti.
• Fase C (SFT Opzionale): Addestramento su istruzioni o benchmark specifici in kazako.

3. Contributi Chiave

• Architettura: Introduzione di un adattatore byte bidirezionale (codificatore/decodificatore BLT-style) che permette a un LLM pre-addestrato di elaborare input e output senza tokenizzatore.
• Ipotesi di Addestramento: Proposta di un protocollo a due stadi (prima l'interfaccia, poi l'attenzione) per adattare modelli congelati a nuove modalità di input senza riaddestramento completo.
• Analisi e Mitigazione: Identificazione di potenziali fallimenti (es. "cold start", problemi di RoPE, allineamento) e strategie di mitigazione.
• Risorse Dati: Fornitura di una lista verificata di corpus kazaki aperti su Hugging Face per la ricerca futura.
• Piano di Valutazione: Definizione di una suite di benchmark (SozKZ) per confrontare ByteKaz con baseline come Qwen2.5-7B standard e modelli dedicati come SozKZ-600M.

4. Risultati Attesi e Validazione

Il paper è una proposta di ricerca (stato "in corso" al momento della stesura, data 31 marzo 2026), quindi non presenta risultati empirici finali, ma stabilisce ipotesi e piani di validazione:

• Ipotesi di Efficienza: Le sequenze di patch dovrebbero essere più corte delle sequenze di token BPE per il kazako, riducendo i costi di inferenza e aumentando la finestra di contesto effettiva.
• Ipotesi di Qualità: Dopo la Fase B, ByteKaz dovrebbe uguagliare o superare le prestazioni di Qwen2.5-7B con il tokenizzatore BPE standard sui benchmark kazaki (MC QA, Belebele, SIB-200).
• Vantaggio rispetto ai modelli da zero: Si ipotizza che un modello byte puro addestrato da zero (BLT-7B) possa avere prestazioni inferiori su compiti basati sulla conoscenza rispetto a ByteKaz, che eredita la conoscenza di Qwen.

5. Significato e Impatto

Il lavoro di KazByte è significativo per diversi motivi:

1. Superamento dei Limiti dei Tokenizzatori: Dimostra che è possibile aggirare l'inefficienza intrinseca dei tokenizzatori BPE per le lingue agglutinanti senza dover riaddestrare l'intero modello da zero.
2. Efficienza delle Risorse: L'approccio "congelato + adattatore" riduce drasticamente i requisiti computazionali rispetto al fine-tuning completo di un modello da 7B parametri.
3. Accessibilità per Lingue a Risorse Limitate: Offre una via praticabile per portare modelli LLM all'avanguardia (come Qwen2.5) a lingue come il kazako, che spesso vengono trascurate a causa della complessità morfologica e della scarsità di dati di addestramento di alta qualità.
4. Generalizzabilità: Sebbene focalizzato sul kazako, il metodo è applicabile a qualsiasi lingua agglutinante (es. turco, finlandese, ungherese) o a scenari dove si desidera eliminare la dipendenza da un vocabolario fisso.

In sintesi, KazByte propone un cambio di paradigma: invece di adattare il modello al tokenizzatore, si adatta un'interfaccia di byte al modello, preservando la sua conoscenza preesistente mentre si risolve il problema della frammentazione morfologica.