🤖 machine learning

LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining

Il documento introduce LoKiFormer, un'innovativa architettura di modello linguistico di grandi dimensioni che migliora l'efficienza del pre-addestramento e la velocità di convergenza integrando la Local Fusion Attention per catturare i pattern locali e un modulo di memoria della conoscenza disaccoppiato (decoupled Knowledge Memory Module) per il recupero esplicito della conoscenza globale.

Autori originali: Qiuwu Chen, Zimo Liu, Yuchen Li, Ying Sun, Yifan Zhang, Zhijie Qiu, Zeng You, Ryan Dong, Simeng Ma, Yaofo Chen, Mingkui Tan

Pubblicato 2026-08-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Qiuwu Chen, Zimo Liu, Yuchen Li, Ying Sun, Yifan Zhang, Zhijie Qiu, Zeng You, Ryan Dong, Simeng Ma, Yaofo Chen, Mingkui Tan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente a leggere e scrivere. Questo robot è un "Large Language Model" (LLM), un tipo di intelligenza artificiale che è diventata incredibilmente brava in tutto, dalla scrittura di storie alla risoluzione di problemi matematici. Ma c'è un problema: insegnare a questi robot è come cercare di riempire una piscina con un cucchiaino. Richiede una quantità enorme di tempo e di potenza di calcolo, e i robot a volte si confondono su ciò che stanno effettivamente imparando.

Per capire perché, pensa a come un essere umano legge una frase. Capiamo istantaneamente che le parole vicine tra loro sono solitamente collegate (come "caldo" e "caffè"), ma dobbiamo anche ricordare fatti che abbiamo appreso anni fa (come "il caffè è un chicco"). Gli attuali modelli di IA cercano di fare entrambe le cose contemporaneamente usando un meccanismo chiamato "attenzione", che guarda ogni singola parola in una frase per vedere come si relazionano tra loro. Il problema è che questo è come cercare di leggere un libro fissando tutte le singole lettere sulla pagina contemporaneamente; è estenuante e inefficiente per le connessioni locali e brevi. Inoltre, quando il robot cerca di archiviare la sua conoscenza generale (come i fatti sulla storia o la scienza), nasconde quella conoscenza profondamente all'interno del suo cervello in modo disordinato, rendendo difficile recuperare il fatto giusto quando necessario. Gli scienziati vogliono costruire un robot che impari più velocemente, consumi meno energia e sappia esattamente dove trovare le sue informazioni.

Entra in scena LoKiFormer, un nuovo design per questi cervelli artificiali che agisce come un intelligente aggiornamento per gli occhiali da lettura e il banco di memoria del robot. I ricercatori dietro questo articolo, guidati da Qiuwu Chen e Zimo Liu, hanno notato che il vecchio modo di fare sprecava energia. Hanno proposto due nuovi strumenti per correggere il processo di apprendimento del robot: uno per gestire le cose "locali" (parole vicine tra loro) e uno per gestire le cose "globali" (grandi fatti dal mondo reale).

Per prima cosa, hanno affrontato il problema locale con qualcosa chiamato Local Fusion Attention (LFA). Immagina di leggere una frase. Invece di far sì che il robot cerchi di capire come la parola "gatto" si relazioni a ogni altra parola del paragrafo immediatamente, la LFA fornisce al robot un paio speciale di "binocoli locali". Questi binocoli si concentrano solo sulle poche parole che si trovano proprio accanto ad esse e le fondono insieme per primo. È come se il robot ottenesse un riassunto rapido e facile del vicinato immediato prima di cercare di capire l'intera città. Questo evita al robot di fare un lavoro inutile. L'articolo mostra che, aggiungendo questo semplice passaggio, il robot impara a comprendere i modelli locali molto più velocemente, permettendogli di concentrare la sua potenza di calcolo sulle relazioni più grandi e complesse in seguito.

In secondo luogo, hanno risolto il problema della memoria con il Knowledge Memory Module (KMM). Nei modelli precedenti, la conoscenza del robot era come una biblioteca dove i libri erano incollati agli scaffali e mescolati con le istruzioni su come leggere. Se il robot voleva trovare un fatto sulla "fisica", doveva scorrere l'intera biblioteca disordinata. Il KMM di LoKiFormer è come un archivio perfettamente organizzato e etichettato, separato dalle istruzioni di lettura. Archivia i fatti in slot specifici e indirizzabili. Quando il robot ha bisogno di sapere qualcosa sulla "chimica", può andare direttamente al cassetto della "chimica" ed estrarre il file giusto senza distrarsi. Questo separa l'atto di archiviare la conoscenza da quello di usarla, rendendo il processo molto più chiaro e flessibile.

I risultati dell'unione di questi due strumenti sono impressionanti. I ricercatori hanno addestrato il loro nuovo modello LoKiFormer e hanno scoperto che ha imparato 1,33 volte più velocemente rispetto ai modelli standard. Per dare un termine di paragone, mentre un modello standard aveva bisogno di leggere attraverso 10.000 passaggi di addestramento per raggiungere un certo livello di comprensione, LoKiFormer ha raggiunto lo stesso livello in soli 7.500 passaggi. Questo è un enorme risparmio di tempo ed energia. Ancora più eccitante, una versione più piccola del loro modello (con 7 miliardi di parametri) ha ottenuto prestazioni migliori di modelli molto più grandi e famosi di altre aziende, superandoli nei test di comprensione del linguaggio, ragionamento e persino programmazione.

L'articolo suggerisce che questa nuova architettura non rende solo il robot più veloce; lo rende più intelligente nell'uso di ciò che sa. Separando la lettura "locale" dalla memoria "globale", il modello può gestire compiti complessi in modo più efficace. I ricercatori hanno anche dimostrato che l'archivio (il KMM) si è organizzato autonomamente durante l'addestramento, con diversi cassetti che sono diventati naturalmente esperti in diverse materie come storia, fisica o algebra. Ciò significa che il robot non sta solo memorizzando; sta imparando a recuperare le informazioni in un modo che assomiglia molto a come gli esseri umani accedono alla propria conoscenza.

In breve, LoKiFormer suggerisce che non abbiamo bisogno di rendere i modelli di IA più grandi e costosi per renderli migliori. Invece, dandogli strumenti migliori per osservare i piccoli dettagli e un modo più pulito per archiviare i suoi grandi fatti, possiamo costruire un'IA che impara più velocemente, costa meno per l'addestramento e comprende il mondo più chiaramente. È un promemoria del fatto che, a volte, il modo migliore per costruire una macchina super intelligente è aiutarla a organizzare la sua scrivania.

Riepilogo Tecnico: LoKiFormer

Definizione del Problema

Nonostante le straordinarie innovazioni dei Large Language Models (LLM) in varie applicazioni, le loro architetture rimangono computazionalmente inefficienti durante il pretraining a causa di due limitazioni primarie nella modellazione delle informazioni a diversi livelli:

Modellazione Locale Inefficiente: I meccanismi di self-attention standard mancano di un bias induttivo esplicito per la località. Essi modellano le informazioni locali interne alla sequenza (come le strutture sintattiche e le dipendenze a breve raggio) attraverso ridondanti interazioni complete a coppie. Ciò rende l'apprendimento dei pattern locali computazionalmente inefficiente, poiché il modello deve calcolare correlazioni globali anche quando sono richiesti solo pattern locali.
Accoppiamento Implicito della Conoscenza: Le architetture Mixture-of-Experts (MoE) accoppiano implicitamente l'archiviazione della conoscenza con i percorsi computazionali. La conoscenza è distribuita tra i pesi delle reti degli esperti, rendendo il recupero indiretto e ostacolando l'accesso flessibile alla conoscenza globale esterna alla sequenza (ad esempio, buon senso e informazioni fattuali). Questo accoppiamento limita la trasparenza e l'efficienza dell'internalizzazione e del recupero della conoscenza durante il pretraining.

Metodologia

Per affrontare queste limitazioni, gli autori propongono LoKiFormer, una nuova architettura di LLM che aumenta lo standard decoder block con due moduli dedicati, progettati per gestire separatamente l'informazione locale interna alla sequenza e l'informazione globale esterna alla sequenza.

1. Local Fusion Attention (LFA)

LFA è progettata per introdurre un esplicito bias induttivo locale per migliorare la modellazione delle dipendenze a breve raggio.

Meccanismo: Prima del meccanismo di attenzione, LFA applica un'operazione di convoluzione a gruppi che fonde le rappresentazioni dei token adiacenti. Gli stati nascosti vengono divisi in $h$ gruppi (corrispondenti al numero di teste di attenzione), e una convoluzione 1D causale con dimensione del kernel $k$ aggrega le informazioni da $k$ vicini immediati all'interno di ogni gruppo.
Effetto: Questa fusione convoluzionale cattura esplicitamente i pattern locali, creando rappresentazioni più ricche e consapevoli del contesto. Di conseguenza, il successivo meccanismo di Multi-Head Latent Attention (MLA) può operare su rappresentazioni più informative, permettendogli di concentrarsi sulla modellazione di relazioni contestuali globali più ampie piuttosto che su ridondanti interazioni locali.
Efficienza: LFA è una modifica leggera, che introduce solo un incremento marginale dei parametri (0,41% nel modello da 7B) senza alterare la complessità completa dell'attenzione.

2. Knowledge Memory Module (KMM)

KMM è progettato per disaccoppiare l'archiviazione della conoscenza dalla computazione, consentendo un recupero esplicito e diretto della conoscenza globale.

Meccanismo: A differenza di MoE, che codifica implicitamente la conoscenza nei pesi, KMM introduce una struttura di memoria key–value parametrica. Prende come input la rappresentazione latente dal modulo MLA, la proietta in uno spazio di query e la confronta con chiavi apprendibili che codificano campi di conoscenza specifici del dominio.
Struttura: Il modulo memorizza la conoscenza in $F$ slot (campi) indirizzabili. Durante l'addestramento, questi campi sono ottimizzati end-to-end. Durante l'inferenza, i token interrogano direttamente questi campi per recuperare astrazioni di conoscenza rilevanti.
Integrazione: La rappresentazione della conoscenza recuperata viene aggregata e aggiunta all'output del livello MLA prima di essere elaborata dal livello MoE. Questa configurazione consente al modello di bilanciare la generazione di nuovi pattern (tramite MoE) con il recupero efficiente di conoscenza pre-appresa (tramite KMM).
Interpretabilità: Gli autori dimostrano che, attraverso l'addestramento end-to-end, i singoli campi di conoscenza evolvono spontaneamente per rappresentare concetti di domini specifici (ad esempio, fisica, storia), consentendo un recupero della conoscenza mirato e interpretabile.

Contributi Chiave

Il documento delinea tre contributi primari:

Bias Induttivo Locale per un'Attenzione Efficiente: L'introduzione di LFA, che utilizza la fusione convoluzionale per catturare esplicitamente i pattern locali prima dell'attenzione. Ciò riduce le interazioni locali ridondanti e permette al meccanismo di attenzione di concentrarsi su relazioni globali complesse, affrontando l'inefficienza della self-attention nella modellazione delle dipendenze a breve raggio.
Memoria Parametrica Disaccoppiata per la Conoscenza Globale: La proposta di KMM, che memorizza esplicitamente astrazioni di conoscenza riutilizzabili in slot indirizzabili. Questo disaccoppia l'archiviazione dalla computazione, consentendo il recupero diretto della conoscenza e un'inferenza interpretabile, in contrasto con la rappresentazione della conoscenza implicita e accoppiata dello standard MoE.
Miglioramento dell'Efficienza del Pretraining: L'integrazione di LFA e KMM risulta in una convergenza significativamente più veloce durante il pretraining.

Risultati Sperimentali

Gli autori hanno valutato LoKiFormer attraverso varie dimensioni di modello (da 1B a 60B di parametri) e benchmark.

Convergenza del Pretraining: LoKiFormer converge 1,33× più velocemente rispetto ai modelli baseline. Nello specifico, raggiunge la stessa perplexity di validazione in 7,5K step rispetto ai 10K step del baseline.
Performance sui Task Downstream:
- Modelli di Dimensioni Comparabili: LoKiFormer-7B supera i baseline densi e MoE di dimensioni comparabili (ad esempio, Llama-3.1-8B, Qwen2.5-7B, Mixtral-8×7B) nei compiti di comprensione del linguaggio (MMLU, CMMLU, C-Eval), ragionamento (HellaSwag, ARC-Challenge), codice (HumanEval) e matematica (GSM8K).
- Modelli Frontier: Nonostante abbia solo 7B di parametri totali (3B attivati), LoKiFormer-7B raggiunge prestazioni state-of-the-art nella comprensione del linguaggio, superando i modelli frontier open-source (ad esempio, Llama-3.1-70B, Qwen2.5-72B) e i sistemi closed-source (ad esempio, Claude-3.5-Sonnet, Gemini-1.5-Pro) in benchmark come MMLU, CMMLU e C-Eval. Tuttavia, nei compiti di ragionamento e generazione, sottoperforma rispetto a questi modelli frontier più grandi; nello specifico, ottiene punteggi inferiori rispetto a Claude-3.5-Sonnet e Gemini-1.5-Pro in HellaSwag, HumanEval e GSM8K.
Scalabilità: L'architettura scala fluidamente da 1B a 60B di parametri, con miglioramenti costanti nella perplexity e nelle prestazioni dei task downstream all'aumentare della capacità del modello.
Efficienza: L'overhead computazionale per step è minimo (una riduzione di circa il 2,6% del throughput), il che significa che la riduzione degli step di addestramento si traduce direttamente in una sostanziale riduzione del tempo totale di addestramento (wall-clock time).
Studi di Ablazione: Gli esperimenti confermano che sia LFA che KMM contribuiscono indipendentemente e complementarmente ai guadagni di performance. Le ablazioni su dimensione del kernel, numero di gruppi e numero di campi di conoscenza validano le scelte di design.

Significato e Rivendicazioni

Il documento sostiene che LoKiFormer rappresenti un passo avanti significativo nell'efficienza e nell'efficacia del pretraining degli LLM. Affrontando esplicitamente le inefficienze nella modellazione delle dipendenze locali e l'inflessibilità dell'archiviazione implicita della conoscenza, l'architettura ottiene:

Convergenza più Rapida: Riducendo il costo computazionale e il consumo energetico richiesti per addestrare i grandi modelli.
Capacità Rappresentativa Potenziata: Migliorando la capacità del modello di integrare i pattern locali con la conoscenza globale, portando a prestazioni più forti nei compiti di ragionamento complesso e intensivi di conoscenza, in particolare nella comprensione del linguaggio.
Interpretabilità: Fornendo un meccanismo più trasparente per l'accesso alla conoscenza attraverso il disaccoppiamento esplicito di archiviazione e computazione.

Gli autori posizionano LoKiFormer come un'alternativa superiore alle architetture esistenti, dimostrando che le innovazioni architettoniche possono produrre guadagni di performance paragonabili o superiori a quelli di modelli molto più grandi in domini specifici (notevolmente la comprensione del linguaggio), contribuendo così allo sviluppo di sistemi di IA più efficienti dal punto di vista delle risorse e sostenibili. Il lavoro futuro proposto mira a estendere questa architettura ai compiti di ragionamento multimodale.