💬 NLP

MACRO: Markov Chain Routing of Transformer Layers

Il documento introduce MACRO, un framework che potenzia i Large Language Models apprendendo politiche di routing tra i livelli dinamiche e specifiche per il compito tramite catene di Markov senza modificare i pesi del modello, ottenendo miglioramenti significativi dell'accuratezza e tempi di ricerca più rapidi rispetto ai metodi esistenti.

Autori originali: Paweł Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemysław Spurek, Paul Swoboda

Pubblicato 2026-08-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Paweł Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemysław Spurek, Paul Swoboda

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un robot super intelligente che legge libri e risponde a domande. Per fare il suo lavoro, il robot ha una lunga catena di montaggio di 28 o 32 piccoli operai (chiamati "layer" o strati). In una configurazione standard, ogni singola informazione deve passare davanti a ogni singolo operaio, dal primissimo all'ultimo, in una linea rigida e immutabile. È come un autobus scolastico che deve fermarsi in ogni singola casa della strada, anche se il passeggero deve scendere solo dopo tre isolati. Questo è il modo in cui funzionano la maggior parte dei modelli di IA oggi: seguono un programma rigido, indipendentemente da quanto la domanda sia facile o difficile.

Ma cosa succederebbe se il robot potesse essere un po' più flessibile? E se potesse decidere di saltare un operaio che non è necessario, o persino tornare indietro per chiedere a un precedente operaio di ricontrollare i suoi calcoli? Questa idea è chiamata "routing dinamico". Pensa a questo come a un GPS che non segue solo una mappa pre-stampata, ma può ricalcolare istantaneamente il percorso per evitare il traffico o prendere una scorciatoia. Gli scienziati hanno cercato di insegnare all'IA a fare questo, ma la maggior parte dei tentativi è come cercare di insegnare a un autista dell'autobus a guidare ricablando il motore ogni volta che incontra una nuova strada, o assumendo una guida separata ed costosa che urli indicazioni per ogni singolo passeggero. È un processo lento, costoso e che spesso manda in tilt il cervello del robot.

È qui che entra in gioco un nuovo studio chiamato MACRO. I ricercatori si sono posti una domanda semplice: possiamo insegnare a un robot congelato (uno il cui cervello non ci è permesso cambiare) a trovare un percorso migliore attraverso i propri operai senza rompere nulla? Hanno scoperto che, trattando il percorso del robot come un gioco di "scegli la tua avventura" basato su un insieme di semplici regole di probabilità (chiamate catena di Markov), potevano trovare una rotta molto più intelligente. Invece di riaddestrare il robot o usare guide costose, hanno lasciato che il robot esplorasse diversi percorsi su alcune domande di pratica, hanno appreso un unico insieme di regole specifico per il compito per navigare tra i suoi operai e poi hanno usato un astuto trucco matematico per identificare il percorso assoluto migliore per quel compito specifico. Questo percorso ottimale viene poi utilizzato uniformemente per tutte le domande in quel compito, invece di calcolare un nuovo percorso per ogni singola nuova domanda.

I risultati sono sorprendentemente efficaci. In una varietà di test difficili di matematica e scienza, MACRO ha aiutato il robot a diventare significativamente più intelligente. Per esempio, in un difficile benchmark matematico chiamato GSM8K, un piccolo modello di robot è passato dal rispondere correttamente al 43,4% delle domande al 69,5% — un salto enorme — solo cambiando l'ordine in cui visitava i suoi operai. I ricercatori hanno scoperto che questo metodo era molto più veloce da configurare rispetto ai metodi precedenti. Mentre altri approcci richiedevano quasi 15 ore per capire il percorso migliore per un compito, MACRO lo ha fatto in soli 1,6 ore.

L'intuizione chiave è che il robot conosceva già le risposte; doveva solo trovare un modo migliore per "ascoltare" i propri pensieri interni. Consentendo al robot di saltare passaggi non necessari o di tornare indietro per rivedere il proprio lavoro, i ricercatori hanno sbloccato un potenziale nascosto senza cambiare un singolo peso nel cervello del robot. È come se non avessero insegnato al robot nuovi fatti, ma avessero semplicemente insegnato come pensare in modo più efficiente. Lo studio suggerisce che per molti compiti complessi, la risposta era già all'interno del modello; avevamo solo bisogno di una mappa migliore per trovarla.

Sintesi Tecnica: MACRO – Markov Chain Routing of Transformer Layers

Definizione del Problema
I modelli linguistici di grandi dimensioni (LLM) standard eseguono i blocchi transformer sequenzialmente dal primo all'ultimo strato, aderendo a uno schema computazionale rigido. Questo approccio statico ignora il potenziale di percorsi computazionali dinamici che potrebbero migliorare l'accuratezza del ragionamento su compiti complessi senza modificare i pesi sottostanti del modello. Sebbene lavori precedenti abbiano esplorato la profondità adattiva principalmente per l'accelerazione dell'inferenza (ad esempio, early exits, layer dropping strutturato), la ristrutturazione attiva della rotta di esecuzione di un modello congelato per migliorarne le prestazioni rimane una frontiera impegnativa. I metodi di routing dinamico esistenti affrontano colli di bottiglia significativi: alcuni richiedono costose generazioni di dati tramite Monte Carlo Tree Search (MCTS) offline (ad esempio, Dr.LLM), altri richiedono etichette di verità fondamentale (ground-truth) durante l'inferenza, e alcuni si affidano a cicli di ricerca per singolo campione che sono computazionalmente proibitivi.

Metodologia
Gli autori propongono MACRO (Markov Chain Routing of Transformer Layers), un framework che apprende rotte di esecuzione specifiche per il task su architetture LLM congelate. MACRO modella il routing dei layer come una politica di Markov dipendente dal contesto, $\pi_\theta(a_t | s_t)$ , che detta la sequenza di applicazioni dei layer, salti, ripetizioni e aggiunte di stati nascosti.

Spazio degli Stati e delle Azioni: Lo stato $s_t$ è un riassunto compatto che comprende l'indice del layer corrente ( $\ell$ ), la fase rimanente del budget computazionale (early/mid/late), lo spostamento del layer in ingresso ( $\delta$ ) e il contesto dell'operatore (se lo stato nascosto corrente è stato prodotto da un layer semplice o da un'addizione). Lo spazio delle azioni include:
1. Movimento Locale del Layer: Applicare un layer vicino $\ell + \Delta$ (permettendo salti, ripetizioni o rivisitazioni backward).
2. Add-and-Apply: Aggiungere un precedente stato nascosto $h_{t-b}$ allo stato corrente $h_t$ (con un coefficiente $\gamma > 0$ ) prima di applicare un layer locale.
3. Rejoin: Terminare il prefisso appreso ed eseguire il restante suffisso standard del transformer.
  Maschere di fattibilità assicurano che tutti i programmi campionati rimangano entro i limiti dei layer e i vincoli di budget.
Procedura di Apprendimento: MACRO impiega un approccio di stima della distribuzione. Partendo da un prior con bias in avanti (dove il percorso sequenziale standard è il più probabile), il framework campiona iterativamente candidati programmi di routing, li valuta su un sottoinsieme di dati di addestramento e aggiorna la matrice di transizione di Markov utilizzando la massima verosimiglianza pesata. Le rotte ad alte prestazioni sono pesate esponenzialmente per raffinare la politica. Un replay buffer garantisce una convergenza stabile preservando la copertura degli esempi dalle iterazioni precedenti.
Decodifica e Selezione: A differenza dei metodi che si affidano al campionamento stocastico o alla ricerca per singolo test-time, MACRO utilizza un algoritmo Viterbi top-k per decodificare deterministicamente i programmi di routing a più alta probabilità dalla politica appresa. Maschere di fattibilità strutturale sono integrate nella ricorsione di Viterbi. La rotta finale è selezionata valutando i candidati top-k su un set di validazione tenuto separato, scegliendo quello con l'accuratezza più elevata.

Contributi Chiave

Framework Efficiente nei Parametri: MACRO introduce una politica di Markov leggera e dipendente dal contesto per il routing adattivo dei layer in LLM congelati e quantizzati, senza richiedere aggiornamenti ai pesi del modello.
Schema di Decodifica Esatto: Il paper presenta uno schema di decodifica Viterbi top-k esatto equipaggiato con maschere di fattibilità strutturale. Ciò elimina la necessità di ricerca per singolo campione al test-time, l'addestramento di reti neurali ausiliarie o oracoli di inferenza ground-truth.
Superiorità Empirica: Il framework dimostra miglioramenti costanti rispetto ai baseline non routati e ai metodi di routing dinamico esistenti attraverso diversi benchmark di ragionamento e conoscenza.

Risultati
Valutato su molteplici LLM open-weight (inclusi varianti di Qwen3, Mixtral e DeepSeek-R1-Distill) su benchmark come GSM8K, MATH500, MedQA e MMLU-Pro:

Guadagni di Accuratezza: MACRO ottiene un miglioramento medio dell'accuratezza del +5.0% rispetto ai baseline non routati. I guadagni sono più pronunciati sui modelli più piccoli (ad esempio, +12.68% su Qwen3-1.7B).
Confronto con lo Stato dell'Arte (SOTA): MACRO supera il principale metodo di routing dinamico, Dr.LLM, di +7.2% in accuratezza media.
Efficienza: Il processo di ricerca della rotta è significativamente più efficiente, riducendo il tempo di ricerca di 9.4× (da 14.8 ore a 1.6 ore per benchmark) rispetto a Dr.LLM.
Robustezza: Test di significatività statistica confermano che MACRO migliora le prestazioni in tutti i modelli testati senza degradare alcun benchmark.
Insight Meccanicistico: L'analisi logit-lens suggerisce che il routing migliora le prestazioni non cambiando le capacità di ragionamento interno del modello, ma esponendo meglio le risposte che sono già internamente rappresentate, impedendo la loro soppressione vicino all'output.

Significatività e Rivendicazioni
Il paper sostiene che MACRO rappresenti un passo avanti significativo nel rendere pratico il calcolo dinamico per gli LLM congelati. Formalizzando il routing come un processo di Markov, gli autori superano i costi computazionali e i requisiti di dati dei metodi precedenti (come l'addestramento guidato da MCTS). Il lavoro argomenta che il routing funge da meccanismo per "elicitare" le risposte internamente presenti in modo più efficace, piuttosto che alterare fondamentalmente le rappresentazioni apprese dal modello. Gli autori pongono che questo approccio debba essere esteso ulteriormente per abilitare il routing dinamico dipendente dall'input, offrendo una nuova dimensione di scaling flessibile al test-time per gli LLM. Il metodo è particolarmente degno di nota per la sua capacità di migliorare le prestazioni sui modelli piccoli e per la sua compatibilità con i modelli quantizzati, suggerendo un'ampia applicabilità in ambienti con risorse limitate.

Articoli simili