LLM Router: Prefill is All You Need

1. Il Problema

I Large Language Models (LLM) moderni mostrano spesso accuratezze comparabili sui benchmark standard, ma le loro prestazioni variano significativamente a seconda del sottoinsieme di compiti. L'idea di un "Router Oracolo" (un selettore teorico con perfetta previsione) suggerisce che navigare strategicamente tra i punti di forza specifici di ciascun modello possa superare l'accuratezza di qualsiasi modello singolo.

Tuttavia, i router attuali presentano due difetti fondamentali:

1. Mancanza di interpretazione meccanica: Si basano su segnali semantici o di intento (es. embedding delle query) ignorando i limiti generativi intrinseci dei modelli.
2. Divario semantico-complessità: La similarità semantica non correla necessariamente con la difficoltà del compito. I router basati su rappresentazioni semantiche falliscono spesso nel catturare segnali indicativi del comportamento effettivo del modello, specialmente sotto vincoli di costo rigorosi (SLA).

2. Metodologia e Architettura

Il paper propone un cambio di paradigma: invece di analizzare il testo di input (query), si utilizzano le attivazioni interne durante la fase di "prefill" (la prima fase di inferenza) come segnale predittivo.

Concetti Chiave:

• Encoder-Target Decoupling (Decoupling Encoder-Target): Il sistema separa il modello che fornisce il segnale predittivo (Encoder) dal modello le cui prestazioni vengono stimate (Target).
  • Innovazione: Dimostrano che encoder open-source "stranieri" (es. Qwen) possono prevedere le prestazioni di modelli closed-source (es. Claude) meglio dello stato interno del modello target stesso.
• SharedTrunkNet: Un'architettura multi-output che utilizza un "tronco" condiviso per elaborare i segnali estratti da più encoder simultaneamente. Questo permette di catturare il contesto cross-modello, migliorando la stima della difficoltà relativa del compito per diversi target.
• Selezione degli Strati tramite Fisher Separability: Invece di usare l'ultimo strato, il paper utilizza metriche matematiche per identificare lo strato ottimale:
  • Fisher Separability ($J$): Misura la separabilità lineare tra risposte corrette e incorrette.
  • Effective Dimensionality ($d_{eff}$): Misura quanto l'informazione è distribuita nello spazio latente.
  • La selezione dello strato basata su $J$ si è rivelata superiore alle ipotesi tradizionali.

Funzionamento del Router:

1. Estrazione del Segnale: Per una data query, si estraggono gli stati nascosti (hidden states) dalla metà superiore degli strati dell'Encoder.
2. Ridimensionamento: Applicazione di PCA per ridurre la dimensionalità.
3. Stima dell'Accuratezza: SharedTrunkNet mappa questi vettori in una probabilità di accuratezza ($P(correct)$) per ogni modello candidato nel pool.
4. Stima del Costo: Il costo è stimato basandosi sul numero di token di input e sulla lunghezza mediana di output attesa (senza generare il testo).
5. Decisione: Viene calcolato un punteggio di routing: $score = \lambda \cdot P(correct) - (1-\lambda) \cdot cost$. Il modello con il punteggio più alto viene selezionato.

3. Contributi Principali

1. Decoupling Encoder-Target: La dimostrazione che modelli open-source leggeri possono fungere da predittori efficaci per modelli proprietari costosi, abilitando un routing efficiente senza dover eseguire il modello target.
2. Selezione degli Strati Basata su Fisher: Un approccio matematico per isolare i segnali predittivi ottimali all'interno della rete neurale, superando l'assunzione che l'ultimo strato sia il più informativo.
3. SharedTrunkNet: Un'architettura che sfrutta il contesto incrociato tra modelli per una calibrazione simultanea delle probabilità di accuratezza.
4. Nuovo Framework di Valutazione: Introduzione di metriche come P-AUCCC (Area Under the Cost Coverage Curve) e Router Efficacy, che misurano quanto il router si avvicina al "Pareto front" teorico (il miglior compromesso costo/accuratezza) rispetto alla selezione statica di un singolo modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre pool di modelli:

• Frontier Pool: 11 modelli avanzati (es. GPT-5, Claude Opus 4.6, Qwen 122B).
• Small Pool: 20 modelli leggeri (7B-9B).
• Mixed Pool: Una combinazione mista per testare il routing tra architetture eterogenee.

Risultati Chiave (Pool Frontier):

• Acquisizione del "Headroom": SharedTrunkNet ha recuperato il 45,58% del divario di accuratezza esistente tra il modello standalone più forte e l'Oracolo teorico.
• Risparmio sui Costi: Rispetto al modello più costoso, il sistema ha raggiunto un risparmio del 74,31%.
• Superiorità sui Router Semantici: Il router basato su attivazioni interne ha costantemente dominato i router basati su embedding semantici (come DeBERTa o NV-Embed), ottenendo un'area P-AUCCC superiore e una distanza minore dall'Oracolo.
• Generalizzazione: I modelli encoder Qwen (35B e 122B) si sono dimostrati i predittori più efficaci per tutti i target, inclusi quelli closed-source.

5. Significato e Impatto

Questo lavoro stabilisce un nuovo paradigma per l'orchestrazione degli LLM:

• Dal Semantico al Meccanistico: Sposta il focus dall'analisi del significato della query all'analisi della geometria delle attivazioni interne, offrendo una visione più profonda della difficoltà intrinseca del compito.
• Accessibilità e Costi: Permette di utilizzare modelli open-source leggeri come "sentinelle" per indirizzare le richieste verso API costose solo quando strettamente necessario, riducendo drasticamente i costi operativi senza sacrificare l'accuratezza.
• Scalabilità: La decoupling tra encoder e target rende il sistema scalabile anche per modelli proprietari i cui stati interni non sono accessibili, poiché il router non necessita di eseguire il modello target per prendere una decisione.

In sintesi, il paper dimostra che "Prefill is All You Need": le attivazioni generate nella prima fase di inferenza contengono informazioni sufficienti e robuste per guidare un routing intelligente, efficiente e ad alte prestazioni tra modelli eterogenei.