Scalable Prompt Routing via Fine-Grained Latent Task Discovery

1. Il Problema: Scalabilità e Sfumature nei Pool di Modelli

Con l'espansione dei pool di modelli linguistici (LLM) verso decine di modelli "frontier" (all'avanguardia), emerge una sfida fondamentale per il Prompt Routing (l'allocazione dinamica di una query al modello più adatto):

• Gap di prestazioni ridotti: Le differenze di performance tra i modelli migliori sono sempre più sottili e sfumate.
• Limitazioni delle tassonomie manuali: I metodi esistenti si basano su tassonomie di task definite manualmente (es. "matematica", "codice"), che sono troppo grossolane per catturare le distinzioni fini (es. algebra simbolica vs. problemi di parole contestuali).
• Limiti dei router monolitici: I router che tentano di stimare la qualità per tutti i prompt con un unico modello (monolitico) faticano a differenziare le sottili affinità tra task specifici e modelli specifici su larga scala.

L'obiettivo è selezionare dinamicamente il modello migliore da un pool di candidati per massimizzare le prestazioni minimizzando i costi computazionali, anche quando i gap tra i modelli sono minimi.

2. Metodologia: Architettura a Due Stadi (FineRouter)

Gli autori propongono FineRouter, un'architettura a due stadi che combina la scoperta automatica di task latenti con una stima della qualità consapevole del task.

Fase 1: Scoperta e Mappatura del Tipo di Task (Offline)

Invece di usare categorie predefinite, il sistema scopre automaticamente strutture di task fini dai dati di addestramento.

• Generazione di Descrizioni: Un LLM genera una frase concisa che descrive il task per ogni prompt nel set di addestramento.
• Costruzione del Grafo: Si costruisce un grafo sparso dove i nodi sono i prompt. Gli archi sono pesati combinando due segnali:
  1. Similitudine Semantica: Tra le descrizioni dei task (embedding).
  2. Similitudine di Preferenza: Tra le liste di ranking dei modelli preferiti per quei prompt (calcolata tramite Rank Biased Overlap - RBO).
• Clustering Iterativo: Viene applicato l'algoritmo di rilevamento delle comunità Leiden per identificare cluster di prompt che condividono sia significato semantico che preferenze di modello simili.
• Selezione dei Candidati: Per ogni cluster (tipo di task scoperto), viene selezionato un sottoinsieme adattivo di modelli candidati che performano meglio su quel cluster specifico.
• Classificatore: Viene addestrato un classificatore testuale (bi-lineare) per assegnare nuovi prompt in fase di inferenza ai task scoperti.

Fase 2: Router Dinamico Consapevole del Task (Online)

Questa fase stima la qualità della risposta utilizzando un'architettura Mixture-of-Experts (MoE).

• Architettura: Il router include un encoder per i prompt, un layer di embedding per gli ID dei modelli e uno strato di stima della qualità (QE) con "testine di previsione" specializzate.
• Adattatori Specializzati:
  • Esistono adattatori generali per ogni modello (addestrati su tutti i dati).
  • Esistono adattatori specifici per il task per i modelli candidati selezionati nella Fase 1.
• Inferenza: Quando un prompt arriva, il classificatore (Fase 1) assegna un tipo di task. Se assegnato, vengono attivati gli adattatori specifici per i modelli candidati di quel task, mentre per gli altri modelli vengono usati gli adattatori generali.
• Aggregazione: Il punteggio finale è una combinazione ponderata tra:
  1. La stima di qualità specifica per il prompt (Fase 2).
  2. Il punteggio medio di qualità del modello sul cluster di task assegnato (Fase 1).
     Questo bilancia la stabilità a livello di task con l'adattabilità a livello di istanza.

3. Contributi Chiave

1. Scoperta Automatica di Task: Un metodo scalabile che combina segnali semantici e basati sulle prestazioni per identificare tipi di task fini senza tassonomie manuali.
2. Architettura di Routing Consapevole del Task: Un router MoE che utilizza le strutture di task scoperte per attivare testine di previsione specializzate, migliorando l'accuratezza della selezione del modello.
3. Valutazione Completa: Sperimentazione su 10 benchmark diversi con 11 modelli frontier (inclusi Claude-Sonnet-4.5, DeepSeek-R1, Llama-4-Maverick, Qwen3), dimostrando superiorità rispetto ai baselines e al singolo modello migliore.

4. Risultati Sperimentali

Il metodo è stato valutato su 10 benchmark (QA, ragionamento matematico, generazione di codice, ecc.) con 11 modelli candidati.

• Prestazioni Superiori: FineRouter supera costantemente i baselines esistenti (come RouteLLM, GraphRouter, IPR) e, cosa più importante, supera le prestazioni del singolo modello candidato più forte (es. Claude-Sonnet-4.5).
• Efficienza dei Costi: Raggiunge prestazioni superiori al modello migliore con meno della metà del costo di inferenza.
• Analisi Ablativa:
  • L'uso di task scoperti automaticamente (Fine CLS) è significativamente migliore rispetto all'uso di tassonomie manuali grossolane (Coarse CLS).
  • L'architettura completa a due stadi supera le versioni che usano solo la Fase 1 o solo la Fase 2, confermando che la combinazione di conoscenza a livello di task e stime specifiche per il prompt è cruciale.
• Distribuzione del Routing: Il router distribuisce il carico in modo bilanciato tra i modelli migliori (es. 28% su Claude-Sonnet, 27% su DeepSeek-R1), sfruttando i punti di forza di ciascuno invece di affidarsi a un unico modello.

5. Significato e Impatto

Il lavoro di FineRouter è significativo perché risolve il collo di bottiglia della scalabilità nel routing di LLM. Man mano che i modelli diventano più potenti e simili tra loro, le strategie di routing basate su categorie ampie o su un unico estimatore falliscono.

• Scalabilità: Dimostra che è possibile gestire pool di modelli in rapida crescita automatizzando la comprensione delle capacità dei modelli.
• Ottimizzazione Risorse: Fornisce un framework pratico per le aziende che devono bilanciare costi e prestazioni in ambienti di produzione con molteplici modelli API.
• Nuova Direzione: Sposta il paradigma dal "classificare il prompt" al "scoprire la struttura latente del task" e specializzare il modello di routing di conseguenza, aprendo la strada a sistemi di routing più robusti e adattivi per il futuro dell'IA.

Limitazioni

Gli autori notano che il metodo dipende dalla qualità del reward model e dell'LLM usato per generare le descrizioni dei task. Inoltre, richiede dati di addestramento con risposte da tutti i modelli candidati e attualmente supporta solo prompt testuali (non multimodali).