Task-Aware LLM Routing with Multi-Level Task-Profile-Guided Data Synthesis for Cold-Start Scenarios

1. Il Problema: Il Dilemma del Routing e lo Scenario "Cold-Start"

I Large Language Models (LLM) offrono prestazioni e costi computazionali estremamente variabili a seconda del task e della query specifica. Per ottimizzare il rapporto costo-prestazioni, sono stati sviluppati sistemi di routing che selezionano il modello migliore da un pool candidato per ogni richiesta utente.

Tuttavia, l'approccio esistente presenta un limite critico:

• Dipendenza dai dati in-domain: I router attuali richiedono dataset di addestramento etichettati (query, costi reali, prestazioni reali) specifici per il dominio di destinazione.
• Scenario Cold-Start: In molte situazioni reali (es. startup, nuovi prodotti, utenti individuali), non sono disponibili dati etichettati iniziali.
• Scarsa generalizzazione: I router pre-addestrati su un dominio falliscono quando vengono applicati a nuovi domini a causa dello spostamento della distribuzione dei dati (domain shift). Le soluzioni basate su regole o su semplici LLM esterni spesso non riescono a catturare le sfumature necessarie per un routing efficiente.

2. Metodologia Proposta

Gli autori propongono una soluzione composta da due pilastri principali: un framework di sintesi dei dati e un nuovo modello di routing.

A. Framework di Sintesi dei Dati Guidato dal Profilo del Task (Multi-Level Task-Profile-Guided Data Synthesis)

Per superare la mancanza di dati reali, il paper introduce un framework automatizzato che genera un dataset sintetico di addestramento approssimando la distribuzione delle query al momento del test. Il processo si articola in tre fasi:

1. Generatore di Tipi di Task (Task Type Generator):
   • Costruisce una tassonomia gerarchica dei task composta da tre livelli: Dominio (es. Matematica), Sottocategoria (es. Algebra) e Difficoltà (es. Facile, Medio, Difficile).
   • Utilizza prompt condizionali per espandere ricorsivamente la tassonomia, garantendo diversità e rilevanza.
2. Valutatore della Qualità del Tipo di Task (Task Type Quality Evaluator):
   • Esegue un processo di auto-critica (self-critique) sui nodi generati per verificare ridondanza, specificità e completezza.
   • Itera e affina la tassonomia fino a raggiungere un set stabile e coerente.
3. Generatore di Coppie Domanda-Risposta (Question-Answer Pair Generator):
   • Utilizza i profili dei task (definiti dai livelli di difficoltà della tassonomia) per generare coppie Q-A diverse.
   • Applica filtri di similarità semantica per eliminare duplicati, garantendo un dataset sintetico diversificato che copre lo spazio delle query reali.

B. TRouter: Un Router Consapevole del Tipo di Task

Sulla base dei dati sintetici, gli autori introducono TRouter, un approccio di routing che modella costi e prestazioni attraverso variabili latenti.

• Approccio Probabilistico: A differenza dei metodi che modellano direttamente la distribuzione condizionata $p(h|q, m)$ (dove $h$ è la metrica, $q$ la query, $m$ il modello), TRouter introduce una variabile latente del tipo di task $t$.
• Decomposizione: La distribuzione viene scomposta come:
  $$p(h | q, m) = \sum_{t \in T} p(h | t, m)p(t | q)$$
  Questo permette di separare la semantica del task dalle caratteristiche superficiali della query.
• Architettura:
  1. Modulo di Riconoscimento del Task: Stima la distribuzione a posteriori $p(t|q)$ (quale tipo di task appartiene la query).
  2. Modulo di Predizione delle Metriche: Predice costo e prestazione condizionatamente al tipo di task e al modello candidato $p(h|t, m)$.
• Regularizzazione: Il modello utilizza la tassonomia sintetizzata come prior per regolarizzare la distribuzione variazionale, migliorando la calibrazione e prevenendo l'overfitting, specialmente in assenza di dati reali.

3. Contributi Chiave

1. Identificazione del problema Cold-Start: Sono i primi a identificare formalmente la sfida del routing LLM in assenza di dati di addestramento in-domain e a proporre una soluzione specifica.
2. Framework di Sintesi dei Dati: Introduzione di un metodo guidato da profili di task multi-livello che genera dati di addestramento realistici senza annotazione manuale, basandosi solo su descrizioni di dominio.
3. TRouter: Un nuovo modello di routing che integra variabili latenti di tipo di task e regolarizzazione basata sulla tassonomia, superando i limiti dei metodi di regressione o classificazione tradizionali.
4. Validazione Estensiva: Dimostrazione dell'efficacia sia in scenari cold-start che in-domain su diversi pool di LLM (Qwen, Gemini, ecc.) e protocolli di valutazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard (Alpaca, GSM8K, SQuAD, Multi-News) e pool di modelli LLM open-source e commerciali.

• Prestazioni in Cold-Start: TRouter, addestrato esclusivamente sui dati sintetici ($D_{syn}$), supera significativamente le baseline che non usano dati in-domain (come "Adaptive LLM" o "Smallest/Largest LLM").
  • In alcuni casi, TRouter su dati sintetici supera persino le baseline che usano dati reali (in-domain) quando valutate con protocolli diversi, dimostrando una robustezza eccezionale.
• Robustezza Cross-Domain: I metodi esistenti (es. RouterDC, MetricRouter) soffrono pesantemente del domain shift quando addestrati su un dominio e testati su un altro. TRouter mantiene prestazioni elevate grazie alla sua struttura basata sulla tassonomia.
• Efficienza del Campionamento: TRouter è altamente efficiente nei dati; anche con solo 5-10 esempi per tipo di task (shot), raggiunge prestazioni quasi ottimali.
• Confronto con Baseline In-Domain: Anche quando i dati reali sono disponibili, TRouter supera i metodi di routing esistenti (come GraphRouter e MetricRouter) in termini di utilità complessiva, grazie alla capacità di catturare strutture semantiche latenti del task.

5. Significato e Impatto

Questo lavoro risolve un collo di bottiglia fondamentale nell'adozione pratica dei sistemi multi-LLM: la necessità di dati etichettati per iniziare a ottimizzare i costi.

• Democratizzazione del Routing: Permette a sviluppatori e aziende di implementare sistemi di routing intelligenti fin dal primo giorno di lancio di un prodotto, senza dover raccogliere mesi di dati utente.
• Interpretabilità: La struttura gerarchica della tassonomia rende il sistema interpretabile. Gli utenti possono ispezionare, modificare o espandere la tassonomia (es. rimuovere nodi irrilevanti o correggere bias) senza ri-addestrare l'intero sistema da zero.
• Efficienza dei Costi: La sintesi dei dati guidata dall'LLM è estremamente economica (pochi dollari per migliaia di coppie Q-A) rispetto all'annotazione manuale, che richiederebbe migliaia di dollari e competenze specializzate.
• Generalizzazione: Il metodo dimostra che la conoscenza strutturata sui tipi di task può essere più potente delle semplici caratteristiche superficiali delle query per prevedere le prestazioni dei modelli.

In sintesi, il paper propone un cambio di paradigma: invece di cercare di prevedere le prestazioni di ogni singola query, si prevede prima il "tipo di task" e poi si applicano le relazioni costo-prestazione note per quel tipo di task, utilizzando dati sintetici di alta qualità per colmare il divario iniziale.