No Single Best Model for Diversity: Learning a Router for Sample Diversity

1. Il Problema

Nel campo dei Modelli Linguistici (LLM), molte attività richiedono la generazione di risposte diverse e di alta qualità per soddisfare una vasta gamma di utenti (es. scrittura creativa, simulazione di dialoghi, generazione di dati sintetici). Tuttavia, l'attuale stato dell'arte presenta due limiti principali:

1. Mancanza di metriche adeguate: Le metriche esistenti misurano spesso solo la diversità lessicale o la qualità di una singola risposta, fallendo nel quantificare la "copertura" dello spazio delle risposte valide per domande a risposta aperta.
2. Assenza di un modello dominante: Non esiste un singolo LLM che eccella nella generazione di un insieme diversificato e di alta qualità per tutti i tipi di prompt. Modelli diversi eccellono su domande diverse, ma non c'è un "migliore in assoluto" universale.

L'obiettivo del lavoro è quindi determinare se è possibile migliorare la copertura delle risposte valide combinando modelli eterogenei e, se sì, come selezionare dinamicamente il modello migliore per ogni specifica query.

2. Metodologia

Nuova Metrica: Diversity Coverage (Div-Cov)

Gli autori introducono una nuova metrica chiamata Diversity Coverage. Questa misura la qualità totale assegnata a tutte le risposte uniche nell'insieme predetto, normalizzata rispetto al miglior insieme possibile di risposte (con lo stesso numero di risposte) che si potrebbe ottenere.

• Definizione: $div\text{-}cov(q, A) = \frac{\sum_{a \in uniq(q,A)} quality(q, a)}{max\text{-}uniq\text{-}sum(q, B)}$
• Funzionamento:
  • Identifica le risposte semanticamente uniche ($uniq$).
  • Assegna un punteggio di qualità a ciascuna risposta (usando modelli di reward o ground truth).
  • Confronta il punteggio totale ottenuto con il punteggio teorico massimo raggiungibile con $B$ risposte distinte.
  • Questo approccio funziona sia per insiemi di risposte fissi (es. "elenca i paesi del Nord America") che per spazi aperti (es. "scrivi un titolo per un paper").

Studio Preliminare (Pilot Study)

Gli autori hanno testato 18 modelli LLM (delle famiglie Llama, Qwen, OLMo e Gemma) su dataset come NB-WildChat e NB-Curated.

• Risultato chiave: Nessun modello singolo domina su tutte le query. La frequenza con cui un modello è il "migliore" varia drasticamente in base alla domanda.
• Limite superiore (Oracle): Se si potesse scegliere il modello perfetto per ogni singola domanda (Oracle), la Diversity Coverage raggiungerebbe il 33.0% su NB-WildChat, contro il 23.8% ottenuto dal modello singolo con la media migliore. Questo evidenzia un ampio margine di miglioramento.

Il Router per la Diversità

Per colmare il divario tra le prestazioni del modello singolo e quelle dell'Oracle, gli autori propongono un Router (un classificatore) che prevede quale modello LLM genererà l'insieme di risposte più diversificato per una data query, senza dover campionare tutte le risposte da tutti i modelli.

• Formulazione: Il problema è trattato come un task di classificazione.
• Input: La query $q$.
• Output: L'indice del modello migliore $i^*$ tra un pool di $M$ modelli.
• Architetture testate:
  • KNN (K-Nearest Neighbors).
  • BERT fine-tuned.
  • MLP (Multi-Layer Perceptron) con due varianti di encoding:
    • Model-agnostic: Usa un retriever generico (es. inf-retriever).
    • Model-specific: Usa gli stati nascosti finali del modello candidato $m_i$ per codificare la query (ipotesi: questo cattura come il modello "pianifica" la sua risposta).
• Strategia di Ensemble: Il router può selezionare un singolo modello o i due migliori modelli per query, distribuendo il budget di generazione (es. 25 risposte per modello se se ne scelgono due).

3. Risultati Chiave

Prestazioni di Routing

• NB-WildChat (In-Domain): Il router migliore (Binary MLP con encoding specifico del modello) raggiunge una Diversity Coverage del 26.3%, superando significativamente il baseline del "miglior modello singolo" (23.8%).
• NB-Curated (Out-of-Domain): Il router generalizza bene, ottenendo un miglioramento rispetto ai baseline, dimostrando robustezza su dataset diversi.
• Confronto con Oracle: Sebbene il router non raggiunga le prestazioni dell'Oracle (33.0%), riduce drasticamente il divario rispetto all'uso di un singolo modello, con un costo computazionale molto inferiore rispetto all'approccio Oracle (che richiede il campionamento da tutti i modelli).

Efficienza e Scalabilità

• Costo: Il routing introduce un overhead di inferenza di circa 2-3 volte rispetto all'uso di un singolo modello, ma è molto più efficiente dell'approccio Oracle (che richiede fino a 19 volte il costo computazionale).
• Scalabilità dei Dati: Aumentare la dimensione del dataset di addestramento per il router (da 500 a 2000 esempi) migliora costantemente le prestazioni.
• Ensemble Multi-Modello: Utilizzare il router per selezionare e combinare i due migliori modelli per query porta ulteriori guadagni di prestazioni rispetto alla selezione di un solo modello.

Prompting e Qualità

• Gli autori hanno esplorato diverse strategie di prompting (generare 1 risposta, 2 risposte, o tutte le risposte possibili in una singola generazione).
• La strategia "Generate All" (tutte le risposte in una volta) offre la massima diversità, ma mostra un degrado della qualità delle risposte man mano che la generazione procede (le risposte successive sono di qualità inferiore).
• Il router funziona meglio quando addestrato sulla stessa strategia di prompting utilizzata durante l'inferenza, ma non generalizza bene tra strategie diverse.

4. Contributi Principali

1. Nuova Metrica: Introduzione della Diversity Coverage, una metrica unificata che misura congiuntamente diversità e qualità per spazi di risposta aperti e chiusi.
2. Scoperta Empirica: Dimostrazione che non esiste un modello LLM universale per la diversità; modelli diversi eccellono su query diverse.
3. Metodo di Routing: Proposta di un router appreso che seleziona dinamicamente il modello ottimale per massimizzare la copertura delle risposte, superando i baseline statici.
4. Analisi Completa: Valutazione estensiva su dataset in-domain e out-of-domain, analisi dell'efficienza computazionale e studio dell'impatto delle dimensioni dei dati di addestramento e delle strategie di prompting.

5. Significato e Implicazioni

Questo lavoro segna un cambio di paradigma: invece di cercare di migliorare la diversità di un singolo modello (tramite iperparametri o prompt), propone di sfruttare l'eterogeneità di un pool di modelli.

• Sistemi Multi-LLM: Dimostra che combinare modelli con punti di forza complementari è una strategia efficace per generare soluzioni più complete e diversificate.
• Efficienza: Fornisce un metodo pratico (routing) per ottenere prestazioni vicine all'Oracle senza i costi proibitivi di un campionamento esaustivo.
• Futuro: Apre la strada a sistemi di orchestrazione di modelli più sofisticati, capaci di adattarsi dinamicamente alla natura della query per massimizzare la copertura dello spazio delle soluzioni valide.

In sintesi, il paper stabilisce che la diversità ottimale non è una proprietà intrinseca di un singolo modello, ma emerge dalla capacità di selezionare e orchestrare intelligentemente un insieme di modelli in base alla specifica richiesta dell'utente.