CUPID in the Model Zoo: Online Matchmaking for Selecting Your Dream LLM

Sintesi Tecnica: CUPID nel Model Zoo

Problematica
Con la proliferazione dei Large Language Models (LLM), gli utenti affrontano una sfida critica nella selezione del modello più appropriato per compiti specifici da un pool in rapida espansione. Questa selezione è complicata da due fattori: (1) gli LLM possiedono proprietà latenti distinte ma spesso opache (ad es., qualità del ragionamento, verbosità, latenza, efficienza dei costi) che non sono pienamente osservabili a priori; e (2) gli utenti spesso mancano del vocabolario o della consapevolezza per articolare esplicitamente le proprie preferenze, che sono frequentemente specifiche per l'applicazione e latenti piuttosto che generiche.

Le soluzioni esistenti si concentrano principalmente sul routing a livello di query, dove i singoli prompt vengono assegnati dinamicamente ai modelli sulla base di definizioni di utilità fisse (ad es., accuratezza rispetto a latenza). Tuttavia, il routing non affronta il problema dell'identificazione di un singolo LLM per un deployment sostenuto dove le preferenze dell'utente sono sconosciute, latenti e devono essere inferite attraverso un'interazione limitata sotto rigidi budget di costo e tempo. I metodi attuali spesso assumono obiettivi noti o si affidano ad aggregati a livello di popolazione, fallendo nel catturare i bisogni individuali degli utenti.

Metodologia: Il Framework CUPID
Gli autori propongono CUPID (Cost-aware User-centric Preference Identification and Discovery), un framework di apprendimento attivo efficiente nell'interazione, progettato per abbinare l'utente al proprio LLM ottimale. Il framework opera sotto tre desiderata fondamentali: centricità rispetto all'applicazione (apprendimento delle preferenze individuali), centricità rispetto all'utente (utilizzo di feedback leggeri) e consapevolezza del budget (rispetto dei limiti di costo e di round).

L'algoritmo centrale è HEART-UCB (Human-Elicited Adaptive Resource-aware Tradeoffs), una nuova strategia Upper Confidence Bound derivata per i dueling bandit latenti. La metodologia procede come segue:

1. Modellazione delle Preferenze Latenti: Le preferenze dell'utente sono modellate come una funzione latente $f: \mathcal{Z} \times \mathcal{A} \to \mathbb{R}$, dove $\mathcal{A}$ è l'insieme degli LLM e $\mathcal{Z}$ rappresenta un insieme di obiettivi latenti e sconosciuti dell'utente (ad es., "economico", "verboso"). Un prior di Processo Gaussiano (GP) è posto su questa funzione di utilità per rappresentare l'incertezza sull'intero pool di modelli.
2. Aggiornamento della Credenza (Belief Updating): Il sistema mantiene un vettore di credenza $b_t$ sugli obiettivi latenti. Al momento dell'osservazione di una preferenza a coppie (ad es., il Modello A è preferito rispetto al Modello B), la credenza sugli obiettivi viene aggiornata tramite la regola di Bayes, e il posteriore del GP sulle utilità viene aggiornato utilizzando una verosimiglianza probit.
3. Formulazione HEART-UCB: Per selezionare la successiva coppia di modelli da confrontare, l'algoritmo calcola uno score UCB consapevole della credenza per ogni modello. Questo score integra:
   • Utilità Attesa: La media a posteriori dell'utilità latente.
   • Bonus di Esplorazione: La deviazione standard a posteriori (incertezza).
   • Bias guidato dal Linguaggio: Un termine opzionale derivato dal feedback in linguaggio naturale (ad es., "Ho bisogno di un modello più economico"). Un LLM ausiliario interpreta questo feedback per generare funzioni indicatrici che orientano la selezione verso modelli allineati alla direzione dichiarata.
   • Penalità di Risorse: Un termine di penalità dinamica che aumenta se l'algoritmo consuma il budget più velocemente di un tasso target, penalizzando efficacemente i modelli costosi quando il budget è limitato.
   • Cooldown: Un termine per evitare la selezione ripetuta dello stesso modello quando i candidati hanno un'utilità comparabile.
4. Ciclo di Interazione: CUPID seleziona iterativamente una coppia di LLM, presenta le loro risposte all'utente, raccoglie il feedback a coppie (e gli eventuali segnali di linguaggio naturale) e aggiorna la credenza e il posteriore del GP fino a esaurimento del budget o raggiungimento della convergenza.

Contributi Chiave

1. Formulazione del Framework: CUPID è formulato come un framework generale per abbinare utenti a LLM sotto preferenze latenti e difficili da articolare, rispettando al contempo espliciti budget di costo e tempo.
2. Algoritmo HEART-UCB: Gli autori derivano HEART-UCB, un algoritmo online con basi teoriche che estende lo standard UCB ai dueling bandit latenti. Esso integra unicamente il feedback linguistico come segnale di bias e incorpora i vincoli di risorse direttamente nel calcolo dell'utilità.
3. Validazione Empirica: Il documento dimostra l'efficacia di CUPID attraverso estesi esperimenti su compiti di generazione di testo e immagini, confrontandolo con baseline tra cui $\epsilon$-greedy dueling bandits, RUCB e campionamento in stile LMArena.

Risultati Sperimentali

• Validazione Automatica: In simulazioni utilizzando un pool di 25 modelli OpenAI con diversi set di obiettivi, CUPID ha raggiunto il 100% di convergenza in tutti gli setup sperimentali, superando significativamente le baseline come RUCB e Latent Dueling Bandits, che spesso fallivano la convergenza. CUPID ha anche dimostrato una superiore efficienza dei costi, raggiungendo alti tassi di convergenza con costi API totali inferiori.
• Robustezza: CUPID ha mostrato robustezza rispetto a feedback linguistici rumorosi (avversari, statici o privi di senso) e spostamenti di obiettivo (addestramento su benchmark generali come MMLU-Pro mentre si valuta su compiti di ragionamento specifici come AIME). Ha costantemente superato le baseline sia in termini di punteggio che di costo in queste condizioni.
• Studi sull'Utente: In studi sull'utente in cieco (A/B-blinded) riguardanti la generazione di testo e immagini, i partecipanti hanno valutato i modelli finali abbinati da CUPID come aventi una qualità comparabile o migliore rispetto a quelli selezionati da LMArena, mentre CUPID ha ottenuto valutazioni di conformità al budget significativamente più elevate. Il vantaggio di CUPID è stato più pronunciato in contesti con obiettivi latenti e aperti (H3 e H4), suggerendo che esso inferisce efficacemente preferenze nascoste laddove mancano specifiche esplicite.
• Scalabilità: L'overhead algoritmico di CUPID (aggiornamenti GP e scoring UCB) scala linearmente con la dimensione del pool di modelli ma rimane trascurabile (<1 secondo per 125 modelli) rispetto alla latenza di generazione dell'LLM.

Significatività e Rivendicazioni
Il documento sostiene di essere il primo tentativo di (i) formulare i dueling bandit latenti utilizzando UCB e (ii) integrare il feedback linguistico nell'interazione online per l'abbinamento utente-LLM. Gli autori posizionano CUPID come una soluzione per il "regime complementare" della selezione del modello a livello utente, distinto dal routing per singola query.

La significatività del lavoro risiede nella sua capacità di abilitare la scoperta efficiente di LLM che soddisfano le esigenze individuali degli utenti con un minimo overhead di interazione e costi. Trattando gli obiettivi dell'utente come variabili latenti e aggiornando le credenze attraverso confronti a coppie leggeri e opzionali segnali di linguaggio naturale, CUPID riduce la dipendenza dalla necessità per gli utenti di possedere un vocabolario tecnico preciso o specifiche predefinite. Gli autori osservano che, sebbene l'attuale formulazione GP non analizzi automaticamente il contenuto delle risposte, il lavoro futuro potrebbe incorporare embedding consapevoli del contenuto per accelerare ulteriormente la convergenza. Il framework è presentato come un passo verso decisioni di deployment più informate, efficienti e convenienti, sia per i singoli che per le organizzazioni.