CUPID in the Model Zoo: Online Matchmaking for Selecting Your Dream LLM

Technische Samenvatting: CUPID in de Model Zoo

Probleemstelling
Naarmate Large Language Models (LLM's) prolifereren, worden gebruikers geconfronteerd met een kritieke uitdaging bij het selecteren van het meest geschikte model voor specifieke taken uit een snel expanderende pool. Deze selectie wordt bemoeilijkt door twee factoren: (1) LLM's bezitten onderscheidende maar vaak obscure latente eigenschappen (bijv. redeneerkwaliteit, verbositeit, latentie, kostenefficiëntie) die niet volledig a priori observeerbaar zijn; en (2) gebruikers missen vaak het vocabulaire of het bewustzijn om hun voorkeuren expliciet te articuleren, welke vaak applicatiespecifiek en latent zijn in plaats van generiek.

Bestaande oplossingen richten zich primair op query-level routing, waarbij individuele prompts dynamisch aan modellen worden toegewezen op basis van vaste nutdefinities (bijv. nauwkeurigheid versus latentie). Echter, routing pakt het probleem van het identificeren van een enkel LLM voor duurzame implementatie niet aan, waarbij gebruikersvoorkeuren onbekend, latent zijn en geïnferred moeten worden via beperkte interactie onder strikte kosten- en tijdsbudgetten. Huidige methoden gaan vaak uit van bekende doelstellingen of vertrouwen op populatieniveau-aggregaten, waardoor ze niet in staat zijn individuele gebruikersbehoeften te vatten.

Methodologie: Het CUPID-framework
De auteurs stellen CUPID voor (Cost-aware User-centric Preference Identification and Discovery), een interactie-efficiënt active learning framework dat is ontworpen om gebruikers te matchen met hun optimale LLM. Het framework opereert onder drie kerndesiderata: applicatie-centraal (het leren van individuele voorkeuren), gebruiker-centraal (gebruik van lichtgewicht feedback) en budget-bewust (respecteren van kosten- en rondelimitaties).

Het kernalgoritme is HEART-UCB (Human-Elicited Adaptive Resource-aware Tradeoffs), een nieuwe Upper Confidence Bound strategie afgeleid voor latente dueling bandits. De methodologie verloopt als volgt:

1. Latente Voorkeursmodellering: Gebruikersvoorkeuren worden gemodelleerd als een latente functie $f: \mathcal{Z} \times \mathcal{A} \to \mathbb{R}$, waarbij $\mathcal{A}$ de verzameling LLM's is en $\mathcal{Z}$ een verzameling onbekende, latente gebruikersdoelstellingen vertegenwoordigt (bijv. "goedkoop", "verbaal rijk"). Een Gaussian Process (GP) prior wordt geplaatst over deze nutfunctie om onzekerheid over de gehele modelpool te representeren.
2. Belief Updating: Het systeem houdt een belief-vector $b_t$ bij over de latente doelstellingen. Bij het observeren van een paargewalige voorkeur (bijv. Model A wordt verkozen boven Model B), wordt de belief over de doelstellingen bijgewerkt via de regel van Bayes, en wordt de GP-posterior over de nutswaarden bijgewerkt met behulp van een probit likelihood.
3. HEART-UCB Formulering: Om het volgende paar modellen voor vergelijking te selecteren, berekent het algoritme een belief-bewuste UCB-score voor elk model. Deze score integreert:
   • Verwacht Nut: De posterior gemiddelde van het latente nut.
   • Exploratiebonus: De posterior standaarddeviatie (onzekerheid).
   • Taalgestuurde Bias: Een optionele term afgeleid van natuurlijke taalfeedback (bijv. "Ik heb een goedkoper model nodig"). Een hulp-LLM interpreteert deze feedback om indicatorfuncties te genereren die de selectie sturen naar modellen die overeenkomen met de gestelde richting.
   • Resource Penalty: Een dynamische strafterm die toeneemt als het algoritme het budget sneller verbruikt dan een doelritme, wat effectief dure modellen bestraft wanneer het budget krap is.
   • Cooldown: Een term om herhaalde selectie van hetzelfde model te voorkomen wanneer kandidaten vergelijkbare nutswaarden hebben.
4. Interactieloop: CUPID selecteert iteratief een paar LLM's, presenteert hun responsen aan de gebruiker, verzamelt paargewalige feedback (en optionele natuurlijke taal-aanwijzingen), en werkt de belief en de GP-posterior bij totdat het budget is uitgeput of convergentie is bereikt.

Kernbijdragen

1. Framework Formulering: CUPID is geformuleerd als een algemeen framework voor het matchen van gebruikers aan LLM's onder latente, moeilijk te articuleren voorkeuren, terwijl expliciete kosten- en tijdsbudgetten worden gerespecteerd.
2. HEART-UCB Algoritme: De auteurs leiden HEART-UCB af, een theoretisch gefundeerd online algoritme dat de standaard UCB uitbreidt naar latente dueling bandits. Het integreert uniek taalfeedback als een bias-signaal en incorporeert middelenrestricties direct in de nutsberekening.
3. Empirische Validatie: Het artikel demonstreert de effectiviteit van CUPID door uitgebreide experimenten op tekst- en beeldgeneratietaken, waarbij het wordt vergeleken met baselines inclusief $\epsilon$-greedy dueling bandits, RUCB en LMArena-stijl sampling.

Experimentele Resultaten

• Geautomatiseerde Validatie: In simulaties met een pool van 25 OpenAI-modellen met variërende objectieve verzamelingen, bereikte CUPID 100% convergentie in alle experimentele opstellingen, waarbij het significant beter presteerde dan baselines zoals RUCB en Latent Dueling Bandits, die vaak faalden om te convergeren. CUPID demonstreerde ook superieure kostenefficiëntie door hoge convergentiecijfers te behalen met lagere totale API-kosten.
• Robuustheid: CUPID toonde robuustheid tegen ruisige taalfeedback (adversariële, statische of onzin feedback) en verschuivingen in doelstellingen (trainen op algemene benchmarks zoals MMLU-Pro terwijl geëvalueerd wordt op specifieke redeneertaken zoals AIME). Het presteerde consistent beter dan baselines in zowel score als kosten onder deze condities.
• Menselijke Studies: In A/B-blinded gebruikersstudies met betrekking tot tekst- en beeldgeneratie, beoordeelden deelnemers de uiteindelijke gematchte modellen van CUPID als zijnde van vergelijkbare of betere kwaliteit dan die gekozen door LMArena, terwijl CUPID aanzienlijk hogere budget-compliance ratings behaalde. Het voordeel van CUPID was het meest uitgesproken in settings met latente, open eind doelstellingen (H3 en H4), wat suggereert dat het effectief verborgen voorkeuren afleidt waar expliciete specificaties ontbreken.
• Schaalbaarheid: De algoritmische overhead van CUPID (GP-updates en UCB-scoring) schaalt lineair met de grootte van de modelpool maar blijft verwaarloosbaar (<1 seconde voor 125 modellen) vergeleken met de latentie van LLM-generatie.

Betekenis en Claims
Het artikel claimt de eerste poging te zijn om (i) latente dueling bandits te formuleren met behulp van UCB en (ii) taalfeedback te integreren in online interactie voor user-LLM matchmaking. De auteurs positioneren CUPID als een oplossing voor het "complementaire regime" van user-level modelselectie, verschillend van per-query routing.

De betekenis van het werk ligt in het vermogen om efficiënt LLM's te ontdekken die voldoen aan individuele gebruikersbehoeften met minimale interactie-overhead en kosten. Door gebruikersdoelstellingen als latente variabelen te behandelen en beliefs bij te werken via lichtgewicht paargewalige vergelijkingen en optionele natuurlijke taal-aanwijzingen, vermindert CUPID de afhankelijkheid van het hebben van een precieze technische vocabulaire of vooraf gedefinieerde specificaties door de gebruiker. De auteurs merken op dat hoewel de huidige GP-formulering niet automatisch de inhoud van de respons analyseert, toekomstig werk content-bewuste embeddings kan incorporeren om convergentie verder te versnellen. Het framework wordt gepresenteerd als een stap naar meer geïnformeerde, efficiënte en kosteneffectieve implementatiebeslissingen voor zowel individuen als organisaties.