No Single Best Model for Diversity: Learning a Router for Sample Diversity

Probleemstelling

Bij open-ended vragen (vragen met veel mogelijke juiste antwoorden) is het voor Large Language Models (LLMs) vaak een uitdaging om een omvattende set van diverse en hoogwaardige antwoorden te genereren. Bestaande methoden focussen vaak op het verbeteren van de diversiteit van een enkel model (bijvoorbeeld via inferentie-hyperparameters of prompts), maar deze benaderingen hebben beperkingen:

1. Er is geen enkele LLM die consistent de beste prestaties levert op het genereren van diverse antwoordsets voor alle mogelijke prompts.
2. Bestaande evaluatiematen zijn vaak onvoldoende voor open-ended ruimtes, omdat ze ofwel de kwaliteit negeren of niet schaalbaar zijn zonder ground-truth antwoorden.
3. Het selecteren van het beste model per vraag is lastig omdat het evalueren van een volledige set antwoorden (om diversiteit te meten) rekenkundig duur is.

Het artikel stelt dat het combineren van een suite van heterogene LLMs (met verschillende sterke punten) een veelbelovende route is om de dekking van het antwoordruimte te maximaliseren.

Methodologie

1. Nieuwe Evaluatiemeta: Diversity Coverage (Div-Cov)

De auteurs introduceren een nieuwe metriek, Diversity Coverage, om de kwaliteit en diversiteit van een set antwoorden gezamenlijk te meten.

• Definitie: Het is de som van de kwaliteitscores van alle unieke antwoorden in de voorspelde set, gedeeld door de maximale mogelijke som van kwaliteitscores voor een set van dezelfde grootte.
• Voordeel: In tegenstelling tot eerdere methoden die alleen het aantal unieke antwoorden tellen of alleen de kwaliteit van één antwoord meten, houdt deze metriek rekening met zowel de uniekheid (via een equivalentie-classificator) als de kwaliteit (via een reward model) van het antwoord. Het is toepasbaar op zowel vragen met een vast antwoordset als open-ended vragen.

2. Pilot Study: Het ontbreken van een "beste" model

De auteurs testten 18 LLMs (uit families als Llama, Qwen, OLMo en Gemma) op diverse datasets.

• Vinding: Geen enkel model domineerde op alle vragen. Verschillende modellen excelleren bij verschillende soorten prompts.
• Oracle Experiment: Als men hypothetisch het beste model per vraag zou kunnen kiezen (een "Oracle"), zou de Diversity Coverage op de NB-WildChat-dataset stijgen van 23,8% (beste enkele model) naar 33,0%. Dit toont een aanzienlijke kans voor verbetering door model-ensembles.

3. De Router: Learning to Route

Om de Oracle-prestaties te benaderen zonder alle modellen te laten genereren, trainen de auteurs een Router.

• Doel: De router voorspelt welk model (of welke combinatie van modellen) de hoogste Diversity Coverage zal genereren voor een specifieke query.
• Formulering: Het probleem wordt opgelost als een classificatietaken.
  • Input: De query.
  • Output: De index van het beste model.
• Architectuur: Er worden verschillende router-architecturen getest, waaronder KNN, BERT en MLP (Multi-Layer Perceptron).
  • Encoding: De auteurs vergelijken "model-agnostische" encoding (een aparte retriever) met "model-specifieke" encoding (het gebruik van de verborgen staten van de kandidaat-modellen zelf).
  • Beste aanpak: Een Binary MLP met model-specifieke encoding bleek het meest effectief. Dit model leert voor elk kandidaat-model een score te geven of dat model de beste is voor de gegeven vraag.

4. Ensembling Strategieën

Naast het kiezen van één model, onderzoeken de auteurs het ensembleren van twee modellen per vraag. De router rangschikt de modellen en de top-2 worden gebruikt om elk een deel van het totale antwoordbudget te genereren.

Belangrijkste Resultaten

• Prestatie op In-Domain Data (NB-WildChat):

  • De getrainde router (Binary MLP spec) bereikte een Diversity Coverage van 26,3%.
  • Dit is een significante verbetering ten opzichte van de "Top Overall" baseline (het beste enkele model zonder routing), die 23,8% haalde.
  • De router presteerde ook beter dan het willekeurig kiezen van een model per vraag (18,1%) en het kiezen van de twee beste modellen in het algemeen (23,8%).

• Generalisatie naar Out-of-Domain (NB-Curated):

  • De router generaliseerde goed naar een ander dataset, waarbij de prestaties consistent boven de baselines bleven.

• Ensembling van twee modellen:

  • Door de router te gebruiken om twee modellen te selecteren en hun output te combineren, steeg de prestatie verder (tot 26,7% op NB-WildChat), wat aantoont dat het combineren van complementaire modellen effectief is.

• Efficiëntie:

  • De router is ongeveer 2-3 keer trager dan het gebruik van één enkel model (vanwege de extra inferentie van de router en het selecteren van vaak grotere modellen), maar is aanzienlijk efficiënter dan de Oracle-methode (die alle 18 modellen moet laten genereren), die tot 19 keer duurder is.

• Prompt Strategieën:

  • De auteurs onderzochten verschillende prompts (één antwoord genereren vs. alle mogelijke antwoorden in één keer). Hoewel het "Generate All"-prompt de hoogste diversiteit opleverde, ging dit ten koste van de gemiddelde kwaliteit van individuele antwoorden. De router werkte effectief met verschillende prompt-strategieën, maar generaliseerde niet perfect tussen hen in.

Bijdragen

1. Nieuwe Metriek: Introductie van Diversity Coverage, een metriek die diversiteit en kwaliteit combineert voor open-ended antwoordruimtes.
2. Router voor Diversiteit: Het voorstellen en trainen van een router die het optimale model selecteert voor diversiteit, gebaseerd op de bevinding dat geen enkel model universeel het beste is.
3. Empirische Validatie: Uitgebreide evaluatie op meerdere datasets (in-domain en out-of-domain) die aantoont dat model-ensembles, geleid door een router, aanzienlijk betere resultaten behalen dan het gebruik van een enkel model.
4. Open Science: De auteurs kondigen aan dat ze de code en datasets openbaar zullen maken.

Significantie en Toekomstperspectief

Dit werk verschuift de focus van het optimaliseren van één model naar het optimaliseren van een systeem van modellen. Het demonstreert dat heterogene LLMs complementaire sterktes hebben die kunnen worden benut via een slimme router. Dit is een belangrijke stap voor toepassingen waar diversiteit cruciaal is, zoals creatief schrijven, brainstormsessies, of het genereren van synthetische trainingsdata.

De studie suggereert dat de toekomst van LLM-toepassingen ligt in "Multi-LLM Systemen", waarbij een router dynamisch bepaalt welk model (of welke combinatie) het beste is voor een specifieke taak, in plaats van te vertrouwen op één groot, algemeen model. Dit biedt een pad naar meer robuuste, diverse en kwalitatief hoogwaardige AI-systemen.