💻 computer science

RouteJudge: An Open Platform for Reproducible and Preference-Aware LLM Routing

Dit artikel introduceert RouteJudge, een open online platform voor het evalueren van LLM-routingstrategieën via gepaarde vergelijkingen op basis van gebruikersvoorkeuren, vergezeld van ORBIT, een modulaire toolbox die de ontwikkeling, het benchmarken en de integratie van routingalgoritmen standaardiseert.

Oorspronkelijke auteurs: Guannan Lai, Haoran Hu, Han-Jia Ye

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Guannan Lai, Haoran Hu, Han-Jia Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, high-tech restaurant runt. Je hebt een gigantische keuken bemand door koks van allerlei verschillende niveaus: sommigen zijn razendsnel maar maken eenvoudige gerechten, terwijl anderen langzame, dure genieën zijn die complexe meesterwerken kunnen creëren.

Het Probleem: De "One-Size-Fits-All" Fout
In het verleden, wanneer mensen AI wilden gebruiken (zoals Large Language Models), kozen ze vaak gewoon de "beste" chef (de krachtigste AI) voor elke bestelling. Maar dit is verspillend. Als een klant gewoon een snel broodje wil, is het een verspilling van geld en tijd om hen naar de dure, trage genie-chef te sturen. Als ze echter een complex, 10-gangen diner willen, kan de snelle chef falen.

Dit is waar LLM Routing om de hoek komt kijken. Het is als een slimme gastheer die naar de bestelling van de klant kij�luistert en beslist: "Oké, voor dit simpele verzoek, stuur ze naar de snelle chef. Voor dit moeilijke verzoek, stuur ze naar de genie."

De Oude Manier van Testen: De "Antwoordmodel" Valstrik
Tot nu toe testten wetenschappers deze "slimme gastheren" met een rigide antwoordmodel. Ze gaven de gastheer een vraag, keken welke chef hij koos, en controleerden of het antwoord van die chef overeenkwam met een vooraf geschreven "correct" antwoord.

De Fout: Het echte leven is geen meerkeuzevraag. Soms zijn er veel "correcte" manieren om een vraag te beantwoorden. De ene persoon wil misschien een kort, grappig antwoord; de andere persoon wil een lang, serieus antwoord. De oude tests konden niet zien of de gastheer de chef had gekozen die de klant het beste zou hebben gevonden.

De Nieuwe Oplossing: RouteJudge
De auteurs introduceren RouteJudge, wat lijkt op een levendig foodfestival in de buitenlucht.

Hoe het werkt: In plaats van te controleren tegen een rigide antwoordmodel, laat RouteJudge echte mensen het eten proeven.
De Opstelling: Wanneer een klant een vraag stelt, doen verschillende verschillende "slimme gastheren" (routingstrategieën) hun eigen aanbevelingen.
De Proeverij: Het systeem neemt de twee beste aanbevelingen, verbergt de namen van de chefs en de gastheren, en vraagt de klant: "Welk van deze twee gerechten heeft je voorkeur?"
De Score: Als de klant het gerecht lekker vindt, krijgt de gastheer die de chef aanbeval de eer. Het gaat er niet om wie het "perfecte" antwoord heeft; het gaat erom wie de keuze maakte die de mens daadwerkelijk de voorkeur gaf.

De Toolkit: ORBIT
Het bouwen van deze slimme gastheren is moeilijk omdat iedereen ze anders bouwt. Om dit op te lossen, hebben de auteurs ook ORBIT ontwikkeld (Optimal Routing and Budgeted Inference Toolbox).

De Analogie: Denk aan ORBIT als een gestandaardiseerde "keukenkit" of een universeel receptenboek. Het geeft elke onderzoeker dezelfde maatbekers, dezelfde ingrediëntenlijst en dezelfde kookinstructies.
Waarom het ertoe doet: Dit zorgt ervoor dat wanneer onderzoekers een nieuwe "slimme gastheer" bouwen, ze allemaal volgens dezelfde regels spelen. Het maakt het gemakkelijk om een nieuwe gastheer in de keuken te testen (offline) en hen vervolgens naar het foodfestival (RouteJudge) te sturen om te zien hoe echte klanten reageren.

Wat Ze Vonden (De Snapshot)
Het paper toont vroege resultaten van dit nieuwe systeem:

Offline vs. Online: Een gastheer die er geweldig uitziet in de keuken (op papier tests), wint niet altijd op het foodfestival. Soms verslaan simpelere, goedkopere strategieën die mensen daadwerkelijk verkiezen de complexe, dure strategieën.
Kosten Blijven Belangrijk: Het systeem laat zien dat de "beste" chef niet altijd de duurste chef is. De slimste gastheer is degene die een balans vindt tussen kosten, snelheid en wat de klant daadwerkelijk wil.

In Samenvatting
Dit paper bouwt een nieuwe manier om AI-managers te testen. In plaats van te vragen: "Hebben ze het juiste antwoord gekozen?", vraagt het: "Hebben ze het antwoord gekozen dat de mens daadwerkelijk leuk vond?" Het biedt een gestandaardiseerde toolkit (ORBIT) om deze managers te bouwen en een levend platform (RouteJudge) om deze te testen tegen echte menselijke voorkeuren, zodat AI efficiënt en effectief wordt gebruikt in de echte wereld.

Technische Samenvatting: RouteJudge en ORBIT

1. Probleemstelling

LLM-routing (het routeren van Large Language Models) beoogt automatisch het meest geschikte model te selecteren uit een heterogene verzameling voor elke inkomende query, waarbij geoptimaliseerd wordt voor beperkingen zoals kosten, latentie en doorvoersnelheid. Terwijl bestaande evaluatieprotocollen vertrouwen op statische benchmarks, "gouden" antwoorden of geautomatiseerde scoringsmetrieken, lijden deze benaderingen aan een kritieke beperking: ze leggen een vaste definitie van responskwaliteit op. In real-world interacties zijn gebruikersvoorkeuren pluralistisch en contextafhankelijk. Voor taken zoals creatief schrijven, vertaling of tutoring kunnen meerdere outputs feitelijk correct zijn, terwijl gebruikers toch verschillende reacties kunnen verkiezen op basis van toon, detailniveau of kostengevoeligheid. Bijgevolg kan een router die goed presteert onder offline, benchmark-gealigneerde metrieken, falen in het selecteren van modellen die gebruikers daadwerkelijk verkiezen tijdens de inzet. Dit artikel identificeert een "pluralistisch voorkeursaligneringsprobleem", waarbij huidige evaluatiemethoden niet adequaat vastleggen of routingbeslissingen leiden tot door de gebruiker geprefereerde reacties onder realistische query-distributies.

2. Methodologie

Het artikel introduceert een tweeledig ecosysteem dat is ontworend om de kloof tussen offline benchmarking en online gebruikersvoorkeur te overbruggen: RouteJudge en ORBIT.

RouteJudge: Online Voorkeursevaluatieplatform

RouteJudge is een online platform dat routingstrategieën evalueert via anonieme paarwijze gebruikersvoorkeuren in plaats van vaste referentieantwoorden.

Evaluatieverslag: In tegen tegenstelling tot model-gebaseerde leaderboards, slaat RouteJudge "routing-gecentreerde" verslagen ( $Z$ ) op met de gebruikersquery, budgetbeperkingen, routingbeslissingen gemaakt door meerdere strategieën, geselecteerde modelreacties, gebruikersvoorkeurslabels, inferentiekosten, latentie en taakmetadata.
Workflow:
1. Indiening: Een gebruiker dient een query in en een kostenbudget.
2. Router Aanbeveling: Meerdere routingstrategieën ( $R$ ) selecteren onafhankelijk een kandidaatmodel uit de budget-haalbare modelset ( $M_C$ ).
3. Duel Selectie: Het platform aggregeert stemmen om een "duelpaar" van modellen ( $m_A, m_B$ ) te selecteren met de hoogste stemaantallen.
4. Anonieme Beoordeling: Gebruikers vergelijken de reacties van $m_A$ en $m_B$ in een geblindeerde interface, waarbij zij kiezen tussen "A wint", "B wint", "Gelijkspel" of "Beide slecht".
5. Router Toeschrijving: Het voorkeurssignaal wordt toegeschreven aan de routingstrategieën die de winnende (of verliezende) modellen hebben geselecteerd. Een router ontvangt alleen een score als het door de router geselecteerde model deelnam aan het beoordeelde duel; anders wordt het gemarkeerd als niet-participerend ( $\emptyset$ ).
Metrieken: Het systeem houdt router-niveau winstpercentages, Elo-ratings, participatiegraden en kosten-kwaliteit Pareto-fronten bij, wat taakgeconditioneerde en budgetbewuste analyse mogelijk maakt.

ORBIT: Optimal Routing and Budgeted Inference Toolbox

ORBIT is een modulaire, uitbreidbare toolbox die de end-to-end workflow van LLM-routing standaardiseert om de continue expansie van methoden die op RouteJudge worden geëvalueerd te ondersteunen.

Standaardisatie: Het biedt verenigde interfaces voor het laden van benchmarks, query-representatie (via diverse embedding-lagen), router-implementatie (regelgebaseerd, geleerd, retrieval-gebaseerd, etc.) en budgetbewuste evaluatie.
Composabiliteit: Onderzoekers kunnen datasets, encoders en routers onafhankelijk van elkaar verwisselen zonder de kernlogica te herschrijven.
Integratielaag: ORBIT dient als de indieningsinterface voor RouteJudge. Onderzoekers implementeren routers binnen ORBIT, valideren deze offline, en dienen compatibele routers in voor online evaluatie.
Tweestaps Evaluatiepipeline:
1. Historische Replay: Ingediende routers worden geëvalueerd tegen historische RouteJudge-verslagen om te bepalen of zij het door de gebruiker geprefereerde model zouden hebben geselecteerd in eerdere vergelijkingen.
2. Online Evaluatie: gevalideerde routers worden uitgerold naar het live platform, waar ze deelnemen aan real-time anonieme paarwijze vergelijkingen en voorkeurstoeschrijving ontvangen.

3. Belangrijkste Bijdragen

RouteJudge Platform: Het eerste open platform dat specifiek is ontworpen om LLM-routingsystemen te evalueren op basis van pluralistische gebruikersvoorkeuren via anonieme paarwijze vergelijkingen, waarbij de focus verschuift van model-niveau reactiekwaliteit naar router-niveau besluitvormingskwaliteit.
ORBIT Toolbox: Een gestandaardiseerde ontwikkel- en integratielaag die reproduceerbare offline benchmarking en naadloze indiening van routingmethoden bij RouteJudge mogelijk maakt, waarmee de engineering-fragmentatie in huidig routingonderzoek wordt aangepakt.
Evaluatieprotocol: Een nieuw protocol dat gebruikersvoorkeuren toeschrijft aan routingstrategieën, rekening houdend met budgetbeperkingen, taaltypen en participatiegraden, in plaats van te vertrouwen op statische "beste model"-aannames.
Open Ecosysteem: De combinatie van RouteJudge en ORBIT creëert een gesloten lus waarin methoden offline kunnen worden ontwikkeld, gevalideerd kunnen worden tegen historische voorkeuren en getest kunnen worden in live gebruikersomgevingen.

4. Voorlopige Resultaten

De auteurs presenteren initiële empirische bevindingen uit zowel de offline ORBIT-pipeline als het online RouteJudge-platform (per juni 2026):

Offline Consistentie: Met behulp van de RouterEval benchmark heeft ORBIT succesvol aangetoond dat verschillende routingmethoden (bijv. EmbedLLM, Eagle, EquiRouter) onder een verenigd protocol vergeleken kunnen worden, waarbij prestatie-kosten trade-off curves en metrieken zoals nAUC en Peak Score worden onthuld.
Online Differentiatie: Op RouteJudge, met 109 door gebruikers gestemde vergelijkingen, heeft het platform erin geslaagd om onderscheid te maken tussen routingstrategieën. RouterLLM-MF behaalde de hoogste Elo-score (1278), terwijl NIRT-Router het hoogste geobserveerde winstpercentage liet zien (80,00%).
Divergentie van Offline Metrieken: De resultaten wijzen erop dat sterke offline ontwerpen niet altijd vertalen naar online succes in gebruikersvoorkeuren. Sommige routers met expliciete geleerde scoringmechanismen presteerden lager in gebruikersvoorkeur dan simpelere non-parametrische of matrix-factorisatie-gebaseerde methoden.
Kosten-Voorkeur Trade-off: Analyse van model-niveau data toonde aan dat voorkeur niet uitsluitend door kosten wordt bepaald; sommige lage-kosten modellen behaalden concurrerende winstpercentages, wat suggereert dat effectieve routing vereist dat modelselectie wordt aangepast aan gebruikersbudgetten en taakcontexten in plaats van standaard te kiezen voor de meest capabele modellen.

5. Betekenis en Claims

Het artikel claimt dat RouteJudge en ORBIT gezamenlijk het "pluralistische voorkeursaligneringsprobleem" in LLM-routing aanpakken. Door verder te gaan dan statische benchmarks, stelt het ecosysteem onderzoekers in staat om te evalueren of routingbeslissingen overeenstemmen met echte gebruikersvoorkeuren onder realistische beperkingen. De auteurs positioneren dit werk niet als een definitieve rangschikking van alle routingmethoden, maar als een fundamentele stap naar een open evaluatie-ecosysteem. Zij stellen dat toekomstig routingonderzoek niet alleen moet kijken naar benchmark-optimale modelselectie, maar ook naar door de gebruiker geprefereerde, kostenbewuste en inzet-gevoelige gedragingen. Het systeem is ontworpen om continu uitbreidbaar te zijn, waardoor de community nieuwe routers en benchmarks kan bijdragen terwijl de reproduceerbaarheid behouden blijft door de ORBIT-standaard.