🤖 AI

Continual Model Routing in Evolving Model Hubs

Dit artikel behandelt de uitdagingen van het schalen van modelselectie in snel uitbreidende AI-hubs door de setting voor continu modelroutering (CMR) te formaliseren, de grootschalige CMRBench-benchmark te introduceren en CARvE voor te stellen, een contrastieve embeddingsmethode die de bestaande basismethoden aanzienlijk overtreft wat betreft routeringsnauwkeurigheid over diverse modellen en taken.

Oorspronkelijke auteurs: Jack Bell, Giacomo Carfì, Gerlando Gramaglia, Vincenzo Lomonaco

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jack Bell, Giacomo Carfì, Gerlando Gramaglia, Vincenzo Lomonaco

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, voortdurend uitdijende bibliotheek binnenloopt. Elke dag arriveren er duizenden nieuwe boeken (AI-modellen), geschreven door verschillende auteurs, die elk denkbaar onderwerp behandelen. Je hebt een specifieke vraag en je moet het éne perfecte boek vinden om die te beantwoorden.

In het verleden zou je een bibliothecaris hebben gevraagd om een paar boeken te lezen om te zien welke het beste was. Maar met miljoenen boeken duurt het lezen van zelfs maar een paar te lang en kost het te veel. Je hebt een supersnelle bibliothecaris nodig die je vraag kan bekijken en direct naar het allerbeste boek kan wijzen, zonder dat hij eerst een enkel boek hoeft te openen.

Dit artikel gaat over het bouwen van die supersnelle bibliothecaris voor de wereld van AI-modellen, en het lost een specifiek probleem op: Wat gebeurt er als de bibliotheek blijft groeien terwijl je probeert boeken te vinden?

Hier is de uiteenzetting van de ideeën uit het artikel, met gebruikmaking van eenvoudige analogieën:

1. Het Probleem: De Bibliotheek Houdt Nooit Op met Groeien

Momenteel zijn AI-modelhubs (zoals Hugging Face) als bibliotheken die nooit stoppen met het toevoegen van nieuwe planken.

De Uitdaging: Als je een bibliothecaris traint om de boeken van 2023 te kennen, zal hij in de war raken wanneer er in 2024 5.000 nieuwe boeken arriveren.
Het "Catastrofale Vergeten"-Probleem: Als je probeert de bibliothecaris over de nieuwe boeken te leren, vergeet hij vaak de oude. Het is alsof je leert voor een nieuwe wiskundetoets en plotseling vergeet hoe je basisoptelling moet doen.
De Schaal: De bibliotheek voegt niet slechts een paar boeken toe; het zijn er duizenden. Een simpele "zoekopdracht" is niet snel genoeg, en een "lees alles"-benadering is te traag.

2. De Oplossing: "CARvE" (De Slimme, Aanpasbare Bibliothecaris)

De auteurs stellen een nieuw systeem voor dat CARvE heet (Continual Anchored Router with Contrastive Embeddings). Denk aan CARvE als een bibliothecaris die een speciaal "herinneringsanker"-systeem gebruikt.

De "Anker"-Metafoor: Stel je voor dat de bibliothecaris een set zware, permanente ankers heeft die vastzitten aan de boeken die hij al kent. Wanneer er nieuwe boeken arriveren, leert de bibliothecaris erover zonder die ankers los te maken. Hierdoor blijven de oude boeken precies waar ze waren in het hoofd van de bibliothecaris, terwijl de nieuwe boeken hun eigen plek vinden.
De "Kaart" (Embeddings): In plaats van het hele boek te lezen, maakt CARvE een tiny "kaartcoördinaat" (een embedding) voor elk boek op basis van wat het doet. Als je een vraag stelt, controleert het systeem gewoon welke coördinaat het dichtst bij je vraag ligt. Het is alsof je een GPS-locatie controleert in plaats van een kaart te lezen.
De "Oefening" (Replay): Om ervoor te zorgen dat de bibliothecaris de oude boeken niet vergeet, laat het systeem hem af en toe een kleine, zorgvuldig geselecteerde steekproef van oude vragen en antwoorden zien. Het is alsof een leraar een snelle popquiz geeft over oud materiaal om het geheugen fris te houden.

3. De Test: "CMRBench" (De Simulatie)

Om te bewijzen dat hun bibliothecaris werkt, bouwden de auteurs een enorme simulatie genaamd CMRBench.

Ze creëerden een nepbibliotheek die in de loop van de tijd groeit, waarbij vier verschillende "tijden" van modelreleases worden gesimuleerd.
Het bevat meer dan 2.000 verschillende modellen (boeken) over veel onderwerpen.
Ze testten hun bibliothecaris tegen andere methoden (zoals gewoon zoeken op titel of proberen het hele systeem vanaf nul opnieuw te trainen).

4. De Resultaten: Waarom CARvE Wint

Het artikel laat zien dat CARvE om drie hoofdredenen veel beter is dan de andere methoden:

Het Vergeet Niet: Terwijl andere methoden in de war raakten en de oude modellen vergaten zodra er nieuwe aankwamen, behield CARvE zijn geheugen van de oude boeken intact.
Het Is Snel en Efficiënt: Het hoeft niet de hele bibliotheek te lezen om het antwoord te vinden. Het gebruikt de "kaartcoördinaten" om direct het juiste boek te vinden.
Het Hanteert het "Familie"-Probleem: Soms heb je niet het exactezelfde boek nodig, maar gewoon een boek uit dezelfde "familie" (bijvoorbeeld een specifieke versie van een model). CARvE is goed in het vinden van de juiste familie van modellen, niet alleen de exacte titel, wat in het echte leven vaak nuttiger is.

5. Wat Ze Niet Dedden (Belangrijke Beperkingen)

Het artikel is zeer duidelijk over wat dit systeem nog niet kan:

Geen "Zero-Shot" voor Nieuwe Boeken: Als er een gloednieuw boek arriveert dat de bibliothecaris nog nooit heeft gezien en waarvoor er geen voorbeelden zijn, kan CARvE niet direct weten hoe het moet worden gerouteerd. Het moet eerst een paar voorbeelden zien van hoe dat nieuwe boek wordt gebruikt voordat het kan worden toegevoegd aan zijn kaart.
Het Is Pre-Selectie: Dit systeem kiest het boek voordat je het leest. Het leest het boek niet om te controleren of het antwoord goed is; het raadt gewoon welk boek het meest waarschijnlijk het juiste antwoord heeft, gebaseerd op de titel en beschrijving.

Samenvatting

Kortom, dit artikel zegt: "We hebben een slim systeem gebouwd dat een enorme, groeiende collectie AI-modellen kan beheren zonder de oude te vergeten."

Ze creëerden een benchmark om dit te testen (CMRBench) en een methode genaamd CARvE die "ankers" gebruikt om oude kennis stabiel te houden terwijl er nieuwe dingen worden geleerd. Het werkt beter dan proberen het hele systeem vanaf nul opnieuw te trainen of gewoon te zoeken op trefwoorden, waardoor het een praktische oplossing is voor de toekomst van AI, waar modellen voortdurend veranderen.

Technische Samenvatting: Continu Model-Routing in Evoluerende Modelhubs

1. Probleemdefinitie

De snelle uitbreiding van AI-modelhubs (bijv. Hugging Face) heeft de centrale uitdaging verschoven van het bouwen van modellen naar het selecteren van het juiste vooraf getrainde model voor een specifieke query. Hoewel Mixture-of-Experts (MoE)-architecturen en orkestratiepijplijnen de waarde van routing hebben aangetoond, lopen bestaande benaderingen tegen twee fundamentele beperkingen aan wanneer ze worden toegepast op real-world, evoluerende hubs:

Schaalbaarheid: Routing moet schaalbaar zijn tot duizenden kandidaat-experts, waardoor exhaustieve evaluatie na inferentie of naïeve ranking onuitvoerbaar wordt.
Niet-stationariteit: Modelhubs zijn dynamisch; nieuwe experts worden toegevoegd, bestaande worden bijgewerkt en anderen worden verouderd. Statische ophaalmethoden (bijv. ranking op basis van modelcard-相似iteit) zijn breekbaar in grote, evoluerende ruimten, en standaard retrieval-augmented training (RAT) garandeert geen stabiele routingprestaties naarmate de doelruimte verschuift.

De auteurs formaliseren deze setting als Continu Model-Routing (CMR), waarbij pre-inferentie modelselectie wordt behandeld als een continu classificatieprobleem waarbij de labelruimte (de set beschikbare modellen) in de tijd groeit. Het doel is het ontwerpen van een router die incrementeel kan aanpassen aan nieuwe modellen terwijl competentie op eerder geziene modellen behouden blijft, zonder opnieuw vanaf nul te trainen.

2. Methodologie: CARvE

Om CMR aan te pakken, stellen de auteurs CARvE (Continual Anchored Router with Contrastive Embeddings) voor. In tegenstelling tot baselines die vertrouwen op modelkaarten (natuurtaalkundige beschrijvingen) of kandidaatmodellen uitvoeren, routeert CARvE op basis van embedding-相似iteit tussen een gebruikersquery en een geleerde register van model-embeddings.

Kerncomponenten

Embedding-gebaseerde Router: De router gebruikt een bevroren backbone-taalmodel (bijv. LLaMA2-7B) met LoRA-adapters die bij elke ervaring worden getraind. Het projecteert getokeniseerde queries in een vaste dimensionele embedding-ruimte ( $\mathbb{R}^d$ ) en vergelijkt deze met een register van geleerde model-embeddings aan de hand van temperatuur-geschaalde cosinus-相似iteit.
Asymmetrische Ankering: Om catastrofale vergetelheid te mitigeren, hanteert CARvE een ankermechanisme op basis van checkpoints. Aan het begin van elke ervaring $t$ wordt een snapshot van de routerparameters (projectiehoofd en model-embeddings) van $t-1$ genomen. Tijdens het trainen op $E_t$ straft de loss afwijkingen voor embeddings van eerder geziene model-ID's, terwijl embeddings voor nieuw geïntroduceerde modellen niet worden verankerd en vrij blijven om zich aan te passen. Dit behoudt de geometrische stabiliteit van het bestaande register.
Trainen op Kandidaatsets: Om de rekenkosten van een volledige softmax over duizenden modellen te vermijden, wordt getraind op vaste kandidaatsets ( $K$ ). Deze sets bevatten het ground-truth model, harde negatieven (gedolven uit de huidige pool), semantische negatieven (zelfde domein) en verre negatieven (verschillende domeinen).
Gestructureerde Replay: De methode maakt gebruik van een domein–model coreset replay-buffer. In plaats van willekeurige steekproeven, worden per domein replay-quota's toegewezen en wordt Farthest-Point Sampling (FPS) binnen domeinen gebruikt om diverse voorbeelden te selecteren, waardoor dekking van de lange-staartverdeling van modellen wordt gewaarborgd.

3. Benchmark: CMRBench

De auteurs introduceren CMRBench, de eerste benchmark die specifiek is ontworpen voor continu model-routing.

Structuur: Het simuleert realistische hub-expansie via vier sequentiële ervaringen, met integratie van APIBench, ToolMMBench en een nieuwe dataset, HuggingBench.
Schaal: De benchmark omvat meer dan 2.000 kandidaatmodellen verspreid over meerdere domeinen.
Metingen: Naast standaard Model-ID- en Domein-accuracy introduceren de auteurs Model Family Accuracy. Deze meting met tussenliggende granulariteit groepeert functioneel vergelijkbare varianten (bijv. verschillende kwantisatieniveaus van dezelfde architectuur) om semantische routingkwaliteit beter te vangen zonder te streng te zijn op exacte modelidentificatoren.

4. Experimentele Resultaten

Uitgebreide experimenten vergelijken CARvE met sterke baselines, waaronder zero-shot fine-tuning, alleen-retrieval-methoden (BM25, BGE-M3), modelmerging (TIES, DARE) en diverse continu-leerstrategieën (EWC, LwF, willekeurige replay).

Prestaties: CARvE presteert aanzienlijk beter dan alle baselines. Bij een replay-budget van 10% bereikt CARvE 80,7% Domein-accuracy met slechts 5,9% Vergetelheid, vergeleken met 75,9% accuracy en 13,1% vergetelheid voor standaard willekeurige replay. Bij 20% replay bereikt het 82,9% accuracy met 3,0% vergetelheid.
Vergelijking met Bovenste Grenzen: CARvE verkleint de kloof met gezamenlijke training (trainen op alle data tegelijkertijd) en overtreft deze in sommige domeinniveau-metingen, terwijl het werkt onder de strengere continu-beperking.
Ablatiestudies:
- Ankering: Het uitschakelen van projectie-ankerling veroorzaakt een significante daling in accuracy en een piek in vergetelheid, wat de kritieke rol bevestigt in het stabiliseren van de embedding-ruimte.
- Replay-strategie: Domein-gestratificeerde coreset-replay presteert beter dan willekeurige replay, met name bij lagere replay-budgetten (5-10%).
- Initialisatie: Willekeurige initialisatie van model-embeddings presteert beter dan warm-starten vanuit modelcard-embeddings, omdat cardtekst linguïstische相似iteit codeert in plaats van routing-discriminatievermogen.
Efficiëntie: CARvE verlaagt de rekenkosten (TFLOPs en GPU-uren) met ongeveer 45–60% in vergelijking met cumulatieve of vanaf-nieuw-training, waardoor het levensvatbaar is voor grootschalige implementatie.

5. Betekenis en Claims

Het artikel claimt het eerste werk te zijn dat empirisch de centrale rol van continu leren in model-routing aantoont via grootschalige benchmarks en analyse. De primaire bijdragen zijn:

Formalisatie: Het definiëren van CMR als een class-incremental learning-probleem waarbij de router moet schalen tot duizenden experts en zich moet aanpassen aan niet-stationaire pools.
Benchmarking: Het bieden van CMRBench als een reproduceerbaar referentiepunt voor de gemeenschap, verdergaand dan statische kandidaatpools.
Methodologie: Het aantonen dat CARvE, door middel van contrastieve embedding, gestructureerde replay en asymmetrische ankerling, schaalbare en robuuste expert-selectie mogelijk maakt.

De auteurs benadrukken dat hun aanpak een praktisch systeemflessenhals aanpakt: het selecteren van een specialistisch model vóór inferentie om latentie en kosten te verminderen. Zij merken op dat hoewel CARvE de afhankelijkheid van het opslaan van ruwe gebruikersgeschiedenis vermindert, het privacyrisico's niet elimineert, en dat betere routing onbedoeld biases kan versterken als het niet wordt gekoppeld aan veiligheidsbeleid. Het werk suggereert dat de toekomst van modelselectie niet ligt in monolithische modellen, maar in ecosystemen van evoluerende, interactieve modellen die worden beheerd door continu-leersystemen.