💬 NLP

MixLM: High-Throughput and Effective LLM Ranking via Text-Embedding Mix-Interaction

MixLM is een nieuw LLM-rankingframework dat de systeemdoorvoer aanzienlijk verhoogt door langdurige tekstinvoer te vervangen door compacte embedding-tokens via een mix-interactiemechanisme, waardoor efficiënte volledige verkeersimplementatie in real-world zoektoepassingen mogelijk wordt terwijl een hoge relevantie behouden blijft.

Oorspronkelijke auteurs: Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan So

Gepubliceerd 2026-02-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan Song, Xiaoqing Wang, Zhipeng Wang, Qing Lan, Yanning Chen, Jingwei Wu, Luke Simon, Wenjing Zhang, Qi Guo, Fedor Borisyuk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek runt waar miljoenen mensen elke seconde om boekentips vragen. Je hebt een briljante, superintelligente bibliothecaris (het Large Language Model, of LLM), die de volledige beschrijving van een boek kan lezen, de vraag van de gebruiker begrijpt en direct weet of het een perfecte match is.

Het probleem? Deze bibliothecaris is uiterst grondig. Om een goed antwoord te geven, moet hij de volledige boekbeschrijving lezen voor elke kandidaatat boeken. Als een boek 2.000 woorden heeft en je hebt 1.000 boeken om te controleren, moet de bibliothecaris voor slechts één verzoek van een gebruiker 2 miljoen woorden lezen. In de echte wereld van computerservers duurt dit te lang en kost het te veel geld. De bibliotheek raakt overbelast en mensen moeten te lang wachten.

Maak kennis met MixLM: De "Spiekbriefjes"-bibliothecaris.

De onderzoekers bij LinkedIn hebben een nieuwe manier van werken uitgevonden, genaamd MixLM. In plaats van de bibliothecaris de hele boekbeschrijving telkens opnieuw te laten lezen, hebben ze een systeem gecreëerd waarbij de boekbeschrijving wordt voorbewerkt tot een klein, supergecondenseerd "spiekbriefje" (een paar getallen genaamd embedding tokens) voordat de bibliothecaris het ooit ziet.

Zo werkt het, stap voor stap uitgelegd:

1. Het "Voorlezen" (Offline Fase)

Stel je voor dat er, voordat de bibliotheek die dag opent, een team van assistenten elk boek in de bibliotheek leest. In plaats van een samenvatting te schrijven, destilleren ze de hele inhoud van het boek terug naar een enkele, perfecte "essentie-kaart".

De tekst zegt: Ze gebruiken een "Encoder LLM" om duizenden woorden aan itemtekst om te zetten in een kleine set geleerde embedding tokens.
De analogie: Deze "essie-kaarten" worden bewaard in een speciale, snel toegankelijke kast (een nearline cache) direct naast de bureau van de bibliothecaris.

2. Het "Mixen" (Online Fase)

Wanneer een gebruiker vraagt: "Ik wil een baan in data science," hoeft de bibliothecaris de volledige functiebeschrijvingen niet opnieuw te lezen.

Hij neemt de vraag van de gebruiker (tekst).
Hij pakt de "essentie-kaarten" (embeddings) van de top kandidaat-banen uit de kast.
Hij mengt de vraag van de gebruiker met deze kleine kaarten.
De tekst zegt: Dit creëert een "mixed-interaction representation" die teksttokens combineert met embedding tokens.
De analogie: Het is also weakly als de bibliothecaris een kort briefje leest dat zegt: "Gebruiker wil Data Science" + [Kaart voor Baan A] + [Kaart voor Baan B]. De bibliothecaris kan direct de verbinding "voelen" tussen de gebruiker en de baan zonder door duizenden woorden te waden.

3. Het Resultaat: Snelheid en Slimheid

Omdat de bibliothecaris alleen een paar "kaarten" leest in plaats van hele boeken, kunnen ze verzoeken verwerken 75 keer sneller dan voorheen, terwijl ze bijna even slim zijn als de trage, grondige versie.

De tekst beweert: MixLM verbetert de doorvoer met een factor 10,0x vergeleken met een "samengevat" benadering en met een factor 75,9x vergeleken met het lezen van de volledige tekst.
De analogie: Het is het verschil tussen een bibliothecaris die 290 boeken per uur kan controleren (de oude manier) versus een bibliothecaris die 22.000 boeken per uur kan controleren met MixLM (met hetzelfde niveau van nauwkeurigheid).

Hoe ze de bibliothecaris hebben geleerd

Je vraagt je misschien af: "Hoe weet de bibliothecaris hoe hij deze kleine kaarten moet lezen?"
De onderzoekers gebruikten een slimme trainingsmethode:

De Leraar: Eerst trainden ze een "Super Bibliothecaris" die volledige boeken leest en zeer accuraat is.
De Leerling: Daarna trainden ze de "MixLM Bibliothecaris" om de beslissingen van de Super Bibliothecaris na te bootsen, maar dan met gebruik van de kleine kaarten in plaats van de volledige teksten.
De Afstemming: Ze voegden speciale regels (loss functions) toe om ervoor te zorgen dat de "essentie-kaarten" perfect in het brein van de bibliothecaris passen, zodat de mix van tekst en kaarten natuurlijk aanvoelt.

De Impact in de Echte Wereld

Toen LinkedIn dit systeem inzette voor hun Job Search-functie:

Konden ze deze superintelligente AI eindelijk voor iedereen gebruiken (volledig verkeer), niet alleen voor een paar gelukkige gebruikers.
Omdat de zoekopdrachten sneller en slimmer waren, vonden meer mensen banen die ze leuk vonden.
De tekst beweert: Dit leidde tot een toename van 0,47% in Daily Active Users (DAU). In de wereld van een platform met miljoenen gebruikers, vertegenwoordigt dat kleine percentage een enorm aantal mensen die een betere ervaring hebben.

Samenvattend: MixLM is als het geven van een "highlighter" aan een superintelligente AI die lange documenten condenseert tot kleine, krachtige aantekeningen. Dit stelt de AI in staat om sneller te lezen zonder zijn intelligentie te verliezen, waardoor zoekmachines voor banen (en andere zaken) zowel razendsnel als zeer nauwkeurig zijn.

Technische Samenvatting: MixLM

Probleemstelling

Large Language Models (LLM's) hebben superieure capaciteiten getoond voor relevantie-ranking in zoek- en aanbevelingssystemen door subtiele semantische signalen te vangen die traditionele lexicale methoden missen. Echter, het inzetten van LLM's als cross-encoder rankers in industriële omgevingen stuit op een kritieke flessenhals: computationele kosten.

Standaard cross-encoder benaderingen construeren prompts die gebruikersqueries combineren met lange beschrijvingen van kandidaten (vaak duizenden tokens). Dit resulteert in:

Zware Prefill Inference: De computationele kosten worden gedomineerd door de prefill-fase, die kwadratisch schaalt met de contextlengte vanwege aandachtmechanismen (attention mechanisms).
Doorvoercapaciteit Beperkingen: Onder strikte latentiebudgetten (bijv. 500ms) worden systemen gedwongen ofwel kleinere, minder capabele modellen te gebruiken, ofwel informatieve kenmerken te verwerpen (bijv. via tekstsamenvatting of pruning), wat de kwaliteit van de ranking opoffert.

De kernuitdaging is om de input-contextlengte aanzienlijk te reduceren terwijl de rijke semantische interactie tussen de query en het volledige document behouden blijft.

Methodologie: MixLM Framework

De auteurs stellen MixLM voor, een LLM-gebaseerd rankingframework dat lange itemteksten vervangt door een compacte set geleerde embedding-tokens. Deze "text-embedding mix-interactie" architectuur ontkoppelt de verwerking van itembeschrijvingen van de online rankingfase.

1. Architectuur

MixLM bestaat uit twee primaire componenten:

Encoder LLM: Verwerkt de volledige itembeschrijving offline (of nearline) om een compacte representatie te genereren. In plaats van één vector uit te voeren, produceert het een sequentie van embedding-tokens. In productie gebruiken de auteurs last- $N$ sampling om een klein aantal tokens (bijv. $T_S=1$ ) te selecteren uit de hidden states van de encoder om het item te representeren.
Ranker LLM: Werkt online. Het ontvangt de gebruikersquery, hulptekst en de vooraf berekende embedding-tokens van de encoder. Deze worden geconcateneerd om een "mixed input" prompt te vormen, die aanzienlijk korter is dan de full-text prompt.

De ranker voorspelt relevantie ( $p_{yes}$ ) op basis van deze mixed input. Omdat de item-embeddings vooraf zijn berekend en gecached, verwerkt de online inference alleen de query-prefix en enkele embedding-tokens, wat de sequentielengte drastisch vermindert.

2. Trainingspipeline

De auteurs hanteren een driefasige trainingsmethode om de encoder en ranker op elkaar af te stemmen:

Fase I (Domain Reasoning Fine-Tuning): Een 0.6B pretrained LLM wordt gefinetuned op een domeinspecifieke reasoning dataset (180k samples) met behulp van chain-of-thought traces van een 7B relevance judge. Dit vestigt een basismodel dat in staat is tot het begrijpen van relevantierationale.
Fase II (Ranking Teacher Training): Het Fase I model wordt verder gefinetuned als een pure-text ranker met volledige itembeschrijvingen (10.9M samples). Dit model dient als een hoogwaardige "teacher", maar is te duur voor online serving.
Fase III (Joint Encoder-Ranker Training): De encoder en ranker worden gezamenlijk getraind met de mixed-input architectuur. De trainingsdoelstelling combineert:
- Soft-Label SFT Loss: Stemt voorspellingen af op grondwaarheid-labels.
- Distillation Loss: Stemt de outputdistributie van het mixed-input model af op de pure-text teacher model (Fase II).
- Self-Alignment Loss: Zorgt ervoor dat de output-embeddings van de encoder compatibel zijn met de interne hidden states van de ranker. Dit omvat hidden-state alignment (het matchen van de laatste hidden state van de mixed input met de full-text input) en prediction alignment.

Een curriculum learning strategie wordt gebruikt in Fase III, waarbij aanvankelijk de prioriteit ligt bij ruimte-alignement (encoder-ranker compatibiliteit) voordat de focus verschuift naar distillatie (relevantievoorspellingsnauwkeurigheid).

3. Serving Optimalisaties

Om de doorvoersnelheid te maximaliseren, hebben de auteurs verschillende systeem-niveau optimalisaties geïmplementeerd:

Shared-Prefix Prefill: Omdat de query-prefix identiek is voor alle items in een rankinglijst, wordt de Key-Value (KV) cache voor de prefix één keer berekend en gedeeld over alle items in een batch.
In-Batch Prefix Caching: De inference engine (SGLang) is aangepast om attention-berekeningen samen te voegen, waardoor suffix-tokens (embeddings) in één enkele forward pass kunnen attenderen op de gedeelde prefix.
Multi-Process Architectuur: De serving stack ontkoppelt de gRPC frontend van de inference engine middels multiprocessing om de bottlenecks van de Python Global Interpreter Lock (GIL) te omzeilen.
KV Cache Management: Redundante cache-operaties worden geëlimineerd voor prefill-only workloads om de CPU-overhead te verminderen en de effectieve GPU-geheugencapaciteit te vergroten.

Belangrijkste Bijdragen

MixLM Framework: Een nieuwe mixed-input rankingarchitectuur die lange tekstdocumenten vervangt door compacte embedding-tokens, waardoor de promptlengte met ordes van grootte wordt verminderd terwijl de semantische expressiviteit behouden blijft.
End-to-End Trainingspipeline: Een co-training strategie met aangepaste distillatie- en self-alignment losses die succesvol kennis overdraagt van een hoogwaardige full-text teacher naar een mixed-input student model.
Productie Serving Stack: Een uitgebreide optimalisatie van de inference engine (inclusief shared-prefix caching en multi-process handling) die hoog-doorvoeksnelheid LLM serving mogelijk maakt.
Industriële Implementatie: De eerste full-traffic deployment van een LLM-gebaseerd semantisch rankingsysteem in LinkedIn's Job Search, gevalideerd via grootschalige A/B-testen.

Experimentele Resultaten

Offline Evaluatie

Relevantie Kwaliteit: MixLM behaalde een NDCG@10 van 0,9239, wat vergelijkbaar is met het pure-text teacher model (0,9432) en aanzienlijk beter presteert dan embedding-only retrieval (0,8380) en gesamenvatte-tekst baselines (0,9218).
Doorvoersnelheid: Onder een vastgesteld latencybudget van 500ms:
- Scoorde MixLM 22.000 items/s/GPU.
- Dit is een 10,0× verbetering ten opzichte van gesamenvatte-tekst LLM ranking (2.200 items/s/GPU).
- Dit is een 75,9× verbetering ten opzichte van full-text LLM ranking (290 items/s/GPU).

Online A/B Testing

MixLM werd uitgerold naar 100% van het verkeer voor LinkedIn's AI-gestuurde Job Search.
Het systeem behield relevantiemetrieken die op gelijke voet staan met de bestaande beperkt-schaal productie baseline.
De verhoogde doorvoersnelheid maakte de volledige uitrol van LLM-gebaseerde ranking mogelijk, wat resulteerde in een toename van 0,47% in Daily Active Users (DAU).

Betekenis en Claims

Het paper claimt dat MixLM een praktisch en schaalbaar pad biedt voor het implementeren van LLM-gebaseerde rankingsystemen in echte omgevingen. Door de kloof te overbruggen tussen de semantische rijkdom van full-text LLM's en de efficiëntie-eisen van industriële zoekopdrachten, demonstreert MixLM dat:

Context Compressie via Embeddings: Het mogelijk is om duizenden tokens te comprimeren tot enkele embedding-tokens zonder significant verlies in rankingkwaliteit.
System-Model Co-Design: Hoge doorvoersnelheid wordt niet alleen bereikt door veranderingen in modelarchitectuur, maar door een nauwe integratie van modelontwerp (mixed-input) met infrastructuur-optimalisaties (KV caching, batching).
Zakelijke Impact: De efficiëntiewinsten maken de transitie mogelijk van beperkte experimenten of gesamenvatte-tekst naar full-traffic LLM deployment, wat direct bijdraagt aan gebruikersbetrokkenheid (DAU) in een grootschalig professioneel netwerk.

De auteurs positioneren dit werk als een oplossing voor de "latency-throughput" trade-off die voorheen de brede adoptie van cross-encoder LLM's in productiesystemen voor zoekopdrachten heeft verhinderd.