💬 NLP

MixLM: High-Throughput and Effective LLM Ranking via Text-Embedding Mix-Interaction

MixLM ist ein neuartiges LLM-Ranking-Framework, das den Systemdurchsatz signifikant steigert, indem es lange Texteingaben durch einen Mix-Interaktionsmechanismus durch kompakte Embedding-Token ersetzt und so einen effizienten Volleinsatz im realen Suchverkehr bei gleichbleibend hoher Relevanz ermöglicht.

Ursprüngliche Autoren: Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan So

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan Song, Xiaoqing Wang, Zhipeng Wang, Qing Lan, Yanning Chen, Jingwei Wu, Luke Simon, Wenjing Zhang, Qi Guo, Fedor Borisyuk

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine riesige Bibliothek, in der Millionen von Menschen jede Sekunde nach Buchempfehlungen fragen. Sie haben einen brillanten, superintelligenten Bibliothekar (das Large Language Model, oder LLM), der die gesamte Buchbeschreibung lesen kann, die Frage des Nutzers versteht und sofort weiß, ob er die perfekte Übereinstimmung ist.

Das Problem? Dieser Bibliothekar ist unglaublich gründlich. Um eine gute Antwort zu geben, muss er die gesamte Buchbeschreibung für jedes einzelne Kandidatenbuch lesen. Wenn ein Buch 2.000 Wörter hat und man 1.000 Bücher prüfen möchte, muss der Bibliothekar für nur eine einzige Nutzeranfrage 2 Millionen Wörter lesen. In der realen Welt von Computerservern dauert das zu lange und kostet zu viel Geld. Die Bibliothek gerät ins Hintertreffen, und die Leute müssen warten.

Hier kommt MixLM ins Spiel: Der „Spickzettel“-Bibliothekar.

Die Forscher bei LinkedIn haben einen neuen Weg der Arbeitsweise erfunden, der MixLM heißt. Anstatt den Bibliothekar jedes Mal das ganze Buch lesen zu lassen, haben sie ein System geschaffen, bei dem die Buchbeschreibung vorverarbeitet wird, um zu einem winzigen, superkomprimierten „Spickzettel“ (ein paar Zahlen, sogenannte Embedding-Tokens) zu werden, bevor der Bibliothekar sie überhaupt sieht.

So funktioniert es, unterteilt in einfache Schritte:

1. Das „Vorlesen“ (Offline-Phase)

Stellen Sie sich vor, dass vor der Eröffnung der Bibliothek für den Tag ein Team von Assistenten jedes einzelne Buch in der Bibliothek liest. Anstatt eine Zusammenfassung zu schreiben, destillieren sie das gesamte Buch zu einer einzigen, perfekten „Essenz-Karte“.

Das Papier besagt: Sie verwenden ein „Encoder LLM“, um tausende Wörter von Item-Text in eine kleine Menge gelernter Embedding-Tokens zu verwandeln.
Die Analogie: Diese „Essenz-Karten“ werden in einem speziellen, schnell zugänglichen Schrank (einem Nearline-Cache) direkt neben dem Schreibtisch des Bibliothekars aufbewahrt.

2. Das „Mischen“ (Online-Phase)

Wenn ein Nutzer fragt: „Ich möchte einen Job im Bereich Data Science“, muss der Bibliothekar nicht die vollständigen Stellenbeschreibungen erneut lesen.

Er nimmt die Frage des Nutzers (Text).
Er greift auf die „Essenz-Karten“ (Embeddings) der Top-Job-Kandidaten aus dem Schrank zu.
Er mischt die Frage des Nutzers mit diesen winzigen Karten.
Das Papier besagt: Dies erzeugt eine „mixed-interaction representation“, die Text-Tokens mit Embedding-Tokens kombiniert.
Die Analogie: Es ist, als würde der Bibliothekar eine kurze Notiz lesen, die besagt: „Nutzer möchte Data Science“ + [Karte für Job A] + [Karte für Job B]. Der Bibliothekar kann die Verbindung zwischen dem Nutzer und dem Job sofort „fühlen“, ohne sich durch tausende Wörter arbeiten zu müssen.

3. Das Ergebnis: Geschwindigkeit und Intelligenz

Da der Bibliothekar nur wenige „Karten“ statt ganzer Bücher liest, kann er Anfragen 75-mal schneller verarbeiten als zuvor, während er immer noch fast so intelligent ist wie die langsame, gründliche Version.

Das Papier behauptet: MixLM verbessert den Durchsatz um das 10,0-Fache im Vergleich zu einem „zusammenfassenden“ Ansatz und um das 75,9-Fache im Vergleich zum Lesen des Volltextes.
Die Analogie: Es ist der Unterschied zwischen einem Bibliothekar, der 290 Bücher pro Stunde prüfen kann (der alte Weg), und einem, der 22.000 Bücher pro Stunde prüfen kann (MixLM) – bei gleicher Genauigkeit.

Wie sie den Bibliothekar trainiert haben

Sie fragen sich vielleicht: „Wie lernt der Bibliothekar, diese winzigen Karten zu lesen?“
Die Forscher nutzten eine clevere Trainingsmethie:

Der Lehrer: Zuerất trainierten sie einen „Super-Bibliothekar“, der ganze Bücher liest und sehr genau ist.
Der Schüler: Dann trainierten sie den „MixLM-Bibliothekar“, um die Entscheidungen des Super-Bibliothekars nachzuahmen, jedoch unter Verwendung der winzigen Karten anstelle der Volltexte.
Die Abstimmung: Sie fügten spezielle Regeln (Loss-Funktionen) hinzu, um sicherzustellen, dass die „Essenz-Karten“ perfekt in das Gehirn des Bibliothekars passen, sodass sich die Mischung aus Text und Karten natürlich anfühlt.

Die reale Auswirkung

Als LinkedIn dieses System für seine Jobsuche einsetzte:

Konnten sie diese superintelligente KI endlich für alle (den gesamten Traffic) nutzen, nicht nur für ein paar glückliche Nutzer.
Da die Suche schneller und intelligenter war, fanden mehr Menschen Jobs, die ihnen gefielen.
Das Papier behauptet: Dies führte zu einer Steigerung der täglich aktiven Nutzer (Daily Active Users, DAU) um 0,47 %. In der Welt einer Plattform mit Millionen von Nutzern repräsentiert dieser winzige Prozentsatz eine riesige Anzahl von Menschen, die eine bessere Erfahrung machen.

Zusammenfassend lässt sich sagen: MixLM ist wie ein „Textmarker“ für eine superintelligente KI, der lange Dokumente in winzige, kraftvolle Notizen kondensiert. Dies ermöglicht es der KI, schneller zu lesen, ohne ihre Intelligenz zu verlieren, wodurch Suchmaschinen für Jobs (und andere Dinge) sowohl blitzschnell als auch hochgradig präzise werden.

Technisches Resümee: MixLM

Problemstellung

Large Language Models (LLMs) haben überlegene Fähigkeiten im Relevanz-Ranking in Such- und Empfehlungssystemen demonstriert, indem sie subtile semantische Signale erfassen, die traditionelle lexikalische Methoden übersehen. Die Bereitstellung von LLMs als Cross-Encoder-Ranker in industriellen Umgebungen steht jedoch vor einem kritischen Engpass: der Rechenkosten.

Standardmäßige Cross-Encoder-Ansätze konstruieren Prompts, die Benutzeranfragen mit langen Beschreibungen von Kandidatenartikeln (oft tausende von Token) kombinieren. Dies führt zu:

Hohem Prefill-Inferenz-Aufwand: Die Rechenkosten werden von der Prefill-Phase dominiert, die aufgrund von Attention-Mechanismen quadratisch mit der Kontextlänge skaliert.
Durchsatzbeschränkungen: Unter strengen Latenzbudgets (z. B. 500 ms) sind Systeme gezwungen, entweder kleinere, weniger fähige Modelle zu verwenden oder informative Merkmale zu verwerfen (z. B. durch Textzusammenfassung oder Pruning), was die Ranking-Qualität opfert.

Die Kernherausforderung besteht darin, die Eingabe-Kontextlänge signifikant zu reduzieren und gleichzeitig die reiche semantische Interaktion zwischen der Abfrage und dem vollständigen Dokument zu bewahren.

Methodik: MixLM-Framework

Die Autoren schlagen MixLM vor, ein LLM-basiertes Ranking-Framework, das langen Artikeltext durch eine kompakte Menge gelernter Embedding-Token ersetzt. Diese „Text-Embedding-Mix-Interaktion“-Architektur entkoppelt die Verarbeitung von Artikelbeschreibungen von der Online-Ranking-Phase.

1. Architektur

MixLM besteht aus zwei primären Komponenten:

Encoder-LLM: Verarbeitet die vollständige Artikelbeschreibung offline (oder nearline), um eine kompakte Repräsentation zu erzeugen. Anstatt nur einen Vektor auszugeben, erzeugt es eine Sequenz von Embedding-Token. In der Produktion nutzen die Autoren Last- $N$ Sampling, um eine kleine Anzahl von Token (z. B. $T_S=1$ ) aus den Hidden States des Encoders auszuwählen, um den Artikel zu repräsentieren.
Ranker-LLM: Operiert online. Es erhält die Benutzeranfrage, Hilfstexte und die vorberechneten Embedding-Token vom Encoder. Diese werden zu einem „gemischten Eingabe“-Prompt konkateniert, der signifikant kürzer ist als der Volltext-Prompt.

Der Ranker sagt die Relevanz ( $p_{yes}$ ) basierend auf dieser gemischten Eingabe voraus. Da die Artikel-Embeddings vorberechnet und gecacht sind, verarbeitet die Online-Inferenz nur den Query-Präfix und einige wenige Embedding-Token, was die Sequenzlänge drastisch reduziert.

2. Trainings-Pipeline

Die Autoren verwenden ein dreistufiges Trainingsrezept, um den Encoder und den Ranker aufeinander abzustimmen:

Stufe I (Domain Reasoning Fine-Tuning): Ein mit 0,6B Parametern vortrainiertes LLM wird auf einem domänenspezifischen Reasoning-Datensatz (180k Samples) unter Verwendung von Chain-of-Thought-Traces eines 7B Relevance Judge feinjustiert. Dies etabliert ein Basismodell, das in der Lage ist, Relevanz-Begründungen zu verstehen.
Stufe II (Ranking Teacher Training): Das Modell aus Stufe I wird als reiner Text-Ranker unter Verwendung vollständiger Artikelbeschreibungen (10,9 Mio. Samples) weiter feinjustiert. Dieses Modell dient als qualitativ hochwertiger „Lehrer“ (Teacher), ist jedoch für das Online-Serving zu teuer.
Stufe III (Joint Encoder-Ranker Training): Der Encoder und der Ranker werden unter Verwendung der Mixed-Input-Architektur gemeinsam trainiert. Das Trainingsziel kombelt:
- Soft-Label SFT Loss: Richtet die Vorhersagen an den Ground-Truth-Labels aus.
- Distillation Loss: Richtet die Output-Distribution des Mixed-Input-Modells an dem Pure-Text-Teacher-Modell (Stufe II) aus.
- Self-Alignment Loss: Stellt sicher, dass die Ausgaben des Encoders (Embeddings) mit den internen Hidden States des Rankers kompatibel sind. Dies umfasst die Hidden-State-Alignment (Abgleich des letzten Hidden State der gemischten Eingabe mit der Volltext-Eingabe) und die Prediction Alignment.

Eine Curriculum-Learning-Strategie wird in Stufe III eingesetzt, wobei anfangs die Space-Alignment (Kompatibilität zwischen Encoder und Ranker) priorisiert wird, bevor der Fokus auf die Distillation (Genauigkeit der Relevanzvorhersage) verschoben wird.

3. Serving-Optimierungen

Um den Durchsatz zu maximieren, implementierten die Autoren mehrere System-Optimierungen:

Shared-Prefix Prefill: Da der Query-Präfix für alle Artikel in einer Ranking-Liste identisch ist, wird der Key-Value (KV) Cache für den Präfix einmal berechnet und für alle Artikel in einem Batch wiederverwendet.
In-Batch Prefix Caching: Die Inferenz-Engine (SGLang) wurde modifiziert, um Attention-Berechnungen zusammenzuführen, wodurch Suffix-Token (Embeddings) den geteilten Präfix in einem einzigen Vorwärtsdurchlauf (Forward Pass) beachten können.
Multi-Process-Architektur: Der Serving-Stack entkoppelt das gRPC-Frontend vom Inferenz-Engine mittels Multiprocessing, um die Engpässe des Python Global Interpreter Lock (GIL) zu umgehen.
KV-Cache-Management: Redundante Cache-Operationen werden eliminiert, um den CPU-Overhead zu reduzieren und die effektive GPU-Speicherkapazität zu erhöhen (speziell für Prefill-only Workloads).

Zentrale Beiträge

MixLM-Framework: Eine neuartige Mixed-Input-Ranking-Architektur, die lange Textdokumente durch kompakte Embedding-Token ersetzt und so die Prompt-Länge um Größenordnungen reduziert, während die semantische Ausdrucksstärke erhalten bleibt.
End-to-End Trainings-Pipeline: Eine Co-Training-Strategie mit benutzerdefinierten Distillation- und Self-Alignment-Losses, die erfolgreich Wissen von einem hochwertigen Volltext-Lehrer auf ein Mixed-Input-Schülermodell überträgt.
Produktionsreifes Serving-Stack: Eine umfassende Optimierung der Inferenz-Engine (einschließlich Shared-Prefix-Caching und Multi-Process-Handling), die ein hochdurchsatzfähiges LLM-Serving ermöglicht.
Industrielle Implementierung: Die erste vollständige Traffic-Deployment eines LLM-basierten semantischen Rankingsystems in der LinkedIn Job Search, validiert durch groß angelegte A/B-Tests.

Experimentelle Ergebnisse

Offline-Evaluierung

Relevanzqualität: MixLM erreichte ein NDCG@10 von 0,9239, was vergleichbar mit dem Pure-Text-Teacher-Modell (0,9432) ist und die Embedding-only Retrieval-Methoden (0,8380) sowie die Summarized-Text-Baselines (0,9218) deutlich übertrifft.
Durchsatz: Unter einem festen 500ms Latenzbudget:
- MixLM erzielte 22.000 Items/s/GPU.
- Dies entspricht einer 10,0-fachen Verbesserung gegenüber dem Summarized-Text LLM Ranking (2.200 Items/s/GPU).
- Dies entspricht einer 75,9-fachen Verbesserung gegenüber dem Full-Text LLM Ranking (290 Items/s/GPU).

Online A/B-Tests

MixLM wurde für 100 % des Traffics von LinkedIn's KI-gestützter Job Search eingesetzt.
Das System hielt die Relevanzmetriken auf dem Niveau der bestehenden, begrenzt skalierbaren Produktions-Baseline.
Der erhöhte Durchsatz ermöglichte die vollständige Bereitstellung von LLM-basiertem Ranking, was zu einer Steigerung der Daily Active Users (DAU) um 0,47 % führte.

Bedeutung und Ansprüche

Das Paper behauptet, dass MixLM einen praktischen und skalierbaren Weg für die Bereitstellung von LLM-basierten Ranking-Systemen in realen Umgebungen bietet. Durch die Überbrückung der Lücke zwischen der semantischen Reichhaltigkeit von Volltext-LLMs und den Effizienzanforderungen des industriellen Suchwesens zeigt MixLM, dass:

Kontextkompression via Embeddings: Es möglich ist, tausende von Token in wenige Embedding-Token zu komprimieren, ohne signifikanten Verlust in der Ranking-Qualität.
System-Model Co-Design: Hoher Durchsatz wird nicht nur durch Änderungen der Modellarchitektur, sondern durch die enge Integration von Model-Design (Mixed-Input) und Infrastruktur-Optimierungen (KV-Caching, Batching) erreicht.
Geschäftlicher Impact: Die Effizienzgewinne ermöglichen den Übergang von experimentellen, begrenzten Skalierungen oder Summarized-Text-Ansätzen hin zur vollständigen Traffic-Deployment von LLM-basiertem Ranking, was direkt die Nutzerengagement-Metriken (DAU) in einem groß angelegten professionellen Netzwerk steigert.

Die Autoren positionieren diese Arbeit als Lösung für das „Latency-Throughput“-Dilemma, das zuvor die breite Anwendung von Cross-Encoder-LLMs in produktiven Suchsystemen verhindert hat.