A Unified Structured Query Understanding Framework for Industrial Semantic Search
Dieser Beitrag stellt ein einheitliches Framework für Small Language Models zur semantischen Industriesuche vor, das fragmentierte Aufgaben der Query-Verständnis in ein einzelnes schema-beschränktes Generierungssystem konsolidiert, das durch einen „Query Illuminator" für Datenannotation und -evaluation unterstützt wird und erfolgreich die Nutzerbindung erhöhte sowie die Kosten in den Job- und Personensuchsystemen von LinkedIn senkte, während gleichzeitig strenge Latenzanforderungen erfüllt wurden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreiben eine riesige, geschäftige Bibliothek (das Jobsuchsystem von LinkedIn), in die jeden Tag Millionen von Menschen hereinkommen und nach Büchern (Jobs) fragen.
Auf die alte Art und Weise hatte die Bibliothek ein zerklüftetes Team von Spezialisten, das in einer Reihe stand.
- Eine Person versuchte zu erraten, was Sie wollten (Intent).
- Eine zweite Person versuchte, den spezifischen Autor oder das Genre zu finden (Tagging).
- Eine dritte Person versuchte, Ihren unordentlichen Satz in eine klare Anfrage umzuwandeln (Rewriting).
- Eine vierte Person prüfte, ob Sie nach etwas Gefährlichem fragten (Safety).
Das Problem: Diese Fließbandproduktion war langsam, teuer im Unterhalt und anfällig für Fehler. Wenn die erste Person Sie missverstand, geriet die zweite Person in Verwirrung, und die dritte Person schrieb die Anfrage falsch um. Es war wie ein Spiel „Stille Post", bei dem die Nachricht bis zum Ende verzerrt war. Außerdem, wenn jemand eine seltsame, lange oder komplexe Frage stellte (wie „Ich brauche einen Remote-Datenerfassungsjob, der über 50.000 $ zahlt, aber nur in den USA"), fiel das Team oft auseinander.
Die neue Lösung: Der „Super-Bibliothekar"
Die Autoren dieses Papiers entwickelten ein Unified Structured Query Understanding Framework (ein einheitliches Framework für das strukturierte Verständnis von Abfragen). Anstelle eines Teams von Spezialisten stellten sie einen hochqualifizierten „Super-Bibliothekar" (ein Small Language Model, oder SLM) ein, der alles auf einmal erledigt.
So funktioniert es, unter Verwendung einfacher Analogien:
1. Die Ein-Pass-Entscheidung (Das „All-in-One"-Menü)
Anstatt Ihre Anfrage die Reihe entlangzureichen, geben Sie Ihre Anfrage dem Super-Bibliothekar. In einem einzigen Blick:
- Entscheidet dieser Bibliothekar, wonach Sie suchen (Router).
- Holt die spezifischen Tags hervor (z. B. „Remote", „Senior", „Data Scientist").
- Schreibt Ihren unordentlichen Satz, falls nötig, in eine klare, professionelle Anfrage um.
- Prüft, ob Sie nach etwas fragen, das gegen die Regeln verstößt (Trust/Safety).
Der magische Trick: Der Bibliothekar errät nicht einfach; er füllt eine streng formatierte Checkliste aus (Schema-Constrained Generation). Er kann keinen Roman schreiben; er muss bestimmte Felder auf einem Formular ausfüllen. Dies stellt sicher, dass das nachgelagerte Computersystem die Anfrage perfekt versteht, ohne durch unordentlichen Text verwirrt zu werden.
2. Der „Query Illuminator" (Der Lehrer und der Richter)
Einen Bibliothekar zu trainieren, der alles erledigt, ist schwierig, da Sie Tausende von Beispielen für „perfekte" Antworten benötigen, und Menschen zu langsam sind, um sie alle zu schreiben.
Um dies zu lösen, erstellte das Team einen Query Illuminator. Stellen Sie sich dies als einen Meister-Bibliothekar (eine viel größere, intelligentere KI) vor, der im Hinterzimmer arbeitet.
- Als Lehrer: Der Meister-Bibliothekar liest Tausende von unordentlichen Benutzeranfragen und schreibt die „perfekten" Checklisten-Antworten auf. Dann lehrt er den kleineren Super-Bibliothekar, dasselbe zu tun (dies wird Distillation genannt).
- Als Richter: Wenn der Super-Bibliothekar einen Fehler macht, fungiert der Meister-Bibliothekar als Ersatzrichter. Er bewertet die Arbeit des Super-Bibliothekars gegen die Regeln (wie „Haben Sie einen Job halluciniert, der nicht existiert?"), ohne dass jedes Mal ein Mensch nachschauen muss.
3. Die Ergebnisse: Schneller, intelligenter und sicherer
Das Team testete dieses neue System im tatsächlichen Jobsuch-Engine von LinkedIn.
- Weniger defekte Anfragen: Da der Super-Bibliothekar den gesamten Prozess auf einmal abwickelt, werden weniger Anfragen verworfen oder missverstanden. Das Papier meldet einen Rückgang der fehlgeschlagenen Anfragen um 17 %.
- Glücklichere Nutzer: Mehr Menschen fanden Jobs, die ihnen gefielen, und bewarben sich darauf.
- Geschwindigkeit: Obwohl der Bibliothekar mehr Arbeit leistet, ist das System schnell genug, um Millionen von Anfragen pro Sekunde zu bearbeiten, ohne dass Nutzer warten müssen.
- Vielseitigkeit: Sie bewiesen, dass dies auch für andere Dinge funktioniert, wie die Suche nach Personen (nicht nur nach Jobs), was zeigt, dass der „Super-Bibliothekar" mit minimalem Aufwand für verschiedene Arten von Bibliotheken neu trainiert werden kann.
Zusammenfassung
Das Papier beschreibt den Ersatz einer langsamen, fehleranfälligen Fließbandproduktion kleiner Werkzeuge durch einen intelligenten, effizienten Roboter, der komplexe menschliche Sprache versteht, strengen Regeln folgt und von einer „Meister-Lehrer"-KI lernt. Dies macht die Sucherfahrung für alle, die nach einem Job suchen, reibungsloser, schneller und zuverlässiger.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.