🤖 AI

SAGE: Scalable AI Governance & Evaluation

SAGE ist ein skalierbares KI-Governance-Framework, das hochwertiges menschliches Urteilsvermögen durch eine bidirektionale Kalibrierungsschleife aus Richtlinien, Präzedenzfällen und LLM-Surrogat-Richtern operationalisiert, indem es eine kosteneffiziente Destillation nutzt, um eine richtlinienkonforme Modellbewertung in der LinkedIn-Suche zu ermöglichen, was letztlich die täglichen aktiven Nutzer um 0,25 % gesteigert hat.

Ursprüngliche Autoren: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muth

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muthuregunathan, Abhinav Gupta, Mathew Teoh, Andrew Kirk, Thomas Kwan, Jingwei Wu, Wenjing Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Chefredakteur einer riesigen Zeitung (LinkedIn), die täglich Millionen von Artikeln (Jobs und Profilen) veröffentlicht. Ihr Ziel ist es, sicherzustellen, dass ein Leser, wenn er nach etwas Bestimmtem sucht, wie etwa „Entry-Level Data Analyst“, genau den perfekten Artikel findet und nicht nur einen zufälligen, der lediglich diese Wörter enthält.

Das Problem? Sie haben zu viele Artikel und zu viele Leser. Sie können nicht einen menschlichen Redakteur bitten, jedes einzelne Suchergebnis zu prüfen, um festzustellen, ob es gut ist. Wenn Sie versuchen, einfache Mathematik zu verwenden (wie das Zählen, wie viele Leute auf einen Link klicken), könnten Sie von irrelevanten, aber populären Artikeln getäuscht werden.

Dies ist die Geschichte von SAGE, einem neuen System, das LinkedIn entwickelt hat, um dieses Problem zu lösen. Betrachten Sie SAGE als einen „Super-Redakteur“, der lernt, wie ein menschlicher Experte zu denken, aber mit der Geschwindigkeit eines Roboters arbeitet.

So funktioniert es, unterteilt in einfache Schritte:

1. Das Problem: Die Lücke zwischen „Mensch und Roboter“

Normalerweise verlassen sich Unternehmen, wenn sie Suchmaschinen bauen, auf zwei Dinge:

Menschliche Redakteure: Sie sind großartig darin, Qualität zu beurteilen, aber sie sind langsam und teuer. Sie können nicht Millionen von Ergebnissen lesen.
Engagement-Metriken: Sie zählen Klicks und Aufrufe. Aber das ist so, als würde man einen Film nur nach seinem Einspielergebnis bewerten; ein schlechter Film kann trotzdem populär sein, wenn die Leute aus Versehen darauf klicken. Es sagt einem nicht, ob der Film tatsächlich gut ist.

LinkedIn brauchte einen Weg, um das Qualitätsurteil eines Menschen mit der Geschwindigkeit einer Maschine zu vereinen.

2. Die Lösung: Das „SAGE“-Framework

SAGE steht für Scalable AI Governance & Evaluation (Skalierbare KI-Governance & Evaluierung). Es ist ein dreiteiliges Team, das zusammenarbeitet, um ein perfektes „Regelwerk“ für die Bewertung von Suchergebnissen zu erstellen.

Teil A: Die Policy (Das Regelwerk)

Dies ist eine Reihe von geschriebenen Regeln in klarem Englisch. Anstatt zu sagen „Keywords matchen“, heißt es zum Beispiel: „Wenn ein Nutzer nach einem Einstiegsjob sucht, darf das Ergebnis nicht 10 Jahre Berufserfahrung voraussetzen.“ Es definiert genau, was „gut“ bedeutet.

Teil B: Der Präzedenzfall (Die Musterantworten)

Stellen Sie sich vor, ein Lehrer gibt einem Schüler einige Musteraufsätze mit perfekten Noten und Erklärungen mit. SAGE verwendet einen kleinen, sorgfältig ausgewählten Satz von „Goldstandard“-Beispielen, die von menschlichen Experten erstellt wurden. Diese Beispiele zeigen der KI genau, wie das Regelwerk auf knifflige Situationen anzuwenden ist.

Part C: Der stellvertretende Richter (Der Schüler)

Dies ist eine KI (ein Large Language Model), die als Richter fungiert. Sie liest die Suchergebnisse und vergleicht sie mit dem Regelwerk und den Musterantworten.

3. Das Geheimrezept: „Zwei-Wege-Training“

In der Vergangenheit haben Sie der KI einfach die Regeln gesagt und gehofft, dass sie sie versteht. SAGE nutzt eine Zwei-Wege-Kalibrierungsschleife.

Mensch zu KI: Menschen bringen der KI die Regeln bei und zeigen ihr Beispiele.
KI zu Mensch: Die KI kritisiert sogar die Menschen!
- Wenn die KI sieht, dass ein menschlicher Experte einen Fehler macht (wie das Übersehen eines versteckten Details in einer langen Stellenbeschreibung), weist sie darauf hin.
- Wenn die KI verwirrt ist, weil die Regeln vage sind, sagt sie den Menschen: „Hey, euer Regelwerk deckt diesen spezifischen Fall nicht ab.“

Dies schafft einen Kreislauf, in dem das Regelwerk, die Beispiele und der KI-Richter gemeinsam klüger werden. Sie korrigieren gegenseitig ihre Fehler, bis sie fast perfekt übereinstimmen (eine Übereinstimmung von etwa 77 % mit menschlichen Experten, was in diesem Bereich als „substanziell“ gilt).

4. Der Geschwindigkeits-Trick: „Distillation“ (Lehrer zu Schüler)

Die „Lehrer“-KI (diejenige, die von Menschen gelernt hat) ist sehr intelligent, aber langsam und teuer im Betrieb. Sie ist wie ein genialer Professor, der Stunden braucht, um eine Hausarbeit zu korrigieren. LinkedIn muss jedoch Millionen von Arbeiten pro Sekunde bewerten.

Deshalb haben sie eine Technik namens Distillation (Destillation) eingesetzt.

Stellen Sie sich vor, der Lehrer (der geniale Professor) erklärt seinen Denkprozess einem Schüler (einem schnellen, effizienten Praktikanten).
Der Schüler lernt, die Logik des Lehrers nachzuahmen, wird dabei aber viel kleiner und schneller.
Das Ergebnis: Der Schüler-Richter ist 92-mal günstiger und schneller als der Lehrer, liefert aber immer noch fast so oft die richtige Antwort wie die menschlichen Experten.

5. Wie es LinkedIn verändert hat

Nachdem sie diesen schnellen, smarten Schüler-Richter gebaut hatten, setzten sie ihn auf drei leistungsstarke Arten ein:

Das Sicherheitsnetz (Offline-Testing): Bevor sie eine neue Suchfunktion einführen, lassen sie diese durch den Schüler-Richter laufen. Wenn die KI sagt: „Diese neue Funktion liefert schlechte Ergebnisse“, können sie sie sofort stoppen. Sie müssen nicht warten, bis sich echte Nutzer beschweren. Dies verkürzte ihre Testzeit von 2 Wochen auf 3 Tage.
Der Echtzeit-Gatekeeper (Online Serving): Sie haben die KI noch weiter komprimiert, um sie klein genug zu machen, damit sie in Echtzeit laufen kann. Jetzt prüft eine winzige Version dieser KI bei jeder Suche sofort die Ergebnisse, um sicherzustellen, dass sie den Regeln entsprechen.
Das Frühwarnsystem: Sie nutzten die KI, um das System rund um die Uhr zu überwachen. Manchmal kann eine Such-Aktualisierung basierend auf Klicks zwar gut aussehen, aber die KI bemerkt, dass die Qualität sinkt. Sie hat ein Problem erkannt, das menschliche Metriken übersehen hätten, und so ein schlechtes Nutzererlebnis verhindert.

Das Fazendatum

Durch den Einsatz dieses Systems hat LinkedIn seine Suche nicht nur „schneller“, sondern auch intelligenter und vertrauenswürdiger gemacht.

Das Paper behauptet, dass LinkedIn durch den Einsatz von SAGE zur Durchsetzung hochwertiger Regeln eine Steigerung der täglichen aktiven Nutzer (Daily Active Users) um 0,25 % verzeichnete. In der Welt einer Plattform mit Hunderten von Millionen Nutzern stellt dieser kleine Prozentsatz eine massive Anzahl von Menschen dar, die das fanden, wonach sie suchten, auf der Seite blieben und immer wieder zurückkehrten.

Kurz gesagt: SAGE hat die unordentliche, subjektive Aufgabe, zu entscheiden, „was ein gutes Suchergebnis ist“, in einen klaren, automatisierten und skalierbaren Prozess verwandelt, der aus seinen Fehlern lernt und sich ständig verbessert.

Technisches Resümee: SAGE (Scalable AI Governance & Evaluation)

Problemstellung
Industrielle Suchsysteme, insbesondere solche, die natürliche Sprachabfragen mit facettenreichen Intentionen verarbeiten (z. B. LinkedIn Job Search und People Search), stehen vor einer kritischen „Governance-Lücke“. Während semantische Modelle die Ausdrucksstärke erweitert haben, erschweren sie gleichzeitig die Spezifikation und Durchsetzung von Relevanzstandards. Die traditionelle Governance stützt sich auf zwei suboptimale Proxys:

Manuelle redaktionelle Überprüfung: Hochgradig präzise, aber nicht in der Lage, die kombinatorische Diversität natürlicher Sprachabfragen in industriellem Maßstab abzudecken.
Engagement-Metriken: Diese liefern verzögertes Feedback und leiden unter systematischen Verzerrungen (z. B. Popularitätsverstärkung), wodurch sie oft hochrelevante Relevanzfehler oder „stille“ Regressionen nicht erfassen können.

Die Kernherausforderung besteht darin, einen Surrogat-Richter ( $J$ ) zu konstruieren, der die latente menschliche Nutzenfunktion ( $H$ ) mit minimaler Alignment-Divergenz ( $\Delta$ ) approximiert und gleichzeitig die Abdeckung ( $C$ ) über einen unbegrenzten semantischen Raum maximiert.

Methodik: Das SAGE-Framework
SAGE operationalisiert das menschliche Produkturteil durch ein Trias aus Konstrukten: Policy (P), Precedent (E) und einem LLM-Surrogat-Richter (J). Das Framework basiert auf drei Designprinzipien:

Bidirektionale Kalibrierung: Im Gegensatz zu statischen Evaluierungssystemen nutzt SAGE eine dynamische Schleife, in der Policy, Precedent und Judge koevolutionär zusammenwirken.
- Mensch $\to$ Policy/Precedent: Experten melden Lücken in der Policy-Intuition und Ambiguitäten.
- Judge $\to$ Precedent: Der Judge fungiert als adversarieller Auditor, der Fehler in den von Menschen kuratierten „Golden Datasets“ aufdeckt (z. B. das Identifizieren von Belegen in umfangreichen Dokumenten, die von Menschen übersehen wurden).
- Judge $\to$ Policy: Der Judge deckt eine Unter-Spezifikation der Policy auf, wenn diese nicht unterstützte Einschränkungen einführt oder inkonsistente Logik anwendet.
- Ergebnis: Diese Schleife löst systematisch semantische Ambiguitäten auf und transformiert subjektives Urteil in ausführbare, mehrdimensionale Rubriken.
Interpretierbare Multi-Attribut-Relevanz: Um die „Black-Box“-Opazität zu eliminieren, zerlegt der Judge die Relevanz in orthogonale Attribute (z. B. Titel, Seniorität, Unternehmen) anstatt in einen monolithischen Score. Dies ermöglicht eine gezielte Fehlerattribution während der Kalibrierung. Das System verwendet eine abgestufte 5-Punkte-Skala (0–4) anstelle von paarweisen Rankings, um explizite Qualitäts-Schwellenwerte (z. B. die Unterdrückung von Graden 0–1) durchzusetzen.
Hochdurchsatz mittels Destillation: Um die Lücke zwischen dem Reasoning von Frontier-Modellen und industriellen Inferenzkosten zu schließen, nutzt SAGE Teacher-Student-Destillation.
- Teacher Judge: Ein Frontier-LLM (GPT-o3), kalibriert gegen Experten-Precedents.
- Student Judge: Ein 8B-Parameter-Modell, das vom Teacher destilliert wurde. Es wird auf stratifizierten Produktions-Traffic und aspirativen Abfragen trainiert, wobei unterrepräsentierte Score-Klassen (0–3) rebalanciert werden, um einen Kollaps hin zu Vorhersagen hoher Relevanz zu verhindern.
- Online-Modell: Der Student Judge wird weiter in eine ultra-kompakte (0,6B) Architektur destilliert, um Echtzeit-Serving zu ermöglichen. Dies beinhaltet strukturelles Pruning, die Internalisierung von Reasoning (Kollaps von Chain-of-Thought in 1-Token-Vorhersagen) und Kontext-Minimierung durch Offline-Summarization.

Kernbeiträge
Das Paper präsentiert drei primäre Beiträge zur menschenzentrierten Evaluierung im industriellen Maßstab:

Bidirektionale Kalibrierung für Intent-Alignment: Ein Mechanismus, der heterogenes menschliches Urteil in versionierte Evaluierungskriterien transformiert, wodurch das Evaluierungssystem mit dem menschlichen Urteil koevolvieren kann und Policy-Ambiguitäten aufdeckt.
Interpretierbare Multi-Attribut-Relevanz-Evaluierung: Eine Zerlegung der Relevanz in orthogonale Attribute, welche Opazität eliminiert, eine präzise Fehlerattribution ermöglicht und eine nahezu menschliche Übereinstimmung erreicht.
Hochdurchsatz-Evaluierung mittels Destillation: Eine Pipeline, die das Reasoning von Frontier-LLMs in effiziente Student-Surrogate komprimiert und so eine groß angelegte Offline-Evaluierung ( $>10^7$ Annotationen/Tag) sowie eine latenzarme Online-Evaluierung ( $>10^4$ QPS) zu einem Bruchteil der Kosten ermöglicht.

Ergebnisse
Eingesetzt innerhalb der LinkedIn Search Ökosysteme, erreichte SAGE Folgendes:

Alignment-Qualität: Durch bidirektionale Kalibrierung erreichte der Teacher Judge ein linear gewichtetes Cohen's Kappa von 0,77 gegenüber Experten-Urteilen, was den Schwellenwert von 0,7 für substanzielle Übereinstimmung übersteigt und sich dem praktischen Maximum von Experten-Product-Ownern (0,83) nähert.
Destillations-Fideltität: Der Student Judge bewahrte eine hohe Fideltität und erreichte Kappa-Werte von 0,72 (Job Search) und 0,73 (People Search) gegenüber menschlichen Experten.
Kosteneffizienz: Der Student Judge arbeitet mit 92-mal geringeren Kosten als der Teacher Judge und 154-mal geringeren Kosten als die untere Grenze des menschlichen Labelings.
Produktions-Impact: Durch die Ermöglichung von simulationsgestützter Entwicklung und Policy-basierter Aufsicht half SAGE dabei, Regressionen zu erkennen, die für Engagement-Metriken unsichtbar waren. Zwei aufeinanderfolgende Online A/B-Experimente, die das Policy-alignierte Online-Modell integrierten, führten zu einem Anstieg der LinkedIn Daily Active Users (DAU) um 0,25 %, was einen signifikanten Sprung im Wachstum des Job Search Produkts darstellt.

Bedeutung und Behauptungen
Das Paper behauptet, dass SAGE die menschenzentrierte Governance erfolgreich in dem Maße formalisiert hat, wie es für industrielle KI-Systeme erforderlich ist. Es argumentiert, dass:

Hochwertige Kuration > Hochvolumige Annotation: Ein kleiner Satz von Experten-kuratierten Precedents bietet mehr Hebelwirkung als groß angelegtes Labeling, wodurch sich der menschliche Aufwand von der Erzeugung von Labels hin zur Auflösung von Ambiguitäten verschiebt.
Der Judge kann die Ground Truth auditieren: Kalibrierte LLMs können Fehler in menschlich kuratierten Datensätzen identifizieren und somit die Qualität der Supervision selbst verbessern.
Policy als versioniertes Artefakt: Die Behandlung der Policy als versionierte Software-Spezifikation ermöglicht eine stabile langfristige Governance und unterscheidet zwischen Metrik-Shifts durch Definitionsänderungen und tatsächlichen Modellfehlern.
Semantische Evaluierung ergänzt behaviorale Proxys: Während Engagement-Signale weiterhin Standard bleiben, verpassen sie oft „stille“ Relevanzdegradierungen. SAGE demonstriert, dass operationalisierte Produkt-Urteile einen stabileren und diagnostischeren Indikator für die Ökosystem-Gesundheit liefern, der direkt mit langfristigem Nutzerwachstum (DAU) korreliert.