🤖 AI

SAGE: Scalable AI Governance & Evaluation

SAGE is een schaalbaar AI-governanceframework dat hoogwaardig menselijk oordeel operationaliseert via een bidirectionele kalibratielus van beleid, precedent en LLM-surrogaatrechters, waarbij kosteneffectieve distillatie wordt ingezet om beleidsconform modelonderzoek in LinkedIn Search mogelijk te maken, wat uiteindelijk het aantal dagelijkse actieve gebruikers met 0,25% heeft verhoogd.

Oorspronkelijke auteurs: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muth

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muthuregunathan, Abhinav Gupta, Mathew Teoh, Andrew Kirk, Thomas Kwan, Jingwei Wu, Wenjing Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de hoofdredacteur bent van een enorme krant (LinkedIn) die dagelijks miljoenen artikelen (banen en profielen) publiceert. Je doel is om ervoor te zorgen dat wanneer een lezer naar iets specifieks zoekt, zoals "entry-level data analyst", hij het perfecte artikel krijgt, en niet zomaar een willekeurig artikel dat toevallig die woorden bevat.

Het probleem? Je hebt te veel artikelen en te veel lezers. Je kunt niet een menselijke redacteur vragen om elk enkel zoekresultaat te controleren om te zien of het goed is. Als je dat probeert met simpele wiskunde (zoals tellen hoe vaak mensen op een link klikken), kun je worden misleid door populaire maar irrelevante artikelen.

Dit is het verhaal van SAGE, een nieuw systeem dat LinkedIn heeft gebouwd om dit probleem op te lossen. Zie SAGE als een "Super-Redacteur" die leert denken als een menselijke expert, maar werkt op de snelheid van een robot.

Hier is hoe het werkt, onderverdeeld in eenvoudige stappen:

1. Het Probleage: De "Mens versus Robot"-kloof

Meestal vertrouwen bedrijven die zoekmachines bouwen op twee dingen:

Menselijke Redacteuren: Zij zijn geweldig in het beoordelen van kwaliteit, maar ze zijn traag en duur. Ze kunnen geen miljoenen resultaten lezen.
Engagement Metrics: Ze tellen clicks en weergaven. Maar dit is als het beoordelen van een film op basis van de kassa-opbrengst; een slechte film kan nog steeds populair zijn als mensen er per ongeluk op klikken. Het vertelt je niet of de film daadwerkelijk goed is.

LinkedIn had een manier nodig om de kwaliteitsbeoordeling van een mens te krijgen met de snelheid van een machine.

2. De Oplossing: Het "SAGE"-framework

SAGE staat voor Scalable AI Governance & Evaluation. Het is een drieledig team dat samenwerkt om een perfect "regelboek" te creëren voor het beoordelen van zoekresultaten.

Deel A: Het Beleid (Het Regelboek)

Dit is een reeks geschreven regels in gewone taal. In plaats van te zeggen "zoek op trefwoorden", zegt het zaken als: "Als een gebruiker vraft om een instapfunctie, mag de functie niet 10 jaar ervaring vereisen." Het definieert precies wat "goed" is.

Deel B: Het Precedent (De Voorbeeldantwoorden)

Stel je een leraar voor die een student een paar voorbeeldopdrachten geeft met perfecte cijfers en uitleg. SAGE gebruikt een kleine, zorgvuldig gekozen set "gouden standaard" voorbeelden gemaakt door menselijke experts. Deze voorbeelden laten de AI precies zien hoe de regels toegepast moeten worden op lastige situaties.

Deel C: De Surrogate Judge (De Student)

Dit is een AI (een Large Language Model) die optreedt als de rechter. Het leest de zoekresultaten en vergelijkt deze met het Regelboek en de Voorbeeldantwoorden.

3. Het Geheime Recept: "Two-Way Training"

In het verleden vertelde je de AI gewoon de regels en hoopte je dat hij het begreep. SAGE gebruikt een Two-Way Calibration Loop.

Mens naar AI: Mensen leren de AI de regels en laten voorbeelden zien.
AI naar Mens: De AI bekritiseert de mensen zelfs!
- Als de AI ziet dat een menselijke expert een fout maakt (zoals een verborgen detail in een lange vacaturetekst over het hoofd zien), signaleert het dit.
- Als de AI in de war raakt omdat de regels vaag zijn, vertelt het de mensen: "Hé, jullie regelboek dekt dit specifieke geval niet."

Dit creëert een cyclus waarin het Regelboek, de Voorbeelden en de AI-rechter allemaal samen slimmer worden. Ze corrigeren elkaars fouten totdat ze het bijna perfect met elkaar eens zijn (ongeveer 77% overeenstemming met menselijke experts, wat in dit veld als "substantieel" wordt beschouwd).

4. De Snelheidstruc: "Distillatie" (Leraar naar Student)

De "Teacher" AI (de AI die van mensen heeft geleerd) is erg slim maar traag en duur om te draaien. Het is als een briljante professor die uren nodig heeft om een essay te nakijken. LinkedIn moet echter miljoenen papers per seconde beoordelen.

Daarom gebruikten ze een techniek genaamd Distillatie.

Stel je voor dat de Teacher (de briljante professor) hun denkproces uitlegt aan een Student (een snelle, efficiënte stagiair).
De Student leert de logica van de Teacher na te bootsen, maar wordt veel kleiner en sneller.
Het Resultaat: De Student-rechter is 92 keer goedkoper en sneller dan de Teacher, maar geeft nog steeds bijna net zo vaak het juiste antwoord als de menselijke experts.

5. Hoe het LinkedIn veranderde

Nadat ze deze snelle, slimme Student-rechter hadden gebouwd, gebruikten ze deze op drie krachtige manieren:

Het Veiligheidsnet (Offline Testing): Voordat ze een nieuwe zoekfunctie lanceren, halen ze deze door de Student-rechter. Als de AI zegt: "Deze nieuwe functie geeft slechte resultaten," kunnen ze dit onmiddellijk stoppen. Ze hoeven niet te wachten tot echte gebruikers gaan klagen. Dit verkortte hun testtijd van 2 weken naar 3 dagen.
De Real-Time Poortwachter (Online Serving): Ze hebben de AI nog verder gecomprimeerd om hem klein genoeg te maken om in real-time te draaien. Nu controleert een piekleine versie van deze AI direct de resultaten elke keer dat je zoekt, om te controleren of ze de regels volgen.
Het Vroegtijdige Waarschuwingssysteem: Ze gebruikten de AI om het systeem 24/7 in de gaten te houden. Soms kan een zoekupdate er op basis van clicks goed uitzien, maar merkt de AI dat de kwaliteit daalt. Het ving een probleem op dat menselijke statistieken misten, waardoor een slechte ervaring voor gebruikers werd voorkomen.

De Kern van het Verhaal

Door dit systeem te gebruiken, heeft LinkedIn hun zoekmachine niet alleen "sneller" gemaakt; ze hebben het slimmer en betrouwbaarder gemaakt.

Het paper beweert dat door SAGE te gebruiken om kwalitatieve regels af te dwingen, ze een toename van 0,25% in Daily Active Users op LinkedIn zagen. In de wereld van een platform met honderden miljoenen gebruikers, vertegenwoordigt dit kleine percentage een enorm aantal mensen die vonden wat ze zochten, op de site bleven en bleven terugkeren.

Kortom: SAGE veranderde de rommelige, subjectieve taak van "beslissen wat een goed zoekresultaat is" in een helder, geautomatiseerd en schaalbaar proces dat van zijn fouten leert en steeds beter wordt.

Technische Samenvatting: SAGE (Scalable AI Governance & Evaluation)

Probleemstelling
Industriële zoeksystemen op grote schaal, met name die met natuurlijke taalverzoeken met veelzijdige intenties (bijv. LinkedIn Job Search en People Search), worden geconfronteerd met een kritieke "governance gap" (beheergat). Hoewel semantische modellen de expressiviteit hebben uitgebreid, compliceren ze de specificatie en handhaving van relevantiestandaarden. Traditionele governance vertrouwt op twee suboptimale proxies:

Handmatige Redactionele Review: Hoge getrouwheid, maar niet in staat om de combinatorische diversiteit van natuurlijke taalverzoeken op schaal te dekken.
Engagement Metrics: Bieden vertraagde feedback en lijden onder systematische biases (bijv. populariteitsversterking), waardoor ze vaak niet in staat zijn om hoog-impact relevante fouten of "stille" regressies te detecteren.

De kernuitdaging is het construeren van een Surrogate Judge ( $J$ ) die de latente menselijke nutfunctie ( $H$ ) benadert met minimale alignment-divergentie ( $\Delta$ ) terwijl de dekking ( $C$ ) over een onbegrensde semantische ruimte wordt gemaximaliseerd.

Methodologie: Het SAGE-framework
SAGE operationaliseert menselijk productoordeel via een triad van constructen: Policy (P), Precedent (E), en een LLM Surrogate Judge (J). Het framework is gebouwd op drie ontwerpprincipes:

Bidirectionele Kalibratie: In tegenstelling tot statische evaluatiesystemen hanteert SAGE een dynamische loop waarbij Policy, Precedent en Judge samen evolueren.
- Mens $\to$ Policy/Precedent: Experts signaleren hiaten en ambiguïteiten in de intuïtie van het beleid.
- Judge $\to$ Precedent: De Judge fungeert als een adversariële auditor die fouten in door mensen gecureerde "golden" datasets opspoort (bijv. het identificeren van bewijs in verbose documenten dat door mensen is gemist).
- Judge $\to$ Policy: De Judge legt ondergespecificeerd beleid bloot wanneer dit ononderbouwde beperkingen introduceert of inconsistente logica toepast.
- Resultaat: Deze loop lost systematisch semantische ambiguïteiten op, waardoor subjectief oordeel wordt getransformeerd in uitvoerbare, multidimensionale rubrieken.
Interpreteerbare Multi-Attribute Relevantie: Om "black-box" opaciteit te elimineren, deelt de Judge relevantie op in orthogonale attributen (bijv. Titel, Senioriteit, Bedrijf) in plaats van een monolithische score. Dit maakt gerichte fouttoerekening mogelijk tijdens kalibratie. Het systeem gebruikt een gegradeerde 5-punts schaal (0–4) in plaats van pairwise ranking om expliciete kwaliteitsdrempels af te dwingen (bijv. het onderdrukken van gradaties 0–1).
Hoge Doorvoer via Distillatie: Om de kloof tussen de redeneerkracht van frontier-modellen en industriële inferentiekosten te overbruggen, maakt SAGE gebruik van teacher–student distillatie.
- Teacher Judge: Een frontier LLM (GPT-o3) gekalibreerd tegen expert-precedenten.
- Student Judge: Een 8B-parameter model gedistilleerd van de Teacher. Dit wordt getraind op gestratificeerde productverkeer en aspiratieve queries, waarbij ondervertegenwoordigde scoreklassen (0–3) worden geherbalanceerd om instorting naar hoge-relevantievoorspellingen te voorkomen.
- Online Model: De Student Judge wordt verder gedestilleerd naar een ultra-compacte (0.6B) architectuur voor real-time serving. Dit omvat structurele pruning, internalisering van redenering (het inklappen van Chain-of-Thought naar 1-token voorspellingen) en context-minimalisatie via offline samenvatting.

Belangrijkste Bijdragen
Het artikel presenteert drie primaire bijdragen aan industrie-schaal mensgerichte evaluatie:

Bidirectionele Kalibratie voor Intent Alignment: Een mechanisme dat heterogene menselijke oordelen transformeert in versioneerde evaluatiecriteria, waardoor het evaluatiesysteem mee kan evolueren met menselijk oordeel en ambiguïteiten in het beleid blootlegt.
Interpreteerbare Multi-Attribute Relevantie Evaluatie: Een decompositie van relevantie in orthogonale attributen die opaciteit elimineert, nauwkeurige fouttoerekening mogelijk maakt en een bijna menselijk niveau van overeenstemming bereikt.
Hoge Doorvoer Evaluatie via Distillatie: Een pipeline die de redenering van frontier LLM's comprimeert naar efficiënte student-surrogaten, wat grootschalige offline evaluatie ( $>10^7$ annotaties/dag) en lage-latentie online evaluatie ( $>10^4$ QPS) mogelijk maakt tegen een fractie van de kosten.

Resultaten
Geïmplementeerd binnen de LinkedIn Search-ecosystemen, behaalde SAGE het volgende:

Alignment Kwaliteit: Door bidirectionele kalibratie bereikte de Teacher Judge een lineaire gewogen Cohen's kappa van 0,77 ten opzichte van expert-menselijke oordelen, waarmee de 0,7-drempel voor substantiële overeenstemming werd overschreden en de praktische bovengrens van expert product owners (0,83) werd benaderd.
Distillatie Getrouwheid: De Student Judge behield een hoge getrouwheid, met kappa-scores van 0,72 (Job Search) en 0,73 (People Search) ten opzichte van menselijke experts.
Kostenefficiëntie: De Student Judge werkt met 92 $\times$ lagere kosten dan de Teacher Judge en 154 $\times$ lagere kosten dan de ondergrens van menselijke labeling.
Productie Impact: Door simulatiegestuurde ontwikkeling en beleidsgestuurd toezicht mogelijk te maken, hielp SAGE bij het detecteren van regressies die onzichtbaar zijn voor engagement metrics. Twee opeenvolgende online A/B-experimenten die het beleids-aligned Online Model integreerden, resulteerden in een 0,25% lift in LinkedIn Daily Active Users (DAU), wat een significante stap-functie verandering vertegenwoordigt in de groei voor het Job Search-product.

Significantie en Claims
Het artikel claimt dat SAGE erin slaagt mensgerichte governance te formaliseren op het niveau dat vereist is voor industriële AI-systemen. Het betoogt dat:

High-Fidelity Curatie > High-Volume Annotatie: Een kleine set van door experts gecureerde precedenten biedt meer hefboomwerking dan grootschalige labeling, waardoor de menselijke inspanning verschuift van het produceren van labels naar het oplossen van ambiguïteit.
De Judge Kan de Ground Truth Auditeren: Gekalibreerde LLM's kunnen fouten in door mensen gecureerde datasets identificeren, wat de kwaliteit van het toezicht zelf verbetert.
Policy als een Versioneerd Artefact: Het behandelen van beleid als een versieerbare software-specificatie maakt stabiele langetermijn-governance mogelijk, waarbij onderscheid wordt gemaakt tussen metriekverschuivingen veroorzaakt door definitiewijzigingen en daadwerkelijke modeldefecten.
Semantische Evaluatie Complementeert Behaviorale Proxies: Hoewel engagement-signalen de standaard blijven, missen ze vaak "stille" degradatie van relevantie. SAGE demonstreert dat geoperationaliseerd productoordeel een stabielere en meer diagnostische indicator is van de gezondheid van het ecosysteem, wat direct correleert met langetermijn gebruikersgroei (DAU).