🤖 AI

SAGE: Scalable AI Governance & Evaluation

SAGE è un framework di governance dell'IA scalabile che operazionalizza il giudizio umano di alta qualità attraverso un ciclo di calibrazione bidirezionale di policy, precedenti e giudici surrogati basati su LLM, utilizzando la distillazione a costi contenuti per consentire la valutazione dei modelli allineata alle policy in LinkedIn Search che ha infine aumentato gli utenti attivi giornalieri dello 0,25%.

Autori originali: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muth

Pubblicato 2026-06-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muthuregunathan, Abhinav Gupta, Mathew Teoh, Andrew Kirk, Thomas Kwan, Jingwei Wu, Wenjing Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il caporedatore di un enorme quotidiano (LinkedIn) che pubblica milioni di articoli (lavori e profili) ogni giorno. Il tuo obiettivo è fare in modo che, quando un lettore cerca qualcosa di specifico, come "data analyst junior", ottenga l'articolo perfetto, non solo uno casuale che contiene semplicemente quelle parole.

Il problema? Hai troppi articoli e troppi lettori. Non puoi avere un redattore umano che legga ogni singolo risultato di ricerca per controllarne la qualità. Se provassi a usare una matematica semplice (come contare quante persone cliccano su un link), potresti essere ingannato da articoli popolari ma irrilevanti.

Questa è la storia di SAGE, un nuovo sistema che LinkedIn ha costruito per risolvere questo problema. Pensa a SAGE come a un "Super-Redattore" che impara a pensare come un esperto umano, ma lavora alla velocità di un robot.

Ecco come funziona, suddiviso in semplici passaggi:

1. Il Problema: Il divario tra "Umano e Robot"

Di solito, quando le aziende costruiscono motori di ricerca, si affidano a due cose:

Redattori Umani: Sono bravi a giudicare la qualità, ma sono lenti e costosi. Non possono leggere milioni di risultati.
Metriche di Engagement: Contano i clic e le visualizzazioni. Ma questo è come giudicare un film in base al botteghino; un brutto film può comunque essere popolare se la gente ci clicca sopra per errore. Non ti dice se il film è davvero buono.

LinkedIn aveva bisogno di un modo per ottenere il giudizio qualitativo di un umano con la velocità di una macchina.

2. La Soluzione: Il framework "SAGE"

SAGE sta per Scalable AI Governance & Evaluation (Governance e Valutazione dell'IA Scalabile). È un team composto da tre parti che lavorano insieme per creare un "regolamento" perfetto per giudicare i risultati di ricerca.

Parte A: La Policy (Il Regolamento)

Questo è un insieme di regole scritte in linguaggio naturale. Invece di dire "corrispondi alle parole chiave", dice cose come: "Se un utente cerca un lavoro entry-level, il risultato non deve richiedere 10 anni di esperienza". Definisce esattamente cosa significa "buono".

Parte B: Il Precedente (Gli Esempi di Risposta)

Immagina un insegnante che fornisce a uno studente alcuni saggi campione con voti perfetti e relative spiegazioni. SAGE utilizza un piccolo set, accuratamente selezionato, di esempi "gold standard" creati da esperti umani. Questi esempi mostrano all'IA esattamente come applicare il regolamento a situazioni complicate.

Parte C: Il Giudice Sostituto (Lo Studente)

Questo è un'IA (un Large Language Model) che agisce come il giudice. Legge i risultati di ricerca e li confronta con il Regolamento e gli Esempi di Risposta.

3. Il Segreto: La "Formazione Bidirezionale"

In passato, avresti semplicemente spiegato le regole all'IA sperando che le capisse. SAGE utilizza un Ciclo di Calibrazione a Due Vie.

Dall'Umano all'IA: Gli umani insegnano le regole all'IA e le mostrano degli esempi.
Dall'IA all'Umano: L'IA in realtà critica gli umani!
- Se l'IA vede un esperto umano commettere un errore (come ignorare un dettaglio nascosto in una lunga descrizione di un lavoro), lo segnala.
- Se l'IA si confonde perché le regole sono vaghe, dice agli umani: "Ehi, il vostro regolamento non copre questo caso specifico".

Questo crea un ciclo in cui il Regolamento, gli Esempi e il Giudice IA diventano più intelligenti insieme. Correggono i rispettivi errori finché non concordano quasi perfettamente (circa il 77% di accordo con gli esperti umani, che è considerato "sostanziale" in questo campo).

4. Il Trucco della Velocità: "Distillazione" (Dal Maestro allo Studente)

L'IA "Insegnante" (quella che ha imparato dagli umani) è molto intelligente ma lenta e costosa da gestire. È come un professore geniale che impiega ore per correggere un compito. LinkedIn ha bisogno di correggere milioni di compiti al secondo.

Per questo hanno usato una tecnica chiamata Distillazione.

Immagina che l'Insegnante (il professore geniale) spieghi il suo processo di pensiero a uno Studente (un tirocinante veloce ed efficiente).
Lo Studente impara a imitare la logica dell'Insegnante, ma diventa molto più piccolo e veloce.
Il Risultato: Il Giudice Studente è 92 volte più economico e veloce dell'Insegnante, ma ottiene comunque la risposta corretta quasi con la stessa frequenza degli esperti umani.

5. Come ha cambiato LinkedIn

Una volta costruito questo Giudice Studente veloce e intelligente, lo hanno utilizzato in tre modi potenti:

La Rete di Sicurezza (Test Offline): Prima di lanciare una nuova funzione di ricerca, la fanno passare attraverso il Giudice Studente. Se l'IA dice: "Questa nuova funzione sta mostrando risultati scadenti", possono fermarla immediatamente. Non devono aspettare che siano gli utenti reali a lamentarsi. Questo ha ridotto i loro tempi di test da 2 settimane a 3 giorni.
Il Guardiano in Tempo Reale (Serving Online): Hanno compresso ulteriormente l'IA per renderla abbastanza piccola da poter girare in tempo reale. Ora, ogni volta che effettuate una ricerca, una versione minuscola di questa IA controlla istantaneamente i risultati per assicurarsi che rispettino le regole.
Il Sistema di Allerta Precoce: Hanno usato l'IA per monitorare il sistema 24 ore su 24, 7 giorni su 7. A volte, un aggiornamento della ricerca potrebbe sembrare corretto in base ai clic, ma l'IA nota che la qualità sta calando. Ha intercettato un problema che le metriche umane avevano mancato, prevenendo un'esperienza negativa per gli utenti.

In sintesi

Utilizzando questo sistema, LinkedIn non ha solo reso la sua ricerca "più veloce"; l'ha resa più intelligente e affidabile.

Il documento afferma che, utilizzando SAGE per far rispettare regole di alta qualità, hanno osservato un incremento dello 0,25% degli Utenti Attivi Giornalieri su LinkedIn. Nel mondo di una piattaforma con centinaia di milioni di utenti, questa piccola percentuale rappresenta un numero enorme di persone che hanno trovato ciò che cercavano, sono rimaste sul sito e sono tornate regolarmente.

In breve: SAGE ha trasformato il lavoro disordinoso e soggettivo di "decidere se un risultato di ricerca è buono" in un processo chiaro, automatizzato e scalabile che impara dai propri errori e migliora costantemente.

Sintesi Tecnica: SAGE (Scalable AI Governance & Evaluation)

Problematica
I sistemi di ricerca su scala industriale, in particolare quelli che gestiscono query in linguaggio naturale con intenti multifaccettati (ad esempio, la ricerca di lavoro e la ricerca di persone su LinkedIn), affrontano un critico "gap di governance". Sebbene i modelli semantici abbiano ampliato l'espressività, essi complicano la specifica e l'applicazione degli standard di rilevanza. La governance tradizionale si affida a due proxy subottimali:

Revisione Editoriale Manuale: Alta fedeltà, ma incapace di coprire la diversità combinatoria delle query in linguaggio naturale su larga scala.
Metriche di Engagement: Forniscono un feedback ritardato e soffrono di bias sistematici (ad esempio, l'amplificazione della popolarità), fallendo spesso nel catturare guasti di rilevanza ad alto impatto o regressioni "silenziose".

La sfida centrale consiste nel costruire un Giudice Surrogato ( $J$ ) che approssimi la funzione di utilità umana latente ( $H$ ) con una divergenza di allineamento ( $\Delta$ ) minima, massimizzando al contempo la copertura ( $C$ ) attraverso uno spazio semantico illimitato.

Metodologia: Il Framework SAGE
SAGE operazionalizza il giudizio umano di prodotto attraverso una triade di costrutti: Policy (P), Precedente (E) e un Giudice Surrogato LLM (J). Il framework si basa su tre principi di progettazione:

Calibrazione Bidirezionale: A differenza dei sistemi di valutazione statici, SAGE impiega un ciclo dinamico in cui Policy, Precedente e Giudice co-evolvono.
- Umano $\to$ Policy/Precedente: Gli esperti segnalano lacune di intuizione e ambiguità nelle policy.
- Giudice $\to$ Precedente: Il Giudice agisce come un auditor avversario, facendo emergere errori nei dataset "golden" curati dagli umani (ad esempio, identificando prove in documenti verbali trascurate dagli umani).
- Giudice $\to$ Policy: Il Giudice espone la sotto-specificazione della policy quando questa introduce vincoli non supportati o applica una logica incoerente.
- Risultato: Questo ciclo risolve sistematicamente le ambiguità semantiche, trasformando il giudizio soggettivo in rubriche multidimensionali eseguibili.
Rilevanza Multi-Attributo Interpretabile: Per eliminare l'opacità "black-box", il Giudice decompone la rilevanza in attributi ortogonali (ad esempio, Titolo, Anzianità, Azienda) anziché in un punteggio monolitico. Ciò consente l'attribuzione mirata dei guasti durante la calibrazione. Il sistema utilizza una scala graduata a 5 punti (0–4) invece di un ranking a coppie per imporre soglie di qualità esplicite (ad esempio, sopprimendo i voti 0–1).
Alto Throughput tramite Distillazione: Per colmare il divario tra il ragionamento dei modelli frontier e i costi di inferenza industriale, SAGE utilizza la distillazione teacher-student.
- Giudice Teacher: Un LLM frontier (GPT-o3) calibrato rispetto al precedente esperto.
- Giudice Student: Un modello con 8 miliardi di parametri distillato dal Teacher. È addestrato su traffico di produzione stratificato e query aspirazionali, con le classi di punteggio sottorappresentate (0–3) riequilibrate per prevenire il collasso verso predizioni di alta rilevanza.
- Modello Online: Il Giudice Student è ulteriormente distillato in un'architettura ultra-compatta (0,6B) per il serving in tempo reale. Ciò comporta il pruning strutturale, l'internalizzazione del ragionamento (collasso del Chain-of-Thought in predizioni a 1 token) e la minimizzazione del contesto tramite summarization offline.

Contributi Chiave
Il documento presenta tre contributi primari alla valutazione centrata sull'uomo su scala industriale:

Calibrazione Bidirezionale per l'Allineamento dell'Intento: Un meccanismo che trasforma il giudizio umano eterogeneo in criteri di valutazione versionati, permettendo al sistema di valutazione di co-evolvere con il giudizio umano e di far emergere le ambiguità della policy.
Valutazione della Rilevanza Multi-Attributo Interpretabile: Una decomposizione della rilevanza in attributi ortogonali che elimina l'opacità, consentendo una precisa attribuzione dei guasti e raggiungendo un accordo vicino a quello umano.
Valutazione ad Alto Throughput tramite Distillazione: Una pipeline che comprime il ragionamento degli LLM frontier in efficienti surrogati student, consentendo la valutazione offline su larga scala ( $>10^7$ annotazioni/giorno) e la valutazione online a bassa latenza ( $>10^4$ QPS) a una frazione del costo.

Risultati
Distribuito all'interno degli ecosistemi di Ricerca di LinkedIn, SAGE ha ottenuto quanto segue:

Qualità dell'Allineamento: Attraverso la calibrazione bidirezionale, il Giudice Teacher ha raggiunto un kappa di Cohen pesato lineare di 0,77 rispetto ai giudizi esperti umani, superando la soglia di 0,7 per un accordo sostanziale e avvicinandosi al limite pratico dei product owner esperti (0,83).
Fedeltà della Distillazione: Il Giudice Student ha mantenuto un'alta fedeltà, raggiungendo punteggi kappa di 0,72 (Ricerca Lavoro) e 0,73 (Ricerca Persone) rispetto agli esperti umani.
Efficienza dei Costi: Il Giudice Student opera a un costo 92 volte inferiore rispetto al Giudice Teacher e 154 volte inferiore rispetto al labeling umano minimo.
Impatto sulla Produzione: Consentendo lo sviluppo guidato dalla simulazione e la supervisione basata su policy, SAGE ha aiutato a rilevare regressioni invisibili alle metriche di engagement. Due esperimenti A/B online sequenziali integrando il Modello Online allineato alla policy hanno portato a un incremento dello 0,25% dei Daily Active Users (DAU) di LinkedIn, rappresentando un cambiamento significativo a scatti (step-function) nella crescita per il prodotto Job Search.

Significatività e Claim
Il documento sostiene che SAGE formalizza con successo la governance centrata sull'uomo alla scala richiesta per i sistemi di IA industriali. Argomenta che:

Curatela ad Alta Fedeltà > Annotazione ad Alto Volume: Un piccolo set di precedenti curati da esperti fornisce più leva rispetto al labeling su larga scala, spostando l'effort umano dalla produzione di etichette alla risoluzione delle ambiguità.
Il Giudice può Auditare la Verità di Base: Gli LLM calibrati possono identificare errori nei dataset curati dagli umani, migliorando la qualità della supervisione stessa.
La Policy come Artefatto Versionato: Trattare la policy come una specifica software versionata permette una governance stabile a lungo termine, distinguendo gli shift delle metriche causati da cambiamenti di definizione dai reali guasti del modello.
La Valutazione Semantica Complementa i Proxy Comportamentali: Sebbene i segnali di engagement rimangano lo standard, essi spesso mancano di degradazioni di rilevanza "silenziose". SAGE dimostra che il giudizio di prodotto operazionalizzato fornisce un indicatore più stabile e diagnostico della salute dell'ecosistema, correlando direttamente con la crescita a lungo termine degli utenti (DAU).