🤖 AI

SAGE: Scalable AI Governance & Evaluation

SAGE est un cadre de gouvernance de l'IA évolutif qui opérationnalise le jugement humain de haute qualité grâce à une boucle de calibration bidirectionnelle de politique, de précédent et de juges substituts par LLM, utilisant la distillation rentable pour permettre l'évaluation de modèles alignés sur les politiques dans LinkedIn Search, ce qui a finalement augmenté le nombre d'utilisateurs actifs quotidiens de 0,25 %.

Auteurs originaux : Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muth

Publié 2026-06-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muthuregunathan, Abhinav Gupta, Mathew Teoh, Andrew Kirk, Thomas Kwan, Jingwei Wu, Wenjing Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le rédacteur en chef d'un journal massif (LinkedIn) qui publie des millions d'articles (emplois et profils) chaque jour. Votre objectif est de vous assurer que lorsqu'un lecteur recherche quelque chose de spécifique, comme « analyste de données débutant », il obtienne l'article parfait, et non un article aléatoire qui contient simplement ces mots.

Le problème ? Vous avez trop d'articles et trop de lecteurs. Vous ne pouvez pas demander à un éditeur humain de lire chaque résultat de recherche pour vérifier s'il est bon. Si vous essayez d'utiliser une mathématique simple (comme compter combien de personnes cliquent sur un lien), vous pourriez être trompé par des articles populaires mais non pertinents.

C'est l'histoire de SAGE, un nouveau système que LinkedIn a construit pour résoudre ce problème. Considérez SAGE comme un « Super-Éditeur » qui apprend à penser comme un expert humain, mais avec la vitesse d'un robot.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le Problème : L'écart entre l'Humain et le Robot

Habituellement, lorsque les entreprises construisent des moteurs de recherche, elles s'appuient sur deux éléments :

Les Éditeurs Humains : Ils sont excellents pour juger la qualité, mais ils sont lents et coûteux. Ils ne peuvent pas lire des millions de résultats.
Les Métriques d'Engagement : Elles comptent les clics et les vues. Mais c'est comme juger un film uniquement par son box-office ; un mauvais film peut quand même être populaire si les gens cliquent dessus par accident. Cela ne vous dit pas si le film est réellement bon.

LinkedIn avait besoin d'un moyen d'obtenir le jugement de qualité d'un humain avec la vitesse d'une machine.

2. La Solution : Le cadre « SAGE »

SAGE signifie Scalable AI Governance & Evaluation (Gouvernance et Évaluation de l'IA Scalable). C'est une équipe en trois parties qui travaille ensemble pour créer un « livre de règles » parfait pour juger les résultats de recherche.

Partie A : La Politique (Le Livre de Règles)

Il s'agit d'un ensemble de règles écrites en langage clair. Au lieu de dire « correspondre aux mots-clés », il dit des choses comme : « Si un utilisateur demande un emploi de niveau débutant, le résultat ne doit pas exiger 10 ans d'expérience. » Il définit précisément ce qu'est un « bon » résultat.

Partie B : Le Précédent (Les Réponses Échantillons)

Imaginez un enseignant donnant à un élève quelques essais avec des notes parfaites et des explications. SAGE utilise un petit ensemble soigneusement choisi d'exemples « étalon-or » créés par des experts humains. Ces exemples montrent à l'IA exactement comment appliquer le livre de règles à des situations délicates.

Partie C : Le Juge de Substitution (L'Étudiant)

C'est une IA (un grand modèle de langage) qui agit comme le juge. Elle lit les résultats de recherche et les compare au Livre de Règles et aux Réponses Échantillons.

3. La Recette Secrète : « L'Entraînement Bidirectionnel »

Par le passé, vous disiez simplement les règles à l'IA et vous espériez qu'elle comprenne. SAGE utilise une Boucle de Calibrage Bidirectionnelle.

De l'Humain vers l'IA : Les humains enseignent les règles à l'IA et lui montrent des exemples.
De l'IA vers l'Humain : L'IA peut réellement critiquer les humains !
- Si l'IA voit un expert humain commettre une erreur (comme manquer un détail caché dans une longue description de poste), elle le signale.
- Si l'IA est confuse parce que les règles sont vagues, elle dit aux humains : « Hé, votre livre de règles ne couvre pas ce cas spécifique. »

Cela crée un cycle où le Livre de Règles, les Exemples et le Juge IA deviennent plus intelligents ensemble. Ils corrigent mutuellement leurs erreurs jusqu'à ce qu'ils soient presque en parfait accord (environ 77 % d'accord avec les experts humains, ce qui est considéré comme « substantiel » dans ce domaine).

4. L'Astuce de Vitesse : « La Distillation » (Du Professeur à l'Étudiant)

L'IA « Professeur » (celle qui a appris des humains) est très intelligente mais lente et coûteuse à exploiter. C'est comme un professeur de génie qui met des heures à corriger une copie. LinkedIn a besoin de corriger des millions de copies par seconde.

Ainsi, ils ont utilisé une technique appelée Distillation.

Imaginez que le Professeur (le génie) explique son raisonnement à un Étudiant (un stagiaire rapide et efficace).
L'Étudiant apprend à imiter la logique du Professeur tout en devenant beaucoup plus petit et plus rapide.
Le Résultat : Le Juge Étudiant est 92 fois moins cher et plus rapide que le Professeur, mais il obtient presque aussi souvent la bonne réponse que les experts humains.

5. Comment cela a changé LinkedIn

Une fois qu'ils ont construit ce Juge Étudiant rapide et intelligent, ils l'ont utilisé de trois manières puissantes :

Le Filet de Sécurité (Tests Hors-ligne) : Avant de lancer une nouvelle fonctionnalité de recherche, ils la font passer par le Juge Étudiant. Si l'IA dit : « Cette nouvelle fonctionnalité affiche de mauvais résultats », ils peuvent l'arrêter immédiatement. Ils n'ont pas besoin d'attendre que les utilisateurs réels se plaignent. Cela a réduit leur temps de test de 2 semaines à 3 jours.
Le Gardien en Temps Réel (Service en Ligne) : Ils ont compressé l'IA encore davantage pour la rendre assez minuscule pour fonctionner en temps réel. Désormais, chaque fois que vous effectuez une recherche, une version minuscule de cette IA vérifie instantanément les résultats pour s'assurer qu'ils respectent les règles.
Le Système d'Alerte Précoce : Ils ont utilisé l'IA pour surveiller le système 24h/24 et 7j/7. Parfois, une mise à jour de la recherche peut sembler correcte en fonction des clics, mais l'IA remarque que la qualité chute. Elle a détecté un problème que les métriques humaines avaient manqué, évitant ainsi une mauvaise expérience pour les utilisateurs.

L'Essentiel à Retenir

En utilisant ce système, LinkedIn n'a pas seulement rendu sa recherche « plus rapide » ; il l'a rendue plus intelligente et plus digne de confiance.

L'article affirme qu'en utilisant SAGE pour appliquer des règles de haute qualité, ils ont constaté une augmentation de 0,25 % des Utilisateurs Actifs Quotidiens sur LinkedIn. Dans le monde d'une plateforme comptant des centaines de millions d'utilisateurs, ce petit pourcentage représente un nombre massif de personnes qui ont trouvé ce qu'elles cherchaient, sont restées sur le site et y sont revenues.

En bref : SAGE a transformé le travail complexe et subjectif de « décider ce qu'est un bon résultat de recherche » en un processus clair, automatisé et évolutif qui apprend de ses erreurs et s'améliore continuellement.

Résumé Technique : SAGE (Scalable AI Governance & Evaluation)

Énoncé du Problème
Les systèmes de recherche à l'échelle industrielle, particulièrement ceux traitant des requêtes en langage naturel avec une intention multifacette (par exemple, la recherche d'emploi et la recherche de personnes sur LinkedIn), sont confrontés à un « fossé de gouvernance » critique. Bien que les modèles sémantiques aient étendu l'expressivité, ils compliquent la spécification et l'application des normes de pertinence. La gouvernance traditionnelle repose sur deux proxies sous-optimaux :

Révision Éditoriale Manuelle : Haute fidélité, mais incapable de couvrir la diversité combinatoire des requêtes en langage naturel à grande échelle.
Métriques d'Engagement : Fournissent un feedback différé et souffrent de biais systématiques (ex: amplification de la popularité), échouant souvent à capturer les échecs de pertinence à haut impact ou les régressions « silencieuses ».

Le défi central consiste à construire un Juge de Substitution ( $J$ ) qui approxime la fonction d'utilité humaine latente ( $H$ ) avec une divergence d'alignement ( $\Delta$ ) minimale tout en maximisant la couverture ( $C$ ) à travers un espace sémantique illimité.

Méthodologie : Le Cadre SAGE
SAGE opérationnalise le jugement produit humain à travers un triptyque de construits : Politique (P), Précédent (E) et un LLM Juge de Substitution (J). Le cadre repose sur trois principes de conception :

Calibration Bidirectionnelle : Contrairement aux systèmes d'évaluation statiques, SAGE emploie une boucle dynamique où la Politique, le Précédent et le Juge co-évoluent.
- Humain $\to$ Politique/Précédent : Les experts signalent les lacunes d'intuition et les ambiguïtés de la politique.
- Juge $\to$ Précédent : Le Juge agit comme un auditeur contradictoire, faisant remonter les erreurs dans les jeux de données « golden » curés par l'humain (ex: identification d'éléments de preuve dans des documents verbeux omis par l'humain).
- Juge $\to$ Politique : Le Juge expose la sous-spécification de la politique lorsqu'elle introduit des contraintes non supportées ou applique une logique incohérente.
- Résultat : Cette boucle résout systématiquement les ambiguïtés sémantiques, transformant le jugement subjectif en rubriques exécutables et multidimensionnelles.
Pertinence Multi-Attributs Interprétable : Pour éliminer l'opacité de type « boîte noire », le Juge décompose la pertinence en attributs orthogonaux (ex: Titre, Séniorité, Entreprise) plutôt qu'en un score monolithique. Cela permet une attribution précise des échecs lors de la calibration. Le système utilise une échelle graduée de 5 points (0–4) plutôt qu'un classement par paires pour imposer des seuils de qualité explicites (ex: suppression des notes 0–1).
Haut Débit via la Distillation : Pour combler l'écart entre le raisonnement des modèles frontières et les coûts d'inférence industrielle, SAGE utilise la distillation enseignant-élève.
- Juge Enseignant (Teacher Judge) : Un LLM de pointe (GPT-o3) calibré par rapport au précédent expert.
- Juge Élève (Student Judge) : Un modèle de 8 milliards de paramètres distillé à partir de l'Enseignant. Il est entraîné sur le trafic de production stratifié et des requêtes aspirationnelles, avec les classes de scores sous-représentées (0–3) rééquilibrées pour éviter l'effondrement vers des prédictions de haute pertinence.
- Modèle en Ligne (Online Model) : Le Juge Élève est ensuite distillé en une architecture ultra-compacte (0,6B) pour le service en temps réel. Cela implique un élagage structurel, l'internalisation du raisonnement (contraction de la Chaîne de Pensée en prédictions à 1 jeton) et la minimisation du contexte via une summarisation hors ligne.

Contributions Clés
Le document présente trois contributions primaires à l'évaluation centrée sur l'humain à l'échelle industrielle :

Calibration Bidirectionnelle pour l'Alignement d'Intention : Un mécanisme qui transforme le jugement humain hétérogène en critères d'évaluation versionnés, permettant au système d'évaluation de co-évoluer avec le jugement humain et de faire remonter les ambiguïtés de politique.
Évaluation de la Pertinence Multi-Attributs Interprétable : Une décomposition de la pertinence en attributs orthogonaux qui élimine l'opacité, permettant une attribution précise des échecs et atteignant un accord proche du niveau humain.
Haut Débit d'Évaluation via la Distillation : Un pipeline qui compresse le raisonnement des LLM frontières en substituts élèves efficaces, permettant une évaluation hors ligne à grande échelle ( $>10^7$ annotations/jour) et une évaluation en ligne à faible latence ( $>10^4$ QPS) pour une fraction du coût.

Résultats
Déployé au sein des écosystèmes de recherche de LinkedIn, SAGE a atteint les résultats suivants :

Qualité d'Alignement : Grâce à la calibration bidirectionnelle, le Juge Enseignant a obtenu un kappa de Cohen pondéré linéaire de 0,77 par rapport aux jugements humains experts, dépassant le seuil de 0,7 pour un accord substantiel et approchant le plafond pratique des propriétaires de produits experts (0,83).
Fidélité de la Distillation : Le Juge Élève a maintenu une haute fidélité, atteignant des scores kappa de 0,72 (Recherche d'Emploi) et 0,73 (Recherche de Personnes) par rapport aux experts humains.
Efficacité des Coûts : Le Juge Élève fonctionne à un coût 92 $\times$ inférieur à celui du Juge Enseignant et 154 $\times$ inférieur au coût minimum de l'étiquetage humain.
Impact en Production : En permettant un développement piloté par la simulation et une surveillance basée sur la politique, SAGE a aidé à détecter des régressions invisibles pour les métriques d'engagement. Deux expériences A/B séquentielles intégrant le Modèle en Ligne aligné sur la politique ont entraîné une hausse de 0,25 % des Utilisateurs Actifs Quotidiens (DAU) de LinkedIn, représentant un changement de saut significatif pour la croissance du produit Recherche d'Emploi.

Signification et Revendications
Le document affirme que SAGE parvient à formaliser la gouvernance centrée sur l'humain à l'échelle requise pour les systèmes d'IA industriels. Il soutient que :

La Curation de Haute Fidélité > Annotation de Haut Volume : Un petit ensemble de précédents expertement curés offre plus de levier qu'un étiquetage à grande échelle, déplaçant l'effort humain de la production de labels vers la résolution d'ambiguïtés.
Le Juge peut Auditer la Vérité de Terrain (Ground Truth) : Les LLM calibrés peuvent identifier les erreurs dans les jeux de données curés par l'humain, améliorant ainsi la qualité de la supervision elle-même.
La Politique comme Artefact Versionné : Traiter la politique comme une spécification logicielle versionnée permet une gouvernance stable à long terme, distinguant les changements de métriques causés par des changements de définition des véritables échements de modèles.
L'Évaluation Sémantique Complète les Proxies Comportementaux : Bien que les signaux d'engagement restent la norme, ils manquent souvent de dégradations de pertinence « silencieuses ». SAGE démontre que le jugement produit opérationnalisé fournit un indicateur plus stable et diagnostique de la santé de l'écosystème, corrélé directement avec la croissance de l'utilisateur à long terme (DAU).