🤖 machine learning

A Unified Structured Query Understanding Framework for Industrial Semantic Search

Ce papier présente un cadre unifié de modèles de langage de petite taille pour la recherche sémantique industrielle qui consolide des tâches fragmentées de compréhension de requêtes en un seul système de génération contraint par un schéma, soutenu par un « Query Illuminator » pour l'annotation et l'évaluation des données, lequel a réussi à améliorer l'engagement des utilisateurs et à réduire les coûts dans les systèmes de recherche d'emplois et de personnes de LinkedIn tout en respectant des contraintes de latence strictes.

Auteurs originaux : Ping Liu, Qianqi Shen, Jianqiang Shen, Chunnan Yao, Kevin Kao, Rajat Arora, Dan Xu, Baofen Zheng, Yunxiang Ren, Benjamin Le, Ali Hooshmand, Igor Lapchuk, Juan Bottaro, Raghavan Muthuregunathan, Caleb

Publié 2026-05-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ping Liu, Qianqi Shen, Jianqiang Shen, Chunnan Yao, Kevin Kao, Rajat Arora, Dan Xu, Baofen Zheng, Yunxiang Ren, Benjamin Le, Ali Hooshmand, Igor Lapchuk, Juan Bottaro, Raghavan Muthuregunathan, Caleb Johnson, Liangjie Hong, Jingwei Wu, Wenjing Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous gérez une immense et animée bibliothèque (le système de recherche d'emploi de LinkedIn) où des millions de personnes entrent chaque jour pour demander des livres (des emplois).

Dans l'ancienne méthode, la bibliothèque disposait d'une équipe fragmentée de spécialistes alignés en file.

Une personne tentait de deviner ce que vous vouliez (Intention).
Une seconde personne essayait de trouver l'auteur ou le genre spécifique (Étiquetage).
Une troisième personne tentait de réécrire votre phrase désordonnée en une demande claire (Réécriture).
Une quatrième personne vérifiait si vous demandiez quelque chose de dangereux (Sécurité).

Le Problème : Cette chaîne de montage était lente, coûteuse à entretenir et sujette aux erreurs. Si la première personne vous comprenait mal, la seconde personne se perdait, et la troisième réécrivait la demande incorrectement. C'était comme un jeu du « téléphone arabe » où le message devenait incompréhensible d'ici qu'il atteigne le bout. De plus, si quelqu'un posait une question étrange, longue ou complexe (comme « J'ai besoin d'un emploi de saisie de données à distance qui paie plus de 50 000 $ mais uniquement aux États-Unis »), l'équipe s'effondrait souvent.

La Nouvelle Solution : Le « Sur-Bibliothécaire »

Les auteurs de cet article ont construit un Cadre Unifié de Compréhension des Requêtes Structurées. Au lieu d'une équipe de spécialistes, ils ont engagé un seul « Sur-Bibliothécaire » hautement formé (un petit modèle de langage, ou SLM) qui fait tout en une seule fois.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. La Décision en Un Seul Passage (Le Menu « Tout-en-Un »)

Au lieu de transmettre votre demande le long d'une chaîne, vous la remettez au Sur-Bibliothécaire. En un seul coup d'œil, ce bibliothécaire :

Décide de quoi vous cherchez (Routage).
Extrait les balises spécifiques (par exemple, « À distance », « Senior », « Scientifique de données »).
Réécrit votre phrase désordonnée en une demande claire et professionnelle si nécessaire.
Vérifie si vous demandez quelque chose qui enfreint les règles (Confiance/Sécurité).

Le Tour de Magie : Le bibliothécaire ne se contente pas de deviner ; il remplit une liste de contrôle strictement formatée (Génération Contrainte par un Schéma). Il ne peut pas écrire un roman ; il doit remplir des cases spécifiques sur un formulaire. Cela garantit que le système informatique en aval comprend parfaitement la demande sans être perturbé par un texte désordonné.

2. L'« Illuminateur de Requêtes » (Le Professeur et Le Juge)

Former un seul bibliothécaire à tout faire est difficile car vous avez besoin de milliers d'exemples de réponses « parfaites », et les humains sont trop lents pour les écrire tous.

Pour résoudre ce problème, l'équipe a créé un Illuminateur de Requêtes. Imaginez cela comme un Maître Bibliothécaire (une IA beaucoup plus grande et plus intelligente) qui travaille dans les coulisses.

En tant que Professeur : Le Maître Bibliothécaire lit des milliers de demandes utilisateur désordonnées et rédige les réponses de « liste de contrôle » parfaites. Il enseigne ensuite au petit Sur-Bibliothécaire comment faire la même chose (ceci s'appelle la Distillation).
En tant que Juge : Lorsque le Sur-Bibliothécaire fait une erreur, le Maître Bibliothécaire agit comme un juge de substitution. Il note le travail du Sur-Bibliothécaire par rapport aux règles (comme « Avez-vous halluciné un emploi qui n'existe pas ? ») sans avoir besoin qu'un humain vérifie chaque fois.

3. Les Résultats : Plus Rapide, Plus Intelligent et Plus Sûr

L'équipe a testé ce nouveau système dans le moteur de recherche d'emploi réel de LinkedIn.

Moins de Requêtes Brisées : Parce que le Sur-Bibliothécaire gère l'ensemble du processus en une seule fois, moins de demandes sont abandonnées ou mal comprises. L'article rapporte une baisse de 17 % des demandes échouées.
Des Utilisateurs Plus Heureux : Plus de personnes ont trouvé des emplois qui leur plaisaient et y ont postulé.
Vitesse : Même si le bibliothécaire fait plus de travail, le système est assez rapide pour gérer des millions de demandes par seconde sans obliger les utilisateurs à attendre.
Polyvalence : Ils ont prouvé que cela fonctionne aussi pour d'autres choses, comme la recherche de Personnes (pas seulement d'emplois), montrant que le « Sur-Bibliothécaire » peut être reconditionné pour différents types de bibliothèques avec un effort minimal.

Résumé

L'article décrit le remplacement d'une chaîne de montage lente et sujette aux erreurs de petits outils par un seul robot intelligent et efficace qui comprend le langage humain complexe, suit des règles strictes et apprend d'une IA de « Maître Professeur ». Cela rend l'expérience de recherche plus fluide, plus rapide et plus fiable pour tous ceux qui cherchent un emploi.

Énoncé du Problème

Les systèmes de recherche sémantique industrielle, en particulier dans des verticaux à grande échelle comme la Recherche d'Emploi de LinkedIn, reposent traditionnellement sur des pipelines fragmentés et en cascade de composants disparates (par exemple, des étiqueteurs d'entités, des réécriveurs de requêtes et des classificateurs d'intention séparés). Bien que chacun puisse être optimisé individuellement, cette architecture engendre des frais de maintenance élevés, conduit à des comportements incohérents selon les types de requêtes et amplifie les erreurs dans les scénarios de longue traîne.

Le problème est exacerbé par la nature des requêtes sémantiques modernes, qui sont souvent verbeuses, à haute entropie et multi-contraintes (par exemple, « easy apply remote data entry clerk » ou « salary > $X or remote in US »). Dans les systèmes hérités, des composants isolés peinent à résoudre des dépendances complexes, extrayant souvent trop d'entités ou manquant des intentions latentes. De plus, la modélisation unifiée fait face à des goulots d'étranglement significatifs en matière de rareté des données et d'évaluation ; les étiquettes de compréhension de requête sont coûteuses à produire en raison d'exigences strictes de politique produit (par exemple, éviter les filtres hallucinés), et de nombreux modes de défaillance sont subtils et difficiles à capturer avec des métriques automatiques standard.

Méthodologie

Les auteurs proposent un Framework Unifié de Compréhension de Requête Structurée qui consolide des fonctions hétérogènes en un seul Petit Modèle de Langage (SLM) effectuant une génération contrainte par un schéma. Le système opère dans deux environnements asynchrones :

Moteur d'Inférence en Ligne (L'Élève) :
- Un SLM monolithique (spécifiquement un modèle de 1,5 milliard de paramètres) optimisé pour une génération contrainte par un schéma en un seul passage.
- Entrée : Requête utilisateur ( $q$ ) et vecteur de contexte ( $c$ ) comprenant le profil du membre, la localisation et l'historique de session.
- Sortie : Un artefact structuré $y = \{r, t, w, s, \dots\}$ $y = {r, t, w, s, \dots}$ généré en un seul passage avant :
  - $r$ : Routage (décision discrète verrouillant les exécuteurs en aval tels que l'étiquetage, la réécriture ou le blocage de confiance).
  - $t$ : Étiquettes (contraintes structurées comme titre, entreprise, localisation, « Easy Apply »).
  - $w$ : Réécriture (affinement optionnel en langage naturel, par exemple, résoudre « près de ma localisation » en une ville spécifique).
  - $s$ : Décisions de Sécurité/Confiance.
- Service : Le système utilise un décodage guidé par grammaire (xgrammar) pour imposer des schémas JSON/TypeScript, empêchant les sorties mal formées. Il emploie un regroupement côté client et une mise en cache des préfixes pour respecter des contraintes de latence strictes (latence médiane < 300 ms) sur des ressources GPU limitées.
Illuminateur de Requête (Le Maître et le Juge) :
- Un cadre hors ligne haute capacité (utilisant un modèle de 8 milliards de paramètres) qui répond aux goulots d'étranglement des données et de l'évaluation.
- Rôle de Maître : Génère des cibles haute fidélité conformes au schéma pour le Raffinement Supervisé (SFT) et la Distillation de Connaissances (KD). Le processus de distillation transfère les capacités de raisonnement du maître 8B à l'élève 1,5B, comblant l'écart de raisonnement tout en maintenant une empreinte de service réduite.
- Rôle de Juge : Agit comme un juge de substitution pour les tests hors ligne. Il utilise des modèles d'invite ancrés dans la politique pour noter les sorties candidates par rapport aux références sur la base de grilles d'évaluation (par exemple, précision d'extraction, hygiène de requête) et émet une taxonomie d'erreurs structurée. Cela permet une évaluation évolutive là où les étiquettes humaines sont rares.

Stratégie d'Entraînement :
Le framework utilise un paradigme d'ajustement d'instructions multi-tâches. Le modèle est entraîné via SFT sur des sorties contraintes par un schéma, suivi d'une distillation à partir du maître. L'approche multi-tâches (optimisation conjointe du routage, de l'étiquetage et de la réécriture) agit comme un régularisateur, empêchant le surapprentissage aux motifs lexicaux dominants et améliorant la généralisation sur les requêtes de longue traîne.

Contributions Clés

Compréhension de Requête Structurée Unifiée : Remplace les pipelines multi-étapes fragmentés par un seul SLM effectuant une génération contrainte par un schéma, réduisant la propagation des erreurs et les coûts de maintenance.
Supervision et Évaluation Ancrées dans la Politique : Introduit l'Illuminateur de Requête, un cadre à double usage servant à la fois de maître pour l'auto-annotation/distillation et de juge de substitution pour une évaluation hors ligne évolutive et alignée sur la politique.
Service Évoluable pour la Génération Structurée : Décrit une pile de service de production dotée d'un décodage guidé, d'une validation de schéma et d'un regroupement côté client, validée sous des charges QPS réalistes.
Extensibilité Inter-domaines : Démontre la portabilité du framework en appliquant la même architecture à la Recherche de Personnes Sémantique (SPS) avec une adaptation minimale, prouvant sa nature agnostique au domaine.

Résultats Expérimentaux

Le framework a été validé par des tests hors ligne et en ligne étendus au sein du système de Recherche d'Emploi de LinkedIn (>10 millions de documents, >10 000 QPS) et d'une étude de cas sur la Recherche de Personnes.

Qualité Hors Ligne :
- Performance Multilingue : Le modèle élève distillé de 1,5 milliard de paramètres a atteint une haute précision et un haut rappel en anglais, allemand, espagnol et français, récupérant une grande partie de la qualité du maître plus grand.
- Multi-tâches vs Mono-tâche : L'optimisation conjointe a amélioré le F1 d'extraction de localisation de 0,885 à 0,924 par rapport au raffinement d'un seul outil, démontrant un transfert positif.
- Validation du Juge de Substitution : L'Illuminateur de Requête a atteint un $\kappa$ de Cohen de 0,77 par rapport aux experts humains (plafond 0,83) avec une stabilité d'analyse JSON de 99,96 %, validant son utilisation comme signal de développement fiable.
Tests A/B en Ligne (Recherche d'Emploi) :
- Fiabilité : Réduction des échecs de requêtes de 17,13 %, principalement due à une amélioration de la fiabilité du routage et de l'étiquetage.
- Engagement : Des améliorations statistiquement significatives ont été observées sur des métriques clés, notamment le ratio Demande-to-viewport (+0,14 %), les sessions de recherche (+0,74 %) et les actions de demande ou d'enregistrement réussies (+0,49 %).
- Latence : Le système a maintenu des budgets de latence stricts (médiane < 300 ms pour l'étiquetage, ~110 ms pour la suggestion de facettes) même sous des charges de travail irrégulières.
Inter-domaines (Recherche de Personnes) :
- Appliqué à la Recherche de Personnes Sémantique, le système a acheminé 70,1 % du trafic vers le chemin sémantique.
- La pertinence notée hors ligne (GR@10) a montré des gains massifs : +57 % pour les requêtes de navigation et +75 % pour les requêtes d'exploration lorsque le système de récupération consommait les requêtes structurées.
Impact en Aval :
- L'injection d'étiquettes structurées dans un système de récupération basé sur des embeddings existant (EBR) (sans réentraîner le récupérateur) a amélioré les métriques de récupération top-50 de +1,8 % en précision et +2,2 % en rappel.

Signification et Revendications

L'article revendique que la consolidation du routage, de l'étiquetage, de la réécriture et de la gestion de la confiance en un seul SLM contraint par un schéma est une alternative viable et supérieure aux pipelines fragmentés pour la recherche sémantique industrielle. La signification réside dans :

Efficacité Opérationnelle : Réduction drastique des frais de maintenance et de la propagation des erreurs tout en satisfaisant des contraintes de latence strictes sur du matériel limité.
Évolutivité : Résolution du goulot d'étranglement des données grâce à l'Illuminateur de Requête, qui permet une itération rapide via une supervision synthétique et une évaluation ancrée dans la politique sans dépendre uniquement d'un étiquetage humain coûteux.
Généralisation : Preuve qu'une architecture unifiée peut être transférée avec succès entre différents verticaux (Recherche d'Emploi vers Recherche de Personnes) et langues, à condition que le schéma de sortie soit redéfini.

Les auteurs concluent que cette approche transforme la compréhension de requête en un système plus évolutif, extensible et complet pour la production, équilibrant efficacement la puissance expressive des modèles génératifs avec les exigences de fiabilité de la recherche industrielle.