Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance

Résumé Technique : Penser Large, Agir Vite

Énoncé du Problème
Une modélisation efficace de la pertinence est fondamentale pour la recherche dans l'e-commerce, pourtant les modèles traditionnels peinent face aux requêtes de longue traîne et ambiguës. Bien que les modèles de langage étendus (LLM) enrichis par le raisonnement par chaîne de pensée (Chain-of-Thought - CoT) aient montré des promesses pour améliorer la précision et l'interprétabilité, deux limitations critiques entravent leur déploiement en conditions réelles :

1. Limitation de la Perspective Unique : Les approches CoT existantes reposent généralement sur une perspective de raisonnement unique et monolithique. Cela échoue à capturer la nature multifacette de la pertinence dans l'e-commerce, qui nécessite de équilibrer simultanément l'intention de l'utilisateur, la correspondance d'attributs structurés et les règles métier spécifiques.
2. Inefficacité de la Distillation : Les méthodes de distillation de connaissances actuelles utilisant des rationales générées par LLM écartent souvent la structure CoT lors de l'inférence. Elles traitent le raisonnement comme un signal de formation transitoire plutôt que comme une capacité interne, perdant ainsi l'utilité du processus de raisonnement pour le service en ligne. De plus, les LLM eux-mêmes souffrent d'une latence d'inférence élevée, ce qui les rend peu pratiques pour les systèmes de recherche en temps réel.

Méthodologie
Les auteurs proposent un cadre qui « pense large » pendant l'entraînement et « agit vite » lors de l'inférence, composé de deux composantes principales :

1. Chaîne de Pensée Multi-Perspective (MPCoT) pour l'Entraînement de l'Enseignant
Le cadre utilise un LLM enseignant puissant (Qwen3-14B) entraîné pour générer des rationales diverses à partir de trois perspectives distinctes :

• Intention de l'Utilisateur : Se concentre sur les besoins fonctionnels et l'alignement avec les cas d'usage.
• Analyse Structurée : Effectue une vérification systématique, attribut par attribut, entre la requête et le produit.
• Règles Métier : Applique des heuristiques propres à la plateforme pour résoudre les ambiguïtés (par exemple, distinguer les produits principaux des accessoires).

Le modèle enseignant subit un processus d'optimisation en deux étapes :

• Ajustement Supervisé (SFT) : Le modèle est entraîné sur un ensemble de données agrégées de rationales CoT de haute qualité et spécifiques à chaque perspective. Cela force le modèle à intérioriser divers chemins de raisonnement.
• Optimisation de Préférence Directe (DPO) : Pour traiter les cas où différentes perspectives produisent des prédictions conflictuelles, le modèle est affiné via DPO. Cette étape construit des paires de préférence où les réponses « choisies » proviennent de perspectives correctes et les réponses « rejetées » de perspectives incorrectes, apprenant au modèle à peser et sélectionner de manière adaptative le chemin de raisonnement optimal selon le contexte.

2. Distillation de Connaissance de Raisonnement Latent (LRKD) pour le Déploiement de l'Étudiant
Pour transférer les capacités de l'enseignant vers un modèle étudiant léger (par exemple, BERT) sans engendrer de latence de génération, les auteurs introduisent la LRKD.

• Architecture : Le modèle étudiant est un encodeur croisé (cross-encoder) augmenté d'un Extracteur de Raisonnement Latent entraînable. Cet extracteur projette les représentations de jetons contextualisées de l'étudiant en un vecteur de raisonnement latent structuré.
• Objectif d'Entraînement : L'étudiant est entraîné à l'aide d'une fonction de perte duale :
  1. Perte de Classification : Entropie croisée standard pour prédire les étiquettes de pertinence.
  2. Perte de Guidage Latent : Une perte d'erreur quadratique moyenne (MSE) qui aligne le vecteur de raisonnement latent de l'étudiant avec l'embedding dense de la CoT générée par l'enseignant (encodée par un modèle d'embedding de phrase gelé comme BGE-M3).
• Inférence : Contra\irement aux méthodes antérieures, l'extracteur de raisonnement latent est conservé lors de l'inférence. Il permet au modèle étudiant d'intérioriser des sémantiques de raisonnement sophistiquées sous une forme compacte et non générative, permettant un déploiement à faible latence.

Contributions Clés

1. Cadre MPCoT : Un nouveau cadre de raisonnement qui génère des rationales complémentaires à partir de multiples perspectives, démontrant que la fusion de points de vue divers (Intention de l'Utilisateur, Analyse Structurée, Règles Métier) conduit à des jugements de pertinence plus robustes que les approches à perspective unique.
2. Mécanisme LRKD : Une technique de distillation qui préserve les sémantiques de raisonnement dans un modèle étudiant léger via un extracteur latent. Cela évite la haute latence de la génération de texte tout en conservant l'utilité du raisonnement CoT lors du service en ligne.
3. Validation Empirique : Validation complète sur des jeux de données d'e-commerce multilingues (AliExpress et ESCI) et un test A/B en ligne à grande échelle.

Résultats

• Performance Hors-ligne : La combinaison de l'enseignant MPCoT et de l'étudiant LRKD a atteint des résultats de pointe sur les jeux de données AliExpress et ESCI. L'enseignant MPCoT a surpassé les bases de référence à perspective unique les plus fortes avec une augmentation moyenne de +1,96 % en Précision et +3,5 % en F1. Les variantes de l'étudiant LRKD (spécifiquement celles basées sur GAT et Poly-encoder) ont systématiquement surpassé les bases de référence de distillation existantes (CED-KD, MKD) et les modèles BERT standards, la variante GAT améliorant la précision de +2,37 points et le F1 de +3,91 points par rapport à la base de référence.
• Efficacité : Les modèles étudiants ont maintenu une faible latence (environ 132–148 ms) comparée au LLM enseignant (46 800 ms), avec une augmentation marginale des paramètres.
• Impact en Ligne : Dans un test A/B en direct sur la plateforme de publicité de recherche d'AliExpress servant des dizaines de millions d'utilisateurs, la méthode a délivré des améliorations statistiquement significatives :
  • +1,42 % de Revenu pour Mille (RPM).
  • +0,48 % de Taux de Clic (CTR).
  • +0,4 % de Score de Satisfaction de la Pertinence (RS).

Signification
L'article affirme que son approche comble avec succès l'écart entre les hautes capacités de raisonnement des LLM et les exigences strictes de latence des recherches e-commerce industrielles. En allant au-delà du raisonnement à perspective unique et en conservant les structures de raisonnement dans l'espace latent du modèle étudiant, le cadre offre une solution pratique pour gérer les requêtes complexes et ambiguës que les modèles traditionnels manquent. Les résultats démontrent que « penser large » (via un entraînement multi-perspective) et « agir vite » (via une distillation latente) peut simultanément améliorer la performance commerciale (revenu) et l'expérience utilisateur (satisfaction de la pertinence) sans le coût computationnel de l'exécution de grands LLM en temps réel.