Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance

Technische Samenvatting: Breed Denken, Snel Handelen

Probleemstelling
Effectieve relevantiemodellering is fundamenteel voor e-commerce zoekopdrachten, maar traditionele modellen worstelen met 'long-tail' en ambigue zoekopdrachten. Hoewel Large Language Models (LLM's) die zijn verbeterd met Chain-of-Thought (CoT) redenering veelbelovend zijn gebleken voor het verbeteren van nauwkeurigheid en interpreteerbaarheid, vormen twee kritieke beperkingen een hindernis voor hun implementatie in de echte wereld:

1. Beperking van één perspectief: Bestaande CoT-benaderingen vertrouwen doorgaans op één enkel, monolithisch redeneerperspectief. Dit slaagt er niet in de veelzijdige aard van e-commerce relevantie te vatten, die het simultaan balanceren van gebruikersintentie, gestructureerde attribuutmatching en specifieke bedrijfsregels vereist.
2. Inefficiënte distillatie: Huidige methoden voor kennisdistillatie die gebruikmaken van door LLM's gegenereerde rationalen, laten de CoT-structuur tijdens inferentie vaak achterwege. Ze behandelen redenering als een tijdelijk trainingssignaal in plaats van een interne capaciteit, waardoor het nut van het redeneerproces voor online serving verloren gaat. Bovendien lijden LLM's zelf aan een hoge inferentielatentie, wat hen onpraktisch maakt voor real-time zoeksystemen.

Methodologie
De auteurs stellen een framework voor dat "breed denkt" tijdens de training en "snel handelt" tijdens de inferentie, bestaande uit twee primaire componenten:

1. Multi-Perspective Chain-of-Thought (MPCoT) voor Teacher Training
Het framework maakt gebruik van een krachtige teacher LLM (Qwen3-14B) die getraind is om diverse rationalen te genereren vanuit drie verschillende perspectieven:

• Gebruikersintentie: Richt zich op functionele behoeften en aansluiting bij het gebruiksgemak.
• Gestructureerde Analyse: Voert een systematische, attribuut-voor-attribuut verificatie uit tussen de zoekopdracht en het product.
• Bedrijfsregels: Past platformspecifieke heuristieken toe om ambiguïteit op te lossen (bijv. het onderscheid maken tussen hoofdproducten en accessoires).

Het teacher-model ondergaat een tweestaps optimalisatieproces:

• Supervised Fine-Tuning (SFT): Het model wordt getraind op een geaggregeerde dataset van hoogwaardige, perspectiefspecifieke CoT-rationalen. Dit dwingt het model om diverse redeneerpaden te internaliseren.
• Direct Preference Optimization (DPO): Om gevallen aan te pakken waarin verschillende perspectieven tot conflicterende voorspellingen leiden, wordt het model verder verfijnd met DPO. Deze fase construeert voorkeursparen waarbij "gekozen" antwoorden afkomstig zijn van correcte perspectieven en "afgewezen" antwoorden van incorrecte perspectieven, waardoor het model leert adaptief te wegen en het optimale redeneepad te selecteren op basis van de context.

2. Latent Reasoning Knowledge Distillation (LRKD) voor Student Deployment
Om de capaciteiten van de teacher over te dragen naar een lichtgewicht student-model (bijv. BERT) zonder de generatielatentie te verhogen, introduceren de auteurs LRKD.

• Architectuur: Het student-model is een cross-encoder die wordt uitgebreid met een trainbare Latent Reasoning Extractor. Deze extractor brengt de gecontextualiseerde token-representaties van de student in naar een gestructureerde latente redeneervector.
• Trainingsdoel: De student wordt getraind met een duale verliesfunctie:
  1. Classificatieverlies: Standaard cross-entropy voor het voorspellen van relevantielabels.
  2. Latent Guidance Loss: Een Mean Squared Error (MSE) verlies dat de latente redeneervector van de student uitlijnt met de dichte embedding van de door de teacher gegenereerde CoT (gecodeerd door een bevroren sentence embedding model zoals BGE-M3).
• Inferentie: In tegenstelling tot eerdere methoden wordt de latent reasoning extractor behouden tijdens de inferentie. Het stelt het student-model in staat om complexe redeneersemantiek te internaliseren in een compacte, niet-generatieve vorm, wat de implementatie met lage latentie mogelijk maakt.

Belangrijkste Bijdragen

1. MPCoT Framework: Een nieuw redeneerframework dat complementaire rationalen genereert vanuit meerdere perspectieven, wat aantoont dat het fuseren van diverse standpunten (Gebruikersintentie, Gestructureerde Analyse, Bedrijfsregels) leidt tot robuustere relevantiebeoordelingen dan single-perspective benaderingen.
2. LRKD Mechanisme: Een distillatietechniek die redeneersemantiek behoudt in een lichtgewicht student-model via een latente extractor. Dit vermijdt de hoge latentie van tekstgeneratie terwijl de bruikbaarheid van CoT-redenering behouden blijft tijdens online serving.
3. Empirische Validatie: Uitgebreide validatie over meertalige e-commerce datasets (AliExpress en ESCI) en een grootschalige online A/B-test.

Resultaten

• Offline Prestaties: De gecombineerde MPCoT teacher en LRKD student behaalden state-of-the-art resultaten op de AliExpress en ESCI datasets. De MPCoT teacher presteerde beter dan de sterkste single-perspective baselines met gemiddeld +1,96% in Accuracy en +3,5% in F1. De LRKD student-varianten (specifiek GAT en Poly-encoder gebaseerd) presteerden consistent beter dan bestaande distillatie-baselines (CED-KD, MKD) en standaard BERT-modellen, waarbij de GAT-variant de nauwkeurigheid met +2,37 punten en de F1 met +3,91 punten verbeterde ten opzichte van de baseline.
• Efficiëntie: De student-modellen behielden een lage latentie (ongeveer 132–148 ms) vergeleken met de teacher LLM (46.800 ms), met slechts marginale toenames in parameters.
• Online Impact: In een live A/B-test op het zoekadvertentieplatform van AliExpress, dat tientallen miljoenen gebruikers bedient, leverde de methode statistisch significante verbeteringen op:
  • +1,42% in Revenue Per Mille (RPM).
  • +0,48% in Click-Through Rate (CTR).
  • +0,4% in Relevance Satisfaction (RS) score.

Betekenis
Het paper beweert dat de benadering erin slaagt de kloof te overbruggen tussen de hoge redeneercapaciteiten van LLM's en de strikte latentie-eisen van industriële e-commerce zoekopdrachten. Door verder te gaan dan single-perspective redenering en redeneerstructuren te behouden in de latente ruimte van het student-model, biedt het framework een praktische oplossing voor het afhandelen van complexe, ambigue zoekopdrachten die traditionele modellen missen. De resultaten demonstreren dat "breed denken" (via multi-perspectief training) en "snel handelen" (via latente distillatie) tegelijkertijd de commerciële prestaties (omzet) en de gebruikerservaring (relevantie-tevredenheid) kunnen verbeteren zonder de computationele kosten van het real-time draaien van grote LLM's.