💬 NLP

One Model, Multiple Goals: Adaptive Multi-Objective Learning for E-commerce Dialogue Systems

Dit artikel introduceert MORE, een adaptief multi-objective reinforcement learning-framework dat redeneernauwkeurigheid behandelt als een beperking om de training te stabiliseren en de taalkundige natuurlijkheid dynamisch in evenwicht brengt, wat leidt tot significante verbeteringen in conversiepercentages en gebruikerstevredenheid in real-world e-commerce dialoogsystemen bij ByteDance en op de MultiWOZ-benchmark.

Oorspronkelijke auteurs: Mingzhe Li, Jing Xiang, Enguo Zhou, Lang Gao, Tai Li, Qishen Zhang, Xiangliang Zhang, Xiuying Chen

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mingzhe Li, Jing Xiang, Enguo Zhou, Lang Gao, Tai Li, Qishen Zhang, Xiangliang Zhang, Xiuying Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe klantenservicemedewerker aanneemt voor een drukke webshop. Je hebt twee zeer verschillende, maar even belangrijke doelen voor deze werknemer:

De Boekhouder: Ze moet in staat zijn om een klantendossier in te zien, de berekeningen uit te voeren over kredietlimieten en rentetarieven, en een 100% feitelijk correct antwoord te geven. Als ze de cijfers fout krijgt, verliest de klant geld of vertrouwen.
De Praatjesmaker: Ze moet natuurlijk kunnen spreken, vriendelijk klinken en het gesprek soepel laten verlopen. Als ze klinkt als een stijve robot, raakt de klant geërgerd en hangt deze op.

Het probleem is dat deze twee doelen vaak met elkaar in strijd zijn. Een robot die perfect is in rekenen, klinkt vaak als een saaie, rigide computer. Een robot die geweldig is in chatten, verzint vaak getallen of maakt fouten in de berekeningen.

Dit artikel introduceert een nieuw AI-systeem genaamd MORE dat dit conflict oplost. Zo werkt het, met behulp van eenvoudige analogieën:

1. Het "Trainingskamp" versus "De Wedstrijd"

De auteurs realiseerden zich dat het proberen te leren van een AI om zowel een perfecte boekhouder als een perfecte praatjesmaker te zijn tegelijkertijd tijdens de training, leek op het proberen te leren aan een student om te jongleren terwijl hij op een eenwieler rijdt. De AI zou in de war raken, tussen te robotisch en te slordig heen en weer schommelen, en uiteindelijk op beide vlakken falen.

De Oplossing: Ze splitsen de training op in twee duidelijke fasen, zoals een sportteam dat een "trainingssessie" en een "wedstrijddag" heeft.

Trainingssessie (De Steiger): Tijdens de training wordt de AI gedwongen om het moeilijke reken- en logicawerk hardop uit te voeren. De AI moet expliciet redeneren over de kredietlimiet of het rentetarief van de gebruiker voordat hij antwoord geeft. Dit is alsof een student zijn berekeningen laat zien bij een wiskundetoets. Dit zorgt ervoor dat de AI de feiten perfect leert.
Wedstrijddag (Inference): Wanneer de AI daadwerkelijk met een echte klant praat, doet hij de berekeningen niet meer hardop. Hij slaat de stap van het "hardop denken" over en geeft direct het uiteindelijke, natuurlijke antwoord. Omdat de AI eerder zo hard geoefend heeft met de wiskunde, kan hij nu het juiste antwoord direct geven zonder robotachtig te klinken. Dit maakt het gesprek snel en soefel.

2. De "Dynamische Coach" (Adaptieve Beloningen)

Normaal gesproken, wanneer je een AI traint, geef je het een vaste scorekaart. Bijvoorbeeld: "Krijg 50% punten voor correctheid en 50% punten voor vriendelijkheid." Het probleem is dat je soms 90% correct moet zijn (zoals bij het bespreken van een lening), en op andere momenten gewoon 90% vriendelijk moet zijn (zoals bij het zeggen van hallo). Een vaste scorekaart werkt niet.

De Oplossing: MORE gebruikt een Dynamische Coach.
Stel je een coach voor die de wedstrijd in realtime volgt.

Als de klant vraat naar een complexe lening, roept de coach: "Focus op de wiskunde! Nauwkeurigheid is de prioriteit!"
Als de klant gewoon praat over een product, roept de coach: "Focus op vriendelijkheid! Natuurlijkheid is de prioriteit!"

Het systeem past zijn eigen "scorekaart" voortdurend aan op basis van wat een specifieke conversatie nodig heeft. Het gebruikt een wiskundige truc (gradiëntfeedback) om te bepalen welk doel op dat specifieke moment achterblijft en geeft daar dan meer aandacht aan.

3. De Resultaten: Succes in de echte wereld

Het team heeft dit systeem getest op de echte e-commerce platforms van ByteDance (zoals de Douyin-app). Ze hebben het niet alleen in een computersimulatie gedraaid; ze lieten het 14 dagen lang praten met echte mensen.

De Zakelijke Winst: Het systeem hielp meer producten te verkopen. Het verhoogde het aantal mensen dat daadwerkelijk iets kocht na een gesprek met de bot met 30% in proactieve verkoop.
De Menselijke Winst: Klanten waren gelukkiger. Ze hadden het gevoel dat de bot hen beter begreep, en minder mensen hoefden te worden doorverbonden met een menselijke medewerker omdat de bot de vraag niet kon afhandelen.
De "Menselijke" Test: In een head-to-head test slaagde het AI-systeem erin om ongeveer 60% van het verkoopsucces van menselijke medewerkers te behalen, maar het kon tegelijkertijd met miljoenen mensen praten, terwijl mensen slechts met één persoon tegelijk kunnen praten.

Samenvatting

Kortom, MORE is een slimme trainingsmethode die een AI leert om een "tweezichtige" expert te zijn: een rigoureuze logicus tijdens de training, zodat het een soepele, natuurlijke gesprekspartner kan zijn tijdens de echte wedstrijd. Door de AI te laten weten wanneer hij zich op feiten moet richten en wanneer op stijl, slaagt het erin om zowel accuraat als vriendelijk te zijn, iets waar eerdere AI-systemen moeite mee hadden om dit simultaan te doen.

Technisch Overzicht: MORE – Adaptief Multi-Objective Leren voor E-commerce Dialoogsystemen

Probleemstelling

In e-commerce dialoogsystemen bestaat er een fundamentele spanning tussen twee cruciale doelstellingen: redeneerkorrektheid en linguïstische natuurlijkheid. Systemen moeten accuraat redeneren over gestructureerde gebruikersprofielen (bijv. kredietlimieten, geschiktheid, aankoopgeschiedenis) om feitelijke nauwkeurigheid en betrouwbare besluitvorming te garanderen, terwijl ze tegelijkertijd reacties genereren die vloeiend, natuurlijk en boeiend zijn.

Het paper identificeert dat deze doelen complementair maar niet identiek zijn. Bestaande benaderingen falen vaak in het balanceren van deze doelen:

Regelgebaseerde of symbolische systemen garanderen correctheid, maar produceren rigide, onnatuurlijke uitingen.
Gepersonaliseerde dialoogmodellen verbeteren de persona-consistentie, maar verwaarlozen vaak de feitelijke juistheid van dynamische gebruikersattributen.
Standaard Reinforcement Learning (RL) benaderingen die naïef meerdere beloningssignalen combineren (bijv. het optellen van redeneernauwkeurigheid en generatiekwaliteit) leiden tot instabiele optimalisatiedynamiek. Zoals aangetoond in de voorlopige experimenten van het paper, veroorzaakt het direct combineren van heterogene beloningen significante trainingsoscillaties en variantie, wat vaak zowel de redeneernauwkeurigheid als de kwaliteit van de respons verslechtert in vergelijking met het afzonderlijk optimaliseren ervan.

Methodologie: Het MORE-framework

De auteurs stellen MORE voor (Multi-Objective REinforcement learning), een adaptief framework ontworpen om redeneerkorrektheid en linguïstische natuurlijkheid gezamenlijk te optimaliseren zonder de instabiliteit van directe beloningsmixen. Het framework bestaat uit drie kerncomponenten:

1. Reasoning-Enhanced Training Scaffold

In plaats van redeneren en responsgeneratie in één stap gezamenlijk te optimaliseren (wat conflicterende gradiënten veroorzaakt), behandelt MORE redeneren als een trainingssteiger (scaffold).

Profilinformatie Redeneren: Het model wordt expliciet getraind op twee soorten taken met behulp van een profieldatabase:
- Masked Attribute Completion (MAC): Het herstellen van specifieke attributen (bijv. de laatste vier cijfers van een telefoonnummer) uit natuurlijke taalcontexten.
- Programmatic Numerical Reasoning (PNR): Het uitvoeren van numerieke inferentie op basis van attributen (bijv. het berekenen van dagelijkse rente).
Scaffold Doelstelling: Deze taken worden geoptimaliseerd via Reinforcement Learning met verifieerbare beloningen (1 voor correct, 0 voor incorrect). Deze fase versterkt het vermogen van het model om gebruikersattributen af te leiden en feitelijke herinnering uit te voeren.
Inference Efficiëntie: Cruciaal is dat het model tijdens de inferentie geen expliciete redeneerstappen genereert. Het genereert direct de uiteindelijke respons, waarbij het gebruikmaakt van de tijdens de scaffold-fase geleerde redeneercapaciteiten om de latentie en de outputlengte laag te houden.

2. Adaptieve Multi-Reward Optimalisatie

Om de generatiefase te beheren, gebruikt MORE een adaptief mechanisme om meerdere, potentieel conflicterende doelstellingen te balanceren (vloeiendheid, natuurlijkheid, semantische getrouwheid, dekking, etc.).

Multi-dimensionale Evaluatie: Kandidaat-responsen worden over meerdere dimensies geëvalueerd met behulp van LLM-gebaseerde beloningsmodellen (bijv. DeepSeek-R1) en traditionele metrieken (ROUGE).
Gradiënt-gebaseerde Dynamische Herweging: In plaats van vaste gewichten te gebruiken, hanteert MORE een rank-gebaseerde lineaire vervalstrategie om beloningsgewichten dynamisch aan te passen op basis van gradiëntfeedback.
- De grootte van de gradiëntbijdrage voor elke beloning wordt berekend.
- Gewichten worden toegewezen op basis van de rang van deze gradiënten in plaats van hun absolute grootte. Deze aanpak stabiliseert de training door onbetrouwbare grootte-informatie te verwerpen terwijl de consistente ordening behouden blijft, waardoor wordt voorkomen dat het model te gevoelig is voor kleine numerieke fluctuaties of gedomineerd wordt door één sterk signaal.
Referentiemodel: Het redenering-versterkte model dient als referentie ( $\pi_{ref}$ ) om correctheid te verankeren, terwijl het beleidsmodel zich richt op het verbeteren van natuurlijkheid binnen het GRPO (Group-wise Reinforcement Policy Optimization) framework.

3. Trainingspipeline

Het trainingsproces (Algoritme 1) omvat:

Het bijwerken van het beleid op MAC/PNR-taken om een redenering-verankerd referentiemodel te creëren.
Het genereren van een groep kandidaat-responsen.
Het berekenen van een set diverse beloningen voor elke kandidaat.
Het dynamisch herwegen van deze beloningen op basis van gradiëntrangen.
Het optimaliseren van het beleid met een PPO-achtige doelstelling met de geaggregeerde, adaptieve beloning en een KL-divergentie straf tegen het referentiemodel.

Belangrijkste Bijdragen

Identificatie van de Multi-Goal Uitdaging: Het paper benadrukt de specifieke instabiliteit veroorzaakt door het direct mengen van redenerings- en generatiebeloningen in e-commerce dialoogsystemen, en toont aan dat naïve combinatie leidt tot oscillatie en prestatieverslechtering.
MORE Framework: De voorstel van een adaptief multi-objective RL-framework dat redeneren (als een trainingssteiger) ontkoppelt van generatie, gebruikmakend van een gradiënt-gebaseerd dynamisch herwegingsmechanisme om concurrerende doelstellingen te balanceren.
Empirische Validatie: Uitgebreide evaluatie over offline benchmarks en echte productieomgevingen, waarbij wordt aangetoond dat MORE superieur is aan sterke baselines in zowel redeneernauwkeurigheid als conversatiekwaliteit.

Experimentele Resultaten

Offline Evaluatie

ByteDance Datasets (Proactieve Verkoop & Klantenservice): MORE presteerde consequent beter dan baselines inclusief SFT, DPO, KTO, RLHF, CoT en andere multi-objective RL-methoden (C-DynaOpt, EMORL). Het behaalde significante verbeteringen in BLEU, ROUGE, Naturalness, Reasoning, Fidelity en Coverage metrieken.
MultiWOZ 2.2 Benchmark: MORE bereikte state-of-the-art prestaties in taaksucces (Inform: 92,5%, Success: 84,8%) en lexicale diversiteit, waarmee het zowel full-shot trainingsmodellen als zero-shot prompting methoden overtrof.

Online A/B-testen (ByteDance Productie)

Een 14-daags online experiment werd uitgevoerd op echt productieverkeer:

Proactieve Verkoop: MORE verbeterde de Overall Conversion met 16,53% en de Reached Conversion met 30,09% vergeleken met de baseline.
Klantenservice: Gebruikerssatisfactie nam toe met 1,12%, en de overdracht naar menselijke agenten nam af met 1,83%.
Mens-Machine Vergelijking: In een directe vergelijking met menselijke agenten in proactieve verkoop, herstelde het MORE-systeem ongeveer 60% van de incrementele conversie-lift die door mensen werd bereikt, terwijl het 89% van de absolute conversieratio bereikte.

Efficiëntie

Door expliciete redeneerstappen tijdens de inferentie weg te laten, verminderde MORE de gemiddelde latentie van 5,69s naar 1,71s (een reductie van 69,9%) en de outputlengte van 252,6 naar 79,8 tokens (een reductie van 68,4%) vergeleken met Chain-of-Thought (CoT) baselines.

Betekenis en Claims

Het paper claimt dat MORE succesvol de "één model, meerdere doelen" uitdaging in e-commerce dialoogsystemen aanpakt. De betekenis ligt in:

Stabiliseren van Multi-Objective Learning: Door redeneren als een scaffold te behanden en adaptieve gradiënt-gebaseerde herweging te gebruiken, vermijdt het de traininginstabiliteit die inherent is aan directe beloningsmixen.
Praktische Zakelijke Impact: Het framework levert meetbare zakelijke waarde door de conversieratio's en gebruikerssatisfactie in grootschalige, real-world implementaties aanzienlijk te verbeteren.
Balans tussen Vertrouwen en Bruikbaarheid: Het demonstreert dat een systeem zowel feitelijk betrouwbaar (via redeneren) als natuurlijk boeiend (via adaptieve generatie) kan zijn, zonder de inferentie-overhead van expliciete redenering te veroorzaken.

De auteurs concluderen dat het effectief balanceren van deze meerdere dialoogdoelstellingen leidt tot tastbare verbeteringen in zowel de dialoogkwaliteit als de zakelijke resultaten, wat een schaalbare oplossing biedt voor complexe e-commerce scenario's.