🤖 machine learning

Personalizing Marketplace Policies with Competing Objectives and Constrained Experiments: Evidence from a Job Marketplace

Dit artikel presenteert een geïntegreerd kader voor het personaliseren van beleid op de arbeidsmarkt dat onder beperkte experimentele omstandigheden succesvol concurrerende doelstellingen van werkgevers en werkzoekenden balanceert door ensemble-gebaseerde hybride rangschikkingsmodellen te combineren met extrapolatie van effecten van behandelingen, wat resulteert in significante verbeteringen van metrieken terwijl betrokkenheidsbeperkingen worden gehandhaafd.

Oorspronkelijke auteurs: Yufei Wu, Zhen Yan

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yufei Wu, Zhen Yan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een bruisende digitale marktplaats voor, zoals een enorme vacaturebank, waar twee zeer verschillende groepen elkaar ontmoeten: Werkgevers (die willen aannemen) en Jobzoekers (die willen werken).

Het doel van het platform is om beide kanten te helpen, maar hun belangen zijn vaak tegenstrijdig. Als het platform te gul is met gratis diensten, kunnen werkgevers stoppen met het betalen voor premium functies, wat de capaciteit van het bedrijf om de site te draaiende te houden schaadt. Als het platform te streng is, kunnen jobzoekers gefrustreerd raken omdat ze goede banen niet kunnen zien, en kunnen ze daard door de site verlaten.

De auteurs van dit artikel stonden voor een lastig probleem: Hoe stel je de regels (policies) voor deze marktplaats zo in dat iedereen tevreden is, zonder de bank te breken?

Hier is een eenvoudige uitsplitsing van hun oplossing, gebruikmakend van alledaagse analogieën.

1. Het Probleem: One Size Doesn't Fit All

In het verleden gebruikten platforms een "one-size-fits-all" regel. Bijvoorbeeld: "Elke vacature krijgt 3 gratis weergaven, daarna moet je betalen."

Het Probleem: Sommige banen zijn als goudmijnen (hoge vraag, makkelijk in te vullen), terwijl andere zijn als ijs verkopen in de winter (lage vraag). Ze behandelen ze hetzelfde is inefficiënt. Je rekent misschien geld voor een baan die niemand wil, of je geeft gratis weergaven weg voor een baan die sowieso betaald zou hebben.

2. De Twee Grote Hindernissen

Het team wilde deze regels personaliseren (verschillende regels geven aan verschillende banen), maar ze stuitten op twee grote blokkades:

Hindernis A: Het "Wipwap"-effect (Cross-Side Externalities)
Als je te hard duwt om werkgevers te laten betalen (het "Doel"), kun je per ongeluk de jobzoekers irriteren (de "Guardrail"). Het is als een wipwap: als je de ene kant te hard naar beneden duwt, vliegt de andere kant omhoog. De uitdaging is dat verschillende banen verschillend reageren. Sommige banen kunnen worden gemonetiseerd zonder de zoekers te irriteren; andere kunnen dat niet. Je hebt een strategie nodig die beide kanten tegelijkertijd in evenwicht houdt.
Hindernis B: De "Blinde Chef" (Constrained Experiments)
Om nieuwe regels te testen, moet je normaal gesproken experimenten uitvoeren. Maar in een marktplaats kun je een regel niet zomaar op één persoon testen; je moet het testen op een hele groep (een "cluster") om chaos te voorkomen. Dit betekent dat ze slechts twee specifieke instellingen konden testen: "Strikt" en "Lichtvaardig".
- Het Probleen: Ze wilden het perfecte middenpad vinden (een continu bereik aan opties), maar ze hadden alleen data voor twee extreme punten. Het is als een chef die alleen weet hoe hij eten moet koken op "Verbrand" of "Rauw" en vervolgens de perfecte "Medium-Rare" temperatuur moet raden zonder het midden te kunnen testen.

3. De Oplossing: Een Drieledige Toolkit

De auteurs bouwden een slim systeem om deze problemen op te lossen met drie belangrijke trucs:

Truc 1: De "Dubbelcheck" Scorekaart (Hybrid Ranking)

In plaats van alleen naar één score te kijken (bijv. "Hoeveel geld gaat dit opleveren?"), bouwden ze een scorekaart die naar twee zaken apart kijkt:

Geldpotentieel: Hoeveel omzet zal deze baan genereren?
Risicofactor: Hoe groot is de kans dat dit jobzoekers irriteert?

Ze creëerden een Hybrid Ranking systeem:

Toplaag: Banen die geld opleveren en de zoekers niet irriteren. Deze krijgen strikte regels (betaal maar!).
Onderlaag: Banen die niet veel geld opleveren maar zeer risicovol zijn voor de zoekers. Deze krijgen versoepelde regels (houd ze gratis om de zoekers tevreden te houden).
Het Resultaat: Deze aanpak verminderde het risico op het irriteren van jobzoekers met meer dan 10% vergeleken met enkel op geld jagen, zonder dat er omzet verloren ging.

Truc 2: De "Rechte Lijn" Gok (Extrapolation)

Omdat ze alleen "Strikt" en "Lichtvaardig" konden testen, moesten ze raden wat er in het midden zou gebeuren.

De Analogie: Stel je voor dat je weet dat een auto 0 mph gaat bij een stopbord en 60 mph bij een groen licht. Je neemt aan dat de auto halverwege de borden 30 mph gaat.
De Wetenschap: Ze namen aan dat de relatie tussen het beleid en het resultaat een rechte lijn was. Ze testten deze aanname en ontdekten dat zelfs als de lijn niet perfect recht was, hun gokken nog steeds nauwkeurig genoeg waren om goede beslissingen te nemen. Ze hoefden niet de exacte snelheid te weten; ze hoefden alleen te weten welke auto's sneller waren dan andere.

Truc 3: De "Groepsleider" Strategie (Ensemble Modeling)

Sommige werkgevers plaatsen één baan; anderen plaatsen er honderden. Als je de regel voor één baan verandert, kan dat invloed hebben op hoe de werkgever zich gedraagt met al hun andere banen.

De Oplossing: Ze bouwden een model dat naar de baan en de werkgever samen keek. Het is als een leraar die weet dat als hij een moeilijke toets geeft aan één student, dit de hele studiegroep stress kan bezorgen. Ze combineerden deze perspectieven om een nauwkeurigere voorspelling te krijgen.

4. Het Resultaat: Succes in de Praktijk

Ze zetten dit systeem in actie op LinkedIn, waarbij miljoenen vacatures werden bediend.

Werkte het? Ja. Het systeem heeft de omzet (het doel) aanzienlijk verhoogd.
Werd de regels overtreden? Nee. Het bleef strikt binnen de veiligheidslimieten voor de betrokkenheid van jobzoekers (de guardrail).
Was de gok juist? Ja. Toen ze de "middenweg" policies testten waar ze alleen over hadden geraden, kwamen de resultaten in de echte wereld bijna perfect overeen met hun voorspellingen.

Samenvatting

Het artikel laat zien dat zelfs wanneer je blind geblinddoekt bent (beperkte experimenten) en over een strak koord loopt (het balanceren van tegenstrijdige doelen), je nog steeds het perfecte pad kunt vinden. Door een slim rankingsysteem te gebruiken dat beide kanten van de marktplaats respecteert en door onderbouwde, gevalideerde gokken te doen over het middengebied, creëerden ze een gepersonaliseerd beleid dat geld verdient terwijl gebruikers tevreden blijven.

Technische Samenvatting: Personalisatie van Marktplaatsbeleid met Concurrerende Doelstellingen en Beperkte Experimenten

1. Probleemstelling

Het artikel behandelt de uitdaging van het personaliseren van beleid in tweezijdige marktplaatsen, specifiek een vacatureplatform dat werkgevers en werkzoekenden met elkaar verbindt. De kernspanning ligt in cross-side externaliteiten: het optimaliseren van metrieken voor de ene zijde (bijv. monetisatie van werkgevers via betaalde promoties) schaadt vaak de ervaring van de andere zijde (bijv. de betrokkenheid van werkzoekenden).

De auteurs richten zich op vrije-waarde drempels (free-value thresholds), een beleidsparameter die de omvang bepaalt van gratis diensten voor vacatures voordat betaalde promotie vereist is. Het uniform instellen van deze drempels is suboptimaal vanwege de heterogeniteit in jobsegmenten. Echter, standaard uplift-modellering staat voor twee kritieke barrières in deze setting:

Multi-Objective Optimalisatie: Beleid beïnvloedt meerdere belanghebbende groepen met heterogene reacties. Het maximaliseren van conversies van werkgevers brengt het risico met zich mee de betrokkenheid van werkzoekenden te schaden, wat een balans vereist die single-objective uplift-modellen niet kunnen vangen.
Beperkte Experimenten (Positiviteitsschending): Om interferentie (bias) door marktplaatsconcurrentie te voorkomen, moeten experimenten gebruikmaken van cluster-niveau randomisatie (bijv. randomisatie op basis van werkgever of jobsegment) in plaats van individuele randomisatie. Dit beperkt het aantal beschikbare behandelingsniveaus tot enkele discrete waarden. Gevolgelijk kunnen standaard continue dosis-respons methoden (die uitgaan van een dichte ondersteuning over de behandelingsruimte) niet worden toegepast, wat leidt tot een "positiviteitschending".

2. Methodologie

De auteurs stellen een geïntegreerd framework voor dat uit drie componenten bestaat om deze gelijktijdige uitdagingen op te lossen:

A. Ensemble-gebaseerde Multi-Objective Hybride Rangschikking
In plaats van een enkele doelstelling of complexe navigatie door een Pareto-front, hanteren de auteurs een hybride rangschikkingsstrategie:

Gescheiden Modellering: Ze schatten de Conditional Average Treatment Effects (CATE) afzonderlijk voor de doelmetriek (conversies van werkgevers) en de guardrail-metriek (betrokkenheid van werkzoekenden) met behulp van een X-learner meta-learner.
Afhandeling van Spillovers: Om de aggregatie-uitdaging aan te pakken waarbij uitkomsten op werkgeversniveau worden gemeten maar targeting plaatsvindt op job-segmentniveau, ensemblen ze twee CATE-schattingen: één op jobniveau (voor werkgevers met één vacature) en één op werkgeversniveau (gemiddelde uitkomst over alle vacatures). De uiteindelijke schatting is een gewogen som gebaseerd op de segmentcompositie.
Rangschikkingslogica: Banen worden in twee helften gerangschikt. De bovenste 50% wordt gerangschikt op basis van target uplift (dalend). De onderste 50% wordt gerangschikt op basis van guardrail-impact (stijgend, waarbij prioriteit wordt gegeven aan laag risico).
Beleidstoewijzing: Beleid wordt toegewezen op basis van deze niveaus (bijv. restrictief beleid voor segmenten met hoge uplift/laag risico; versoepeld beleid voor segmenten met hoog risico).
Verzadiging van Constraints: Het systeem versoepelt de beleidsregels iteratief voor lager gerangschikte segmenten totdat de geaggregeerde guardrail-constraint ( $\sum \tau_V \geq -\delta$ ) is voldaan. Dit voorkomt de noodzaak voor betwiste gewichtsspecificaties tussen teams.

B. Extrapolatie van Effecten
Omdat experimenten slechts twee discrete behandelingsniveaus bieden (baseline $c_0$ en behandeling $c_1$ ), moet het framework effecten schatten bij niet-geteste beleidsniveaus.

Lineaire Extrapolatie: De auteurs gaan uit van een lineaire dosis-respons relatie: $\hat{\tau}(X, c) = \hat{\tau}(X, c_1) \cdot \frac{c - c_0}{c_1 - c_0}$ .
Rechtvaardiging: Dit wordt beschouwd als een identificatie-constraint opgelegd door het experimentele ontwerp (twee niveaus) in plaats van een modellingsvoorkeur. De auteurs beargumenteren dat voor het specifieke doel van ordinale rangschikking (die de beleidstoewijzing stuurt) in plaats van precieze cardinale magnitude-estimatie, lineariteit voldoende is binnen een begrensde range.
Validatie: De geldigheid van deze aanpak wordt getest via offline sensitiviteitsanalyse en validatie na implementatie.

C. Productie Deployment Architectuur
Het systeem werd ingezet met segment-gebaseerde beleids-lookup tables in plaats van real-time modelinferentie. Dit zorgt voor consistente behandeling van vergelijkbare banen, reduceert latentie tot sub-seconden en vereenvoudigt auditing.

3. Belangrijkste Bijdragen

Hybride Rangschikkingsframework: Een methode om te optimaliseren voor een doelmetriek terwijl expliciet een guardrail-metriek wordt geconstraineerd zonder dat er betwiste gewichten nodig zijn. Het bereikt meer dan 10% lager guardrail-risico voor equivalente target-winsten vergeleken met single-objective optimalisatie.
Extrapolatie onder Positiviteitsschending: Een geprincipeerde aanpak om CATE-schattingen van beperkte discrete experimentele niveaus uit te breiden naar continue beleidswaarden, gevalideerd als robuust voor ordinale rangschikkingsbeslissingen binnen begrensde ranges.
Productie Validatie: Bewijs uit een live systeem dat miljoenen vacatures bedient, wat bevestigt dat geëxtrapoleerde voorspellingen overeenkomen met geobserveerde effecten en dat guardrail-constraints worden nageleefd.

4. Resultaten

Offline Validatie: De CATE-modellen vertoonden sterke kalibratie (correlatie van 0,95 voor target, 0,86 voor guardrail op decielniveau). De hybride rangschikking verbeterde de guardrail Qini-coëfficiënt met 91% (van 0,11 naar 0,21) terwijl de target Qini gelijk bleef, wat aantoont dat single-objective optimalisatie faalt in het vangen van engagement-risico's.
Sensitiviteitsanalyse: Onder alternatieve kromming-aannames (20% concaaf of convex), varieerde de geschatte beleidsimpact met slechts 8–9%, wat bevestigt dat de beleidsaanbevelingen robuust zijn tegen afwijkingen van lineariteit.
Prestaties na Lancering:
- Target Lift: De geobserveerde lift was statistisch significant en binnen 10% van de offline voorspellingen.
- Guardrail Compliance: Alle engagement-metrieken bleven binnen de gedefinieerde veiligheidsdrempels.
- Extrapolatie Nauwkeurigheid: Tijdens een geleidelijke ramp-up correleerden de geobserveerde behandelings-effecten op intermediaire beleidsniveaus sterk ( $r=0,85$ ) met lineaire voorspellingen, wat de extrapolatie-aanname valideert.

5. Betekenis en Claims

Het artikel claimt aan te tonen dat betekenisvolle personalisatie haalbaar is in marktplaatsen die gekenmerkt worden door ernstige experimentele beperkingen (cluster-randomisatie) en concurrerende doelstellingen, condities die veel voorkomen in echte platforms maar waar vaak geen gevestigde oplossingen voor zijn.

De belangrijkste conclusies van de auteurs zijn:

Ordinaal vs. Cardinaal: Personalisatie vereist geen precieze cardinale effect-schattingen als beleidsbeslissingen rusten op ordinale rangschikkingen; dit maakt lineaire extrapolatie succesvol, zelfs met schaarse behandelingsvariatie.
Geconstreerde Optimalisatie: Multi-objective trade-offs kunnen worden beheerd via expliciete guardrail-constraints in plaats van het onderhandelen over complexe gewichtsparameters, wat beter aansluit bij organisatiestructuren waar verschillende teams verschillende metrieken beheren.
Noodzaak van Ensembles: In marktplaatsen waar targeting en outcome-aggregatie op verschillende niveaus plaatsvinden (bijv. job-segment versus werkgever), zijn ensemble-methoden noodzakelijk om spillover-effecten correct te vangen.

De auteurs blijven bescheiden over de generaliseerbaarheid van de lineaire aanname, waarbij zij opmerken dat deze geldig is binnen de deployment range (~50% van de geobserveerde variatie), maar kan falen bij extreme beleidswaarden. Zij identificeren toekomstig werk in rijkere experimentele ontwerpen (multi-arm holdouts) en online learning (contextual bandits) om deze beperkingen te versoepelen.