Technische Samenvatting: Fortress – Een Casestudy in het Stabiliseren van Zoekaanbevelingen

Probleemstelling

In zoek- en aanbevelingssystemen lijden voorspellende modellen vaak aan temporele instabiliteit. Dit treedt op wanneer specifieke invoerfeatures de outputscores voor dezelfde query-entiteit-paar aanzienlijk laten fluctueren over verschillende tijdsperiodes. Een dergelijke volatiliteit verslechtert de betrouwbaarheid van het model en de gebruikerservaring, vooral in meerstapsystemen waar consistente voorspellingen essentieel zijn voor downstream besluitvorming.

Hoewel recente vooruitgang in Large Language Models (LLM's) en op BERT gebaseerde semantische features de contextuele relevantie en generalisatie hebben verbeterd, missen ze vaak volledige dekking van queries of entiteiten. Omgekeerd bieden engagement-gebaseerde features (afgeleid van organisch gebruikersgedrag zoals klikken en zoeken) sterke voorspellende kracht, maar zijn ze vatbaar voor het introduceren van temporele inconsistenties. De kernuitdaging die dit werk aanpakt, is de afweging tussen de hoge voorspellende nauwkeurigheid van engagement-signalen en de scorevolatiliteit die ze introduceren.

Methodologie: Het Fortress-framework

De auteurs stellen Fortress voor, een algemeen framework dat is ontworpen om modelstabiliteit en -nauwkeurigheid te verbeteren door het identificeren en verwijderen van features die bijdragen aan inconsistente voorspellingsscores in de tijd. Het framework werkt op het inzicht dat hoewel bepaalde features voorspellend kunnen zijn in geïsoleerde momentopnamen, ze volatiliteit kunnen introduceren wanneer ze over de tijd worden geëvalueerd.

Fortress volgt een vierstapsproces:

1. Datacollectie: Het systeem verzamelt historische momentopnamen, dat zijn tijdelijk gepartitioneerde datasets die scorefluctuaties voor dezelfde entiteit over verschillende periodes vastleggen.
2. Identificatie van onstabiele steekproeven: De methode identificeert steekproeven die een hoge scorevariantie vertonen over deze momentopnamen. Specifiek richt het zich op het 75e percentiel van steekproeven met de hoogste Variatiecoëfficiënt (CV).
3. Isolatie en verwijdering van features: Voor de geïdentificeerde steekproeven met hoge variantie wordt de CV berekend voor elke individuele feature. Features met de hoogste CV's worden gemarkeerd als kandidaten voor verwijdering. Het framework hanteert een greedy search-benadering: het verwijdert iteratief kandidaat-features en traint het model opnieuw. Cruciaal is dat featureverwijdering alleen doorgaat als dit resulteert in een statistisch significante verbetering in PR-AUC op de validatieset ten opzichte van de baseline.
4. Opnieuw trainen van het model: Het definitieve model wordt opnieuw getraind met de gereduceerde feature-set (exclusief de instabiliteit veroorzakende features) en alle beschikbare historische momentopnamen.

Deze aanpak past binnen de klasse van "wrapper"-featureselectiemethoden, waarbij subsets van features worden gekozen op basis van prestaties op de validatieset.

Experimentele Opstelling

Het framework werd gevalideerd op een grootschalig query-naar-app-relevantiemodel binnen een commerciële app-marktplaats. De taak bestond uit het classificeren van query-app-paren als relevant (GOED/UITSTEKEND) of niet-relevant (SLECHT).

• Data: De dataset bestond uit dagelijkse momentopnamen, opgesplitst in 70% training, 15% validatie en 15% testsets. Ongeveer 40% van de paren was gelabeld als SLECHT.
• Features: Het model gebruikte twee hoofdcategorieën:
  • Semantische Representatie (SR): Op LLM gebaseerde features (met een proprietair Foundation Model) en op DistilBERT gebaseerde features (twee-toren architectuur met triplet loss). Deze bieden content-gebaseerde relevantie onafhankelijk van engagement.
  • Engagement-features: Niet-gepersonaliseerde, sterk geaggregeerde historische gebruikersinteracties (klikken, zoeken). Deze werden meerdere keren per dag ververst en vormden de primaire bron van score-instabiliteit.
• Model: Een XGBoost-classificator werd gebruikt vanwege de snelheid en robuustheid tegen ruis.
• Metrieken:
  • PR-AUC: Om de classificatieprestaties te beoordelen.
  • Variatiecoëfficiënt (CV): Gedefinieerd als de standaarddeviatie gedeeld door het gemiddelde van voorspellingsscores over momentopnamen, gebruikt om scorestabiliteit te meten.

Belangrijkste Resultaten

De experimenten toonden aan dat hoewel het toevoegen van engagement-features de classificatieprestaties verbetert, het tegelijkertijd de scorevolatiliteit verhoogt. Fortress slaagde erin deze afweging te mitigeren:

• Verbetering van stabiliteit: In vergelijking met de baseline met alle features, verlaagde Fortress de Variatiecoëfficiënt (CV) met 3,44% (van 0,5462 naar 0,5274).
• Verbetering van nauwkeurigheid: Het framework behaalde een toename van 0,24% in PR-AUC (van 0,9572 naar 0,9595), waarmee het zowel de "Alle features"-baseline als de "Meerdere momentopnamen met alle features"-benadering overtrof.
• Impact op systeemniveau: Als downstream-effect van de verbeterde stabiliteit verlaagde Fortress de "flip-flop"-rate (paren die in de ene momentopname in de definitieve aanbevelingsfase verschenen maar in een andere afwezig waren) met 25,8% wereldwijd. Regionale verminderingen varieerden van 14,7% tot 49,6%.
• Feature-analyse: De studie bevestigde dat sommige features die gunstig zijn in een enkele momentopname, de prestaties verslechteren wanneer ze over de tijd worden geëvalueerd, wat de noodzaak onderstreept van temporele multi-momentopname-analyse voor robuuste featureselectie.

Betekenis en Claims

Het paper positioneert Fortress als een principiële methode voor het integreren van engagement-signalen terwijl hun inherente volatiliteit wordt beheerd. De auteurs beweren dat:

1. Algemene Toepasbaarheid: Hoewel gedemonstreerd op een query-naar-app-relevantietaak, is de techniek breed toepasbaar op elke scenario waarin een scoremodel dezelfde entiteit over de tijd evalueert, zoals gebruiker-item-aanbevelingen.
2. Betrouwbaarheid van het Systeem: In meerstaps ophaal- en rangschikkingspijplijnen kan volatiliteit in productie-scores zich voortplanten en leiden tot significante, ongewenste verschuivingen in systeemdynamiek. Fortress pakt dit aan door scorestabiliteit te handhaven, wat cruciaal is voor het waarborgen van betrouwbaarheid en prestaties.
3. Gebalanceerde Optimalisatie: Het framework lost succesvol de spanning op tussen de generalisatie van semantische features en de voorspellende kracht van engagement-features, wat leidt tot modellen die zowel stabieler als nauwkeuriger zijn.

Het werk concludeert dat het leveren van een hoogwaardige gebruikerservaring vereist dat aanbevelingssystemen resultaten produceren die niet alleen relevant zijn, maar ook consistent en voorspelbaar in de tijd.