Competition-Aware CPC Forecasting with Near-Market Coverage

Dit artikel presenteert een concurrentiebewuste methode voor het voorspellen van kosten-per-klik (CPC) in betaalde zoekadvertenties, waarbij semantische, gedrags- en geografische signalen worden gebruikt om latent concurrentievermogen te benaderen en de voorspellingsnauwkeurigheid op middellange en lange termijn te verbeteren.

De kern

Stel je voor dat je een verhuurder van auto's bent. Je wilt dat mensen op Google zoeken naar "auto huren in Amsterdam" of "goedkope huurauto Londen". Als iemand zoekt, verschijnt jouw advertentie. Maar er is een probleem: je betaalt niet een vast bedrag, maar je veilt om die plek.

Dit heet CPC (Cost Per Click). De prijs die je betaalt, hangt af van hoe hard je zelf biedt, maar ook van hoe hard je concurrenten bieden.

Het Grote Probleem: De "Blinde" Veiling

Het grootste probleem voor jou als verhuurder is dat je blind bent voor de rest van de veiling.

• Je ziet wat jij betaalt.
• Je ziet hoeveel mensen klikken.
• Maar je ziet niet wat je concurrenten bieden, wat hun budget is, of wat ze precies van plan zijn.

Het is alsof je probeert het weer te voorspellen door alleen naar je eigen tuin te kijken, terwijl je concurrenten (de andere tuinen) hun eigen regenblikken en windmolens hebben die jij niet kunt zien. Als je alleen naar je eigen tuin kijkt, mis je de storm die vanuit de buren komt.

De Oplossing: De "Detective" Methode

De auteurs van dit paper (een groep onderzoekers) zeggen: "Oké, we kunnen de concurrenten niet direct zien, maar we kunnen wel sporen vinden die hen verraden." Ze hebben een nieuw systeem bedacht om de prijs van advertenties beter te voorspellen door slimme "detective-werk" te doen.

Ze gebruiken drie soorten sporen:

1. De Taal-Detective (Semantiek):

   • Analogie: Als iemand zoekt naar "rent a car", zoekt hij waarschijnlijk ook naar "auto huren". Hoewel de woorden anders zijn, is de bedoeling hetzelfde.
   • Hoe het werkt: Ze gebruiken slimme computers (AI) die begrijpen dat bepaalde zoekwoorden "buren" zijn. Als de prijs voor "rent a car" stijgt, is de kans groot dat de prijs voor "auto huren" ook stijgt, omdat ze dezelfde concurrenten hebben.

2. De Gedrag-Detective (Gedrag):

   • Analogie: Stel je voor dat twee mensen altijd op hetzelfde moment in de supermarkt komen en precies dezelfde producten kopen. Ze hoeven elkaar niet te kennen, maar hun gedrag is identiek.
   • Hoe het werkt: Ze kijken naar de geschiedenis van de prijzen. Als de prijs van zoekwoord A en zoekwoord B altijd samen omhoog en omlaag gaan (zelfs als de woorden verschillend zijn), dan zijn ze waarschijnlijk in dezelfde "veilingstrijd" verwikkeld.

3. De Locatie-Detective (Geografie):

   • Analogie: De concurrentie op Schiphol is heel anders dan in een klein dorpje.
   • Hoe het werkt: Ze kijken waar de zoekwoorden vandaan komen. Als er veel concurrentie is in een specifieke stad of regio, weten ze dat de prijzen daar waarschijnlijk hoger en onvoorspelbaarder zijn.

Wat hebben ze ontdekt?

Ze hebben dit getest op een enorme hoeveelheid data (1,6 miljard zoekopdrachten!) voor autoverhuur. Ze hebben gekeken of hun "detective-methoden" betere voorspellingen gaven dan de oude, saaie methoden.

• Korte termijn (1 week): De methoden die kijken naar de "buren" (de grafische netwerken) werken het beste. Ze zien direct als een concurrent iets verandert.
• Middel- en lange termijn (6 tot 12 weken): Hier werken de methoden die kijken naar de locatie (geografie) het beste. Als je weet dat een regio druk is, kun je de prijsstijgingen voor de komende maanden beter inschatten.

De Grootste Les: Kwaliteit boven Kwantiteit

Een verrassende ontdekking is dat meer informatie niet altijd beter is.

• Als je alle sporen bij elkaar plakt (alle woorden, alle locaties, alle gedrag), wordt het systeem verward en maakt hij meer fouten.
• Het is beter om slim te kiezen: kies alleen de sporen die echt relevant zijn voor die specifieke situatie. Net als bij het koken: als je te veel kruiden in één pan doet, proef je niets meer. Je moet de juiste kruiden op het juiste moment toevoegen.

Waarom is dit belangrijk voor jou?

Voor bedrijven die online adverteren is dit goud waard.

• Als je de prijs van een klik verkeerd voorspelt, kun je te veel uitgeven en je budget opmaken voordat je de beste klanten hebt bereikt.
• Of je kunt te weinig bieden en je verdwijnt uit de zoekresultaten.

Met deze nieuwe methode kunnen bedrijven hun budget beter plannen, vooral in de drukke periodes (zoals vakanties) waar de prijzen het meest onvoorspelbaar zijn. Ze hoeven niet meer blind te gokken, maar kunnen kijken naar de "sporen" van de concurrentie om slimme beslissingen te nemen.

Kortom: In plaats van alleen naar je eigen neus te kijken, kijken deze onderzoekers naar de sporen in het bos om te voorspellen waar de storm (de concurrentie) vandaan komt.

Technische samenvatting

Probleemstelling: Onvolledige Waarneming in Aucties

Het artikel adresseert het complexe probleem van het voorspellen van Cost-per-Click (CPC) in betaalde zoekadvertenties (zoals Google Ads).

• De Uitdaging: CPC is geen vast tarief, maar een dynamisch resultaat van een real-time veiling. Voor adverteerders is de onderliggende concurrentiestructuur slechts gedeeltelijk waarneembaar. Ze zien de gerealiseerde CPC, klikken en kosten, maar hebben geen toegang tot de biedingen van concurrenten, hun kwaliteitsscores of de volledige veilingstatus.
• Het Gevolg: Traditionele autoregressieve modellen (die puur op historische data van één adverteerder vertrouwen) zijn inefficiënt, vooral op middellange en lange termijn. Ze missen de "signatuur" van concurrentiegedrag, wat leidt tot onstabiele voorspellingen wanneer marktdynamieken veranderen.
• Doel: Het ontwikkelen van een voorspellingsframework dat deze "latente concurrentie" benadert via waarneembare proxies om de voorspelling van CPC te verbeteren.

Methodologie: Concurrentieproxies en Architecturen

De auteurs gebruiken een dataset van 1,66 miljard zoeklogboeken uit de autoverhuursector (2021–2023), resulterend in een paneel van 1.811 zoekwoordseries over 127 weken. Ze benaderen het probleem door drie soorten concurrentieproxies te extraheren en deze te integreren in twee verschillende representatieroutes:

1. Extractie van Concurrentieproxies

In plaats van directe concurrentiedata te gebruiken, worden drie complementaire signalen afgeleid:

• Semantische Nabuurschappen: Gebruikmakend van transformer-embeddings (all-MiniLM-L6-v2) om zoekwoorden met vergelijkbare gebruikersintentie te groeperen, zelfs als ze lexicaal verschillen. Dit creëert een vaste semantische graaf.
• Gedragsmatige Nabuurschappen (DTW): Toepassing van Dynamic Time Warping (DTW) op CPC-trajecten om zoekwoorden te identificeren die vergelijkbare dynamieken vertonen (bijv. door gedeelde vraagstoten of campagne-timing), ongeacht hun tekstuele gelijkenis.
• Geografische Intentie: Extractie van locatiegegevens (continent, land, stad) uit zoekwoorden om lokale vraag en marktheterogeniteit te coderen, aangezien concurrentie in de autoverhuur sterk lokaal is.

2. Representatieroutes

Deze proxies worden op twee manieren in de modellen verwerkt:

• Route 1: Exogene Covariaten: De proxies worden als extra inputvariabelen gevoerd aan tijdreeksmodellen (zoals foundation models).
• Route 2: Relationale Priors: De semantische graaf wordt gebruikt als een vaste adjacentiematrix in Spatiotemporele Graph Neural Networks (STGNNs) om informatie tussen zoekwoorden te propageren.

3. Geëvalueerde Modellen

Het artikel vergelijkt een breed scala aan modellen:

• Baselines: Klassieke statistische modellen (SARIMAX), Machine Learning (XGBoost, Random Forest) en Deep Learning (LSTM, GRU).
• Time-Series Foundation Models (TSFMs): Moderne, vooraf getrainde modellen zoals Chronos-2, TimeGPT en Moirai, aangevuld met de concurrentieproxies.
• Spatiotemporele GNNs: Modellen zoals DCRNN, GConvLSTM en GraphWaveNet die de semantische graaf expliciet gebruiken.

Kernresultaten

De evaluatie focust op voorspellingen op 1, 6 en 12 weken horizon, gemeten met sMAPE (Symmetric Mean Absolute Percentage Error) en RMSE.

1. Prestatieverbetering door Concurrentiebewustzijn:

   • Modellen die bewust zijn van concurrentie (via covariaten of graafstructuren) presteren systematisch beter dan puur autoregressieve baselines.
   • Korte termijn (1 week): STGNNs (graafmodellen) presteren het beste (sMAPE ~25,82%), omdat ze directe dynamische afhankelijkheden tussen zoekwoorden goed kunnen vangen.
   • Middellange/Lange termijn (6-12 weken): Covariate-aangevulde Foundation Models (zoals Chronos-2) domineren (sMAPE ~27,14% op 6 weken). Dit suggereert dat grote modellen, wanneer ze worden gestabiliseerd door geografische en semantische priors, beter zijn in het generaliseren over langere periodes.

2. De "Competitive Frontier" (Concurrentie-voorfront):

   • De grootste winst wordt niet gemiddeld behaald, maar specifiek in de hoogste-risico segmenten: zoekwoorden met een hoge gemiddelde CPC en hoge volatiliteit.
   • In deze kwadranten (waar budgetrisico het grootst is) leiden concurrentieproxies tot een significante vermindering van de voorspellingsfout (tot 1,3% punten verbetering op de 6-weekse horizon).
   • Dit toont aan dat de methode de operationele robuustheid verbetert waar het voor adverteerders het meest kritiek is.

3. Selectiviteit is Cruciaal:

   • Het simpelweg stapelen van alle beschikbare proxies ("feature stacking") werkt averechts en verslechtert de prestaties.
   • Selectieve integratie werkt het beste: Geografische intentie (continent-niveau) fungeert als een sterke stabiliserende prior voor foundation modellen, terwijl semantische CPC-signalen vooral waardevol zijn voor graafmodellen op de 6-weekse horizon.

Belangrijkste Bijdragen

1. Conceptuele Reframing: Het positioneren van CPC-voorspelling als een probleem van gedeeltelijke concurrentiewaarneming, waarbij latente marktdynamiek moet worden benaderd via observabele proxies.
2. Operationalisering op Industriële Schaal: Het succesvol construeren en valideren van semantische, gedragsmatige en geografische concurrentieproxies op een dataset van 1,66 miljard records.
3. Empirisch Bewijs voor Selectieve Augmentatie: Het aantonen dat concurrentiebewuste augmentatie de voorspellingsstabiliteit verbetert, maar alleen wanneer deze doelgericht wordt toegepast (niet door brute kracht van features). De waarde is het grootst op de "competitive frontier" (hoge CPC, hoge volatiliteit).

Significantie en Implicaties

Dit onderzoek biedt een schaalbare oplossing voor adverteerders om de informatiële asymmetrie van advertentietekens te overwinnen. In plaats van te vertrouwen op onbetrouwbare autoregressieve extrapolaties, kunnen adverteerders door het investeren in principiële constructie van concurrentieproxies (gebaseerd op tekst, gedrag en locatie) hun budgetplanning en biedstrategieën aanzienlijk verbeteren. De bevindingen suggereren dat de toekomst van voorspelling in veilingmarkten ligt in de combinatie van time-series foundation models met relational priors die de onderliggende concurrentiestructuur weerspiegelen.

Beperkingen: De studie is beperkt tot de autoverhuursector en gebruikt een statische semantische graaf (die geen rekening houdt met evoluerende zoekwoordrelaties). Toekomstig werk moet zich richten op dynamische graafconstructie en validatie in andere sectoren.