Competition-Aware CPC Forecasting with Near-Market Coverage

En utilisant des logs d'enchères Google Ads, cette étude propose une méthode de prévision du coût par clic (CPC) qui approxime la concurrence latente via des signaux sémantiques, comportementaux et géographiques, démontrant ainsi que l'intégration de ces informations améliore la stabilité et la précision des prévisions à moyen et long terme dans les marchés aux enchères.

L'essentiel

🚗 Le Problème : Conduire dans le brouillard

Imaginez que vous êtes le directeur d'une entreprise de location de voitures (comme Hertz ou Europcar). Vous avez un budget publicitaire pour attirer des clients sur internet. Mais il y a un gros problème : vous ne pouvez pas voir les autres conducteurs.

Sur les moteurs de recherche (comme Google), le prix que vous payez pour chaque clic (quand un client clique sur votre pub) est déterminé par une enchère en temps réel. C'est comme une course où le prix change à chaque seconde selon :

1. Ce que vous proposez.
2. Ce que vos concurrents proposent (ce que vous ne voyez pas !).
3. La qualité de votre pub.

Le défi pour votre entreprise est de prédire le prix de demain, de la semaine prochaine ou du mois prochain. C'est très difficile car vous n'avez que votre propre historique de prix. C'est comme essayer de prédire les embouteillages de demain en regardant uniquement votre propre voiture, sans voir les autres véhicules sur la route.

🔍 La Solution : Deviner les autres en observant les traces

Les chercheurs de ce papier (de l'école Nova au Portugal et de l'Université de Hambourg) ont dit : "Si on ne peut pas voir les concurrents directement, regardons les traces qu'ils laissent."

Ils ont utilisé une énorme quantité de données (1,66 milliard de lignes !) provenant du secteur de la location de voitures entre 2021 et 2023. Au lieu de regarder seulement le prix passé, ils ont créé trois types de "détectives" pour deviner ce que font les concurrents :

1. Le Détective des Mots (Sémantique) :

   • L'analogie : Imaginez que vous cherchez "location voiture à Paris". Un concurrent pourrait cibler "voiture de location Paris" ou "louer un véhicule à Paris". Les mots sont différents, mais l'intention est la même.
   • La méthode : Ils utilisent une intelligence artificielle (un "cerveau" qui comprend le langage) pour regrouper les mots-clés qui signifient la même chose. Si le prix monte pour "Paris", on sait que ça va probablement monter pour "location Paris" aussi, même si les mots ne sont pas identiques.

2. Le Détective des Comportements (Trajectoires) :

   • L'analogie : Parfois, deux mots-clés n'ont rien à voir l'un avec l'autre (ex: "aéroport Nice" et "voiture de luxe"), mais ils réagissent exactement de la même façon aux mêmes événements (comme une tempête ou une fête).
   • La méthode : Ils utilisent une technique mathématique appelée "Dynamic Time Warping" (comme un ruban élastique) pour voir si les courbes de prix de deux mots-clés se ressemblent dans le temps. Si elles bougent ensemble, c'est qu'ils sont en concurrence sur le même marché.

3. Le Détective de la Géographie (Lieu) :

   • L'analogie : La concurrence à l'aéroport de Nice est très différente de celle dans un petit village de la Creuse.
   • La méthode : Ils analysent où les gens cherchent. Savoir que la demande vient d'une zone géographique spécifique aide à comprendre la pression concurrentielle locale.

🛠️ L'Expérience : Tester les meilleures cartes

Les chercheurs ont testé ces "détectives" avec différents types de prévisionneurs (des algorithmes) :

• Des méthodes classiques (comme des formules mathématiques simples).
• Des modèles d'intelligence artificielle très puissants (appelés "modèles de base" ou foundation models, qui sont comme des experts généraux).
• Des réseaux de neurones graphiques (qui connectent les mots-clés entre eux comme une toile d'araignée).

Le résultat clé ?
Les méthodes classiques, qui regardent seulement le passé d'un seul mot-clé, échouent souvent quand le marché change brusquement.
En revanche, ajouter les "détectives" (les indices sur la concurrence) améliore énormément les prévisions, surtout pour le moyen et long terme (6 à 12 semaines).

💡 Les Leçons Principales (en images)

1. La Géographie est un ancre solide : Savoir où se trouve la demande (ex: "Europe" ou "France") est le meilleur moyen de stabiliser les prévisions à long terme. C'est comme avoir une boussole : même si la route est cahoteuse, vous savez dans quelle direction aller.
2. Moins, c'est parfois plus : Essayer de tout empiler (tous les mots, tous les lieux, toutes les données) crée du bruit et rend les prévisions pires. Il faut choisir les bons indices, comme un chef qui choisit les meilleurs ingrédients plutôt que de tout mettre dans la casserole.
3. C'est là que ça compte le plus : Les améliorations sont les plus visibles sur les mots-clés les plus chers et les plus instables (les "zones de guerre" de l'enchère). C'est là que les entreprises risquent le plus d'argent. Une meilleure prédiction ici signifie des économies réelles.

🏁 Conclusion

En résumé, ce papier nous dit que dans un marché où l'on ne voit pas tout (comme une enchère secrète), on peut deviner ce qui se passe en observant intelligemment les indices autour de nous (les mots, les lieux, les comportements).

Au lieu de simplement regarder dans le rétroviseur (le passé) pour prédire la route, les annonceurs peuvent maintenant utiliser une carte plus complète qui inclut les autres voitures sur la route. Cela permet de mieux gérer leur budget et d'éviter les mauvaises surprises, même quand le marché devient turbulent.

Résumé technique

1. Problématique et Contexte

Le défi de la prévision du CPC :
Dans la publicité en ligne (paid search), le coût par clic (CPC) n'est pas un tarif fixe, mais le résultat d'une enchère en temps réel. Pour les annonceurs, la prévision du CPC est un problème complexe de partial observability (observabilité partielle).

• Observations limitées : Les annonceurs voient les CPC réalisés, les clics et les dépenses, mais ils ne peuvent pas observer directement les enchères des concurrents, leurs signaux de qualité ou l'état complet de l'enchère.
• Conséquences : Les séries temporelles de CPC observées ne sont que des traces indirectes et bruitées du paysage concurrentiel. Les approches purement autorégressives (basées uniquement sur l'historique du CPC) échouent souvent à moyen et long terme car elles ne capturent pas les changements de régime concurrentiel, les réallocations de budget des concurrents ou les chocs de demande localisée.

Contexte empirique :
L'étude se concentre sur le secteur de la location de voitures (2021–2023), un marché caractérisé par une forte concentration de concurrents majeurs, une saisonnalité marquée et une demande géographiquement localisée (aéroports, grandes villes). Le jeu de données brut contient environ 1,66 milliard de logs d'enchères, filtrés pour former un panel de 1 811 mots-clés suivis sur 127 semaines.

2. Méthodologie : Approximation de la Concurrence Latente

L'objectif n'est pas de reconstruire l'état de l'enchère de manière structurelle, mais d'approximer la concurrence latente via des signaux observables (proxies) pour améliorer la prévision multi-horizon (1, 6 et 12 semaines).

A. Extraction des Proxies de Concurrence

Les auteurs construisent trois familles de signaux complémentaires :

1. Voisinages Sémantiques (Semantic Neighborhoods) :
   • Utilisation de représentations textuelles pré-entraînées (modèle all-MiniLM-L6-v2) pour encoder les mots-clés.
   • La similarité cosinus identifie les mots-clés ayant une intention utilisateur similaire, même si leur lexique diffère, capturant ainsi la concurrence pour les mêmes espaces publicitaires.
2. Voisinages Comportementaux (Behavioral Neighborhoods) :
   • Utilisation de l'Algorithme de Warping Dynamique du Temps (DTW) pour aligner les trajectoires de CPC.
   • Cela permet de détecter des mots-clés qui subissent des chocs de demande ou des réallocations d'enchères similaires, même sans similarité textuelle directe.
3. Intention Géographique (Geographic Intent) :
   • Extraction de la localisation (continent, pays, ville) à partir du texte des mots-clés et de gazetteers.
   • Ces covariables capturent l'hétérogénéité des marchés locaux et les pools de demande spécifiques.

B. Représentation et Architectures de Modélisation

Les proxies sont intégrés via deux routes distinctes :

1. Route des Covariables (Exogènes) : Les proxies (résumés des voisins, indicateurs géographiques) sont fournis comme entrées supplémentaires aux modèles de prévision.
2. Route Relationnelle (Graphes) : Construction d'un graphe sémantique fixe où les nœuds sont les mots-clés et les arêtes relient les voisins sémantiques les plus proches. Ce graphe est utilisé par des Réseaux de Neurones Graphiques Spatio-Temporels (STGNN).

C. Univers des Modèles Évalués

L'étude compare un large éventail d'architectures :

• Baselines classiques : SARIMAX, modèles d'arbres (XGBoost, Random Forest), réseaux de neurones (LSTM, GRU).
• Modèles Fondation de Séries Temporelles (TSFMs) : Chronos-2, TimeGPT, Moirai (augmentés par les covariables de concurrence).
• STGNNs (Graph Neural Networks) : DCRNN, GConvLSTM, GraphWaveNet (utilisant le graphe sémantique pour propager l'information entre mots-clés).

3. Résultats Clés

Les expériences ont été menées sur un horizon de 1, 6 et 12 semaines, avec une validation croisée chronologique stricte.

• Performance Globale :

  • Les approches conscientes de la concurrence surpassent systématiquement les baselines purement autorégressives.
  • Horizon court (1 semaine) : Les modèles graphiques (STGNN) sont les plus performants, capturant bien les dynamiques immédiates de diffusion entre mots-clés.
  • Horizons moyen et long (6 et 12 semaines) : Les modèles fondation augmentés par covariables (notamment Chronos-2 avec des indicateurs géographiques) dominent, réduisant significativement l'erreur de prévision (sMAPE).

• Comparaison Chiffrée (Horizon 6 semaines) :

  • La meilleure baseline (TabPFN) atteint un sMAPE de 35,04 %.
  • Le meilleur modèle fondation (Chronos-2 avec covariables géographiques) atteint 27,14 %.
  • Le meilleur modèle graphique (DCRNN) atteint 30,42 %.
  • Conclusion : L'ajout de signaux de concurrence abaisse le "plancher" d'erreur de manière significative.

• Analyse de la "Frontière Concurrentielle" (Segmentation par risque) :

  • Les gains ne sont pas uniformes. Ils sont concentrés sur les mots-clés à haut CPC et haute volatilité (le quadrant "haut risque / haute valeur").
  • Dans ces segments critiques, l'ajout de proxies de concurrence réduit l'erreur de 1,3 point de pourcentage par rapport aux entrées de base.
  • Piège de l'accumulation de features : L'ajout indiscriminé de toutes les proxies dégrade les performances (bruit). Une sélection ciblée (ex: Géographie + CPC des voisins sémantiques) est strictement supérieure.

4. Contributions Principales

1. Reformulation du problème : Le papier repositionne la prévision du CPC comme un problème d'observabilité partielle de la concurrence, résolu par l'approximation via des proxies observables.
2. Opérationnalisation à l'échelle industrielle : Construction et évaluation de structures relationnelles (sémantiques, comportementales, géographiques) à partir de logs massifs, testées sur une large gamme de modèles (des statistiques classiques aux modèles fondation et GNN).
3. Preuve de robustesse opérationnelle : Démonstration que la valeur de la prévision consciente de la concurrence est maximale là où le risque budgétaire est le plus élevé (mots-clés volatils et coûteux), et que la structure géographique agit comme un prior stabilisateur puissant pour les modèles fondation.

5. Signification et Limites

Signification :
Ce travail montre qu'il est possible de récupérer la structure concurrentielle latente d'un marché d'enchères en utilisant des signaux indirects (texte, trajectoires, géographie). Pour les annonceurs, cela signifie que l'investissement dans la construction de proxies de concurrence est plus rentable que la simple extrapolation autorégressive, en particulier pour la planification budgétaire à moyen et long terme.

Limites :

• Généralisation : L'étude porte sur un seul secteur vertical (location de voitures) avec un paysage concurrentiel concentré.
• Graphes statiques : Le graphe sémantique est fixe dans le temps et ne capture pas l'évolution des relations entre mots-clés, les nouvelles entrées sur le marché ou les changements de régime concurrentiel.
• Données : L'accès aux données de concurrence reste limité aux logs de l'annonceur lui-même (même si enrichis par des données agrégées).

En conclusion, l'article propose un cadre robuste pour améliorer la prévision des coûts publicitaires dans des environnements opaques, en combinant l'intelligence des modèles fondation modernes avec une modélisation relationnelle inspirée de la structure du marché.