Demand Estimation with Text and Image Data

Cet article propose une méthode d'estimation de la demande intégrant des données textuelles et visuelles non structurées via des modèles d'apprentissage profond, démontrant ainsi une supériorité significative par rapport aux modèles traditionnels pour prédire les choix de substitution, même en l'absence d'attributs produits quantifiables.

L'essentiel

Imaginez que vous êtes un détective économique. Votre mission ? Comprendre pourquoi les gens achètent un produit plutôt qu'un autre. Si le produit A disparaît de l'étagère, vont-ils acheter le produit B (qui est très similaire) ou le produit C (qui est totalement différent) ?

C'est ce qu'on appelle estimer la demande et comprendre les modèles de substitution.

Le problème, c'est que les économistes traditionnels ont souvent les mains liées. Ils essaient de deviner ces choix en regardant une liste de caractéristiques officielles : le prix, le poids, la couleur, la taille. C'est comme essayer de décrire un film uniquement en listant sa durée et le nombre d'acteurs. Ça manque cruellement de détails !

L'idée géniale de ce papier (par Compiani, Morozov et Seiler) est d'utiliser ce que nous appelons des "données non structurées" : les images et les textes (comme les descriptions et les avis clients) que l'on trouve partout sur internet, mais que les économistes ne savaient pas vraiment utiliser jusque-là.

Voici comment ils font, expliqué simplement :

1. Le Traducteur Robotique (L'Intelligence Artificielle)

Imaginez que vous avez des milliers de livres. Certains ont des couvertures sombres avec des épées (des livres de fantasy), d'autres ont des photos de gens souriants sur fond jaune (des livres de développement personnel).

• L'ancienne méthode : L'économiste regarde la catégorie "Fantasy" ou "Développement personnel".
• La nouvelle méthode : Ils utilisent des "robots" (des modèles d'intelligence artificielle pré-entraînés) qui regardent la couverture du livre et lisent les avis. Ces robots ne se contentent pas de lire des mots ; ils transforment l'image et le texte en une carte d'identité numérique (un vecteur).

C'est comme si le robot disait : "Ce livre a une 'vibe' sombre et mystérieuse, et les gens disent qu'il est 'plein de rebondissements'. Je vais le noter sur une carte spéciale."

2. Le Réducteur de Bruit (L'Analyse en Composantes Principales)

Ces cartes d'identité numériques sont énormes et complexes (des centaines de points de données). C'est trop lourd pour faire des calculs.
Les auteurs utilisent une technique mathématique (l'ACP) pour compresser cette information. Imaginez que vous prenez un roman de 500 pages et que vous en extrayez les 3 phrases les plus importantes qui résument l'histoire.
Ces phrases résumées deviennent de nouvelles "caractéristiques" que l'on peut utiliser dans les calculs économiques.

3. Le Test de Vérité (L'Expérience)

Comment savoir si cette méthode fonctionne mieux que l'ancienne ?
Les auteurs ont organisé une expérience avec des milliers de participants.

• Étape 1 : On demande à quelqu'un de choisir son livre préféré parmi une liste.
• Étape 2 : On retire ce livre et on demande : "Ok, maintenant, quel livre choisiriez-vous à la place ?"

C'est ici que la magie opère. Les modèles traditionnels (basés sur les caractéristiques officielles) se trompent souvent sur le "deuxième choix". Ils pensent que si vous aimez un livre de science-fiction, vous aimerez n'importe quel autre livre de science-fiction.
Mais le nouveau modèle, grâce aux images et aux avis, comprend mieux les nuances. Il sait que "Ah, ce livre de science-fiction a un ton humoristique, donc si le premier disparaît, il préférera un autre livre humoristique plutôt qu'un livre de science-fiction sérieux."

Résultat : Le modèle basé sur les images et les textes prédit le "deuxième choix" beaucoup mieux que les modèles classiques.

4. L'Application Réelle : Amazon

Pour vérifier que ça marche dans la vraie vie, ils ont analysé 40 catégories de produits sur Amazon (des vêtements, des gadgets, de la nourriture pour animaux, etc.).
Ils ont découvert quelque chose de surprenant :

• Parfois, les images sont les meilleurs indicateurs (pour les vêtements, on s'y attend).
• Mais parfois, les textes (les avis clients) sont bien plus importants, même pour des produits visuels ! Par exemple, pour des t-shirts, ce que les gens disent dans les avis ("la taille est petite", "le tissu est doux") compte plus que la photo.

Pourquoi c'est important pour tout le monde ?

Cette méthode est comme un super-pouvoir pour les entreprises et les régulateurs :

• Pour les entreprises : Elles peuvent mieux fixer leurs prix et comprendre qui sont leurs vrais concurrents, même si ces concurrents vendent des produits très différents en apparence.
• Pour les régulateurs : Si deux grandes entreprises veulent fusionner, on peut simuler si cela ferait augmenter les prix. Avec cette nouvelle méthode, on a une prédiction beaucoup plus précise de ce qui va se passer.

En résumé :
Au lieu de se fier à une liste de caractéristiques rigide et souvent incomplète, les auteurs utilisent l'IA pour "lire" et "regarder" les produits comme le font les humains. Ils transforment cette richesse d'information (images, textes, avis) en données mathématiques pour prédire avec une précision incroyable ce que les consommateurs choisiront vraiment. C'est passer d'une carte routière dessinée à la main à un GPS en temps réel.

Résumé technique

1. Problématique et Contexte

L'estimation de la demande pour des produits différenciés est fondamentale en économie et en marketing (analyse de fusions, tarification optimale, évaluation des tarifs). L'approche standard repose sur des modèles de choix discrets (comme le logit mixte) qui capturent les schémas de substitution via la similarité des attributs observés (prix, caractéristiques techniques, etc.).

Cependant, cette méthode fait face à deux défis majeurs :

1. Données incomplètes : Les chercheurs n'observent souvent pas tous les attributs pertinents pour le choix du consommateur, car ils dépendent de critères de collecte tiers ou subjectifs.
2. Attributs non quantifiables : Les consommateurs valorisent des dimensions difficiles à mesurer, telles que le design visuel ou les bénéfices fonctionnels décrits dans le texte, qui ne sont pas capturés par les attributs structurés standards.

L'article propose une solution exploitant les données non structurées (images de produits, descriptions textuelles, avis clients) pour inférer ces schémas de substitution manquants.

2. Méthodologie Proposée

Les auteurs développent une approche en trois étapes, intégrée dans un modèle Logit Mixte à coefficients aléatoires (Mixed Logit), accompagnée d'un algorithme de sélection de modèle.

Étape 1 : Extraction d'Embeddings (Représentations Vectorielles)

Les données non structurées sont transformées en vecteurs de haute dimension (embeddings) à l'aide de modèles de deep learning pré-entraînés :

• Images : Utilisation de quatre réseaux de neurones convolutifs (CNN) : VGG19, ResNet50, InceptionV3 et Xception. Les couches de classification sont supprimées pour ne garder que les caractéristiques visuelles.
• Texte : Utilisation de modèles variés, allant du simple "sac de mots" (Bag-of-Words) et TF-IDF, à des modèles sémantiques avancés comme Universal Sentence Encoder (USE) et BERT Sentence Transformer (ST). Ces modèles capturent la similarité sémantique (ex: mêmes bénéfices fonctionnels décrits avec des mots différents).

Étape 2 : Réduction de Dimensionnalité (PCA)

Les embeddings sont trop volumineux pour être utilisés directement dans un modèle logit mixte (problème d'intégration numérique coûteuse).

• Les auteurs appliquent une Analyse en Composantes Principales (PCA) sur les embeddings au sein de chaque catégorie de produits.
• Cela permet de réduire la dimensionnalité tout en conservant la variance spécifique aux différences entre produits d'une même catégorie, tout en évitant la multicolinéarité.

Étape 3 : Intégration dans le Modèle de Demande et Sélection

Les composantes principales (PC) extraites sont incluses dans le modèle de demande comme des attributs avec des coefficients aléatoires.

• Algorithme de Sélection (Algorithme 1) : Un algorithme itératif sélectionne le meilleur modèle en minimisant le Critère d'Information d'Akaike (AIC). Il teste progressivement l'ajout de coefficients aléatoires sur les prix et les premières composantes principales (PC) issues de différentes sources de données (images, titres, descriptions, avis).
• L'objectif est d'identifier automatiquement la source de données (texte ou image) et le modèle d'embedding qui capturent le mieux les schémas de substitution, sans hypothèse a priori.

3. Contributions Clés

1. Validation Empirique Rigoureuse : Contrairement à la littérature précédente qui se concentre sur la prédiction des résultats observés, les auteurs valident leur modèle sur des schémas de substitution non observés. Ils utilisent une expérience où les choix "deuxièmes" (second choices) servent de vérité terrain (ground truth) pour tester les prédictions contrefactuelles du modèle estimé uniquement sur les choix "premiers".
2. Supériorité sur les Méthodes Standards : Ils démontrent que l'utilisation de données non structurées permet de prédire les substitutions mieux que les modèles basés sur des attributs observés, même lorsque ces attributs sont disponibles.
3. Outils Accessibles : Les auteurs fournissent un package Python DeepLogit pour faciliter l'adoption de cette méthode par d'autres chercheurs.
4. Applicabilité Large : La méthode est testée sur 40 catégories de produits Amazon, montrant sa robustesse au-delà des livres.

4. Résultats Principaux

Validation Expérimentale (Données de Livre)

• Expérience : 9 265 participants ont choisi un livre parmi 10 options, puis un deuxième livre parmi les 9 restants. Les prix et le classement étaient randomisés.
• Performance : Le modèle utilisant les avis clients (Reviews) via le modèle USE a obtenu les meilleurs résultats.
  • Il a réduit l'erreur quadratique moyenne (RMSE) de 23 % par rapport au modèle Logit simple (Plain Logit).
  • Il a surpassé le meilleur modèle Logit Mixte basé sur les attributs observés (genre, nombre de pages, année) de 14 % en termes de RMSE sur les choix de substitution.
• Analyse des Composantes : Les PC extraites des avis ont capturé des nuances subtiles (ex: distinction entre fiction et non-fiction, séries de livres, style d'écriture) que les attributs structurés (genre) ne pouvaient pas distinguer.

Application aux Données Observées (Amazon.com)

• Échantillon : 40 catégories de produits (vêtements, électronique, épicerie, etc.) avec des données de l'achat en ligne (Comscore) et des données textuelles/visuelles d'Amazon.
• Résultats :
  • Les données non structurées améliorent systématiquement l'ajustement du modèle (réduction de l'AIC) par rapport au Logit simple et au Logit Mixte avec attributs dans toutes les catégories.
  • Hétérogénéité des données : Il n'existe pas de règle universelle. Parfois, le texte est supérieur (ex: vêtements), parfois l'image (ex: jeux vidéo Xbox). Cela souligne la nécessité de collecter les deux types de données et d'utiliser la sélection de modèle.
  • Taux de diversion : Le modèle proposé produit des taux de diversion (diversion ratios) beaucoup plus variables et réalistes (moyenne de 47 %) comparés au Logit simple (22 %), indiquant une meilleure identification des substituts proches.

5. Signification et Implications

• Pour les Chercheurs : Cette méthode offre une alternative puissante et automatisée pour estimer la demande lorsque les attributs structurés sont absents ou insuffisants. Elle évite les biais subjectifs liés au choix des attributs à collecter.
• Pour les Applications Contrefactuelles : L'approche est idéale pour les simulations de fusions, l'optimisation des prix et l'évaluation de taxes, à condition que les embeddings (design, description) restent fixes lors de la simulation.
• Limites et Perspectives : La méthode suppose que les embeddings ne changent pas avec les prix (ex: si un avis dit "bon rapport qualité-prix", une baisse de prix pourrait changer le sentiment). De futures recherches pourraient explorer le fine-tuning des modèles de langage pour la demande et l'intégration de données non structurées dans des modèles de demande plus flexibles.

En résumé, cet article démontre que l'intégration de l'apprentissage profond (Deep Learning) dans l'économétrie de la demande permet de révéler des schémas de substitution cachés, améliorant significativement la précision des prédictions contrefactuelles par rapport aux méthodes traditionnelles.