Demand Estimation with Text and Image Data

Il paper propone un metodo di stima della domanda che utilizza embedding estratti da immagini e testi tramite modelli di deep learning per inferire i pattern di sostituzione, dimostrando che questo approccio supera i modelli basati su attributi tradizionali nella previsione di scelte alternative e nell'analisi di categorie di prodotti Amazon.

L'essenziale

Immagina di essere un detective che deve capire perché le persone comprano certi prodotti invece di altri. Nel mondo dell'economia e del marketing, questo è fondamentale: serve per capire se due aziende che si fondono creano un monopolio, per fissare il prezzo giusto di un prodotto o per capire come i consumatori reagiscono alle tasse.

Fino a poco tempo fa, questi detective (i ricercatori) avevano un problema enorme: non vedevano tutto.

Il Problema: La Lista della Spesa Incompleta

Immagina di voler capire perché la gente preferisce un certo libro a un altro. Tradizionalmente, i ricercatori guardavano solo le "etichette" ufficiali del prodotto:

• Genere (Fantasy, Giallo, Saggistica)
• Numero di pagine
• Anno di pubblicazione
• Prezzo

È come se volessi capire il gusto di un piatto guardando solo la lista degli ingredienti scritti su un foglio, senza mai assaggiarlo o vederlo. Ma la realtà è che le persone scelgono basandosi su cose che è difficile scrivere in una lista: l'aspetto visivo della copertina, il modo in cui è scritta la descrizione, o le emozioni che le recensioni degli altri lettori trasmettono. Queste sono informazioni "non strutturate": immagini e testi grezzi.

La Soluzione: I "Super-occhi" dell'Intelligenza Artificiale

Gli autori di questo studio (Compiani, Morozov e Seiler) hanno avuto un'idea brillante: invece di cercare di scrivere a mano tutte le caratteristiche di un prodotto, perché non usare l'Intelligenza Artificiale (AI) per "guardare" e "leggere" i prodotti come farebbe un umano?

Hanno usato dei modelli di AI già addestrati (come dei super-occhi e super-orecchie digitali) per analizzare:

1. Le immagini: L'AI guarda la copertina di un libro o la foto di una maglietta e ne estrae un "codice segreto" (chiamato embedding) che cattura colori, stile, atmosfera e design.
2. Il testo: L'AI legge i titoli, le descrizioni e le recensioni. Non conta solo le parole, ma capisce il significato. Capisce che "avventura mozzafiato" e "piacevole lettura" parlano della stessa cosa, anche se le parole sono diverse.

Il Trucco: Ridurre il Caos

L'AI genera migliaia di questi codici segreti per ogni prodotto. È troppo caos per un modello economico. Quindi, gli autori usano una tecnica matematica (chiamata PCA) che funziona come un filtro per il caffè: separa la parte importante (il gusto del caffè) dai residui inutili (la polvere di caffè). In questo modo, riducono migliaia di codici a poche "dimensioni principali" che spiegano davvero perché un prodotto è diverso dall'altro.

Queste dimensioni diventano poi le nuove "etichette" che inseriscono nel loro modello matematico.

La Prova: L'Esperimento del Libro

Per vedere se il loro metodo funzionava davvero, hanno fatto un esperimento. Hanno mostrato a 10.000 persone una lista di 10 libri, con prezzi e posizioni casuali.

1. La gente sceglieva il libro che preferiva (la prima scelta).
2. Poi, togliendo quel libro dalla lista, chiedevano: "Ok, quale prenderesti adesso?" (la seconda scelta).

La "seconda scelta" è la prova del nove: ci dice esattamente cosa la persona avrebbe comprato se il suo preferito non fosse stato disponibile. È la misura perfetta della sostituzione.

Il risultato?
Il modello tradizionale (che guardava solo genere e pagine) sbagliava spesso a prevedere la seconda scelta. Il nuovo modello (che usava le immagini e le recensioni) aveva un'intelligenza quasi umana: capiva che se a qualcuno piaceva un libro di "fantasy oscuro", probabilmente avrebbe scelto un altro libro con una copertina scura e una recensione che parlava di "magia", anche se il genere era scritto diversamente.

Cosa è successo nel mondo reale?

Hanno applicato questo metodo a 40 categorie di prodotti su Amazon (dai vestiti ai videogiochi, dal cibo per animali all'elettronica).

• Sorprendentemente: A volte le immagini sono più importanti del testo (es. per la moda), ma a volte è il contrario (es. per i videogiochi o i libri).
• La lezione: Non si può indovinare a priori cosa conta di più. Bisogna raccogliere tutti i dati (foto e testo) e lasciare che l'algoritmo decida cosa è più utile.

In Sintesi: Perché è importante?

Pensa a questo approccio come a un traduttore universale.
Prima, i ricercatori dovevano tradurre manualmente la complessità del mondo reale in una lista noiosa di numeri, perdendo molte sfumature. Ora, usano l'AI per tradurre direttamente le immagini e le parole in "preferenze dei consumatori".

Questo permette di:

• Prevedere meglio cosa succederà se un'azienda cambia prezzo.
• Capire meglio quali prodotti sono veri concorrenti (sostituti).
• Studiare mercati dove è difficile raccogliere dati (come l'arte o i libri), perché le foto e le descrizioni sono sempre disponibili online.

In pratica, hanno dato ai ricercatori un nuovo superpotere: la capacità di "vedere" e "capire" i prodotti esattamente come fanno i consumatori, senza dover chiedere loro cosa pensano, ma semplicemente guardando cosa hanno comprato e cosa hanno scritto.

Sommario tecnico

1. Il Problema

La stima della domanda per prodotti differenziati è fondamentale per analisi economiche e di marketing come fusioni aziendali, valutazione dei dazi e ottimizzazione dei prezzi. L'approccio standard consiste nel modellare la sostituzione basandosi sulla somiglianza degli attributi osservati dei prodotti. Tuttavia, questo metodo presenta due limiti principali:

1. Mancanza di dati sugli attributi: I ricercatori raramente osservano tutti gli attributi rilevanti per la scelta. Spesso devono affidarsi a dati di terze parti o selezionare soggettivamente quali attributi raccogliere.
2. Attributi difficili da quantificare: I consumatori valutano dimensioni come il design visivo e i benefici funzionali che sono difficili da catturare attraverso attributi strutturati standard (es. Hausman, 1994, notava l'impossibilità di quantificare il contenuto di bolle nello champagne).

Il paper propone un metodo per superare questi ostacoli utilizzando dati non strutturati (immagini e testi) per inferire i pattern di sostituzione.

2. Metodologia

L'approccio proposto, implementato nel pacchetto Python DeepLogit, segue tre passaggi principali per integrare dati non strutturati in un modello di domanda a logit misto (Mixed Logit):

Passo 1: Estrazione di Embedding

Vengono utilizzati modelli di deep learning pre-addestrati per trasformare immagini e testi in rappresentazioni vettoriali (embedding):

• Immagini: Vengono utilizzati quattro modelli CNN (VGG19, ResNet50, InceptionV3, Xception). I modelli vengono utilizzati rimuovendo lo strato di classificazione finale per ottenere direttamente gli embedding delle caratteristiche visive.
• Testi: Vengono analizzati titoli, descrizioni e recensioni. Oltre a modelli semplici (bag-of-words, TF-IDF), vengono utilizzati modelli avanzati di linguaggio naturale come Universal Sentence Encoder (USE) e BERT Sentence Transformer (ST), capaci di catturare la similarità semantica anche quando le parole esatte differiscono.

Passo 2: Riduzione della Dimensionalità (PCA)

Gli embedding sono ad alta dimensionalità (es. 512 dimensioni), rendendo proibitivo l'integrazione numerica nei modelli logit misti. Viene applicata l'Analisi delle Componenti Principali (PCA) per ridurre la dimensionalità.

• La PCA viene eseguita all'interno di ogni categoria di prodotto per focalizzarsi sulle differenze tra i prodotti della stessa categoria, sminuendo la variazione comune tra categorie diverse.
• Le componenti risultanti sono ortogonali, evitando problemi di multicollinearità.

Passo 3: Integrazione nel Modello di Domanda e Selezione del Modello

Le componenti principali (PC) estratte vengono inserite in un modello Mixed Logit con coefficienti casuali, trattandole come attributi del prodotto.

• Algoritmo di Selezione (Algorithm 1): Poiché non è noto a priori quali embedding o quante PC catturino meglio la sostituzione, viene utilizzato un algoritmo di selezione basato sul Criterio di Informazione di Akaike (AIC). L'algoritmo testa incrementando il numero di variabili con coefficienti casuali (prezzo + PC) e seleziona la specifica che minimizza l'AIC. Questo processo viene ripetuto per tutte le combinazioni di tipi di dati (immagini, titoli, descrizioni, recensioni) e modelli di embedding.

3. Contributi Chiave

1. Validazione Sperimentale: A differenza della letteratura precedente che si concentra sulla previsione di risultati osservati, gli autori progettano un esperimento di scelta (con libri) in cui raccolgono sia la prima scelta che la seconda scelta.
   • La prima scelta è usata per la stima.
   • La seconda scelta funge da "verità di base" (ground truth) per validare la capacità del modello di prevedere le sostituzioni controfattuali (cosa sceglierebbe il consumatore se il prodotto preferito non fosse disponibile).
2. Superiorità dei Dati Non Strutturati: Dimostrano che i dati non strutturati catturano meglio i pattern di sostituzione rispetto agli attributi tradizionali, anche in categorie dove ci si aspetterebbe il contrario (es. abbigliamento).
3. Scalabilità e Automazione: Il metodo evita la selezione soggettiva degli attributi e si applica facilmente a molte categorie di prodotti senza necessità di raccolta dati specifica per categoria.

4. Risultati Principali

Esperimento con i Libri (Validazione)

• Performance: Il modello basato su recensioni (Review USE) ha ottenuto le prestazioni migliori, riducendo l'errore quadratico medio (RMSE) nelle previsioni delle seconde scelte del 23% rispetto al logit semplice e dell'11,7% rispetto al mixed logit con attributi osservati.
• Interpretazione: Le componenti principali estratte dalle recensioni catturano non solo il genere (es. Fantasia vs. Non-fiction), ma anche dettagli specifici come la serie di libri o l'autore, permettendo di identificare sostituti molto più precisi rispetto ai modelli basati solo su genere o anno di pubblicazione.
• Correlazione AIC-RMSE: È stata trovata una forte correlazione (0.78) tra il miglioramento dell'AIC nel campione e la riduzione dell'errore nelle previsioni controfattuali, validando l'uso dell'AIC per la selezione del modello in assenza di dati sulla seconda scelta.

Applicazione ai Dati di E-commerce (Amazon)

• Campione: 40 categorie di prodotti (dai generi alimentari all'elettronica, passando per abbigliamento e videogiochi).
• Risultati: L'approccio con dati non strutturati ha migliorato significativamente l'adattamento del modello (riduzione dell'AIC) in tutte le 40 categorie rispetto al logit semplice e al mixed logit con attributi.
• Razionalità delle Sostituzioni: Il modello produce tassi di diversion (diversion ratios) più realistici e variabili rispetto al logit semplice (che tende a sottostimare la sostituzione tra prodotti simili). Ad esempio, nei tablet, il modello identifica correttamente che i tablet per bambini sono sostituti stretti tra loro, e gli iPad tra loro.
• Tipologia di Dati: Non esiste un tipo di dato "migliore" universale. In alcune categorie (es. videogiochi Xbox) le immagini sono più informative, in altre (es. libri, alcuni capi d'abbigliamento) le recensioni o i titoli lo sono di più. Questo sottolinea la necessità di raccogliere e testare entrambi i tipi di dati.

5. Significato e Implicazioni

• Strumento per i Ricercatori: Fornisce un metodo robusto per stimare la domanda in mercati dove gli attributi sono scarsi o difficili da quantificare (es. beni creativi come libri, arte, film).
• Applicazioni Antitrust e di Pricing: Migliora la precisione delle simulazioni di fusioni, dell'ottimizzazione dei prezzi e dell'analisi del benessere del consumatore, poiché i pattern di sostituzione stimati sono più fedeli alla realtà.
• Limiti e Avvertenze: Il metodo assume che gli embedding (e quindi la percezione del prodotto) rimangano fissi nelle simulazioni controfattuali. Non è adatto per scenari in cui il prodotto cambia fisicamente o il posizionamento di mercato altera le recensioni/immagini (es. fusioni che portano a redesign del prodotto).
• Disponibilità: Gli autori hanno reso pubblico il codice (pacchetto DeepLogit), i dati sperimentali e le istruzioni per facilitare l'adozione da parte della comunità scientifica e professionale.

In sintesi, il paper dimostra che l'integrazione di tecniche di Deep Learning con modelli econometrici classici permette di recuperare informazioni latenti cruciali per la stima della domanda, superando i limiti dei dati strutturati tradizionali.