Demand Estimation with Text and Image Data

Este artigo propõe um método de estimação de demanda que utiliza embeddings extraídos de imagens e textos por meio de modelos de aprendizado profundo para inferir padrões de substituição, superando os modelos tradicionais baseados em atributos e demonstrando eficácia em diversas categorias de produtos da Amazon.

O essencial

Imagine que você é um detetive tentando entender por que as pessoas compram o que compram. O problema é que os produtos têm "segredos" que não estão escritos em listas de especificações técnicas.

O artigo que você leu, escrito por pesquisadores da Universidade de Chicago, Northwestern e Imperial College London, propõe uma nova maneira de decifrar esses segredos usando inteligência artificial para ler o que os produtos "dizem" através de suas fotos e descrições.

Aqui está a explicação, passo a passo, usando analogias do dia a dia:

1. O Problema: O "Cardápio" Incompleto

Tradicionalmente, para prever se um cliente trocará um produto A por um produto B (substituição), os economistas olhavam para uma lista de características: preço, tamanho, cor, ano de lançamento.

• A analogia: É como tentar prever se alguém vai trocar um carro por outro olhando apenas se ambos têm 4 portas e motor V6.
• O problema: Isso ignora coisas importantes. Por que você prefere um livro de capa preta a um de capa vermelha? Por que um tênis parece "mais moderno" que outro, mesmo tendo as mesmas especificações? Esses detalhes visuais e a "vibe" do produto são difíceis de medir e muitas vezes os pesquisadores nem sabem que existem.

2. A Solução: O Tradutor de IA (Deep Learning)

Os autores propõem usar modelos de IA (como os que você usa para gerar imagens ou traduzir textos) para ler os produtos.

• Como funciona: A IA olha para a foto do produto e lê a descrição/resenhas. Em vez de tentar entender o significado humano, ela transforma tudo em uma "impressão digital matemática" (chamada de embedding).
• A analogia: Imagine que cada produto é uma pessoa. Em vez de ler o currículo delas (atributos), a IA tira uma foto do rosto delas e analisa o tom de voz. Mesmo que duas pessoas não tenham o mesmo currículo, a IA percebe que elas têm o mesmo "estilo" ou "personalidade" e as agrupa juntas.

3. O Experimento: A Prova do Pão com Manteiga

Para saber se essa ideia funciona, eles fizeram um experimento com 10.000 pessoas e livros.

• O Cenário: Eles mostraram 10 livros para cada pessoa. A pessoa escolhia o primeiro (o favorito). Depois, o livro escolhido desaparecia magicamente, e a pessoa tinha que escolher o segundo melhor entre os que sobraram.
• O Teste: Os pesquisadores usaram apenas a escolha do primeiro livro para treinar seus modelos. Depois, tentaram adivinhar qual seria a segunda escolha.
• O Resultado: O modelo tradicional (que só olhava para gênero e número de páginas) errou muito. O modelo novo (que usou a IA para ler as fotos das capas e as resenhas dos leitores) acertou muito mais.
• A lição: A IA conseguiu entender que, se você gosta de um livro de mistério com capa escura e resenhas que falam de "tensão", você provavelmente vai trocar por outro livro com a mesma "vibe", mesmo que o autor seja diferente.

4. A Aplicação Real: A Amazon

Eles testaram isso em 40 categorias diferentes na Amazon (roupas, eletrônicos, comida, jogos).

• A descoberta surpreendente: Às vezes, a gente acha que a foto é o mais importante (como em roupas), mas em alguns casos, o texto (descrição e resenhas) diz muito mais sobre o que as pessoas preferem. Em outros casos, é o contrário.
• Conclusão: Não dá para adivinhar de antemão o que importa. A melhor estratégia é coletar tudo (fotos e textos) e deixar a IA escolher qual informação é mais valiosa para cada tipo de produto.

5. Por que isso é importante para o mundo real?

Essa técnica ajuda empresas e governos a tomar decisões melhores:

• Fusões de empresas: Se duas grandes marcas de café se fundirem, quanto o preço vai subir? O modelo ajuda a prever se os clientes vão ficar com a marca ou mudar para a concorrência.
• Lançamento de produtos: Se uma empresa lançar um novo videogame, quem são os concorrentes reais? Não são apenas os que têm o mesmo preço, mas os que têm o mesmo "estilo" visual e funcional.
• Impostos e Tarifas: Ajuda a entender como as pessoas reagiriam a impostos sobre certos produtos.

Resumo em uma frase

Em vez de tentar listar todas as características de um produto (o que é impossível), os autores usam a Inteligência Artificial para "ler" a alma do produto (fotos e textos) e prever com precisão quem é o verdadeiro concorrente dele no mercado.

Eles até criaram um "kit de ferramentas" gratuito (um pacote de Python chamado DeepLogit) para que qualquer pesquisador possa usar essa técnica sem precisar ser um gênio em programação de IA.

Resumo técnico

Resumo Técnico: Estimativa de Demanda com Dados Não Estruturados

Autores: Giovanni Compiani (University of Chicago), Ilya Morozov (Northwestern University), Stephan Seiler (Imperial College London & CEPR).
Objetivo Principal: Propor uma abordagem para estimar padrões de substituição entre produtos diferenciados utilizando dados não estruturados (imagens e textos) quando dados sobre atributos estruturados são escassos, subjetivos ou difíceis de quantificar.

---

1. O Problema

A estimativa de demanda para produtos diferenciados é fundamental para análises econômicas e de marketing, como fusões, avaliação de tarifas e precificação ótima. O método padrão envolve estimar modelos de demanda que capturam a substituição através da similaridade de atributos observados (ex: tamanho, peso, especificações técnicas).

No entanto, essa abordagem enfrenta dois desafios práticos significativos:

1. Incompletude dos Dados: Pesquisadores raramente observam todos os atributos relevantes para a escolha. Eles dependem de dados de terceiros (com critérios desconhecidos) ou coletam dados subjetivamente, escolhendo quais atributos medir.
2. Atributos Difíceis de Quantificar: Os consumidores frequentemente valorizam dimensões como design visual e benefícios funcionais descritos em texto, que são difíceis de capturar através de atributos observados tradicionais (ex: a "estética" de um livro ou a "sensação" de um produto).

---

2. Metodologia Proposta

Os autores propõem um método que integra dados não estruturados em modelos de demanda padrão (Logit Misto) usando aprendizado profundo (Deep Learning). O processo consiste em três etapas principais:

Etapa 1: Extração de Embeddings (Representações Vetoriais)

Utilizam modelos de aprendizado profundo pré-treinados para transformar imagens e textos em vetores de baixa dimensão (embeddings):

• Imagens: Utilizam quatro redes neurais convolucionais (CNNs) pré-treinadas: VGG19, ResNet50, InceptionV3 e Xception. O objetivo é capturar características visuais que diferenciam os produtos.
• Textos: Utilizam modelos de processamento de linguagem natural (PLN) para títulos, descrições e resenhas. Incluem modelos simples (Bag-of-Words, TF-IDF) e modelos semânticos avançados: Universal Sentence Encoder (USE) e BERT Sentence Transformer (ST).

Etapa 2: Redução de Dimensionalidade (PCA)

Os embeddings são vetores de alta dimensão (ex: 512 dimensões), o que tornaria a estimação de modelos de logit com coeficientes aleatórios computacionalmente proibitiva.

• Aplicam Análise de Componentes Principais (PCA) para reduzir a dimensionalidade.
• A PCA é aplicada dentro de cada categoria de produto para focar nas diferenças entre produtos da mesma categoria, em vez de diferenças entre categorias distintas.
• Os componentes resultantes são ortogonais, evitando problemas de multicolinearidade.

Etapa 3: Incorporação no Modelo de Demanda e Seleção de Modelo

• Os componentes principais (PCs) são inseridos em um modelo Logit Misto (Mixed Logit) com coeficientes aleatórios, tratando-os como atributos observados.
• Algoritmo de Seleção de Modelo (Algoritmo 1): Como não se sabe a priori qual tipo de dado (imagem vs. texto) ou qual modelo de embedding captura melhor os padrões de substituição, os autores utilizam o AIC (Critério de Informação de Akaike) in-sample para selecionar a especificação ótima.
  • O algoritmo testa iterativamente a inclusão de coeficientes aleatórios para diferentes combinações de variáveis (preço + PCs) e seleciona a que minimiza o AIC.
  • Isso evita buscas combinatórias exaustivas e permite que o modelo escolha componentes específicos que são preditivos, ignorando outros.

---

3. Validação Experimental e Resultados

Experimento de Escolha (Dados de Laboratório)

Para validar a abordagem, os autores realizaram um experimento com 9.265 participantes escolhendo livros.

• Design: Os participantes fizeram uma escolha inicial (1ª escolha) e, após a remoção do item escolhido, uma segunda escolha (2ª escolha) entre os restantes.
• Validação: O modelo foi estimado apenas com os dados da 1ª escolha. A capacidade de prever a 2ª escolha (que revela para qual produto o consumidor substitui se o preferido não estiver disponível) serviu como "verdade terrestre" (ground truth) para validar os padrões de substituição.

Resultados do Experimento:

• O modelo baseado em resenhas de clientes (Reviews) usando o modelo USE superou significativamente os modelos baseados em atributos observados e o Logit Puro.
• Desempenho: O modelo de resenhas reduziu o Erro Quadrático Médio (RMSE) das previsões de substituição em 23% em relação ao Logit Puro, enquanto o melhor modelo baseado em atributos reduziu apenas 11,7%.
• Interpretabilidade: Os componentes principais extraídos das resenhas capturaram nuances que os atributos estruturados (gênero, ano, páginas) não conseguiam, como a similaridade entre livros do mesmo autor ou série, mesmo dentro do mesmo gênero.

Aplicação em Dados Observacionais (Amazon.com)

Os autores aplicaram o método a 40 categorias de produtos na Amazon (eletrônicos, roupas, alimentos, etc.), combinando dados de compra do painel Comscore com imagens e textos da Amazon.

• Generalidade: A abordagem melhorou consistentemente o ajuste do modelo (redução de AIC) em todas as 40 categorias em comparação com o Logit Puro.
• Diversidade de Dados: Não há uma regra universal sobre qual dado é melhor. Em algumas categorias (ex: eletrônicos), descrições técnicas funcionaram melhor; em outras (ex: videogames), imagens foram mais informativas. Em roupas, títulos e resenhas muitas vezes superaram as imagens, contrariando a intuição inicial.
• Taxas de Desvio (Diversion Ratios): O método produziu taxas de desvio muito mais variáveis e realistas (média de 47% para o substituto mais próximo) em comparação com o Logit Puro (22%), indicando uma melhor identificação de substitutos próximos.

---

4. Contribuições Principais

1. Incorporação de Dados Não Estruturados: Demonstra como transformar imagens e textos em vetores utilizáveis em modelos econométricos padrão de demanda, capturando atributos latentes (design, benefícios funcionais) que dados estruturados ignoram.
2. Validação Empírica Rigorosa: É um dos primeiros trabalhos a validar modelos de demanda contra padrões de substituição reais (dados de 2ª escolha) em um experimento controlado, provando que a melhoria no ajuste in-sample (AIC) se traduz em melhor desempenho contrafactual.
3. Ferramenta Prática (DeepLogit): Os autores lançaram um pacote Python (DeepLogit) para facilitar a adoção por pesquisadores, automatizando a extração de embeddings, a redução de dimensionalidade e a seleção de modelo.
4. Escalabilidade: A abordagem elimina a necessidade de coletar atributos específicos para cada categoria, permitindo estimar demanda em larga escala através de múltiplos mercados com dados facilmente disponíveis (imagens e textos de e-commerce).

---

5. Significância e Implicações

• Para Antitruste e Fusões: O método oferece uma ferramenta superior para simular fusões e calcular taxas de desvio, essenciais para avaliar o poder de mercado e o bem-estar do consumidor, especialmente em mercados onde os produtos são altamente diferenciados por design ou percepção (ex: livros, arte, moda).
• Para Estratégia de Negócios: Ajuda empresas a entenderem quem são seus verdadeiros concorrentes (substitutos próximos) além das categorias tradicionais, auxiliando em estratégias de precificação, lançamento de novos produtos e gestão de portfólio.
• Limitações e Fronteiras: O método assume que os embeddings permanecem fixos em cenários contrafactuais. Portanto, é menos adequado para simulações onde o design do produto muda (alterando a imagem/texto) ou onde as resenhas dependem diretamente do preço (ex: "bom custo-benefício").
• Futuro: Abre caminho para o uso de modelos de IA mais avançados (como LLMs de última geração) e para a integração de dados não estruturados em modelos de demanda mais flexíveis.

Em resumo, o artigo estabelece que dados não estruturados contêm sinais robustos de substituição e que, ao utilizá-los corretamente com técnicas de aprendizado de máquina, é possível superar as limitações dos métodos tradicionais de estimativa de demanda, oferecendo previsões contrafactuais mais precisas e acionáveis.