Large Language Models for Market Research: A Data-augmentation Approach

Resumo Técnico: Modelos de Linguagem de Grande Escala (LLMs) para Pesquisa de Mercado: Uma Abordagem de Aumento de Dados

1. O Problema

A pesquisa de mercado, particularmente a análise conjunta (conjoint analysis), é fundamental para entender as preferências dos consumidores, mas enfrenta desafios significativos de escalabilidade e custo. Métodos tradicionais baseados em pesquisas com humanos são caros e demorados.
Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham o potencial de gerar dados sintéticos que simulam o comportamento humano, a literatura recente aponta uma lacuna crítica:

• Viés Inerente: Os dados gerados por LLMs não são substitutos diretos perfeitos para dados humanos. Existe uma discrepância sistemática (viés) entre as respostas de um LLM e as de um ser humano real, mesmo com prompting avançado ou fine-tuning.
• Falha de Abordagens Ingênuas: A simples substituição de dados humanos por dados de LLM, ou a concatenação ingênua (pooled) de ambos os conjuntos de dados, resulta em estimadores viciados e inconsistentes. O artigo demonstra empiricamente que, à medida que mais dados de LLM são adicionados a um modelo ingênuo, o erro de estimação pode aumentar em vez de diminuir.

2. Metodologia Proposta: O Estimador Aumentado por IA (AAE)

Os autores propõem uma nova abordagem estatística de aumento de dados que integra dados gerados por IA com dados reais de forma robusta, inspirada nos conceitos de Transfer Learning e Knowledge Distillation.

Estrutura dos Dados:

• Dados Primários ($m$): Um pequeno conjunto de dados contendo características do produto ($x$), a escolha real do humano ($y$) e a escolha gerada pelo LLM ($z$).
• Dados Auxiliares ($n$): Um grande conjunto de dados contendo apenas características do produto ($x$) e a escolha gerada pelo LLM ($z$), sem a escolha humana real ($y$).

O Algoritmo em Duas Etapas (AAE):

1. Estimativa da Discrepância (Etapa 1): Utiliza-se o pequeno conjunto de dados primários para aprender uma função de mapeamento (modelo $g$) que estima a probabilidade condicional da escolha humana dada a escolha do LLM e as características do produto: $P(y | x, z)$. Isso captura como o LLM se desvia do comportamento humano.
2. Correção e Estimação (Etapa 2): Utiliza-se o grande conjunto de dados auxiliares para estimar os parâmetros de preferência ($\beta$). Em vez de usar $z$ diretamente como rótulo, o método usa o modelo aprendido na Etapa 1 para prever a escolha humana esperada ($\hat{y}$) baseada em $x$ e $z$, e então ajusta a função de verossimilhança para maximizar a concordância com essas previsões corrigidas.

Diferença Chave em relação a PPI (Prediction-Powered Inference):
Enquanto métodos como PPI corrigem o viés no nível da função de perda (subtraindo diferenças de log-verossimilhança), o AAE corrige diretamente o viés no nível do mapeamento entre características e rótulos. Isso permite uma correção mais granular, especialmente em espaços de alta dimensão.

3. Contribuições Teóricas

O artigo estabelece garantias teóricas rigorosas para o estimador AAE:

• Consistência e Normalidade Assintótica: O estimador $\hat{\beta}_{AAE}$ é consistente e assintoticamente normal, convergindo para o verdadeiro parâmetro de preferência ($\beta^*$) à medida que $m$ e $n$ aumentam.
• Redução de Variância: O AAE demonstra dominância de variância sobre o estimador baseado apenas em dados humanos ($\hat{\beta}_P$) quando o conjunto de dados auxiliares é suficientemente grande e informativo.
• Limites de Desempenho em Amostra Finita: Os autores derivam limites de erro de alta probabilidade, mostrando que o erro final depende criticamente da precisão da estimativa da discrepância na primeira etapa.
• Superioridade sobre Abordagens Ingênuas: Prova-se teoricamente que a abordagem ingênua (pooled) é inconsistente, enquanto o AAE remove o viés sistemático introduzido pelos LLMs.

4. Resultados Empíricos

Os autores validaram o framework em dois estudos de caso principais:

Estudo 1: Preferências por Vacinas COVID-19

• Dados: Baseado em um conjunto de dados real de 1.971 participantes (Kreps et al., 2020) com 7 atributos de vacinas.
• Configuração: Testaram vários modelos (GPT-3.5, GPT-4, GPT-4o) com diferentes técnicas de prompting (básico, Chain-of-Thought, Few-shot) e fine-tuning.
• Resultados:
  • Abordagens ingênuas e uso exclusivo de IA aumentaram o erro de estimação (MAPE) em comparação com o uso apenas de dados humanos.
  • O AAE reduziu consistentemente o erro em todos os cenários, superando significativamente os benchmarks (incluindo PPI e PPI++).
  • Economia de Dados: O uso do AAE permitiu economizar entre 24,9% e 79,8% no tamanho da amostra humana necessária para atingir o mesmo nível de precisão, dependendo do modelo de IA e do tamanho da amostra primária.

Estudo 2: Escolha de Carros Esportivos

• Dados: Conjunto de dados real sobre preferências de carros esportivos.
• Resultados: Confirmou a robustez do método em um contexto diferente, com economias de dados variando de 5,1% a 60,3%.
• Comparação com PPI: Em cenários de alta dimensionalidade (muitos atributos), o AAE superou significativamente os métodos PPI, que tendem a falhar quando a função de perda não captura toda a informação do mapeamento complexo.

5. Significado e Conclusão

• Viabilidade Prática: O estudo demonstra que os dados gerados por LLMs não devem ser usados como substitutos diretos, mas sim como complementos valiosos dentro de um framework estatístico correto.
• Eficiência de Custos: A abordagem oferece uma solução escalável e econômica para a pesquisa de mercado, permitindo que empresas realizem análises conjuntas mais granulares com custos drasticamente reduzidos de recrutamento de participantes.
• Futuro da Pesquisa: O framework é agnóstico ao modelo de IA, o que significa que, à medida que os LLMs melhorarem, o AAE se tornará ainda mais preciso, desde que a integração estatística seja mantida.
• Implicação Teórica: O trabalho preenche uma lacuna importante entre a inteligência artificial generativa e a econometria/métodos estatísticos tradicionais, fornecendo uma base teórica sólida para o uso de "rótulos sintéticos" em inferência causal e estimação de preferências.

Em resumo, o artigo propõe que a chave para utilizar LLMs na pesquisa de mercado não é tentar torná-los perfeitos, mas sim modelar e corrigir estatisticamente suas imperfeições para extrair valor informativo sem introduzir viés.