Resumo Técnico: Uma Estrutura Estatística para Aprender Preferências a Partir do Passado

Declaração do Problema

Em diversos domínios do mundo real, como recomendação online, modelagem de escolha do consumidor e serviços de streaming, indivíduos fazem seleções repetidas a partir de um conjunto fixo de opções. Estimar com precisão as preferências subjacentes dos usuários é fundamental para gerar recomendações futuras personalizadas. Embora os métodos existentes frequentemente dependam da frequência de escolha, este artigo argumenta que a intensidade de uma escolha (por exemplo, valor gasto, duração da visualização ou valor do pedido) fornece uma quantificação mais forte da preferência do que a frequência isoladamente.

O desafio central abordado é a estimação das probabilidades de preferência do usuário com base em decisões passadas sob uma suposição de monotonicidade natural: opções escolhidas com mais frequência ou com mais intensidade no passado têm maior probabilidade de serem escolhidas novamente no futuro. Os autores visam ir além do ajuste de curvas heurístico e de modelos paramétricos (como os utilizados para forrageamento de colônias de formigas) para desenvolver uma estrutura estatisticamente rigorosa e não paramétrica que leve em conta tanto o histórico de escolhas quanto suas intensidades variáveis.

Metodologia

Formulação do Modelo

Os autores propõem uma estrutura probabilística onde a escolha de um usuário no tempo $t+1$ é condicionada à intensidade relativa das escolhas passadas até o tempo $t$.

• Estrutura de Dados: Para $N$ usuários, cada um faz uma sequência de escolhas entre duas opções ($c_1$ e $c_0$) ao longo de uma janela de tempo discreta. Cada escolha está associada a uma intensidade $W_t$.
• Intensidade Relativa ($R_t$): Definida como a proporção ponderada de vezes que a opção $c_1$ foi escolhida em relação à intensidade total de todas as escolhas até o tempo $t$:
  $$R_t = \frac{\sum_{i=1}^t U_i W_i}{\sum_{i=1}^t W_i}$$
  onde $U_i \in \{0, 1\}$ indica a escolha e $W_i$ é a intensidade.
• Função de Preferência ($h$): A probabilidade de escolher $c_1$ no tempo $t+1$ é modelada como $P(U_{t+1}=1 | R_t) = h(R_t)$.
• Restrição: A função $h: [0, 1] \to [0, 1]$ é assumida como não decrescente, capturando a dinâmica de reforço onde uma maior intensidade relativa passada aumenta a probabilidade de seleção futura.

Conexão com Processos Estocásticos

A estrutura se inspira no passeio aleatório do elefante generalizado (introduzido por [16]). No caso especial onde as intensidades de escolha são iguais ($W_t \equiv 1$), a sequência de escolhas neste modelo corresponde um-a-um com os passos de um passeio aleatório do elefante generalizado. Essa conexão motiva o uso de métodos não paramétricos em vez dos modelos paramétricos aplicados anteriormente à seleção de caminhos de formigas (por exemplo, [7], [9]).

Procedimento de Estimação

Os autores empregam a Estimação de Máxima Verossimilhança Não Paramétrica (NPMLE) sob a restrição de monotonicidade.

1. Construção da Verossimilhança: A log-verossimilhança é formulada com base nas observações de escolhas e suas intensidades relativas correspondentes.
2. Otimização: O estimador $\hat{h}_N$ é definido como a única função de degrau não decrescente e contínua à direita que maximiza a log-verossimilhança. Isso é resolvido como um problema de otimização convexa (regressão isotônica) usando o Algoritmo de Pool Adjacent Violators (PAVA).
3. Conjuntos de Confiança: Em vez de depender de intervalos do tipo Wald (que exigem a estimação de parâmetros de incômodo, como derivadas de $h$ e a distribuição de $R_t$), os autores constroem conjuntos de confiança invertendo testes de razão de verossimilhança. Essa abordagem aproveita a distribuição assintótica da estatística de razão de verossimilhança, que é pivotal e não requer estimação de parâmetros de incômodo.

Principais Resultados Teóricos

O artigo estabelece propriedades assintóticas rigorosas para o estimador proposto sob suposições de regularidade padrão (suporte limitado das contagens de escolhas, suavidade da distribuição subjacente e derivada não nula de $h$).

1. Distribuição Assintótica do Estimador:
   O estimador $\hat{h}_N(r_0)$ em um ponto fixo $r_0$ converge a uma taxa de $N^{1/3}$ (mais lenta que a taxa padrão $N^{1/2}$ típica em configurações paramétricas). A distribuição limite é caracterizada pela distribuição de Chernoff (a distribuição da localização do mínimo de um movimento browniano bilateral com deriva quadrática).
   $$N^{1/3}(\hat{h}_N(r_0) - h(r_0)) \xrightarrow{d} C \cdot \arg\max_{x \in \mathbb{R}} (B(x) - x^2)$$
   onde $B(x)$ é um movimento browniano bilateral.

2. Estatística de Razão de Verossimilhança:
   A estatística de razão de verossimilhança para testar $H_0: h(r_0) = h_0$ converge em distribuição para uma variável aleatória $D$, definida como a integral da diferença quadrática entre o menor convexo de um movimento browniano com deriva e sua restrição.
   $$2 \log \lambda_N(h_0) \xrightarrow{d} \int \left( (g_{1,1}(x))^2 - (g^0_{1,1}(x))^2 \right) dx$$
   Este resultado permite a construção de intervalos de confiança sem estimar a derivada $h'(r_0)$ ou a densidade das covariáveis, evitando o problema do "parâmetro de incômodo" comum na estimação de funções monótonas.

Resultados Empíricos

Estudos de Simulação

Os autores conduziram simulações extensas em seis configurações variando o número de escolhas (constante vs. aleatório) e regimes de intensidade (igual, uniforme e persistente).

• Métricas de Desempenho: Eles avaliaram o Erro de Teste (precisão preditiva contra um oráculo) e o Erro de Calibração Esperado (ECE).
• Descobertas:
  • Tanto o erro de teste quanto o ECE diminuíram consistentemente à medida que o tamanho da amostra $N$ aumentava, demonstrando consistência.
  • Os estimadores foram bem calibrados mesmo em tamanhos de amostra moderados.
  • Os conjuntos de confiança de 95% exibiram comportamento desejável: seu comprimento diminuiu monotonicamente com $N$, e as probabilidades de cobertura permaneceram próximas ao nível nominal de 0,95 em todas as configurações.

Aplicação no Mundo Real

A estrutura foi aplicada ao conjunto de dados MovieLens (20M) para estimar preferências de usuários por gêneros de filmes (por exemplo, Ação vs. Romance).

• Configuração: As classificações dos usuários foram tratadas como intensidades de escolha. O modelo foi treinado nas escolhas 11–15 e testado nas escolhas 16–20.
• Comparação de Intensidade: Os autores compararam um modelo de "Intensidade Constante" (todas as escolhas ponderadas igualmente) contra um modelo de "Intensidade Baseada em Classificação" (pesos iguais à classificação do usuário).
• Resultados: A intensidade baseada em classificação não produziu melhorias substanciais sobre o modelo de intensidade constante em termos de precisão preditiva ou calibração. Isso sugere que, para este conjunto de dados específico, o modelo de intensidade constante mais simples captura a estrutura essencial dos dados.
• Interpretabilidade: As funções de preferência estimadas e seus conjuntos de confiança forneceram insights acionáveis. Por exemplo, os intervalos de confiança permitiram a tomada de decisão consciente de risco, distinguindo entre usuários com alta certeza de preferência e aqueles com alta incerteza.

Significado e Alegações

O artigo afirma fornecer uma estrutura estatística novel que preenche a lacuna entre as dinâmicas de reforço observadas na natureza (colônias de formigas) e a tomada de decisão humana. Suas principais contribuições são:

1. Flexibilidade Não Paramétrica: Diferentemente de abordagens paramétricas anteriores, esta estrutura não impõe fortes suposições de forma funcional, permitindo capturar comportamentos diversos dos usuários.
2. Incorporação de Intensidade: Modela explicitamente a intensidade das escolhas, reconhecendo que nem todas as ações dos usuários carregam peso igual.
3. Rigor Estatístico: Fornece as primeiras garantias teóricas (consistência, distribuição assintótica e conjuntos de confiança) para estimação de preferências sob restrições de monotonicidade neste cenário específico de reforço.
4. Utilidade Prática: Os conjuntos de confiança baseados em razão de verossimilhança oferecem uma maneira fundamentada de quantificar a incerteza sem estimação complexa de parâmetros de incômodo, tornando o método robusto e aplicável a sistemas de recomendação do mundo real.

Os autores concluem que, embora a estrutura seja atualmente projetada para configurações estacionárias, ela serve como um passo fundamental para trabalhos futuros envolvendo dinâmicas não estacionárias e a inclusão de covariáveis específicas do usuário.