Deep Ranking with Heterogeneous Effect

Resumo Técnico: Deep Ranking with Heterogeneous Effect

1. O Problema

Os modelos clássicos de ranking baseados em pontuação latente (como os modelos de Bradley-Terry e Plackett-Luce) assumem que cada objeto possui uma pontuação intrínseca fixa (utilidade). No entanto, em aplicações reais (esportes, redes sociais, ciência de dados), os resultados das comparações são frequentemente dominados por efeitos contextuais não lineares (como condições climáticas, atributos demográficos, nível de fadiga ou prompts de tarefa).

Os modelos tradicionais falham em distinguir a utilidade intrínseca do objeto desses efeitos contextuais variáveis. Quando os contextos mudam, a pontuação fixa torna-se inadequada, levando a uma perda de poder preditivo. Além disso, a presença de efeitos contextuais complexos pode violar a transitividade estocástica, um pressuposto fundamental nos modelos clássicos.

2. Metodologia Proposta: Modelo DHR

Os autores introduzem o Deep Heterogeneous Ranking (DHR), um framework semiparamétrico que combina a interpretabilidade dos modelos clássicos com a capacidade de aproximação não linear de Redes Neurais Profundas (DNNs).

• Formulação do Modelo:
  O log-score de um objeto $j$ em uma comparação (hiperaresta) $e$ é modelado como a soma de uma utilidade intrínseca e um efeito de covariável não paramétrico:
  $$s_{e,j}(u, f) = u_j + f(X_{e,j})$$
  Onde:

  • $u_j \in \mathbb{R}$: Utilidade intrínseca do objeto (parâmetro paramétrico).
  • $X_{e,j} \in \mathbb{R}^d$: Vetor de características contextuais dependentes da aresta.
  • $f(\cdot)$: Uma função não paramétrica (aproximada por uma DNN) que captura o efeito das covariáveis.
  • A probabilidade de observar uma permutação $\pi$ segue a estrutura do modelo Plackett-Luce, mas utilizando os scores $s_{e,j}$ modificados.

• Estimação:

  • A função $f$ é parametrizada por uma Rede Neural Profunda (DNN) com camadas ocultas e ativação ReLU.
  • Os parâmetros $(u, f)$ são estimados via Máxima Verossimilhança (MLE).
  • Para garantir a identificabilidade, a função estimada $\hat{f}$ é centralizada empiricamente (sua média sobre as covariáveis observadas é subtraída).
  • O algoritmo de otimização utiliza Descida de Gradiente Estocástico Projetado (Projected SGD) para lidar com a não convexidade do problema e as restrições de identificabilidade (ex: soma das utilidades igual a zero).

3. Contribuições Principais

1. Framework Semiparamétrico Geral:
   Propõem um modelo que generaliza o modelo PlusDC (que assume efeitos lineares) permitindo efeitos contextuais não lineares e de alta dimensão. O modelo é capaz de capturar intransitividades estocásticas e interações complexas que modelos lineares não conseguem.

2. Identificabilidade do Modelo:
   Estabelecem condições sob as quais o modelo é identificável, assumindo conectividade no grafo de comparações e regularidade nas distribuições das covariáveis. Mostram que a decomposição em utilidade + efeito contextual resolve ambiguidades de deslocamento (shift-invariance) comuns em modelos puramente não paramétricos.

3. Análise Teórica de Erro Não-Assintótico:
   Derivam limites superiores de erro para o estimador de máxima verossimilhança (MLE) sob um modelo de hipergrafo aleatório não uniforme (NURHM).

   • Resultados de Otimização Minimax: Os limites de erro alcançam a taxa minimax ótima tanto para o componente paramétrico (utilidades) quanto para o componente não paramétrico (DNN).
   • Taxas de Convergência: O erro total é governado pela taxa mais lenta entre a aproximação da função (dependente da suavidade $\beta$ e dimensão $d$) e a estimação dos parâmetros (dependente da razão $n/N$).
   • Técnica Inovadora: A prova utiliza uma generalização da técnica de "chaining" para localizar o estimador de utilidade dentro de uma vizinhança $\ell_\infty$, conectando a teoria de aprendizado não paramétrico com a teoria de ranking estatístico.

4. Resultados Experimentais

Os autores validaram o modelo em dois cenários:

• Dados Sintéticos:

  • Verificaram a consistência uniforme do MLE conforme o tamanho da amostra e a densidade do grafo aumentam.
  • Demonstraram que a precisão melhora com a suavidade da função verdadeira e com a densidade do grafo de comparações.
  • Confirmaram a transição de regimes de erro: quando a amostra é pequena, o erro é dominado pela estimação de parâmetros; quando grande, é dominado pela aproximação da função.

• Dados Reais (Tênis ATP):

  • Utilizaram um conjunto de dados com 21.385 partidas de tênis (2016-2025) envolvendo 389 jogadores.
  • Covariáveis: Incluíram metadados da partida, perfil do jogador (idade, altura, mão) e estatísticas técnicas recentes.
  • Comparação: O modelo DHR superou consistentemente três baselines:
    1. Bradley-Terry (BT): Modelo clássico sem covariáveis.
    2. PlusDC: Modelo com covariáveis, mas assumindo uma relação linear.
    3. Ablated: Modelo com DNN, mas sem utilidades intrínsecas.
  • Métricas: O DHR obteve a maior acurácia de previsão (64.57%), o melhor log-verossimilhança e o menor Brier Score.
  • Análise Temporal: O modelo conseguiu capturar dinâmicas temporais complexas, como o declínio da "Big Three" (Djokovic, Nadal, Federer) e a ascensão rápida de novos jogadores (Alcaraz, Sinner), algo que modelos estáticos não conseguem refletir adequadamente.

5. Significado e Impacto

Este trabalho representa um avanço significativo na interseção entre estatística de ranking e aprendizado profundo.

• Flexibilidade: Permite modelar cenários onde o contexto altera drasticamente a probabilidade de vitória, sem sacrificar a interpretabilidade das habilidades intrínsecas dos competidores.
• Fundamentação Teórica: É a primeira análise não-assintótica de um framework semiparamétrico para ranking assistido por covariáveis, provando que redes neurais podem ser usadas de forma estatisticamente rigorosa (alcançando taxas minimax) neste contexto.
• Aplicabilidade: Oferece uma ferramenta robusta para análise esportiva, sistemas de recomendação e qualquer domínio onde comparações relativas dependam de variáveis de contexto complexas e não lineares.

Em suma, o DHR resolve a limitação fundamental dos modelos de ranking estáticos ao integrar dinamicamente informações contextuais via deep learning, mantendo garantias teóricas sólidas de consistência e otimalidade.