Measuring the stability and plasticity of recommender systems

1. Declaração do Problema

Os protocolos de avaliação offline tradicionais para sistemas de recomendação dependem de conjuntos de dados estáticos, dividindo os dados em conjuntos de treinamento e teste para medir o desempenho em um instante específico. No entanto, os sistemas do mundo real são dinâmicos; eles evoluem ao longo do tempo, exigindo retreinamento frequente com dados recentes. Isso cria uma lacuna crítica nos métodos de avaliação atuais:

• O Dilema Estabilidade-Plasticidade: Os sistemas enfrentam um trade-off entre estabilidade (retenção de padrões previamente aprendidos) e plasticidade (adaptação rápida a novos padrões).
• Limitações dos Métodos Atuais: As estruturas de aprendizado contínuo existentes (frequentemente usadas em classificação supervisionada) dependem de "tarefas" distintas, um conceito ambíguo em sistemas de recomendação onde o fluxo de dados é contínuo sem limites claros de tarefa. Além disso, a maioria das pesquisas foca no "esquecimento catastrófico" (estabilidade), negligenciando a plasticidade.
• A Necessidade: Há uma falta de um framework unificado e agnóstico para medir como diferentes algoritmos de recomendação se comportam ao serem retreinados em dados em evolução, especificamente em relação à sua capacidade de equilibrar a retenção de conhecimento antigo versus a assimilação de novos padrões.

2. Metodologia

Os autores propõem um protocolo de avaliação offline agnóstico a algoritmos e métricas, projetado para simular a evolução de dados do mundo real e medir estabilidade e plasticidade.

3.1 Dinâmica de Dados (Deslocamento Artificial)

Para controlar o timing e a natureza da mudança, os autores introduzem um deslocamento artificial no conjunto de dados:

1. Divisão Temporal: O conjunto de dados $D$ é dividido cronologicamente em dois intervalos iguais, $D_1$ (mais antigo) e $D_2$ (mais recente).
2. Manipulação de Rótulos: 50% dos itens em $D_2$ são selecionados aleatoriamente e seus IDs são alterados para rótulos novos e únicos.
   • Isso força o modelo a tratar esses itens como entidades inteiramente novas em $D_2$.
   • Os 50% restantes dos itens mantêm seus IDs originais, preservando alguns padrões naturais de interação.
3. Resultado: Isso cria um cenário onde a distribuição subjacente muda, forçando os modelos a se adaptarem (plasticidade) enquanto potencialmente esquecem padrões antigos (estabilidade).

3.2 Protocolo Experimental

Dois modelos são treinados para simular um cenário de "legado" versus "retreinado":

• Modelo $M_1$ (Legado): Treinado apenas em $D_1$.
• Modelo $M_2$ (Retreinado): Treinado em ambos $D_1$ e $D_2$.
• Avaliação: Ambos os modelos são testados nos conjuntos de teste retidos de ambos os períodos de tempo ($D_{Test}^1$ e $D_{Test}^2$).

3.3 Métricas

O framework define duas métricas centrais baseadas nas pontuações de desempenho ($S$) dos modelos nos conjuntos de teste:

• Estabilidade: Mede o quão bem o modelo retreinado ($M_2$) mantém o desempenho em dados antigos em comparação com o modelo legado ($M_1$).
  $$Estabilidade = 1 - (S_{1,1} - S_{2,1})$$
  Onde $S_{1,1}$ é $M_1$ em $D_{Test}^1$ e $S_{2,1}$ é $M_2$ em $D_{Test}^1$.
  • Interpretação: Um valor próximo de 1 indica alta estabilidade (sem queda de desempenho em dados antigos). Valores $>1$ implicam que o modelo retreinado realmente melhorou em dados antigos.
• Plasticidade: Mede a capacidade do modelo retreinado ($M_2$) de se adaptar a novos dados em comparação com o modelo legado ($M_1$).
  $$Plasticidade = S_{2,2} - S_{1,2}$$
  Onde $S_{2,2}$ é $M_2$ em $D_{Test}^2$ e $S_{1,2}$ é $M_1$ em $D_{Test}^2$.
  • Interpretação: Valores mais altos indicam melhor adaptação ao novo regime.

3. Contribuições Principais

1. Um Framework Inovador: Um protocolo de avaliação projetado especificamente para sistemas de recomendação que não requer "tarefas" predefinidas, tornando-o aplicável a fluxos de dados contínuos.
2. Design Agnóstico: A metodologia é independente do algoritmo específico (por exemplo, Neural vs. Fatoração de Matriz), do conjunto de dados ou da métrica de avaliação (precisão, diversidade, etc.).
3. Insights Empíricos: Evidência preliminar de um trade-off entre estabilidade e plasticidade em diferentes paradigmas algorítmicos.

4. Resultados Experimentais

Os autores avaliaram três algoritmos representativos da biblioteca RecBole no conjunto de dados GoodReads (resenhas de livros):

• UKNN: Vizinhos Mais Próximos Baseado em Usuário (Baseado em Vizinhança).
• BPRMF: Fatoração de Matriz de Classificação Personalizada Bayesiana (Fator Latente).
• NeuMF: Fatoração de Matriz Neural (Deep Learning).

Principais Descobertas:

• UKNN (Baseado em Vizinhança):
  • Alta Estabilidade (1,038): Reteve ou até melhorou o desempenho em dados antigos após o retreinamento.
  • Baixa Plasticidade (0,180): Lutou significativamente para se adaptar aos novos itens em $D_2$.
  • Análise: Métodos de vizinhança atuam como "memorização" de interações; adicionar novos dados não sobrescreve padrões antigos, mas falha em integrar novos de forma eficaz.
• BPRMF (Fatoração de Matriz):
  • Menor Estabilidade (0,989): Sofreu uma leve queda de desempenho em dados antigos.
  • Maior Plasticidade (0,283): Mostrou a melhor capacidade de se adaptar a novos padrões.
• NeuMF (Neural):
  • Perfil Equilibrado: Estabilidade (1,008) e Plasticidade (0,276) ficaram entre UKNN e BPRMF, mostrando forte retenção e boa adaptabilidade.

Conclusão sobre Trade-offs: Os resultados sugerem um trade-off distinto. Modelos baseados em vizinhança (UKNN) são rígidos e estáveis, mas inflexíveis. Abordagens baseadas em modelos (BPRMF, NeuMF) são mais sensíveis a novos padrões (maior plasticidade), mas correm o risco de leve degradação em dados históricos (menor estabilidade).

5. Significado e Trabalho Futuro

• Impacto Prático: Este framework permite que arquitetos de sistemas selecionem algoritmos com base nas dinâmicas do domínio. Por exemplo, domínios altamente dinâmicos (notícias, mídias sociais) podem favorecer modelos de alta plasticidade, enquanto domínios estáticos (livros, música) podem se beneficiar de modelos de alta estabilidade.
• Conformidade Regulatória: Compreender esses perfis auxilia na avaliação de riscos para regulamentações como a Lei de Serviços Digitais da UE, prevendo como os sistemas reagem a deslocamentos de dados.
• Limitações e Trabalho Futuro:
  • O deslocamento artificial de 50% pode subestimar o impacto do desvio do mundo real.
  • O protocolo atual possui um viés potencial de "vazamento temporal" onde $M_2$ tem conhecimento futuro em relação a $D_1$.
  • O trabalho futuro inclui a expansão para mais conjuntos de dados, testar métricas além da precisão (diversidade, justiça) e lançar um pacote de software de código aberto para reprodutibilidade.

Em resumo, este artigo vai além das métricas estáticas de precisão para fornecer uma lente dinâmica para avaliar sistemas de recomendação, destacando que o algoritmo "melhor" depende do equilíbrio específico de estabilidade e plasticidade exigido pelo contexto da aplicação.