Resumo Técnico: Currículo de Representação para Classificação e Alocação Robusta

1. Definição do Problema

Os sistemas modernos de classificação de marketplaces digitais operam como mecanismos dinâmicos de alocação de exposição. Esses sistemas dependem fortemente de sinais endógenos e com confusão de exposição (ex: estimativas de popularidade, CTR/CVR históricos e representações baseadas em ID), pois tais sinais são altamente preditivos sob uma demanda aproximadamente estacionária e explicam uma parte significativa da variância dos resultados registrados (logged outcomes).

No entanto, esse poder preditivo cria uma patologia de aprendizado:

• Aprendizado de Atalhos (Shortcut Learning): O acesso precoce a sinais de crença dependentes de exposição durante o treinamento direciona a dinâmica de otimização para uma dependência excessiva desses sinais.
• Inanição de Gradiente (Gradient Starvation): No aprendizado de classificação por pares (pairwise) ou de lista (listwise), preditores fortes (crenças históricas) podem criar grandes lacunas de pontuação no início do treinamento, fazendo com que a função de perda sature. Isso suprime os gradientes para pistas mais fracas, porém essenciais, especificamente os sinais de mérito independentes de exposição (ex: competitividade baseada em conteúdo, afinidade de intenção semântica).
• Consequências: A política aprendida tende a consolidar os incumbentes, degradar a generalização para o cold-start e reduzir a robustez sob mudanças de distribuição. Isso leva a loops de exposição autorreforçados que prejudicam a descoberta, a equidade (fairness) e a saúde do ecossistema a longo prazo.

As estratégias de mitigação existentes (aprendizado contrafactual, modelagem de supervisão, contração, restrições arquiteturais e mascaramento estocástico) são frequentemente agnósticas à semântica ou falham em controlar como a capacidade de aprendizado é alocada entre grupos de atributos ao longo do tempo.

2. Metodologia: Currículo de Representação (RC)

Os autores propõem o Currículo de Representação (RC), uma intervenção temporal de treinamento consciente da semântica para evitar a dependência de atalhos em sinais históricos.

Mecanismo Central

O RC particiona os atributos em dois grupos semânticos:

1. Sinais de mérito baseados em conteúdo ($x_C$): Disponíveis independentemente da exposição prévia (ex: atributos do item, afinidade entre consulta e item).
2. Sinais de crença histórica dependentes de exposição ($x_H$): Derivados de interações passadas (ex: CTR estabilizado, transações históricas).

O RC implementa um currículo de treinamento em duas etapas:

• Etapa 1 (Apenas Conteúdo): O modelo é treinado exclusivamente com sinais baseados em conteúdo ($x_C$), com os sinais históricos mascarados ($x_H = 0$). Isso força o aprendiz a desenvolver uma "via de conteúdo" robusta, capaz de explicar a variação dos rótulos sem depender de atalhos históricos.
• Etapa 2 (Completo + Ancoragem): Os sinais históricos ($x_H$) são introduzidos. No entanto, a otimização é ancorada à solução da Etapa 1 para preservar as representações de conteúdo aprendidas. Isso é alcançado via duas estratégias de ancoragem complementares:
  1. Ancoragem de Predição (Consistência de Máscara): Garante que as predições do modelo da Etapa 2 em entradas mascaradas (onde $x_H=0$) permaneçam consistentes com o modelo da Etapa 1.
  2. Ancoragem de Parâmetros (Proteção da Via de Conteúdo): Regulariza explicitamente os parâmetros da via de conteúdo ($\theta_C$) para permanecerem próximos aos seus valores da Etapa 1 ($\theta_C^{(1)}$).

A função de objetivo da Etapa 2 combina a perda da tarefa principal, regularização padrão e os termos de ancoragem:
$$\mathcal{L}_{total} = \mathbb{E}[\mathcal{L}(f_\theta(x_C, x_H); y)] + \lambda \Omega(\theta) + \mu_1 \mathcal{L}_{pred}(\theta) + \mu_2 \mathcal{L}_{par}(\theta)$$

Agnosticismo de Modelo

O RC é aplicável a diferentes classes de hipóteses:

• Redes Neurais: Implementado em arquiteturas de duas torres (two-tower), onde a torre de conteúdo do item é ancorada.
• Árvores de Decisão Impulsionadas por Gradiente (GBDTs): Implementado ajustando um conjunto inicial de árvores ($M$) usando apenas atributos de conteúdo, e então continuando o impulsionamento (boosting) das árvores restantes ($T-M$) usando todos os atributos, tratando a saída da Etapa 1 como uma margem base fixa.

3. Garantias Teóricas

Os autores formalizam o RC em um cenário de regressão de ridge linear gaussiana para derivar soluções de forma fechada e condições de suficiência verificáveis.

• Tradeoff de Pareto: A análise demonstra que o RC permite um tradeoff quantificado entre o desempenho na distribuição de origem registrada ($P$) e uma distribuição alvo estratégica ($Q$) que enfatiza segmentos de cold-start ou subexpostos.
• Limites de Risco (Risk Bounds):
  • Desempenho de Origem: O RC mantém o arrependimento (regret) limitado em relação a um modelo completo padrão (treinado com todos os atributos) na distribuição registrada $P$.
  • Robustez do Alvo: O RC reduz significativamente o risco populacional na distribuição alvo $Q$ (especificamente em cenários de "início congelado" onde $x_H$ está ausente ou não é confiável).
• Condições para Melhoria: O artigo fornece condições suficientes sob as quais o RC reduz estritamente o risco na distribuição alvo enquanto permanece competitivo na origem. Essas condições dependem do condicionamento do complemento de Schur da matriz de covariância e da margem entre o modelo completo e o modelo apenas de conteúdo.

4. Resultados Experimentais

A eficácia do RC é validada através de benchmarks públicos e um implantação online em larga escala:

• MSLR-WEB (Learning-to-Rank): O RC reduziu com sucesso a importância dos sinais de crença histórica altamente preditivos. Essa mudança melhorou a qualidade do ranking para itens cold-item com degradação mínima no desempenho geral.
• MovieLens (Recomendação): Em um cenário neural de duas torres, o RC moldou o modelo para uma dependência mais forte de atributos de conteúdo. Isso resultou em um desempenho significativamente melhor em cenários de "início congelado" (simulando situações onde sinais históricos não estão disponíveis).
• eBay Sponsored Search (Teste A/B Online): Um experimento randomizado em um sistema de e-commerce real mostrou que uma política treinada via RC:
  • Aumentou a exposição e a velocidade de vendas para novos anúncios (cold-start items).
  • Manteve KPIs agregados neutros, indicando que a mudança para o mérito baseado em conteúdo não prejudicou a eficiência geral do marketplace.

5. Significância e Alegações

O artigo afirma que o Currículo de Representação oferece uma vantagem distinta sobre os métodos existentes ao controlar explicitamente a trajetória temporal do aprendizado, em vez de apenas o objetivo final ou a distribuição de dados.

• Design de Mecanismo: O RC atua como uma ferramenta de design de mecanismo que alinha o processo de aprendizado com objetivos alinhados ao bem-estar (ex: apoiar novos fornecedores) sem sacrificar o poder preditivo dos dados históricos.
• Robustez: Ao prevenir o "atalho" de depender excessivamente de sinais endógenos, o RC produz políticas que são mais robustas a mudanças de distribuição e melhores em generalizar para subpopulações estratégicas (cold-start).
• Praticidade: O método é agnóstico ao modelo e integra-se perfeitamente aos pipelines de treinamento existentes (neurais e baseados em árvores) com mudanças arquiteturais mínimas, exigindo apenas um cronograma de treinamento em estágios e restrições de ancoragem.

Os autores concluem que o RC efetivamente desloca a dependência de sinais de crença histórica para sinais de mérito baseados em conteúdo, gerando ganhos consistentes em populações de cold-start com um tradeoff controlado no desempenho da cabeça (head performance).