Resumo Técnico: CRAMER – Controle via Mascaramento Consciente de Requisição para Editores de Recomendação

1. Definição do Problema

Modelos de recomendação sequencial alcançaram desempenho de estado da arte ao modelar padrões temporais no comportamento do usuário. No entanto, eles carecem de flexibilidade para responder a solicitações imediatas em linguagem natural (ex: "quero jogos mais emocionantes" ou "evite filmes românticos") que surgem após a geração de uma lista de recomendação inicial. As abordagens existentes para adaptar recomendações a tais solicitações enfrentam limitações significativas:

• Aumento ao Nível de Entrada/Saída: Métodos que aumentam sequências históricas com tokens de controle ou dependem de reclassificação (re-ranking) post-hoc frequentemente capturam apenas representações superficiais da intenção do usuário ou exigem pré-treinamento específico de domínio.
• Inferência Pesada: Alavancar Grandes Modelos de Linguagem (LLMs) para raciocínio ou reclassificação introduz um overhead computacional e latência proibitivos, tornando-os inadequados para serviços de larga escala e tempo real.
• Custos de Retreinamento: O ajuste fino (fine-tuning) de toda a rede principal (backbone) para cada nova solicitação é computacionalmente intratável para sistemas implantados.

O desafio central é permitir o controle posterior: a capacidade de intervir diretamente na mecânica interna de um recomendador sequencial congelado e implantado para impor restrições não presentes durante o treinamento, sem a necessidade de retreinamento total ou custos pesados de inferência.

2. Metodologia: Estrutura CRAMER

Os autores propõem o CRAMER (Control via Request-Aware Masking for Editing Recommenders), uma estrutura leve que trata solicitações em linguagem natural como sinais de controle para modular o backbone de um recomendador sequencial congelado via mascaramento de parâmetros.

2.1. Motivação Teórica

Baseando-se na teoria de controle de modelos, os autores enquadram o problema como a busca por um mapeamento $F_\phi$ que transforma uma solicitação $q_u$ em um vetor de sinal de controle $m$, que edita os parâmetros do backbone $\theta$ para $\theta' = C_m(\theta)$.

• Perspectiva Variacional: O objetivo de treinamento é motivado por um limite inferior variacional (ELBO). Os autores adotam uma priori de Bernoulli fatorizada para os sinais de controle (máscaras) para impor esparsidade.
• Objetivo de Treinamento: A função de perda combina uma perda preditiva (maximizando a verossimilhança do próximo item real) com um regularizador KL. O termo KL incentiva a distribuição de portão (gate) aprendida a aderir a uma priori de esparsidade, garantindo um controle compacto e estável sem dominar o sinal preditivo.

2.2. Arquitetura e Componentes

1. Codificação de Requisição: Um codificador de requisição leve (inicializado a partir de um Modelo de Linguagem Pré-treinado, PLM) processa a solicitação em linguagem natural. Os embeddings de tokens são submetidos a um mean-pooling para gerar um embedding semântico estável $e_q$.
2. Adaptação de Requisição-para-Máscara:
   • Projeção: O embedding semântico é projetado para logits de portão $z$ através de uma camada linear.
   • Portão Esparso: Um truque de amostragem Gumbel-Top-k é empregado para converter os logits em um vetor binário $k$-hot esparso $m$. Isso garante um orçamento de esparsidade exato (controlando exatamente $k$ entradas) enquanto permite um treinamento diferenciável.
   • Decomposição Linha-Coluna: O vetor binário $m$ é decomposto em vetores de portão de linha e coluna para matrizes específicas do backbone Transformer.
3. Backbone Controlado:
   • Parâmetros Alvo: A estrutura foca em subconjuntos específicos do backbone Transformer congelado: Redes de Alimentação Direta (FFNs), a projeção de saída da Atenção de Múltiplas Cabeças ($W_O$), ou ambos. Esses componentes são escolhidos porque as FFNs atuam como memórias de chave-valor e a $W_O$ agrega saídas de atenção, tornando-os pontos de alta alavancagem para modulação.
   • Mascaramento: Os portões de linha e coluna geram máscaras elemento a elemento aplicadas às matrizes selecionadas ($W^{(l)} \odot M^{(l)}$). Isso ativa ou desativa seletivamente caminhos de computação, direcionando o comportamento do modelo em direção à intenção solicitada.
4. Otimização:
   • Estimador de Passagem Direta (Straight-Through Estimator - STE): Como a amostragem Gumbel-Top-k é discreta, os gradientes são propagados através de um substituto suave contínuo (softmax com temperatura) durante a passagem reversa (backward pass), enquanto a passagem direta (forward pass) utiliza a máscara binária rígida.
   • Parâmetros Treináveis: Apenas o codificador de requisição (parcial ou totalmente) e a camada de projeção são treinados; o backbone do recomendador sequencial permanece congelado.

3. Principais Contribuições

• Novo Paradigma: O CRAMER introduz um novo paradigma para recomendação sequencial consciente de requisição, que vai além do condicionamento de entrada ou reclassificação de saída para a modulação direta de parâmetros de um backbone congelado.
• Eficiência: Ao utilizar máscaras de portão linha-coluna, o método alcança controle refinado com overhead computacional mínimo, evitando a necessidade de ajuste fino total ou inferência dispendiosa de LLM em tempo de execução.
• Treinamento Inspirado em Variação: A estrutura utiliza um objetivo regularizado por KL derivado de uma perspectiva variacional para impor esparsidade e estabilidade nos sinais de controle aprendidos.
• Interpretabilidade: O mecanismo de mascaramento permite a indução de mudanças semânticas interpretáveis na distribuição de recomendação alinhadas com solicitações específicas do usuário (ex: aumentar/diminuir a proporção de filmes de romance baseando-se na polaridade da solicitação).

4. Resultados Experimentais

Os autores avaliaram o CRAMER em quatro conjuntos de dados de referência de larga escala (ReDial, KuaiSAR, Beauty, CDs&Vinyl) utilizando dois backbones padrão (SASRec e BERT4Rec).

• Desempenho: O CRAMER superou consistentemente quatro baselines de estado da arte (Query-SeqRec, BLaIR, LLM-ESR, REARANK) em múltiplas métricas (HR@k, NDCG@k, MRR). Testes de significância estatística (procedimento de Benjamini-Hochberg) confirmaram que o CRAMER foi significativamente melhor que o baseline mais forte em 85,42% das configurações.
• Eficiência: Em termos de overhead de inferência, o CRAMER introduziu apenas ~0,018s de tempo de execução e ~1355 MiB de overhead de memória GPU por requisição (em SASRec), o que é comparável a métodos de adaptadores leves e significativamente menor do que os métodos de reclassificação baseados em LLM (que incorreram em >9s de tempo de execução).
• Sensibilidade: A estrutura demonstrou robustez a hiperparâmetros. O desempenho ideal foi observado com razões de queda moderadas ($\rho \approx 0,10$) e variou conforme a escala do conjunto de dados (conjuntos de dados maiores beneficiaram-se de máscaras mais densas). A escolha do PLM (ex: RoBERTa, ModernBERT) impactou significativamente o desempenho, com modelos maiores geralmente produzindo melhores resultados.
• Estudos de Caso: Estudos de caso ao nível do usuário no conjunto de dados CDs&Vinyl mostraram que o CRAMER alcançou o ranking mais alto para itens reais entre diversos usuários, superando os baselines no alinhamento das recomendações com a intenção imediata em linguagem natural.

5. Significância e Alegações

O artigo afirma que o CRAMER estabelece um novo paradigma para integrar a intenção imediata do usuário em sistemas de recomendação sequencial. Sua principal significância reside em:

• Escalabilidade: Permite a adaptação em tempo real, condicionada à requisição, em serviços de larga escala sem as proibições computacionais de retreinamento ou inferência de LLM.
• Controlabilidade: Fornece um mecanismo para "controle posterior", permitindo que modelos implantados sejam direcionados por sinais arbitrários de linguagem natural enquanto preservam as preferências de longo prazo codificadas no backbone congelado.
• Praticidade: A estrutura oferece um equilíbrio favorável entre precisão e eficiência, tornando-a uma solução viável para ambientes de produção onde a responsividade e a baixa latência são críticas.

Os autores enfatizam que, embora o método aumente a controlabilidade, ele é projetado para fornecer ajustes moderados e condicionados à requisição, em vez de substituições completas das preferências aprendidas, visando equilibrar as solicitações de curto prazo com os interesses de longo prazo do usuário.