Resumo Técnico: De Cliques a Intenção

Declaração do Problema

Nos serviços financeiros, existe uma lacuna crítica entre as interações na web pré-login e as experiências autenticadas pós-login. Ao contrário do e-commerce ou de plataformas sociais, onde os sinais comportamentais mais ricos ocorrem após o login, a exploração de produtos financeiros, comparação e iniciação de solicitações frequentemente acontecem em sites públicos antes da autenticação. No entanto, os sistemas de recomendação atuais frequentemente descartam esses sinais pré-login porque:

1. Perda de Contexto: Identificar usuários pré-login exige resolução de entidades complexa, e conectar esses dados às contas pós-login é difícil, levando à perda da intenção expressa.
2. Limitações das Representações Existentes: As representações de intenção atuais são frequentemente ad-hoc e estreitas (ex: simples logs de visitas de páginas). Elas falham em capturar sinais comportamentais matizados e carecem da interpretabilidade necessária para análise qualitativa, segmentação de usuários e conformidade regulatória no setor financeiro.

O desafio central é transformar fluxos de cliques (clickstreams) multi-modais brutos em uma representação que seja tanto quantitativamente poderosa para tarefas de ranking downstream quanto qualitativamente interpretável para compreensão humana, resolvendo simultaneamente o problema de resolução de entidades entre plataformas.

Metodologia

Os autores propõem um framework escalável de duplo propósito que gera duas saídas complementares a partir de dados de clickstream pré-login: um embedding de sessão denso para tarefas quantitativas e rótulos de intenção legíveis por humanos para compreensão qualitativa.

1. Embedding de Sessão Multi-Modal (Saída Quantitativa)

O sistema codifica eventos de clickstream brutos em um embedding de sessão compacto usando um Transformer auto-supervisionado.

• Entrada: Sequências de eventos ordenadas cronologicamente ($x_1, \dots, x_T$) contendo características heterogêneas: informações da página, tempo de permanência (dwell time), tipo de evento (clique, rolagem, visualização) e características semanticamente enriquecidas (conteúdo HTML da página).
• Codificação de Características (Feature Encoding):
  • Características discretas: Mapeadas via tabelas de embedding aprendidas.
  • Conteúdo da página: Vetores pré-computados derivados do texto HTML usando um sentence transformer pré-treinado, projetados para a dimensão do embedding.
  • Posição: Embeddings posicionais aprendidos.
• Arquitetura: As características são fundidas via MLP, os embeddings posicionais são adicionados e um codificador Transformer processa a sequência.
• Treinamento: O modelo é treinado via aprendizado auto-supervisionado (prevendo o próximo evento ou eventos/títulos mascarados) sem dados rotulados. O modelo final utiliza atenção bidirecional com pooling de média para capturar o contexto completo, já que a sessão completa está disponível no momento da inferência.

2. Taxonomia Destilada por LLM (Saída Qualitativa)

Para preencher a lacuna entre vetores densos e a compreensão humana, o sistema gera uma taxonomia de intenção e a destila em um classificador leve.

• Amostragem Baseada em Clustering: Os embeddings de sessão são agrupados (usando K-Means) para garantir uma amostragem estratificada. Isso garante que o LLM veja toda a diversidade do comportamento do usuário, em vez de um subconjunto aleatório.
• Geração Iterativa de Taxonomia: Inspirado no TnT-LLM, um LLM gera, atualiza e revisa uma taxonomia de intenção através de minibatches iterativos. Este processo refina um conjunto fixo de categorias de intenção (ex: "Pré-aprovação de Cartão de Crédito", "Proteção contra Fraude") com base nos padrões observados, garantindo coerência semântica e relevância de domínio.
• Atribuição de Rótulos e Destilação:
  • O LLM atribui múltiplos rótulos de intenção com pontuações de confiança (zero-shot prompting) às sessões amostradas.
  • Um modelo estudante MLP leve é treinado para prever esses rótulos diretamente dos embeddings de sessão (vetor de 64 dimensões), usando as pontuações de confiança do LLM como alvos suaves (soft targets).
  • Isso permite que o sistema produza rótulos interpretáveis em escala sem a necessidade de chamadas de LLM ou codificação de texto separada durante a inferência.

Principais Contribuições

1. Sistema de Predição de Intenção de Duplo Propósito: O framework produz uma única representação compartilhada com duas saídas: um embedding denso para tarefas quantitativas (ranking, previsão de conversão) e rótulos legíveis por humanos para compreensão qualitativa (segmentação, análise).
2. Geração de Taxonomia por LLM com Reforço de Clustering: Ao agrupar os embeddings antes da amostragem, o sistema garante que o LLM observe todo o espectro do comportamento do usuário durante a geração da taxonomia, melhorando a robustez e a cobertura das categorias de intenção resultantes.
3. Destilação de Intenção no Espaço de Embedding: O sistema destila os rótulos gerados pelo LLM em um classificador que opera em vetores de dimensão fixa, em vez de texto bruto. Isso permite inferência de ultra-baixa latência em escala (10M+ sessões diárias) mantendo a riqueza semântica do LLM.

Resultados Experimentais

O sistema foi avaliado em duas tarefas downstream usando dados de uma grande instituição de serviços financeiros (aprox. 10M de sessões diárias, filtradas para 100K sessões cross-platform).

1. Ranking de Tiles da Página Inicial Móvel

• Tarefa: Prever em quais tiles de conteúdo o usuário clicará na página inicial do aplicativo móvel após o login.
• Baseline: Um modelo LightGBM usando características pós-login e características grosseiras de retargeting do site pré-login (contagem de visitas de páginas).
• Performance: A adição do embedding de sessão melhorou o Macro Recall@1 em 1,88% e reduziu o Log Loss em 13,38% em comparação ao baseline.
• Descoberta: A variante de atenção bidirecional com pooling de média apresentou o melhor desempenho, confirmando que as sessões pré-login contêm sinais ricos além de simples contagens de páginas.

2. Predição de Conversão do Usuário

• Tarefa: Prever ações pós-login (ex: solicitações de cartão de crédito) baseadas em sinais pré-login.
• Comparação de Performance:
  • Características manuais (SRF): Desempenhou-se significativamente pior (35,8% menor F1) do que as representações baseadas em LLM.
  • Estudante Destilado (MLP): Alcançou 93% do desempenho do professor LLM (queda de 7% no F1), validando a transferência de conhecimento eficaz.
  • Embedding de Sessão: Superou o professor LLM em 4,3% no Micro F1. Isso confirma que o embedding captura o sinal mais rico, enquanto a camada de destilação troca um pouco de precisão por interpretabilidade.
• Qualidade dos Rótulos: Revisão manual mostrou 97,0% de concordância estrita e 99,5% de concordância leniente entre anotadores humanos e os rótulos atribuídos pelo LLM.

3. Eficiência de Inferência

• A inferência direta do LLM para rotular 100K sessões levaria >80 horas serialmente.
• O pipeline proposto (codificação Transformer + MLP Destilado) processa 100K sessões em menos de 61 segundos, representando uma melhoria de throughput de >3.000x com apenas uma queda de 7% no desempenho.

Significância e Alegações

O artigo afirma que esta abordagem consegue unir com sucesso os sinais comportamentais brutos à compreensão semântica em serviços financeiros.

• Utilidade Prática: Demonstra que representações de clickstream auto-supervisionadas combinadas com taxonomias destiladas por LLM podem servir simultaneamente a tarefas quantitativas de alto risco (ranking, previsão de conversão) e casos de uso qualitativos essenciais (segmentação, explicabilidade) em um ambiente de produção.
• Escalabilidade: A camada de destilação permite que o sistema escale para milhões de sessões diárias sem o custo proibitivo e a latência da inferência direta de LLM.
• Eficiência de Dados: O sistema aproveita dados pré-login, que é o único sinal disponível para potenciais clientes não autenticados, para impulsionar a personalização e a previsão de conversão, abordando uma limitação específica nos serviços financeiros onde o contexto pré-login é frequentemente descartado.

Os autores reconhecem que o sistema é atualmente avaliado em dados de uma única instituição e que a generalização para outros domínios ainda precisa ser validada. Trabalhos futuros incluem testes A/B online, refinamento automático de taxonomia e extensão do modelo para predição de intenção ao nível do usuário através de múltiplas sessões.