Building a User Foundation Model for the Open Web

Imagine a internet como uma cidade enorme e movimentada, onde cada pessoa deixa um rastro de pegadas digitais enquanto caminha de uma loja para outra. Durante anos, as empresas que nos mostram anúncios tentaram construir um "perfil" de cada pessoa com base nessas pegadas para adivinhar o que elas podem querer comprar em seguida. Este é o mundo dos sistemas de recomendação, um ramo da ciência da computação que usa a matemática para prever o comportamento humano. O ingrediente secreto nos sistemas modernos é o aprendizado de máquina (machine learning), onde os computadores aprendem padrões a partir de enormes pilhas de dados, e os modelos de fundação (foundation models), que são como cérebros gigantes pré-treinados que já aprenderam a entender sequências de eventos antes de serem ensinados para uma tarefa específica.

Mas aqui está a parte complicada: na "web aberta" (a parte da internet que você visita sem fazer login em uma conta específica), essas pegadas são bagunçadas. Você pode visitar um site no seu celular e, mais tarde, no seu notebook, e o computador não tem como saber que se trata da mesma pessoa. Seu histórico é frequentemente curto, fragmentado em pequenos pedaços ou totalmente inexistente devido às configurações de privacidade. Este artigo aborda uma grande questão: podemos construir um sistema inteligente que entenda essas pegadas fragmentadas e bagunçadas tão bem quanto entende os históricos longos e limpos de usuários logados? A resposta importa porque, se não conseguirmos, perderemos a compreensão de uma enorme parte da internet, levando a anúncios que parecem aleatórios ou irrelevantes.

---

O Enigma do Rastro Quebrado

Os autores, uma equipe da Teads, enfrentaram um desafio único. Na maioria dos sistemas de recomendação (como em redes sociais ou aplicativos de compras), você tem um filme longo e contínuo da vida de um usuário: ele fez login, assistiu a um vídeo, comprou um sapato e curtiu uma foto. O computador pode assistir a esse filme inteiro para entender o usuário.

Mas na web aberta, o "filme" é frequentemente apenas alguns quadros dispersos ou, às vezes, apenas um único quadro. O usuário pode ser anônimo e seu histórico pode ser interrompido por escolhas de privacidade. A forma antiga de lidar com isso era contar coisas: "Este usuário clicou 3 vezes em anúncios de esportes". Mas isso é como tentar entender a personalidade de uma pessoa sabendo apenas quantas vezes ela piscou. Isso ignora a história — a ordem dos eventos, o tempo e o fluxo.

A equipe perguntou: Podemos ensinar um computador a entender essas histórias curtas e quebradas? E, se o fizermos, isso ajudará a prever no que um usuário clicará, mesmo quando não sabemos quem ele é?

O Cérebro "Viajante no Tempo"

Para resolver isso, a equipe construiu um Modelo de Fundação de Usuário (UFM - User Foundation Model). Pense neste modelo como um viajante do tempo superinteligente que leu milhões de histórias curtas e fragmentadas sobre pessoas navegando na web.

Em vez de apenas contar cliques, o modelo observa a sequência de eventos. Ele trata o histórico de navegação de um usuário como uma frase. Assim como uma frase tem um sujeito, um verbo e um objeto, o histórico de um usuário tem um Publicador (onde ele estava), um Anunciante (o que ele viu) e um Evento (o que ele fez, como clicar ou apenas olhar).

O modelo foi treinado usando um jogo chamado Aprendizado Autossupervisionado (Self-Supervised Learning). Imagine que você tem uma frase com algumas palavras ocultas (mascaradas) e precisa adivinhar quais são com base no contexto. O modelo praticou isso olhando para o histórico de um usuário, escondendo partes dele e tentando preencher as lacunas. Ele também jogou um jogo de correspondência: pegou duas partes diferentes do mesmo histórico de usuário (como a manhã e a tarde) e aprendeu que elas pertencem à mesma pessoa, mesmo que pareçam diferentes.

O "Robô Treinador" que Ajusta o Cérebro

Aqui é onde fica muito legal. A equipe não apenas construiu o modelo; eles usaram uma IA para construir a IA. Eles chamaram isso de "LLM-as-Optimizer" (LLM como Otimizador).

Imagine que você está tentando construir um carro de corrida perfeito. Em vez de adivinhar qual motor ou pneu é o melhor, você tem um robô treinador (um Modelo de Linguagem de Grande Escala - LLM) que lê um catálogo de 150 diferentes "dicas de ajuste" de livros científicos. O robô treinador sugere mudanças: "Vamos tentar tornar o motor um pouco maior" ou "Vamos mudar a mistura de combustível". A equipe testa essas mudanças e, se uma mudança torna o carro mais rápido, o robô treinador se lembra disso e tenta construir algo baseado nesse sucesso.

Neste artigo, o robô treinador ajustou o "Modelo de Fundação de Usuário" alterando coisas como o número de camadas de pensamento que ele possui, como ele lida com o tempo e como ele aprende. Esse processo, chamado Busca de Arquitetura Neural (NAS - Neural Architecture Search), encontrou uma versão do modelo que era significativamente melhor que a original.

Os Resultados: De "Talvez" para "Sim"

A equipe testou seu novo modelo, treinado pelo robô, de duas maneiras: primeiro em uma simulação (offline) e depois no mundo real (online).

1. A Simulação (Offline):
Eles testaram o modelo em um conjunto massivo de dados de solicitações de anúncios reais. Eles compararam o modelo com o sistema que a Teads já utilizava.

• A Boa Notícia: O novo modelo melhorou a previsão do que os usuários clicariam em +1,354%. No mundo dos anúncios, este é um salto enorme.
• O Teste do "Rastro Quebrado": Eles testaram especificamente usuários com históricos muito curtos ou ausentes. Mesmo para usuários com quase nenhum histórico, o modelo melhorou as previsões em +0,99%. Isso prova que o modelo funciona mesmo quando o "filme" é apenas um único quadro.
• O Teste de Generalização: Eles testaram o modelo em diferentes tipos de tarefas de previsão (como adivinhar se um anúncio ganharia um lance, não apenas se seria clicado). Funcionou lá também, melhorando essas previsções em +1,197%. Isso sugere que o modelo aprendeu uma compreensão profunda do comportamento humano, não apenas um truque para uma tarefa específica.

2. O Mundo Real (Online):
A equipe realizou um teste ao vivo durante 7 dias, mostrando o novo modelo para metade de seus usuários e o modelo antigo para a outra metade.

• O Resultado: O grupo com o novo modelo clicou em anúncios 2,13% mais vezes.
• O Custo: Como os anúncios foram mais relevantes, o custo por clique diminuiu em 1,13%.
• A Confiança: A equipe está muito segura desses números. Eles calcularam um intervalo de confiança de 80%, o que significa que estão estatisticamente confiantes de que a melhoria é real e não apenas sorte.

Por Que Isso Importa

Este artigo mostra que não precisamos de um histórico perfeito e longo para entender um usuário. Mesmo com dados fragmentados, curtos e anônimos, um modelo inteligente pode montar a história.

Os autores sugerem que esta abordagem abre um "novo eixo" de melhoria. Não se trata apenas de tornar a matemática existente ligeiramente melhor; trata-se de adicionar uma forma inteiramente nova de pensar sobre os dados do usuário. Ao tratar o histórico de navegação como uma sequência a ser compreendida, em vez de apenas uma lista de contagens, eles encontraram uma maneira de tornar os anúncios mais relevantes, mesmo para os "fantasmas" da internet que não fazem login.

A equipe admite que existem limites. Eles testaram apenas um tipo específico de arquitetura de modelo e um conjunto específico de dados. Eles também observam que seu "robô treinador" pode ter encontrado uma boa solução, mas não sabemos se é a solução absolutamente melhor possível. No entanto, o teste ao vivo confirma que essa abordagem funciona no mundo real, transformando uma ideia teórica em uma ferramenta prática que faz a web aberta parecer um pouco menos caótica e um pouco mais pessoal.