HORIZON: A Benchmark for In-the-wild User Behaviour Modeling
O artigo apresenta o HORIZON, um novo benchmark de grande escala derivado de revisões da Amazon que reformula a modelagem de usuários em três eixos (conjunto de dados, tarefa e avaliação) para superar as limitações dos benchmarks atuais, permitindo a avaliação de modelos em cenários realistas, heterogêneos e de longo prazo com foco em generalização temporal e entre domínios.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você é um detetive de hábitos tentando adivinhar o que uma pessoa vai fazer ou comprar amanhã.
Até hoje, a maioria dos "treinamentos" para esses detetives (os modelos de computador) era como estudar para uma prova usando apenas um único livro de receitas. Eles aprendiam a prever qual seria a próxima receita de bolo de uma pessoa, mas se você pedisse para eles preverem qual seria o próximo filme que essa pessoa assistiria ou qual remédio ela compraria, eles travavam. Eles eram especialistas em um único assunto, mas péssimos em entender a vida real, onde as pessoas mudam de ideia, compram coisas de categorias diferentes e têm gostos que evoluem com o tempo.
É aqui que entra o HORIZON, o novo "campo de treinamento" apresentado neste artigo.
O Que é o HORIZON?
Pense no HORIZON não como um livro de receitas, mas como uma biblioteca gigante e bagunçada de toda a vida de 54 milhões de pessoas.
Os pesquisadores pegaram dados reais da Amazon (onde as pessoas compram de tudo: de livros a ferramentas, de roupas a eletrônicos) e misturaram tudo. Em vez de separar os usuários por "quem gosta de livros" ou "quem gosta de jogos", eles criaram um perfil único para cada pessoa, mostrando toda a sua jornada de compras ao longo de anos.
Por que isso é um desafio? (A Analogia do Detetive)
Antes, os modelos eram testados em cenários fáceis:
O Teste Antigo: "Aqui está o que o Sr. Silva comprou na última semana (apenas livros). O que ele vai comprar na próxima semana?"
- Resultado: O modelo adivinha "mais um livro". Fácil demais.
O Teste HORIZON: "Aqui está o que o Sr. Silva comprou nos últimos 10 anos (livros, depois um cachorro, depois uma furadeira, depois um curso de ioga). Agora, imagine que é 2024 e ele nunca viu o Sr. Silva antes. O que ele vai comprar amanhã?"
- Desafio: O modelo precisa entender que o Sr. Silva mudou de interesse, precisa conectar "cachorro" com "comida de pet" e "furadeira" com "ferramentas", e precisa prever o futuro mesmo tendo visto o usuário pela primeira vez.
As Três Regras do Jogo (As Tarefas)
Os pesquisadores criaram três formas de testar esses detetives:
O Adivinhador Imediato (Tarefa 1): O modelo tenta adivinhar o próximo item. Mas aqui, eles testam se o modelo funciona quando o tempo muda (prever o futuro longe do passado) e quando a pessoa é totalmente desconhecida (alguém que o modelo nunca viu antes).
- Metáfora: É como tentar adivinhar o próximo passo de um dançarino que você nunca viu, apenas olhando para a música que ele está ouvindo agora.
O Tradutor de Intenção (Tarefa 2): Em vez de chutar o produto, o modelo (agora usando Inteligência Artificial generativa, como o ChatGPT) precisa escrever 10 perguntas de busca que a pessoa faria no Google para encontrar o que quer.
- Metáfora: Em vez de dar o presente, o detetive escreve uma lista de "o que eu estou procurando". Se a lista fizer sentido, o modelo entendeu a pessoa.
O Oráculo de Longo Prazo (Tarefa 3): O modelo precisa descrever, em palavras, como será a vida de compras dessa pessoa nos próximos 10 passos.
- Metáfora: O modelo escreve um "diário do futuro" da pessoa, prevendo como os interesses dela vão evoluir ao longo do tempo.
O Que Eles Descobriram? (A Surpresa)
Os resultados foram reveladores e um pouco preocupantes:
- Os Especialistas Antigos Falharam: Os modelos tradicionais, que eram ótimos em prever o próximo livro de um leitor, quase que "desistiram" quando colocados nesse cenário misto e de longo prazo. Eles não conseguiam entender a pessoa como um todo.
- Os "Gigantes" (LLMs) Não São Mágicos: As grandes Inteligências Artificiais (como o Llama ou o Qwen), que são ótimas conversando e escrevendo textos, não foram tão boas quanto os especialistas em recomendar produtos. Elas conseguem escrever descrições bonitas, mas têm dificuldade em conectar essas descrições ao produto exato que a pessoa vai comprar em uma loja com 34 milhões de itens.
- O Tempo é Inimigo: Quanto mais o modelo tenta prever algo no futuro distante (longo prazo), pior ele fica. Isso mostra que nossos sistemas atuais são muito "curtos de memória" e não entendem bem como os gostos das pessoas mudam lentamente ao longo dos anos.
A Conclusão Simples
O HORIZON é um espelho honesto. Ele mostra que, embora tenhamos feito grandes avanços em IA, ainda estamos longe de criar um "assistente pessoal" que realmente entende a complexidade da vida humana, com todas as suas mudanças de humor, interesses variados e o passar do tempo.
O papel diz: "Não adianta treinar o modelo apenas para acertar o próximo item de hoje. Precisamos treinar ele para entender a história completa da pessoa, mesmo que seja um estranho, e prever o futuro com base em uma vida inteira de dados."
É um convite para a comunidade científica parar de jogar "quebra-cabeça fácil" e começar a resolver o verdadeiro quebra-cabeça da vida real.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.