Building a User Foundation Model for the Open Web

Imagina el internet como una ciudad enorme y bulliciosa donde cada persona deja un rastro de huellas digitales mientras camina de tienda en tienda. Durante años, las empresas que nos muestran anuncios han intentado construir un "perfil" de cada persona basándose en estas huellas para adivinar qué podrían querer comprar después. Este es el mundo de los sistemas de recomendación, una rama de la informática que utiliza las matemáticas para predecir el comportamiento humano. El ingrediente secreto en los sistemas modernos es el aprendizaje automático (machine learning), donde las computadoras aprenden patrones a partir de enormes pilas de datos, y los modelos fundacionales, que son como cerebros gigantes preentrenados que ya han aprendido a entender secuencias de eventos antes de ser enseñados para un trabajo específico.

Pero aquí está la parte complicada: en la "web abierta" (la parte de internet que visitas sin iniciar sesión en una cuenta específica), estas huellas son desordenadas. Puede que visites un sitio en tu teléfono y luego, más tarde, en una computadora portátil, y la computadora no tiene forma de saber que se trata de la misma persona. Tu historial suele ser corto, fragmentado en piezas diminutas o incluso inexistente debido a la configuración de privacidad. Este artículo aborda una gran pregunta: ¿Podemos construir un sistema inteligente que entienda estas huellas desordenadas y fragmentadas tan bien como entiende los historiales limpios y largos de los usuarios que han iniciado sesión? La respuesta importa porque, si no podemos, perdemos la oportunidad de comprender una gran parte del internet, lo que genera anuncios que se sienten aleatorios o irrelevantes.

---

El rompecabezas del rastro roto

Los autores, un equipo de Teads, se enfrentaron a un desafío único. En la mayoría de los sistemas de recomendación (como en las redes sociales o las aplicaciones de compras), tienes una película larga y continua de la vida de un usuario: inició sesión, vio un video, compró un zapato y le dio "me gusta" a una foto. La computadora puede ver toda esta película para entender al usuario.

Pero en la web abierta, la "película" suele ser solo unos pocos fotogramas dispersos, o a veces, solo un único fotograma. El usuario puede ser anónimo y su historial puede estar cortado por decisiones de privacidad. La forma antigua de manejar esto era contar cosas: "Este usuario hizo clic 3 veces en anuncios de deportes". Pero esto es como intentar entender la personalidad de una persona conociendo solo cuántas veces parpadeó. Se pierde la historia: el orden de los eventos, el tiempo y el flujo.

El equipo se preguntó: ¿Podemos enseñar a una computadora a entender estas historias cortas y rotas? Y si lo hacemos, ¿ayudará a predecir en qué hará clic un usuario, incluso cuando no sabemos quién es?

El cerebro "Viajero en el Tiempo"

Para resolver esto, el equipo construyó un Modelo Fundacional de Usuario (UFM). Piensa en este modelo como un viajero en el tiempo superinteligente que ha leído millones de historias cortas y fragmentadas sobre personas navegando por la web.

En lugar de solo contar clics, el modelo observa la secuencia de eventos. Trata el historial de navegación de un usuario como una oración. Así como una oración tiene un sujeto, un verbo y un objeto, el historial de un usuario tiene un Editor (donde estaba), un Anunciante (qué vio) y un Evento (qué hizo, como hacer clic o simplemente mirar).

El modelo fue entrenado usando un juego llamado Aprendizaje Auto-supervisado. Imagina que tienes una oración con algunas palabras ocultas (enmascaradas) y tienes que adivinar cuáles son basándote en el contexto. El modelo practicó esto mirando el historial de un usuario, ocultando partes de este e intentando llenar los espacios en blanco. También jugó un juego de emparejamiento: tomó dos partes diferentes del mismo historial de un usuario (como la mañana y la tarde) y aprendió que pertenecen a la misma persona, incluso si se ven diferentes.

El "Entrenador Robot" que ajusta el cerebro

Aquí es donde se pone muy interesante. El equipo no solo construyó el modelo; usaron una IA para construir la IA. Llamaron a esto "LLM-como-Optimizador".

Imagina que estás tratando de construir el coche de carreras perfecto. En lugar de adivinar qué motor o neumático es mejor, tienes un entrenador robot (un Modelo de Lenguaje Grande) que lee un catálogo de 150 diferentes "consejos de ajuste" de libros científicos. El entrenador robot sugiere cambios: "Probemos haciendo el motor un poco más grande" o "Cambiemos la mezcla de combustible". El equipo prueba estos cambios y, si un cambio hace que el coche sea más rápido, el entrenador robot lo recuerda e intenta construir sobre ese éxito.

En este artículo, el entrenador robot ajustó el "Modelo Fundacional de Usuario" cambiando cosas como cuántas capas de pensamiento tiene, cómo maneja el tiempo y cómo aprende. Este proceso, llamado Búsqueda de Arquitectura Neuronal (NAS), encontró una versión del modelo que era significamente mejor que la original.

Los Resultados: De un "Tal vez" a un "Sí"

El equipo probó su nuevo modelo, entrenado por el robot, de dos maneras: primero en una simulación (offline) y luego en el mundo real (online).

1. La Simulación (Offline):
Probaron el modelo con un conjunto masivo de datos de solicitudes de anuncios reales. Compararon el modelo con el sistema que Teads ya estaba utilizando.

• La Buena Noticia: El nuevo modelo mejoró la predicción de lo que los usuarios harían clic en un +1.354%. En el mundo de la publicidad, este es un salto enorme.
• La Prueba del "Rastro Roto": Probaron específicamente con usuarios que tenían historiales muy cortos o faltantes. Incluso para usuarios con casi ningún historial, el modelo mejoró las predicciones en un +0.99%. Esto demuestra que el modelo funciona incluso cuando la "película" es solo un fotograma.
• La Prueba de Generalización: Intentaron el modelo en diferentes tipos de tareas de predicción (como adivinar si un anuncio ganaría una puja, no solo si se haría clic en él). Funcionó también allí, mejorando esas predicciones en un +1.197%. Esto sugiere que el modelo aprendió una comprensión profunda del comportamiento humano, no solo un truco para una tarea específica.

2. El Mundo Real (Online):
El equipo realizó una prueba en vivo durante 7 días, mostrando el nuevo modelo a la mitad de sus usuarios y el modelo antiguo a la otra mitad.

• El Resultado: El grupo con el nuevo modelo hizo clic en anuncios un 2.13% más a menudo.
• El Costo: Debido a que los anuncios fueron más relevantes, el costo por clic bajó un 1.13%.
• La Confianza: El equipo está muy seguro de estos números. Calcularon un intervalo de confianza del 80%, lo que significa que están estadísticamente seguros de que la mejora es real y no producto de la suerte.

Por qué esto es importante

Este artículo demuestra que no necesitamos un historial largo y perfecto para entender a un usuario. Incluso con datos fragmentados, cortos y anónimos, un modelo inteligente puede armar la historia.

Los autores sugieren que este enfoque abre un "nuevo eje" de mejora. No se trata solo de hacer que las matemáticas existentes sean ligeramente mejores; se trata de añadir una forma de pensar completamente nueva sobre los datos del usuario. Al tratar el historial de navegación como una secuencia para ser comprendida en lugar de solo una lista de conteos, encontraron una manera de hacer que los anuncios sean más relevantes, incluso para los "fantasmas" de internet que no inician sesión.

El equipo admite que existen límites. Solo probaron un tipo específico de arquitectura de modelo y un conjunto específico de datos. También señalan que su "entrenador robot" pudo haber encontrado una buena solución, pero no sabemos si es la absolutamente mejor solución posible. Sin embargo, la prueba en vivo confirma que este enfoque funciona en el mundo real, convirtiendo una idea teórica en una herramienta práctica que hace que la web abierta se sienta un poco menos caótica y un poco más personal.