SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling

El artículo presenta SOLARIS, un marco innovador inspirado en la decodificación especulativa que desacopla la inferencia de modelos fundacionales costosos de la ruta de servicio en tiempo real mediante la precomputación asíncrona de representaciones latentes, logrando un aumento del 0,67% en métricas de ingresos en el sistema de publicidad de Meta.

Lo esencial

¡Claro que sí! Imagina que Meta (la empresa dueña de Facebook, Instagram, etc.) tiene un chef estrella (un modelo de inteligencia artificial gigante) que sabe exactamente qué comida le gustaría a cada cliente. Este chef es increíblemente sabio porque ha probado millones de platos y conoce los gustos de todo el mundo.

Sin embargo, hay un problema: este chef es muy lento. Si un cliente llega a la puerta y pide algo "al instante", el chef no puede cocinar ese plato específico en el tiempo que tarda en abrir la puerta. Si intentamos esperar a que cocine, el cliente se aburre y se va.

Antes, la solución era tener un cocinero junior (un modelo más pequeño y rápido) que intentaba adivinar qué quería el cliente basándose en recetas simples. Pero el junior no sabía tanto como el chef estrella, y los platos no eran tan buenos.

Aquí es donde entra SOLARIS.

¿Qué es SOLARIS? (La analogía del "Menú Predicativo")

SOLARIS es como un sistema de "adivinanzas inteligentes" que permite al chef estrella ayudar al cocinero junior sin ralentizar el servicio. Funciona así:

1. La Adivinanza (Precomputación Especulativa):
   En lugar de esperar a que el cliente pida, SOLARIS observa el comportamiento de la gente y dice: "¡Oye! Es muy probable que el Sr. García quiera ver un anuncio de zapatillas deportivas en los próximos 10 minutos".
   Mientras el Sr. García aún está caminando hacia la tienda, el chef estrella ya ha preparado el plato (ha creado una representación matemática de ese anuncio para ese usuario) y lo ha dejado listo en un estante.

2. El Servicio Rápido (Descarga Asincrónica):
   Cuando el Sr. García finalmente llega y pide el anuncio, el cocinero junior no tiene que esperar a que el chef cocine. Solo tiene que tomar el plato ya preparado del estante y servirlo al instante.

   • Resultado: El cliente recibe un plato de alta calidad (del chef estrella) tan rápido como si lo hubiera hecho el junior.

3. El Plan B (Rellenar los huecos):
   ¿Qué pasa si el Sr. García pide algo que el chef no pudo predecir? ¿O si el plato ya se enfrió (caducó)?
   SOLARIS tiene un truco de magia:

   • Promedio: Si no tiene el plato exacto, mira lo que el Sr. García pidió ayer y hoy, y hace un "plato promedio" que suele funcionar bien.
   • El Vecino: Si no sabe qué le gusta al Sr. García, busca a su vecino (alguien con gustos muy similares) y le ofrece lo que al vecino le encanta. Como son similares, es muy probable que al Sr. García también le guste.

¿Por qué es un gran avance?

• Antes: Teníamos que elegir entre calidad (chef lento) o velocidad (junior rápido). O usábamos técnicas viejas que solo transferían el 20% del conocimiento del chef al junior.
• Ahora con SOLARIS: Logramos transferir casi el doble de conocimiento (42-44%) sin perder velocidad. El junior se vuelve casi tan sabio como el chef, pero sigue siendo rápido.

Los Resultados en la Vida Real

Meta probó esto en sus anuncios diarios (miles de millones de veces al día).

• Mejor precisión: Los anuncios que se mostraron fueron mucho más relevantes para los usuarios.
• Más dinero: Gracias a que la gente hizo clic en anuncios que realmente les interesaban, Meta ganó cientos de millones de dólares extra (un aumento del 0.67% en los ingresos totales, lo cual es una cantidad enorme a esa escala).

En resumen

SOLARIS es como tener un asistente mágico que piensa con antelación. Le dice al chef estrella: "Prepara esto para mañana" y le dice al cocinero junior: "Aquí tienes el plato listo, sirve rápido".

De esta forma, Meta puede usar sus modelos de inteligencia artificial más potentes y complejos en tiempo real, ofreciendo a los usuarios experiencias personalizadas de alta calidad sin que nadie tenga que esperar ni un segundo.

Resumen técnico

Resumen Técnico: SOLARIS

1. El Problema

Los recientes avances en las leyes de escalado de sistemas de recomendación han llevado a la creación de Modelos Fundacionales (Foundation Models - FMs) de complejidad sin precedentes. Aunque estos modelos ofrecen un rendimiento superior y una personalización mejorada, presentan dos desafíos críticos para su implementación en tiempo real:

• Costo Computacional: La inferencia de estos modelos es demasiado costosa y lenta para el servicio en línea (real-time serving), lo que obliga a los ingenieros a depender de modelos verticales más pequeños (VMs).
• Limitaciones de la Destilación de Conocimiento Tradicional: El método estándar de la industria, la destilación de conocimiento (transferencia de etiquetas suaves), enfrenta dos cuellos de botella:
  1. Baja Tasa de Transferencia: Solo logra transferir entre un 20% y un 25% del conocimiento, y los resultados están fuertemente acoplados a tareas específicas.
  2. Disponibilidad Limitada: La transferencia de conocimiento ocurre exclusivamente durante el entrenamiento. No hay mecanismos para compartir conocimiento en tiempo de inferencia (cuando el usuario interactúa con el sistema), perdiendo oportunidades de mejora dinámica.

2. Metodología: SOLARIS

SOLARIS (Speculative Offloading of Latent-bAsed Representation for Inference Scaling) es un marco de trabajo diseñado para permitir la transferencia de conocimiento de modelos fundacionales a modelos verticales en tiempo de inferencia, desacoplando el proceso costoso de la ruta crítica de latencia.

La arquitectura se basa en tres pilares innovadores:

• A. Transferencia Directa de Embeddings (No solo etiquetas suaves):
  A diferencia de la destilación tradicional que usa etiquetas suaves, SOLARIS transfiere directamente los embeddings de interacción usuario-ítem aprendidos por el Modelo Fundacional. Estos embeddings capturan patrones de interacción ricos y generalizables, ofreciendo una tasa de transferencia de conocimiento significativamente mayor.

• B. Precomputación Especulativa de Embeddings (Inspirada en LLMs):
  Para evitar la latencia de calcular embeddings en tiempo real, SOLARIS utiliza un enfoque de "precomputación especulativa":

  • Servicio en Segundo Plano: Un servicio asíncrono en segundo plano utiliza el FM para predecir qué pares usuario-ítem es probable que aparezcan en futuras solicitudes.
  • Mecanismo de Verificador: Utiliza un modelo verificador ligero (basado en el modelo vertical actual) para filtrar y retener solo los pares con alta relevancia predicha en una caché distribuida.
  • TTL (Time-To-Live): Los embeddings se almacenan con un tiempo de vida limitado (varias horas), asumiendo que las preferencias del usuario son estables a corto plazo, garantizando frescura sin costo de inferencia en tiempo real.

• C. Enriquecimiento Jerárquico de Características (Para cubrir huecos):
  Dado que la precomputación no puede cubrir el 100% de los pares (debido a la escala masiva), SOLARIS implementa estrategias de respaldo para mantener la cobertura:

  1. Embedding de Usuario Agregado: Si falta un par específico, se promedian los embeddings de interacciones recientes del usuario (últimas 24 horas) para crear un vector de "solo usuario".
  2. Embedding Basado en Similitud: Utiliza un modelo de clustering (KNN) sobre los embeddings del FM para encontrar usuarios similares. Si falta el embedding de un usuario, se imputa utilizando los embeddings de sus vecinos más cercanos.

3. Contribuciones Clave

1. Desacoplamiento de Latencia: Logra transferir conocimiento de modelos fundacionales masivos a modelos de servicio en tiempo real sin añadir latencia al proceso de inferencia.
2. Alta Tasa de Transferencia: Supera las limitaciones de la destilación tradicional, logrando tasas de transferencia de conocimiento del 42% al 44% (casi el doble que los métodos anteriores).
3. Escalabilidad Industrial: El sistema ha sido desplegado en el sistema de publicidad de Meta, manejando miles de millones de solicitudes diarias, integrándose sin problemas en pipelines de clasificación multi-etapa.
4. Cobertura Mejorada: Mediante el enriquecimiento jerárquico, la cobertura de características se eleva del ~50% (solo precomputación directa) hasta el 90-100%, asegurando que casi todos los usuarios tengan acceso a representaciones enriquecidas.

4. Resultados

El sistema fue evaluado en un entorno de producción real en Meta, abarcando múltiples productos (Facebook Feed, Reels, Instagram, Conversiones fuera del sitio):

• Mejora en Métricas de Negocio:
  • Se logró un aumento global en los ingresos por publicidad del 0.67% (equivalente a aproximadamente 100 millones de dólares).
  • Mejora en la cobertura de características del 30%.
• Rendimiento de Modelos Verticales:
  • Reducción relativa en la pérdida de entropía cruzada binaria (BCE) de hasta 0.1% en tareas de CTR (Tasa de Clics) y CVR (Tasa de Conversión).
  • Mejoras consistentes en todas las superficies evaluadas (Feed, Reels, Enlaces, Conversiones).
• Impacto de la Cobertura:
  • Los experimentos mostraron que un aumento del 30% en la cobertura de características resultó en una mejora de log-loss de 0.05%, lo cual es estadísticamente significativo a escala de producción.
  • El uso de embeddings de "solo usuario" (agregados) aportó una mejora adicional del 0.03% en BCE y un 0.07% en ingresos.

5. Significado e Impacto

El trabajo SOLARIS representa un cambio de paradigma en la implementación de modelos de IA a gran escala en sistemas de recomendación:

• Viabilidad de Modelos Fundacionales: Demuestra que es posible utilizar modelos fundacionales complejos en entornos de baja latencia (online serving) sin sacrificar la calidad del servicio, superando la necesidad de depender exclusivamente de modelos pequeños entrenados con datos limitados.
• Eficiencia Operativa: Al mover el cómputo costoso a un proceso asíncrono de fondo y utilizar mecanismos de especulación, se optimiza el uso de recursos de infraestructura.
• Generalización: La capacidad de transferir representaciones latentes (embeddings) en lugar de solo etiquetas permite que el conocimiento aprendido en un dominio o tarea se aplique eficazmente a otros, mejorando la robustez del sistema ante datos escasos o nuevos patrones de usuario.

En resumen, SOLARIS proporciona una solución práctica y escalable para cerrar la brecha entre la capacidad teórica de los modelos fundacionales y las restricciones prácticas de latencia y costo en la industria de la publicidad y recomendación.