SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling

O artigo apresenta o SOLARIS, um novo quadro de trabalho que utiliza uma técnica inspirada na decodificação especulativa para pré-calcular representações de interações usuário-item em modelos de recomendação complexos, permitindo sua implementação em tempo real no sistema de publicidade do Meta e resultando em um aumento de 0,67% nas métricas de receita.

O essencial

Imagine que você tem um gênio da computação (o Modelo de Fundação) que é incrivelmente inteligente, sabe tudo sobre o que as pessoas gostam e pode prever com precisão milimétrica qual anúncio você vai clicar. O problema? Esse gênio é lento. Ele demora muito para pensar. Se você tentar usá-lo em tempo real para decidir qual anúncio mostrar para milhões de pessoas no Facebook ou Instagram, o site ficaria travando e ninguém teria paciência.

Para resolver isso, as empresas costumavam usar um "estagiário" (o Modelo Vertical). O estagiário é rápido, mas não é tão inteligente quanto o gênio. Antigamente, o estagiário aprendia apenas copiando as respostas finais do gênio (o que chamam de "destilação de conhecimento"), mas isso era como tentar aprender física apenas lendo a resposta de um teste: você perde todo o raciocínio e a profundidade.

Aqui entra o SOLARIS, a nova solução da Meta. Vamos explicar como funciona com uma analogia simples:

1. O Problema: O Gênio Lento vs. O Estagiário Rápido

O sistema de anúncios precisa ser instantâneo. O gênio (Modelo de Fundação) é muito pesado para rodar na hora da decisão. O estagiário (Modelo Vertical) é rápido, mas "burro" comparado ao gênio. O desafio é fazer o estagiário agir como o gênio sem perder a velocidade.

2. A Solução: A "Cozinha de Preparo" (Pré-computação Especulativa)

O SOLARIS muda as regras do jogo. Em vez de esperar o pedido chegar para pedir ao gênio que pense, o SOLARIS cria uma cozinha de preparo (pré-computação assíncrona).

• A Analogia do Restaurante: Imagine um restaurante muito movimentado. O chef (o gênio) é lento e meticuloso. O garçom (o sistema em tempo real) precisa entregar os pratos rápido.
  • Antes: O garçom levava o pedido ao chef, o chef cozinhava tudo do zero, e o prato saía. Era lento.
  • Com SOLARIS: O SOLARIS é um chefe de cozinha especulativo. Ele olha para a sala, vê que o Sr. Silva costuma pedir pizza e a Sra. Maria costuma pedir salada. Antes mesmo de eles abrirem o cardápio, o SOLARIS pede ao gênio para já preparar as bases dessas pizzas e saladas e deixá-las na geladeira (no cache).
  • Quando o pedido chega, o prato já está pronto ou quase pronto. O garçom só precisa finalizar.

3. Como o SOLARIS "Adivinha" o que Preparar?

O sistema não tenta preparar tudo (seria impossível). Ele usa um filtro inteligente:

• Ele olha para o que o usuário está fazendo agora e pergunta: "Qual anúncio tem mais chance de ser clicado?".
• Se a chance for alta, ele pede ao gênio para preparar a "receita" (o vetor de representação) desse anúncio específico e guarda na geladeira.
• Se a chance for baixa, ele ignora, economizando energia. Isso é chamado de "Decodificação Especulativa".

4. E se o prato não estiver na geladeira? (Enriquecimento Hierárquico)

Às vezes, o usuário pede algo muito novo ou estranho que o SOLARIS não preparou antes. O que fazer? O SOLARIS não deixa o garçom ficar de mãos vazias. Ele usa duas estratégias de "resgate":

• Estratégia 1: O "Gosto Médio" (Agregação): Se não temos o prato exato, o SOLARIS pega todos os pratos que o usuário pediu nas últimas 24 horas, mistura tudo e cria um "sabor médio" que representa o gosto atual dele. É como dizer: "Se ele gosta de pizza e hambúrguer, talvez ele goste desse novo sanduíche".
• Estratégia 2: O "Amigo Semelhante" (Baseado em Similaridade): Se não temos o prato do Sr. Silva, o SOLARIS olha para a geladeira e vê que o Sr. Carlos é muito parecido com ele (gostam das mesmas coisas). Então, ele pega o prato que o Sr. Carlos pediu e oferece ao Sr. Silva. É como usar o conselho de um amigo para escolher o que comer.

5. O Resultado: Mais Dinheiro e Menos Tempo de Espera

Ao usar essa técnica, a Meta conseguiu:

• Velocidade: O site continua instantâneo, pois o trabalho pesado foi feito antes.
• Inteligência: O "estagiário" agora tem acesso às "notas de rodapé" e ao raciocínio profundo do "gênio", não apenas às respostas finais.
• Lucro: Isso resultou em um aumento de 0,67% na receita global de anúncios. Em números reais, isso significa centenas de milhões de dólares a mais por ano, apenas porque o sistema ficou mais esperto e rápido.

Resumo em uma frase

O SOLARIS é como ter um assistente pessoal que, em vez de esperar você pedir algo para pesquisar na internet, já pesquisa e deixa os melhores resultados prontos na sua mesa antes mesmo de você saber que ia precisar deles, garantindo que você tenha a melhor informação possível, na velocidade da luz.

Resumo técnico

Resumo Técnico: SOLARIS

1. O Problema

Os avanços recentes em modelos de fundação (Foundation Models - FMs) para sistemas de recomendação (RecSys) permitiram capacidades de modelagem sem precedentes. No entanto, a complexidade computacional desses modelos torna o atendimento em tempo real (serving) impraticável para bilhões de solicitações diárias.
Para contornar isso, a indústria recorre tradicionalmente à distilação de conhecimento (Knowledge Distillation), onde um modelo grande (professor) treina um modelo menor (aluno). Contudo, essa abordagem enfrenta dois gargalos críticos:

1. Taxa de Transferência Limitada: A distilação baseada em "soft labels" (distribuições de probabilidade) transfere apenas 20–25% do conhecimento e os rótulos resultantes são frequentemente acoplados a tarefas específicas.
2. Disponibilidade e Cobertura Limitadas: A transferência de conhecimento ocorre apenas durante o treinamento. Não há compartilhamento de conhecimento no momento da inferência (serving), desperdiçando o potencial dos modelos grandes em tempo real.

2. Metodologia: SOLARIS

O SOLARIS (Speculative Offloading of Latent-bAsed Representation for Inference Scaling) é um novo framework inspirado no speculative decoding (comum em LLMs), projetado para permitir a transferência de conhecimento em tempo real sem sobrecarga de latência.

Arquitetura e Funcionamento:

• Pré-computação Especulativa Assíncrona: Em vez de calcular as representações do modelo de fundação (FM) para cada par usuário-item no momento da requisição (o que causaria latência inaceitável), o SOLARIS executa um serviço de fundo assíncrono.
  • O sistema prevê quais pares usuário-item são mais prováveis de aparecer em futuras requisições (baseado em um modelo verificador leve).
  • O FM gera e armazena os embeddings (representações latentes) desses pares em um cache distribuído.
• Transferência Direta de Embeddings: Diferente da distilação tradicional que usa rótulos, o SOLARIS transfere diretamente os embeddings de interação usuário-item do FM para os modelos verticais (VMs). Isso preserva informações ricas e generalizáveis.
• Enriquecimento Hierárquico de Recursos: Para lidar com a impossibilidade de cobrir 100% dos pares usuário-item devido à escala, o SOLARIS emprega estratégias de fallback quando um embedding direto não está no cache:
  1. Embedding Agregado do Usuário: Se o par específico não existe, o sistema calcula a média dos embeddings de interações recentes do usuário (últimas 24h) com outros itens, assumindo consistência de curto prazo nas preferências.
  2. Embedding Baseado em Similaridade: Utiliza uma tabela de clusters de usuários (gerada via KNN no espaço de embeddings do FM). Se o usuário-alvo não tem embedding, o sistema busca o embedding de um usuário vizinho (similar) e o utiliza como proxy.

Integração no Pipeline:
O framework é integrado na fase final de ranking do sistema de anúncios do Meta. Os embeddings pré-computados são consumidos pelos modelos verticais como recursos adicionais, sem adicionar latência ao caminho crítico de atendimento, pois o cálculo pesado ocorre em segundo plano.

3. Principais Contribuições

1. Transferência Direta de Embeddings: Supera a limitação da distilação de soft-labels, transferindo representações latentes ricas que resultam em uma taxa de transferência de conhecimento significativamente maior.
2. Pré-computação Especulativa: Introduz a ideia de antecipar interações futuras para gerar representações de modelos grandes fora da linha de tempo de latência crítica, permitindo o uso de FMs caros em produção online.
3. Estratégias de Enriquecimento Hierárquico: Resolve o problema de cobertura (que seria de apenas ~50% com pré-computação pura) elevando a cobertura efetiva para ~90-100% através de agregação de usuário e similaridade, mantendo a eficiência do sistema.
4. Escalabilidade em Produção: Demonstra que é possível integrar modelos de fundação complexos em pipelines de recomendação de escala global (bilhões de requisições diárias) mantendo requisitos estritos de latência.

4. Resultados

O SOLARIS foi implantado no sistema de publicidade do Meta, servindo bilhões de solicitações diárias. Os resultados incluem:

• Melhoria na Qualidade do Modelo:
  • Redução de 0,2% no Log Loss Relativo (RLL) em mais de 10 modelos de produção.
  • Aumento de 30% na cobertura de recursos (devido às estratégias hierárquicas).
• Taxa de Transferência: Alcançou uma taxa de transferência de 42% a 44%, o que representa um aumento de 2x em relação às abordagens de distilação anteriores.
• Impacto de Negócio:
  • Ganho global de 0,67% na receita de anúncios (na ordem de centenas de milhões de dólares).
  • Melhorias consistentes em métricas de CTR (Taxa de Cliques) e CVR (Taxa de Conversão) em diversas superfícies (Feed do Facebook, Reels, Instagram, etc.).
• Análise de Cobertura: Experimentos offline mostraram que um aumento de 30% na cobertura de recursos resultou em uma melhoria de 0,05% no log loss, validando o potencial de receita adicional com maior cobertura.

5. Significado e Conclusão

O SOLARIS representa um avanço fundamental na engenharia de sistemas de recomendação, desvinculando o custo computacional pesado da inferência de modelos grandes da latência crítica de atendimento. Ao permitir que modelos verticais menores acessem representações ricas de modelos de fundação em tempo real (através de pré-computação especulativa e enriquecimento de recursos), o framework supera as limitações da distilação tradicional.

Isso não apenas melhora a precisão das previsões e a receita da empresa, mas também estabelece um novo paradigma para a escalabilidade de modelos de IA generativa e fundação em ambientes de produção de alto volume, onde a eficiência e a latência são imperativos. O trabalho demonstra que é possível alavancar a complexidade de modelos de fundação sem sacrificar a experiência do usuário final ou a viabilidade operacional.