Resumo Técnico: Pailitao-MMSearch

Declaração do Problema

A evolução da busca no e-commerce mudou de consultas simples baseadas em texto para interações multimodais complexas envolvendo imagens, linguagem natural e instruções de intenção mista. No entanto, os sistemas de produção existentes enfrentam um dilema crítico:

1. Modelos Especialistas Unimodais: Implementados independentemente para tarefas de texto, visuais e de voz, esses modelos operam em espaços de representação isolados. Eles não conseguem lidar nativamente com consultas cross-modais onde o significado emerge da interação entre as modalidades, forçando os sistemas a depender de heurísticas de fusão ad-hoc que aumentam a latência e a complexidade.
2. Modelos de Visão-Linguagem (VLMs) de Propósito Geral: Embora capazes de processar imagens e texto, esses modelos carecem de conhecimento de domínio crítico do e-commerce. Eles falham em compreender atributos detalhados de produtos (ex: composição de material, níveis de marca), carecem de sinais de filtragem colaborativa (preferências do usuário, padrões de coocorrência) e não conseguem gerar diretamente identificadores de produtos estruturados para recuperação entre bilhões de itens.

Essas limitações resultam em falhas na experiência do usuário, como ignorar restrições textuais em favor do conteúdo da imagem ou falhar em capturar a verdadeira intenção comercial.

Metodologia

Os autores propõem o Pailitao-MMSearch, um modelo de fundação de busca multimodal nativo para e-commerce construído sobre a arquitetura Qwen3 e o codificador de visão Qwen2-VL. A abordagem reformula a busca multimodal como um problema de geração de produtos autoregressivo de ponta a ponta, consistindo em três inovações principais:

1. HybSID (Identificador Semântico Híbrido)

Para permitir a recuperação generativa sobre um catálogo de escala de bilhões mantendo a discriminação detalhada, os autores introduzem um novo esquema de tokenização de produtos:

• Códigos Semânticos Discretos: Os produtos são codificados em uma sequência de três tokens discretos ($c_1, c_2, c_3$) usando Quantização Residual (RQ-VAE). Estes fornecem agrupamento categórico de grosso a fino para uma geração autoregressiva eficiente.
• Embedding Multimodal Contínuo: Para recuperar os detalhes visuais e de atributos finos perdidos durante a quantização, cada produto retém um embedding contínuo ($e$).
• Representação Unificada: Um token especial <|emb_token|> é introduzido. Na fase de geração, o modelo produz autoregressivamente os códigos discretos seguidos por <|emb_token|>, cujo estado oculto é decodificado via um MLP leve (HybDecoder) para reconstruir o embedding contínuo. Isso permite que o modelo realize tanto a recuperação grosseira (via SID) quanto o ranking detalhado (via similaridade de embedding) dentro de um único framework.

2. Pré-treinamento Contínuo (CPT) em Dois Estágios

Para injetar conhecimento de domínio sem esquecimento catastrófico, os autores empregam um pipeline de dois estágios:

• Estágio 1 (Injeção de Conhecimento de Domínio): O modelo é treinado em objetivos específicos de e-commerce, incluindo Alinhamento de Conhecimento de Produto (mapeamento entre HybSID e títulos/atributos de produtos) e Alinhamento de Comportamento do Usuário (predição de próximas interações e modelagem de padrões de coocorrência). Uma pequena proporção de dados de linguagem natural geral é incluída para atuar como um regularizador.
• Estágio 2 (Preservação de Capacidade via Destilação On-Policy): Como o corpus de pré-treinamento original é inacessível, os autores usam o modelo base como professor. Eles amostram respostas on-policy do modelo estudante do Estágio 1 e minimizam a divergência de Kullback-Leibler (KL) entre a distribuição de saída do estudante e a distribuição do professor em prompts de domínio geral. Isso recupera as capacidades de seguimento de instrução e raciocínio perdidas durante a adaptação de domínio.

3. Pipeline de Pós-Treinamento de Raciocínio Híbrido

O modelo final é adaptado para diversas intenções de busca através de um pipeline de múltiplas fases:

• SFT Multi-Tarefa: Os dados são construídos a partir de trajetórias reais de usuários, estratificadas por dificuldade.
• Raciocínio Híbrido: O modelo é treinado para usar geração direta para consultas simples (dificuldade normal) e Cadeia de Pensamento (CoT) para intenções complexas (dificuldade alta), decompondo o processo de busca em etapas explícitas (identificação de atributos, análise de intenção, raciocínio, geração).
• Aprendizado por Reforço (RL): Usando Otimização de Política Relativa de Grupo (GRPO), o modelo é otimizado com recompensas verificáveis baseadas na precisão do SID e na similaridade de embedding contra um conjunto curado de produtos de verdade fundamental (ground-truth), em vez de cliques únicos registrados.
• Destilação On-Policy de Múltiplos Especialistas: O modelo final funde capacidades de modelos especialistas de RL, do LLM base e do modelo SFT em um sistema unificado.

Principais Contribuições

1. Tokenização HybSID: Um esquema híbrido combinando IDs semânticos discretos com embeddings multimodais contínuos, permitindo a compreensão detalhada de produtos e a geração autoregressiva de ponta a end-to-end dentro de um único modelo de linguagem.
2. Estratégia CPT de Dois Estágios: Um método para injetar conhecimento de domínio de e-commerce (atributos de produtos e comportamento do usuário) enquanto mitiga o esquecimento catastrófico através de Destilação On-Policy, mesmo sem acesso ao corpus de pré-treinamento original.
3. Pipeline de Raciocínio Híbrido: Um framework de pós-treinamento que integra raciocínio CoT consciente da dificuldade, RL baseado em recompensas verificáveis e fusão de conhecimento de múltiplos especialistas para lidar com intenções de busca multimodais simples e complexas.
4. Implantação Industrial: O modelo é implantado na plataforma Pailitao do Taobao, atendendo dezenas de milhões de usuários ativos diários.

Resultados

O artigo relata extensos testes A/B online e avaliações offline:

• Desempenho Online: No "PeiWoGuang" floor (um cenário de busca visual), a implantação combinada de recuperação generativa e ranking alcançou um aumento de +13,61% no GMV (Gross Merchandise Volume) e um aumento de +8,21% no Volume de Transações em comparação com o pipeline multimodal tradicional. As métricas gerais da plataforma Pailitao também mostraram ganhos positivos (+1,02% GMV, +0,53% Volume de Transações).
• Avaliação Offline:
  • Compreensão de Domínio: O modelo demonstrou forte capacidade em traduzir SIDs para legendas e atributos, e na reconhecimento multimodal de SID (End-to-end Retrieval@10 atingiu 4,43%).
  • Habilidades de Linguagem Geral: O modelo CPT de Estágio 2 recuperou com sucesso as capacidades de seguimento de instrução (a precisão de prompt estrito de IFEval melhorou de 36,78% para 38,45% em comparação ao Estágio 1), mantendo o desempenho em benchmarks gerais como MMLU-Redux e C-Eval.
  • Seguimento de Instrução: Em tarefas de busca multimodal, o modelo alcançou altas taxas de Seguimento de Instrução Estrita (SIF) (ex: 55,0% para Busca de Produto Correspondente) e forte Recall@10 (0,8544).

Significância e Alegações

Os autores afirmam que o Pailitao-MMSearch aborda as limitações fundamentais tanto dos sistemas especialistas unimodais quanto dos VLMs de propósito geral, criando um fundação de busca multimodal nativa para e-commerce.

• Integração Nativa: Ao contrário de abordagens que dependem de módulos de recuperação externos ou chamadas de ferramentas (tool-calling), este modelo tokeniza todo o catálogo de produtos dentro de seu vocabulário, permitindo a geração de ponta a ponta real.
• Fundação de Domínio Nativa: O artigo argumenta que o gargalo crítico para futuros sistemas de busca agênticos não é o framework de orquestração, mas a disponibilidade de um modelo de fundação com compreensão genuína do domínio de e-commerce. O Pailitao-MMSearch serve como essa infraestrutura essencial.
• Efetividade Prática: As melhorias substanciais no GMV e no volume de transações validam que a integração de conhecimento de domínio, modelagem de comportamento do usuário e raciocínio multimodal em um único modelo generativo produz resultados comerciais superiores em comparação com arquiteturas em cascata tradicionais.

Os autores reconhecem limitações atuais, particularmente no tratamento de entradas multimodais altamente complexas, ruidosas ou ambíguas (ex: imagens de baixa resolução com erros de digitação), e identificam o aprimoramento das capacidades de raciocínio multimodal como uma prioridade para futuras iterações.