Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance

Resumo Técnico: Pensar Amplo, Agir Rápido

Declaração do Problema
A modelagem de relevância eficaz é fundamental para a busca no e-commerce, mas os modelos tradicionais têm dificuldade com consultas de cauda longa e ambíguas. Embora os Grandes Modelos de Linguagem (LLMs) aprimorados com raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT) tenham mostrado promessa na melhoria da precisão e interpretabilidade, duas limitações críticas impedem sua implantação no mundo real:

1. Limitação de Perspectiva Única: As abordagens de CoT existentes dependem tipicamente de uma perspectiva de raciocínio única e monolítica. Isso falha em capturar a natureza multifacetada da relevância no e-commerce, que exige o equilíbrio entre a intenção do usuário, a correspondência de atributos estruturados e regras de negócio específicas simultaneamente.
2. Ineficiência de Destilação: Os métodos atuais de destilação de conhecimento que utilizam racionales gerados por LLMs frequentemente descartam a estrutura de CoT durante a inferência. Eles tratam o raciocínio como um sinal transitório de treinamento em vez de uma capacidade interna, perdendo a utilidade do processo de raciocínio para o atendimento online. Além disso, os próprios LLMs sofrem de alta latência de inferência, tornando-os impraticáveis para sistemas de busca em tempo real.

Metodologia
Os autores propõem um framework que "pensa amplo" durante o treinamento e "age rápido" na inferência, consistindo em dois componentes primários:

1. Cadeia de Pensamento Multi-Perspectiva (MPCoT) para Treinamento do Professor
O framework emprega um poderoso LLM professor (Qwen3-14B) treinado para gerar racionais diversos a partir de três perspectivas distintas:

• Intenção do Usuário: Foca em necessidades funcionais e alinhamento de casos de uso.
• Análise Estruturada: Realiza uma verificação sistemática, atributo por atributo, entre a consulta e o produto.
• Regras de Negócio: Aplica heurísticas específicas da plataforma para resolver ambiguidades (ex: distinguir produtos principais de acessórios).

O modelo professor passa por um processo de otimização de dois estágios:

• Ajuste Fino Supervisionado (SFT): O modelo é treinado em um conjunto de dados agregado de racionais CoT de alta qualidade e específicos por perspectiva. Isso força o modelo a internalizar diversos caminhos de raciocínio.
• Otimização de Preferência Direta (DPO): Para abordar casos onde diferentes perspectivas geram previsões conflitantes, o modelo é refinado através de DPO. Este estágio constrói pares de preferência onde as respostas "escolhidas" vêm de perspectivas corretas e as respostas "rejeitadas" de perspectivas incorretas, ensinando o modelo a adaptar e selecionar o caminho de raciocínio ideal com base no contexto.

2. Destilação de Conhecimento de Raciocínio Latente (LRKD) para Implantação do Aluno
Para transferir as capacidades do professor para um modelo aluno leve (ex: BERT) sem incorrer em latência de geração, os autores introduzem o LRKD.

• Arquitetura: O modelo aluno é um codificador cruzado (cross-encoder) aumentado com um Extrator de Raciocínio Latente treinável. Este extrator mapeia as representações de tokens contextualizados do aluno em um vetor de raciocínio latente estruturado.
• Objetivo de Treinamento: O aluno é treinado usando uma função de perda dupla:
  1. Perda de Classificação: Cross-entropy padrão para prever rótulos de relevância.
  2. Perda de Guia Latente: Uma perda de Erro Quadrático Médio (MSE) que alinha o vetor de raciocínio latente do aluno com o embedding denso do CoT gerado pelo professor (codificado por um modelo de embedding de frase congelado como o BGE-M3).
• Inferência: Ao contrário de métodos anteriores, o extrator de raciocínio latente é mantido durante a inferência. Ele permite que o modelo aluno internalize semânticas de raciocínio sofisticadas em uma forma compacta e não generativa, permitindo a implantação de baixa latência.

Principais Contribuições

1. Framework MPCoT: Um novo framework de raciocínio que gera racionais complementares a partir de múltiplas perspectivas, demonstrando que a fusão de diversos pontos de vista (Intenção do Usuário, Análise Estruturada, Regras de Negócio) leva a julgamentos de relevância mais robustos do que abordagens de perspectiva única.
2. Mecanismo LRKD: Uma técnica de destilação que preserva as semânticas de raciocínio em um modelo aluno leve via um extrator latente. Isso evita a alta latência de geração de texto enquanto retém a utilidade do raciocínio CoT durante o atendimento online.
3. Validação Empírica: Validação abrangente em conjuntos de dados de e-commerce multilíngues (AliExpress e ESCI) e um teste A/B online de grande escala.

Resultos

• Desempenho Offline: O professor MPCoT combinado e o aluno LRKD alcançaram resultados de estado da arte nos conjuntos de dados AliExpress e ESCI. O professor MPCoT superou as bases de perspectiva única mais fortes com uma média de +1,96% em Acurácia e +3,5% em F1. As variantes do aluno LRKD (especificamente baseadas em GAT e Poly-encoder) superaram consistentemente as bases de destilação existentes (CED-KD, MKD) e os modelos BERT padrão, com a variante GAT melhorando a acurácia em +2,37 pontos e o F1 em +3,91 pontos sobre a base.
• Eficiência: Os modelos alunos mantiveram baixa latência (aprox. 132–148 ms) em comparação com o LLM professor (46.800 ms), com apenas aumentos marginais de parâmetros.
• Impacto Online: Em um teste A/B ao vivo na plataforma de publicidade de busca do AliExpress, atendendo dezenas de milhões de usuários, o método entregou melhorias estatisticamente significativas:
  • +1,42% em Receita por Mil (RPM).
  • +0,48% na Taxa de Cliques (CTR).
  • +0,4% no escore de Satisfação de Relevância (RS).

Significância
O artigo afirma que sua abordagem consegue preencher a lacavra entre as altas capacidades de raciocínio dos LLMs e os rigorosos requisitos de latência da busca industrial de e-commerce. Ao ir além do raciocínio de perspectiva única e reter estruturas de raciocínio no espaço latente do modelo aluno, o framework oferece uma solução prática para lidar com consultas complexas e ambíguas que os modelos tradicionais perdem. Os resultados demonstram que "pensar amplo" (via treinamento multi-perspectiva) e "agir rápido" (via destilação latente) podem simultaneamente aumentar o desempenho comercial (receita) e a experiência do usuário (satisfação de relevância) sem o custo computacional de executar grandes LLMs em tempo real.