SHE: Stepwise Hybrid Examination Reinforcement Learning Framework for E-commerce Search Relevance

O artigo apresenta o SHE, um framework de aprendizado por reforço híbrido e passo a passo que utiliza otimização de política de recompensa passo a passo (SRPO), filtragem diversificada de dados e aprendizado curricular multiestágio para superar as limitações de generalização e consistência lógica dos métodos existentes na previsão de relevância de busca em e-commerce.

O essencial

Imagine que você é o gerente de um shopping center gigante (como o Taobao ou a Amazon). O seu trabalho é garantir que, quando um cliente digita "tenis de corrida para asfalto" na busca, ele encontre exatamente o que precisa, e não um par de chinelos ou uma camiseta.

No passado, os computadores faziam isso como "caixas pretas": eles diziam "sim" ou "não" sem explicar o porquê. Se errassem, ninguém sabia onde estava o problema.

Hoje, temos modelos de Inteligência Artificial (IA) muito inteligentes que podem pensar passo a passo, como um detetive. Mas treinar esses "detetives" para não cometerem erros é difícil. É aqui que entra o SHE (Stepwise Hybrid Examination Reinforcement Learning), o novo método apresentado neste artigo.

Vamos explicar como o SHE funciona usando uma analogia de treinar um estagiário para ser um especialista em compras:

1. O Problema: O Estagiário que Aprende Errado

Imagine que você tem um estagiário (a IA) e quer ensiná-lo a julgar se um produto é relevante para uma busca.

• Método Antigo (SFT/DPO): Você mostra 1.000 exemplos de "certo" e "errado" e diz: "Faça igual". O problema é que o estagiário decora os exemplos, mas quando vê algo novo e difícil, ele trava.
• Método de Reforço Antigo (RLVR): Você deixa o estagiário tentar sozinho. Se ele acertar o produto final, você dá um prêmio. Se errar, você dá um zero.
  • O defeito: Se o estagiário errou no passo 1 (entendeu mal a pergunta), mas acertou o passo 5 (chutou o produto certo), ele recebe o prêmio. Ele aprende que chutar funciona! Isso é chamado de "hackear a recompensa".

2. A Solução SHE: O "Chefe" que Corrige Passo a Passo

O SHE muda as regras do jogo. Em vez de olhar apenas para o resultado final, o sistema examina cada passo do raciocínio do estagiário.

A. O "Detetive" de Passos (Recompensa Híbrida)

O sistema divide a tarefa de julgar um produto em 5 passos lógicos:

1. Entender o que o cliente quer (A busca).
2. Entender o que o produto é (O item).
3. Verificar se a categoria bate (Ex: Tênis vs. Camiseta).
4. Verificar os detalhes (Ex: Cor, tamanho, material).
5. Decidir o veredito final.

O SHE usa dois "juízes" para dar notas em cada passo:

• Juiz Humano (Offline): Para os passos fáceis e objetivos (como categoria e detalhes), humanos verificam a resposta. É como ter um manual de regras.
• Juiz IA Generativa: Para os passos difíceis e subjetivos (entender a intenção da busca), uma IA especializada (treinada para isso) avalia se o raciocínio faz sentido.

Analogia: É como um professor corrigindo uma prova de matemática. Ele não dá nota só se o resultado final estiver certo. Ele olha: "Você errou a conta na linha 2, mesmo que o resultado final tenha dado certo por sorte, você perdeu pontos na linha 2". Isso força o estagiário a aprender a lógica, não apenas a sorte.

B. O Treinamento Inteligente (Amostragem e Currículo)

O SHE não joga qualquer exercício para o estagiário. Ele usa duas estratégias:

1. Amostragem de Dificuldade (Difficulty Sampling): Se o estagiário acerta tudo fácil, o sistema para de mostrar esses exercícios fáceis. Se ele erra tudo, o sistema para de mostrar os impossíveis. Ele foca nos exercícios "no limite" (os que estão na fronteira do que ele consegue aprender). É como um personal trainer que ajusta o peso da haltere: nem leve demais, nem pesado demais, mas justo o suficiente para crescer.
2. Currículo Diverso (Curriculum Learning): O treinamento é dividido em fases. Primeiro, o estagiário aprende com exemplos variados e fáceis. Depois, o sistema introduz casos mais complexos e raros. Isso evita que o estagiário fique "viciado" em um único tipo de pergunta.

C. O Algoritmo SRPO (O Motor de Aprendizado)

A parte técnica mais importante é o SRPO. Em vez de dar um único prêmio no final da corrida, o sistema calcula uma "vantagem" para cada passo.

• Se você errou o passo 1, a "vantagem" dos passos seguintes é reduzida, mesmo que você tenha chegado ao fim.
• Isso garante que o estagiário saiba exatamente onde ele errou e como corrigir, em vez de apenas tentar de novo aleatoriamente.

3. O Resultado na Vida Real

Os autores testaram isso no Taobao (um dos maiores e-commerces do mundo).

• Melhoria na Interpretação: A IA agora explica por que um produto é bom ou ruim, passo a passo.
• Precisão: Em testes, o SHE superou todos os métodos anteriores, especialmente em perguntas difíceis e complexas.
• Online: Quando colocado em prática, o sistema melhorou a satisfação dos clientes (eles encontraram o que queriam). Inicialmente, houve uma queda nas vendas porque a IA estava tão focada em "relevância perfeita" que mostrava produtos ótimos que ninguém comprava (porque eram caros ou de marcas desconhecidas). A equipe ajustou o sistema para equilibrar "relevância" com "probabilidade de compra", e os resultados foram excelentes: mais vendas e clientes mais felizes.

Resumo em uma frase

O SHE é como um sistema de treinamento que transforma uma IA de "chutadora de resultados" em um analista sênior, corrigindo seus erros em cada etapa do raciocínio, focando nos desafios certos e garantindo que ela entenda a lógica por trás de cada decisão de compra.

Resumo técnico

Resumo Técnico: SHE – Framework de Aprendizado por Reforço com Exame Híbrido Passo a Passo

1. O Problema

A previsão de relevância entre consultas e produtos (Query-Product Relevance) é fundamental para motores de busca em e-commerce. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam capacidades de raciocínio via Chain-of-Thought (CoT) que aumentam a interpretabilidade, os paradigmas de treinamento existentes apresentam limitações críticas:

• SFT (Fine-Tuning Supervisionado) e DPO (Otimização Direta de Preferência): Frequentemente sofrem de baixa generalização em consultas de cauda longa e carecem de supervisão granular passo a passo para alinhar o raciocínio às regras.
• RLVR (Aprendizado por Reforço com Recompensas Verificáveis): Sofre de recompensas esparsas. O feedback é dado apenas com base na correção da saída final, o que impede a correção de passos intermediários errôneos, levando a inconsistências lógicas e dificuldade em cenários de inferência complexa.

2. Metodologia: Framework SHE

O artigo propõe o SHE (Stepwise Hybrid Examination Reinforcement Learning), um framework que integra várias técnicas avançadas para superar as limitações acima. O núcleo do método é o algoritmo SRPO (Stepwise Reward Policy Optimization).

Componentes Principais:

• A. Amostragem de Dificuldade e Diversidade (Data Selection):

  • Amostragem de Rejeição Offline: Filtra instâncias onde o modelo gera consistentemente caminhos totalmente corretos ou totalmente incorretos, focando nos exemplos "informativos" (onde há variação no desempenho) para acelerar a convergência.
  • Amostragem Diversa: Constrói um conjunto de dados altamente diversificado (domínios, tipos de consulta, graus de relevância) para evitar o colapso da política (degeneração para poucos padrões) e promover a exploração de estratégias de raciocínio mais amplas.

• B. Paradigma de Treinamento Dinâmico:

  • Amostragem Dinâmica de Dificuldade: Ajusta os critérios de seleção de amostras conforme a política melhora, focando progressivamente em exemplos mais desafiadores.
  • Aprendizado de Currículo (Curriculum Learning): Utiliza um processo multiestágio, começando com dados mais fáceis e equilibrados por intenção de consulta, evoluindo para dados mais difíceis e equilibrados por dificuldade, mitigando conflitos entre objetivos de otimização.

• C. Recompensa Híbrida Passo a Passo (Stepwise Hybrid Reward):

  • O processo de raciocínio é dividido em 5 etapas: (1) Interpretação da Consulta, (2) Interpretação do Item, (3) Correspondência de Categoria, (4) Correspondência de Atributos e (5) Julgamento Final.
  • Mecanismo Híbrido:
    • Para etapas abertas (1 e 2), utiliza um Modelo de Recompensa Gerativo treinado para avaliar a qualidade do raciocínio.
    • Para etapas estruturadas (3 e 4), utiliza verificadores de ground-truth offline (rótulos humanos ou regras determinísticas).
  • Isso fornece um sinal de recompensa denso e específico para cada etapa, em vez de apenas no final.

• D. SRPO (Stepwise Reward Policy Optimization):

  • Diferente do PPO (que usa vantagens ao nível de token) ou do GRPO (que usa vantagens ao nível de sequência), o SRPO calcula vantagens ao nível de etapa.
  • A vantagem para um token em uma etapa específica é a soma descontada das recompensas dessa etapa e das etapas subsequentes. Isso permite uma atribuição de crédito precisa, corrigindo erros intermediários mesmo que a resposta final seja acidentalmente correta (ou vice-versa).

3. Contribuições Chave

1. Estratégia Centrada em Dados: Criação de um conjunto de dados diversificado e filtrado via rejeição offline para eliminar exemplos não informativos.
2. Paradigma de Treinamento Adaptativo: Combinação de mineração de amostras difíceis com aprendizado de currículo multiestágio para melhorar a robustez e a generalização.
3. Mecanismo de Recompensa Híbrida e SRPO: Introdução de um sistema de recompensa que combina modelos generativos e verificação humana em nível de etapa, acoplado ao algoritmo SRPO para resolver o problema de recompensa esparsa e atribuição de crédito desequilibrada.

4. Resultados

Os experimentos foram realizados em dados reais de busca do Taobao (Alibaba), utilizando o modelo base Tbstar-42B-A3.5.

• Avaliação Offline:
  • O SHE (SRPO) superou consistentemente os baselines (SFT, DPO, GRPO padrão).
  • Métricas: O SHE alcançou Macro F1 de 66.03 e Acurácia de 79.18, superando o melhor baseline (GRPO) que obteve Macro F1 de 64.95 e Acurácia de 78.47.
  • Houve melhoria significativa na F1 da Classe 1 (Bad), indicando melhor capacidade de identificar itens irrelevantes.
• Avaliação Online (A/B Testing):
  • Em testes A/B com 4% de tráfego, após otimizações no pipeline de recall e pre-ranking para alinhar relevância com conversão, o sistema SHE resultou em ganhos de:
    • GMV Limpo Direto: +1.48%
    • Pedidos (Orders): +1.26%
    • IPV (Itens por Visualização): +1.15%
  • A latência p99 foi mantida abaixo de 400ms através de técnicas de decodificação de primeiro token e quantização.

5. Significado e Impacto

O trabalho SHE representa um avanço significativo na aplicação de LLMs raciocinadores em sistemas de busca de e-commerce em escala industrial.

• Interpretabilidade e Robustez: Ao forçar o modelo a justificar cada passo de decisão com recompensas específicas, o sistema torna-se mais transparente e menos propenso a "alucinações" ou erros lógicos.
• Eficiência de RL: Resolve o problema fundamental da escassez de recompensa no RLVR, permitindo que modelos aprendam com erros intermediários complexos, algo que métodos anteriores (como GRPO puro) não conseguiam fazer eficientemente.
• Aplicabilidade Industrial: Demonstra que é possível integrar modelos de raciocínio complexo em pipelines de busca de alto tráfego sem sacrificar a latência ou a estabilidade dos indicadores de negócios (GMV), desde que o pipeline de recall seja alinhado corretamente.

Em resumo, o SHE oferece uma nova arquitetura para treinar modelos de relevância que não apenas "adivinham" a resposta correta, mas "raciocinam" corretamente através de um processo de verificação passo a passo híbrido e otimizado.