Resumo Técnico: MORE – Aprendizado Adaptativo de Múltiplos Objetivos para Sistemas de Diálogo de E-commerce

Definição do Problema

Em sistemas de diálogo de e-commerce, existe uma tensão fundamental entre dois objetivos críticos: corretude do raciocínio e naturalidade linguística. Os sistemas devem raciocinar com precisão sobre perfis estruturados de usuários (ex: limites de crédito, elegibilidade, histórico de compras) para garantir precisão factual e tomada de decisão confiável, enquanto simultaneamente geram respostas que sejam fluentes, naturais e envolventes.

O artigo identifica que esses objetivos são complementares, mas não idênticos. As abordagens existentes frequentemente falham em equilibrá-los:

• Sistemas baseados em regras ou simbólicos garantem a corretude, mas produzem enunciados rígidos e não naturais.
• Modelos de diálogo personalizados melhoram a consistência da persona, mas frequentemente negligenciam a corretude factual de atributos dinâmicos do usuário.
• O Aprendizado por Reforço (RL) padrão que mistura ingenuamente múltiplos sinais de recompensa (ex: somando precisão de raciocínio e qualidade de geração) leva a dinâmicas de otimização instáveis. Conforme demonstrado nos experimentos preliminares do artigo, a combinação direta de recompensas heterogêneas causa oscilações significativas de treinamento e variância, muitas vezes degradando tanto a precisão do raciocínio quanto a qualidade da resposta em comparação com a otimização individual de cada um.

Metodologia: O Framework MORE

Os autores propõem o MORE (Multi-Objective REinforcement learning), um framework adaptativo projetado para otimizar conjuntamente a precisão do raciocínio e a naturalidade linguística sem a instabilidade da mistura direta de recompensas. O framework consiste em três componentes principais:

1. Andaime de Treinamento Reforçado pelo Raciocínio (Reasoning-Enhanced Training Scaffold)

Em vez de otimizar conjuntamente o raciocínio e a geração de resposta em uma única etapa (o que causa gradientes conflitantes), o MORE trata o raciocínio como um andaime de treinamento (scaffold).

• Raciocínio de Informação de Perfil: O modelo é explicitamente treinado em dois tipos de tarefas usando um banco de dados de perfis:
  • Completagem de Atributo Mascarado (MAC): Recuperar atributos específicos (ex: os quatro últimos dígitos de um número de telefone) a partir de contextos de linguagem natural.
  • Raciocínio Numérico Programático (PNR): Realizar inferência numérica baseada em atributos (ex: calcular juros diários).
• Objetivo do Andaime: Estas tarefas são otimizadas via Aprendizado por Reforço com recompensas verificáveis (1 para correto, 0 para incorreto). Esta etapa aumenta a capacidade do modelo de inferir atributos do usuário e realizar recuperação factual.
• Eficiência de Inferência: Crucialmente, durante a inferência, o modelo não gera etapas explícitas de raciocínio. Ele gera diretamente a resposta final, aproveitando as capacidades de raciocínio aprendidas durante a fase de andaime para manter baixa latência e comprimento de saída reduzido.

2. Otimização Adaptativa de Múltiplas Recompensas

Para lidar com a fase de geração, o MORE emprega um mecanismo adaptativo para equilibrar múltiplos objetivos potencialmente conflitantes (fluência, naturalidade, fidelidade semântica, cobertura, etc.).

• Avaliação Multidimensional: As respostas candidatas são avaliadas em múltiplas dimensões usando modelos de recompensa baseados em LLM (ex: DeepSeek-R1) e métricas tradicionais (ROUGE).
• Retotalização Dinâmica Baseada em Gradiente: Em vez de usar pesos fixos, o MORE utiliza uma estratégia de decaimento linear baseada em ranking para ajustar dinamicamente os pesos das recompensas com base no feedback do gradiente.
  • A magnitude da contribuição do gradiente para cada recompensa é calculada.
  • Os pesos são atribuídos com base no ranking desses gradientes, em vez de sua magnitude absoluta. Esta abordagem estabiliza o treinamento ao descartar informações de magnitude não confiáveis, preservando a ordenação consistente e evitando que o modelo seja excessivamente sensível a pequenas flutuações numéricas ou dominado por um único sinal forte.
• Modelo de Referência: O modelo reforçado pelo raciocínio serve como uma referência ($\pi_{ref}$) para ancorar a corretude, enquanto o modelo de política foca em melhorar a naturalidade dentro do framework GRPO (Group-wise Reinforcement Policy Optimization).

3. Pipeline de Treinamento

O processo de treinamento (Algoritmo 1) envolve:

1. Atualizar a política nas tarefas MAC/PNR para criar um modelo de referência ancorado pelo raciocínio.
2. Gerar um grupo de respostas candidatas.
3. Calcular um conjunto de recompensas diversas para cada candidata.
4. Retotalizar dinamicamente estas recompensas com base nos rankings de gradiente.
5. Otimizar a política usando um objetivo do tipo PPO com a recompensa agregada e adaptativa e uma penalidade de divergência KL contra o modelo de referência.

Principais Contribuições

1. Identificação do Desafio de Múltiplos Objetivos: O artigo destaca a instabilidade específica causada pela mistura direta de recompensas de raciocínio e geração em sistemas de diálogo de e-commerce, demonstrando que a combinação ingênua leva à oscilação e degradação de desempenho.
2. Framework MORE: A proposta de um framework de RL de múltiplos objetivos adaptativo que desacopla o raciocínio (como um andaime de treinamento) da geração, utilizando um mecanismo de retotalização dinâmica baseado em gradiente para equilibrar objetivos concorrentes.
3. Validação Empírica: Avaliação abrangente em benchmarks offline e ambientes de produção reais, demonstrando que o MORE supera fortes baselines em precisão de raciocínio e qualidade conversacional.

Resultados Experimentais

Avaliação Offline

• Datasets da ByteDance (Venda Proativa & Atendimento ao Cliente): O MORE superou consistentemente os baselines, incluindo SFT, DPO, KTO, RLHF, CoT e outros métodos de RL de múltiplos objetivos (C-DynaOpt, EMORL). Alcançou melhorias significativas nas métricas BLEU, ROUGE, Naturalidade, Raciocínio, Fidelidade e Cobertura.
• Benchmark MultiWOZ 2.2: O MORE alcançou desempenho de estado da arte em sucesso de tarefa (Inform: 92.5%, Sucesso: 84.8%) e diversidade lexical, superando tanto modelos de treinamento full-shot quanto métodos de prompting zero-shot.

Testes A/B Online (Produção ByteDance)

Um experimento online de 14 dias foi conduzido no tráfego real de produção:

• Vendas Proativas: O MORE melhorou a Conversão Geral em 16,53% e a Conversão de Alcance (Reached Conversion) em 30,09% em comparação ao baseline.
• Atendimento ao Cliente: A satisfação do usuário aumentou em 1,12%, e a taxa de transferência para agentes humanos diminuiu em 1,83%.
• Comparação Humano-Máquina: Em uma comparação direta com agentes humanos em vendas proativas, o sistema MORE recuperou aproximadamente 60% do aumento incremental de conversão alcançado pelos humanos, enquanto atingiu 89% da taxa de conversão absoluta.

Eficiência

Ao omitir etapas explícitas de raciocínio durante a inferência, o MORE reduziu a latência média de 5,69s para 1,71s (redução de 69,9%) e o comprimento da saída de 252,6 para 79,8 tokens (redução de 68,4%) em comparação com os baselines de Chain-of-Thought (CoT).

Significância e Alegações

O artigo afirma que o MORE aborda com sucesso o desafio de "um modelo, múltiplos objetivos" em sistemas de diálogo de e-commerce. Sua significância reside em:

• Estabilização do Aprendizado de Múltiplos Objetivos: Ao tratar o raciocínio como um andaime e utilizar a retotalização dinâmica baseada em gradiente, evita a instabilidade de treinamento inerente à mistura direta de recompensas.
• Impacto de Negócio Prático: O framework entrega valor de negócio mensurável, melhorando significativamente as taxas de conversão e a satisfação do usuário em implementações de larga escala no mundo real.
• Equilíbrio entre Confiança e Usabilidade: Demonstra que um sistema pode ser tanto factualmente confiável (via raciocínio) quanto naturalmente envolvente (via geração adaptativa) sem incorrer no overhead de inferência de passos de raciocínio explícitos.

Os autores concluem que equilibrar efetivamente esses múltiplos objetivos de diálogo leva a melhorias tangíveis tanto na qualidade do diálogo quanto nos resultados de negócio, ofereando uma solução escalável para cenários complexos de e-commerce.