Resumo Técnico: AIGP – Um Framework Baseado em LLM para Alinhamento de Valor a Longo Prazo em Precificação de E-commerce

1. Declaração do Problema

A precificação dinâmica tradicional em larga escala no e-commerce enfrenta três limitações críticas:

1. Interpretabilidade Limitada: Sistemas baseados em regras e modelos de dados de caixa-preta (ex: Aprendizado por Reforço padrão) carecem de raciocínio transparente, dificultando a auditoria de decisões ou a construção de confiança junto ao lojista.
2. Subutilização de Dados Não Estruturados: Métodos existentes têm dificuldade em aproveitar o rico contexto textual, como descrições de produtos, avaliações de usuários e tendências sazonais, dependendo apenas de métricas históricas estruturadas.
3. Desalinhamento com Objetivos de Longo Prazo: Descontos agressivos muitas vezes maximizam as vendas de curto prazo em detrimento da saúde do negócio a longo prazo. Otimizar para o Valor Bruto de Mercadorias (GMV) cumulativo, Retorno sobre o Investimento (ROI) e alcance de metas ao longo de horizontes estendidos (ex: 14 dias) continua sendo um desafio devido à esparsidade de recompensa e à dificuldade de modelar efeitos de mercado retardados.

Embora o Aprendizado por Reforço (RL) ofereça um caminho para a otimização de longo prazo, ele sofre com mudanças distributivas, esparsidade de recompensa e falta de interpretabilidade. Por outro lado, os Grandes Modelos de Linguagem (LLMs) oferecem capacidades de raciocínio e processamento de dados não estruturados, mas carecem de conhecimento operacional específico do domínio e de feedback de resultados de longo horizonte, levando frequentemente a decisões subótimas e de visão curta.

2. Metodologia: O Framework AIGP

Os autores propõem o AIGP (Artificial Intelligence Generated Pricing), um framework que integra o raciocínio baseado em LLM com o aprendizado por reforço offline para alcançar uma precificação dinâmica transparente e alinhada ao negócio. O framework opera através de um pipeline de quatro estágios:

2.1 Ajuste Fino Supervisionado (SFT) Adaptativo ao Domínio

Para implantar LLMs como políticas de precificação, os autores empregam uma estratégia de destilação professor-aluno:

• Modelo Professor: Um LLM de grande escala com 235 bilhões de parâmetros (Qwen3-235B) gera traços de raciocínio de alta qualidade e decisões de preço baseadas em prompts complexos contendo dados estruturados (histórico de vendas, GMV, ROI), contexto não estruturado (avaliações, descrições) e conhecimento de domínio.
• Modelo Aluno: Um modelo compacto de 30 bilhões de parâmetros (Qwen3-30B) é ajustado via Low-Rank Adaptation (LoRA) para imitar o professor.
• Controle de Qualidade: Um módulo "LLM-as-Judge" filtra as respostas do professor com base em quatro dimensões: Precisão de Dados, Completude de Conteúdo, Coerência Interna do Raciocínio e Consistência Raciocínio-Decisão. Apenas respostas com pontuação perfeita são utilizadas para o treinamento.
• Saída: O modelo SFT aprende a seguir instruções, gerar raciocínio de Cadeia de Pensamento (CoT) e produzir ações de preço em formato JSON compatível.

2.2 Estimador de Valor de Longo Prazo (LTVE)

Para abordar a falta de feedback de longo horizonte nos LLMs, um Estimador de Valor de Longo Prazo (LTVE) dedicado é treinado via Aprendizado por Reforço Offline em 5 milhões de transições históricas.

• Arquitetura: Uma arquitetura apenas de crítico utilizando um framework de aprendizado de valor desacoplado com um ensemble de double Q-critic e uma rede de valor de estado ($V_\psi$).
• Design de Recompensa: A função de recompensa equilibra o alcance de metas de 14 dias (limiares de GMV cumulativo) e o ROI. Utiliza recompensas relativas normalizadas por categoria para isolar a qualidade da estratégia de preço da popularidade intrínseca do produto.
• Treinamento: O LTVE utiliza alvos de Diferença Temporal (TD) de múltiplos passos ($n=3$) para modelar efeitos de mercado retardados sem exigir exploração online, mitigando riscos de mudança distributiva.

2.3 Alinhamento de Preferência via Otimização de Preferência Direta (DPO)

Para alinhar a política do LLM com objetivos de negócio de longo prazo, os autores introduzem um pipeline de alinhamento de preferência:

• Amostragem de Candidatos: Para um determinado estado, o modelo gera múltiplas ações de preço candidatas em modo "apenas decisão" (usando um token [ACT_ONLY]).
• Construção de Pares: O LTVE pontua esses candidatos. Os pares são construídos onde a ação "escolhida" possui um score de LTVE significativamente maior e uma magnitude de desconto distinta em comparação com a ação "rejeitada".
• Otimização: O modelo aluno é ajustado via Otimização de Preferência Direta (DPO) para maximizar a probabilidade das ações escolhidas sobre as rejeitadas. Este passo foca especificamente nos tokens de ação, garantindo que o modelo aprenda a selecionar ações que maximizem o valor a longo prazo enquanto retém a capacidade de gerar traços de raciocínio completos durante a inferência.

2.4 Arquitetura de Implantação

O sistema é implantado no Tao Factory, um marketplace vertical no Taobao. O fluxo de trabalho envolve:

1. Inferência: O LLM alinhado recebe dados de estado e gera um traço de raciocínio CoT seguido de uma ação de desconto estruturada.
2. Segurança: As ações são restringidas por regras de negócio para garantir que permaneçam dentro de limites de ajuste seguros ($A_{safe}$).
3. Transparência: O raciocínio CoT fornece justificativas auditáveis para as decisões de preço, facilitando a confiança do lojista.

3. Principais Contribuições

1. Framework Inovador: A proposta do AIGP, o primeiro framework que integra o raciocínio baseado em LLM com a modelagem de valor de longo prazo via RL offline para precificação de e-commerce.
2. Pipeline de Alinhamento de Preferência: Um método para automatizar a geração de pares de preferência de alta qualidade para DPO usando um LTVE treinado via RL offline, preenchendo efetivamente a lacuna entre o raciocínio do LLM e a otimização de negócio de longo prazo.
3. Implantação Escalável: Uma demonstração da destilação de capacidades complexas de raciocínio e tomada de decisão de um modelo professor de 235B para um modelo aluno de 30B implantável, alcançando desempenho competitivo com custos de inferência significativamente reduzidos.

4. Resultados Experimentais

O framework foi avaliado no Tao Factory através de extensas avaliações offline e testes A/B online em larga escala (60+ dias, ~200.000 SKUs).

4.1 Avaliação Offline

• Alinhamento de Valor de Longo Prazo: O AIGP completo (SFT+DPO) alcançou o maior Q-score médio (2.836) comparado a baselines como modelos de Preço-Vendas (2.564) e RL-DT (2.694).
• Fidelidade Operacional: O AIGP alcançou a maior Precisão de Correspondência de Ação do Especialista (82.51%) e o menor Erro Médio Absoluto (0.062).
• Qualidade do Raciocínio: O modelo destilado de 30B, após SFT e DPO, alcançou um escore de qualidade de raciocínio (19.52) aproximando-se do professor de 235B (19.80), superando significativamente o modelo base de 30B (18.13).

4.2 Desempenho do Teste A/B Online (Horizonte de 14 Dias)

Comparado ao baseline de produção (Modelo de Preço-Vendas), o AIGP demonstrou melhorias significativas:

• Taxa de Alcance de Metas (MAR): +8.20%
• GMV Cumulativo: +13.21%
• ROI Integrado: +7.59%

4.3 Estabilidade e Robustez

• Estabilidade de Preço: O AIGP exibiu menos saltos extremos de desconto e uma maior proporção de ajustes de pequena magnitude comparado aos baselines, o que é crucial para lançamentos de novos produtos.
• Cold-Start & OOD: Em cenários com histórico limitado (cold-start) ou ações de fronteira, o AIGP manteve alta Precisão de Discriminação Contrafactual (94.6% e 94.1% respectivamente), superando tanto o LTVE padrão quanto o Conservative Q-Learning (CQL) ao utilizar contexto não estruturado e raciocínio analógico.

5. Significância e Alegações

O artigo afirma que o AIGP aborda com sucesso a natureza de "caixa-preta" do RL e a "visão curta" dos LLMs genéricos na precificação de e-commerce. Ao combinar o raciocínio CoT interpretável com a otimização de valor de longo prazo, o framework permite:

• Tomada de Decisão Transparente: Lojistas podem auditar o "porquê" por trás das mudanças de preço, fomentando a confiança.
• Uso Eficaz de Dados Não Estruturados: O sistema aproveita avaliações e descrições para ajustar estratégias de preço, particularmente para produtos em cold-start onde os dados históricos são escassos.
• Crescimento Sustentável: O alinhamento com métricas de longo prazo (GMV, ROI, metas) garante que as estratégias de preço impulsionem a saúde do negócio de forma sustentável, e não apenas o volume de curto prazo.

Os autores concluem que esta abordagem permite que modelos compactos e implantáveis igualem a qualidade de decisão de LLMs muito maiores, garantindo simultaneamente a transparência da política e o alinhamento com objetivos de negócio multiobjetivo complexos. Sugere-se como trabalho futuro explorar a extensibilidade cross-domain e frameworks unificados para raciocínio simbólico e tomada de decisão estratégica.