Riepilogo Tecnico: AIGP – Un Framework Basato su LLM per l'Allineamento del Valore a Lungo Termine nel Pricing dell'E-commerce

1. Definizione del Problema

Il pricing dinamico tradizionale nei grandi sistemi di e-commerce affronta tre criticità fondamentali:

1. Interpretabilità Limitata: I sistemi basati su regole e i modelli basati sui dati "black-box" (ad esempio, il Reinforcement Learning standard) mancano di un ragionamento trasparente, rendendo difficile l'audit delle decisioni o la costruzione della fiducia da parte dei commercianti.
2. Sottoutilizzo di Dati Non Strutturati: I metodi esistenti faticano a sfruttare il ricco contesto testuale come descrizioni dei prodotti, recensioni degli utenti e tendenze stagionali, affidandosi invece a metriche storiche strutturate.
3. Disallineamento con Obiettivi a Lungo Termine: Gli sconti aggressivi spesso massimizzano le vendite a breve termine a scapito della salute del business a lungo termine. L'ottimizzazione del Gross Merchandise Value (GMV) cumulativo, del Ritorno sull'Investimento (ROI) e del raggiungimento di traguardi (milestone) su orizzonti estesi (ad esempio, 14 giorni) rimane una sfida a causa della scarsità di ricompense (reward sparsity) e della difficoltà di modellare gli effetti di mercato ritardati.

Sebbene il Reinforcement Learning (RL) offra una via per l'ottimizzazione a lungo termine, esso soffre di shift distribuzionali, scarsità di ricompense e mancanza di interpretabilità. Al contrario, i Large Language Models (LLM) offrono capacità di ragionamento ed elaborazione di dati non strutturati, ma mancano di conoscenza operativa specifica del dominio e di feedback sugli esiti a lungo orizzonte, portando spesso a decisioni subottimali e miope.

2. Metodologia: Il Framework AIGP

Gli autori propongono AIGP (Artificial Intelligence Generated Pricing), un framework che integra il ragionamento basato su LLM con l'offline reinforcement learning per ottenere un pricing dinamico trasparente e allineato al business. Il framework opera attraverso una pipeline a quattro fasi:

2.1 Supervised Fine-Tuning (SFT) Adattivo al Dominio

Per implementare gli LLM come policy di pricing, gli autori impiegano una strategia di distillazione teacher-student:

• Modello Teacher: Un LLM massiccio da 235B di parametri (Qwen3-235B) genera tracce di ragionamento di alta qualità e decisioni di prezzo basate su prompt complessi contenenti dati strutturati (storia delle vendite, GMV, ROI), contesto non strutturato (recensioni, descrizioni) e conoscenza del dominio.
• Modello Student: Un modello compatto da 30B di parametri (Qwen3-30B) viene sottoposto a fine-tuning tramite Low-Rank Adaptation (LoRA) per imitare il teacher.
• Controllo Qualità: Un modulo "LLM-as-Judge" filtra le risposte del teacher basandosi su quattro dimensioni: Accuratezza dei Dati, Completezza del Contenuto, Coerenza Interna del Ragionamento e Consistenza tra Ragionamento e Decisione. Solo le risposte con punteggio perfetto vengono utilizzate per l'addestramento.
• Output: Il modello SFT impara a seguire le istruzioni, generare Chain-of-Thought (CoT) e produrre azioni di pricing in formato JSON conforme.

2.2 Long-Term Value Estimator (LTVE)

Per affrontare la mancanza di feedback a lungo orizzonte negli LLM, un Long-Term Value Estimator (LTVE) dedicato viene addestrato tramite Offline Reinforcement Learning su 5 milioni di transizioni storiche.

• Architettura: Un'architettura basata solo su critic utilizzando un framework di apprendimento del valore disaccoppiato con un ensemble double Q-critic e una rete di valore dello stato ($V_\psi$).
• Design della Ricompensa: La funzione di ricompensa bilancia il raggiungimento dei traguardi a 14 giorni (soglie cumulative di GMV) e il ROI. Utilizza ricompense relative normalizzate per categoria per isolare la qualità della strategia di pricing dalla popolarità intrinseca del prodotto.
• Addestramento: L'LTVE utilizza target di Temporal Difference (TD) multi-step ($n=3$) per modellare gli effetti di mercato ritardati senza richiedere l'esplorazione online, mitigando i rischi di shift distribuzionale.

2.3 Allineamento delle Preferenze tramite Direct Preference Optimization (DPO)

Per allineare la policy dell'LLM con gli obiettivi di business a lungo termine, gli autori introducono una pipeline di allineamento delle preferenze:

• Campionamento dei Candidati: Per uno stato dato, il modello genera molteplici azioni di pricing candidate in modalità "decision-only" (usando un token [ACT_ONLY]).
• Costruzione delle Coppie: L'LTVE assegna un punteggio a questi candidati. Le coppie vengono costruite dove l'azione "scelta" ha un punteggio LTVE significativamente più alto e una magnitudo di sconto distinta rispetto all'azione "scartata".
• Ottimizzazione: Il modello student viene sottoposto a fine-tuning tramite Direct Preference Optimization (DPO) per massimizzare la verosimiglianza delle azioni scelte rispetto a quelle scartate. Questo passaggio mira specificamente ai token d'azione, assicurando che il modello impari a selezionare azioni che massimizzano il valore a lungo termine pur mantenendo la capacità di generare intere tracce di ragionamento durante l'inferenza.

2.4 Architettura di Deployment

Il sistema è implementato su Tao Factory, un marketplace verticale su Taobao. Il flusso di lavoro prevede:

1. Inferenza: L'LLM allineato riceve i dati di stato e genera una traccia di ragionamento CoT seguita da un'azione di sconto strutturata.
2. Sicurezza: Le azioni sono vincolate da regole di business per garantire che rientrino in limiti di aggiustamento sicuri ($A_{safe}$).
3. Trasparenza: Il ragionamento CoT fornisce motivazioni verificabili per le decisioni di pricing, facilitando la fiducia del commerciante.

3. Contributi Chiave

1. Framework Innovativo: La proposta di AIGP, il primo framework che integra il ragionamento basato su LLM con la modellazione del valore a lungo termine basata su offline RL per il pricing nell'e-commerce.
2. Pipeline di Allineamento delle Preferenze: Un metodo per automatizzare la generazione di coppie di preferenza di alta qualità per il DPO utilizzando un LTVE addestrato con offline RL, colmando efficacemente il divario tra il ragionamento dell'LLM e l'ottimizzazione del valore a lungo termine.
3. Deployment Scalabile: Una dimostrazione della capacità di distillare il ragionamento complesso e il processo decisionale da un modello teacher da 235B in un modello student da 30B implementabile, ottenendo prestazioni competitive con costi di inferenza significativamente ridotti.

4. Risultati Sperimentali

Il framework è stato valutato su Tao Factory attraverso estese valutazioni offline e test A/B online su larga scala (60+ giorni, ~200.000 SKU).

4.1 Valutazione Offline

• Allineamento del Valore a Lungo Termine: Il modello completo AIGP (SFT+DPO) ha ottenuto il più alto Q-score medio (2.836) rispetto ai baseline come i modelli Price-Sales (2.564) e RL-DT (2.694).
• Fedeltà Operativa: AIGP ha raggiunto la massima accuratezza di corrispondenza delle azioni esperte (Expert Action Matching Accuracy: 82.51%) e il minimo errore assoluto medio (MAE: 0.062).
• Qualità del Ragionamento: Il modello distillato da 30B, dopo SFT e DPO, ha raggiunto un punteggio di qualità del ragionamento (19.52) che si avvicina a quello del teacher da 235B (19.80), superando significativamente il modello base da 30B (18.13).

4.2 Performance del Test A/B Online (Orizzonte di 14 Giorni)

Rispetto al baseline di produzione (modello Price-Sales), AIGP ha dimostrato miglioramenti significativi:

• Tasso di Raggiungimento Traguardi (MAR): +8.20%
• GMV Cumulativo: +13.21%
• ROI Integrato: +7.59%

4.3 Stabilità e Robustezza

• Stabilità del Prezzo: AIGP ha mostrato meno salti di sconto estremi e una maggiore proporzione di aggiustamenti di piccola magnitudo rispetto ai baseline, aspetto cruciale per il lancio di nuovi prodotti.
• Cold-Start & OOD: In scenari con storia limitata (cold-start) o azioni di confine, AIGP ha mantenuto un'alta accuratezza di discriminazione controfattuale (94.6% e 94.1% rispettivamente), superando sia lo standard LTVE che il Conservative Q-Learning (CQL) grazie all'uso di contesto non strutturato e ragionamento analogico.

5. Significato e Claim

Il paper sostiene che AIGP affronta con successo la natura "black box" del RL e la "miopia" degli LLM generici nel pricing dell'e-commerce. Combinando il ragionamento CoT interpretabile con l'ottimizzazione del valore a lungo termine, il framework consente:

• Processo Decisionale Trasparente: I commercianti possono verificare il "perché" dietro i cambiamenti di prezzo, favorendo la fiducia.
• Uso Efficace di Dati Non Strutturati: Il sistema sfrutta recensioni e descrizioni per regolare le strategie di prezzo, specialmente per i prodotti in fase di cold-start dove i dati storici sono scarsi.
• Crescita Sostenibile: L'allineamento con metriche a lungo termine (GMV, ROI, traguardi) assicura che le strategie di pricing guidino una salute del business sostenibile piuttosto che solo volumi a breve termine.

Gli autori concludono che questo approccio permette a modelli compatti e implementabili di eguagliare la qualità decisionale di LLM molto più grandi, garantendo al contempo la trasparenza della policy e l'allineamento con obiettivi di business complessi e multi-obiettivo. Il lavoro futuro suggerisce di esplorare l'estensibilità cross-dominio e i framework unificati per il ragionamento simbolico e il decision-making strategico.