Resumen Técnico: AIGP – Un marco basado en LLM para la alineación de valor a largo plazo en la fijación de precios de comercio electrónico

1. Declaración del problema

La fijación de precios dinámica tradicional en el comercio electrónico a gran escala enfrenta tres limitaciones críticas:

1. Interpretabilidad limitada: Los sistemas basados en reglas y los modelos basados en datos de caja negra (por ejemplo, el Aprendizaje por Refuerzo estándar) carecen de un razonamiento transparente, lo que dificulta la auditoría de las decisiones o la construcción de confianza en los comerciantes.
2. Subutilización de datos no estructurados: Los métodos existentes tienen dificultades para aprovechar el rico contexto textual, como las descripciones de productos, las reseñas de usuarios y las tendencias estacionales, dependiendo en su lugar de métricas históricas estructuradas.
3. Desalineación con objetivos a largo plazo: Los descuentos agresivos suelen maximizar las ventas a corto plazo a expensas de la salud del negocio a largo plazo. La optimización del Volumen de Mercancías Brutas (GMV) acumulado, el Retorno de la Inversión (ROI) y el cumplimiento de hitos durante horizontes extendidos (por ejemplo, 14 días) sigue siendo un desafío debido a la escasez de recompensas y la dificultad de modelar los efectos de mercado retardados.

Si bien el Aprendizaje por Refuerzo (RL) ofrece un camino para la optimización a largo plazo, sufre de cambios distributivos, escasez de recompensas y falta de interpretabilidad. Por el contrario, los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen capacidades de razonamiento y procesamiento de datos no estructurados, pero carecen de conocimiento operativo específico del dominio y de retroalimentación de resultados de largo horizonte, lo que a menudo conduce a decisiones subóptimas y cortoplacistas.

2. Metodología: El marco AIGP

Los autores proponen AIGP (Artificial Intelligence Generated Pricing), un marco que integra el razonamiento basado en LLM con el aprendizaje por refuerzo offline para lograr una fijación de precios dinámica transparente y alineada con el negocio. El marco opera a través de un flujo de cuatro etapas:

2.1 Ajuste Fino Supervisado (SFT) Adaptativo al Dominio

Para desplegar los LLMs como políticas de precios, los autores emplean una estrategia de destilación de maestro-estudiante:

• Modelo Maestro (Teacher Model): Un LLM masivo de 235 mil millones de parámetros (Qwen3-235B) genera trazas de razonamiento de alta calidad y decisiones de precios basadas en prompts complejos que contienen datos estructurados (historial de ventas, GMV, ROI), contexto no estructurado (reseñas, descripciones) y conocimiento del dominio.
• Modelo Estudiante (Student Model): Un modelo compacto de 30 mil millones de parámetros (Qwen3-30B) es ajustado mediante Adaptación de Bajo Rango (LoRA) para imitar al maestro.
• Control de Calidad: Un módulo "LLM-como-Juez" filtra las respuestas del maestro basándose en cuatro dimensiones: Exactitud de los Datos, Completitud del Contenido, Coherencia Interna del Razonamiento y Consistencia entre Razonamiento y Decisión. Solo las respuestas con puntuación perfecta se utilizan para el entrenamiento.
• Salida: El modelo SFT aprende a seguir instrucciones, generar Cadena de Pensamiento (CoT) y producir acciones de precios en formato JSON que cumplan con las normas.

2.2 Estimador de Valor a Largo Plazo (LTVE)

Para abordar la falta de retroalimentación de largo horizonte en los LLMs, se entrena un Estimador de Valor a Largo Plazo (LTVE) dedicado mediante Aprendizaje por Refuerzo Offline sobre 5 millones de transiciones históricas.

• Arquitectura: Una arquitectura de solo crítico utilizando un marco de aprendizaje de valor desacoplado con un ensamble de doble Q-crítico y una red de valor de estado ($V_\psi$).
• Diseño de Recompensa: La función de recompensa equilibra el cumplimiento de hitos de 14 días (umbrales de GMV acumulado) y el ROI. Utiliza recompensas relativas normalizadas por categoría para aislar la calidad de la estrategia de precios de la popularidad intrínseca del producto.
• Entrenamiento: El LTVE utiliza objetivos de Diferencia Temporal (TD) de múltiples pasos ($n=3$) para modelar los efectos de mercado retardados sin requerir exploración en línea, mitigando los riesgos de cambio distributivo.

2.3 Alineación de Preferencias mediante Optimización de Preferencia Directa (DPO)

Para alinear la política del LLM con los objetivos de negocio a largo plazo, los autores introducen un flujo de alineación de preferencias:

• Muestreo de Candidatos: Para un estado dado, el modelo genera múltiples acciones de precios candidatas en un modo de "solo decisión" (usando un token [ACT_ONLY]).
• Construcción de Pares: El LTVE califica estos candidatos. Se construyen pares donde la acción "elegida" tiene un puntaje de LTVE significativamente mayor y una magnitud de descuento distinta en comparación con la acción "rechazada".
• Optimización: El modelo estudiante es ajustado mediante Optimización de Preferencia Directa (DPO) para maximizar la probabilidad de las acciones elegidas sobre las rechazadas. Este paso se dirige específicamente a los tokens de acción, asegurando que el modelo aprenda a seleccionar acciones que maximicen el valor a largo plazo mientras retiene la capacidad de generar trazas de razonamiento completas durante la inferencia.

2.4 Arquitectura de Despliegue

El sistema se despliega en Tao Factory, un mercado vertical en Taobao. El flujo de trabajo involucra:

1. Inferencia: El LLM alineado recibe datos de estado y genera una traza de razonamiento CoT seguida de una acción de descuento estructurada.
2. Seguridad: Las acciones están restringidas por reglas de negocio para asegurar que caigan dentro de límites de ajuste seguros ($A_{safe}$).
3. Transparencia: El razonamiento CoT proporciona justificaciones auditables para las decisiones de precios, facilitando la confianza del comerciante.

3. Contribuciones Clave

1. Marco Novedoso: La propuesta de AIGP, el primer marco que integra el razonamiento basado en LLM con el modelado de valor a largo plazo basado en RL offline para la fijación de precios en el comercio electrónico.
2. Flujo de Alineación de Preferencias: Un método para automatizar la generación de pares de preferencia de alta calidad para DPO utilizando un LTVE entrenado con RL offline, cerrando eficazmente la brecha entre el razonamiento del LLM y la optimización de valor a largo plazo.
3. Despliegue Escalable: Una demostración de la destilación de capacidades complejas de razonamiento y toma de decisiones desde un modelo maestro de 235B hacia un modelo estudiante de 30B desplegable, logrando un rendimiento competitivo con costos de inferencia significativamente reducidos.

4. Resultados Experimentales

El marco fue evaluado en Tao Factory a través de evaluaciones offline extensas y pruebas A/B online a gran escala (más de 60 días, ~200,000 SKUs).

4.1 Evaluación Offline

• Alineación de Valor a Largo Plazo: El AIGP completo (SFT+DPO) logró el promedio de Q-score más alto (2.836) en comparación con líneas base como los modelos Precio-Ventas (2.564) y RL-DT (2.694).
• Fidelidad Operativa: AIGP logró la mayor precisión de coincidencia de acción experta (82.51%) y el error absoluto medio más bajo (0.062).
• Calidad del Razonamiento: El modelo destilado de 30B, tras SFT y DPO, alcanzó una puntuación de calidad de razonamiento (19.52) cercana a la del maestro de 235B (19.80), superando significativamente al modelo base de 30B (18.13).

4.2 Rendimiento de la Prueba A/B Online (Horizonte de 14 Días)

En comparación con la línea base de producción (Modelo Precio-Ventas), AIGP demostró mejoras significativas:

• Tasa de Cumplimiento de Hitos (MAR): +8.20%
• GMV Acumulado: +13.21%
• ROI Integrado: +7.59%

4.3 Estabilidad y Robustez

• Estabilidad de Precios: AIGP exhibió menos saltos extremos de descuento y una mayor proporción de ajustes de pequeña magnitud en comparación con las líneas base, lo cual es crucial para lanzamientos de nuevos productos.
• Arranque en Frío y OOD: En escenarios con historial limitado (arranque en frío) o acciones límite, AIGP mantuvo una alta precisión de discriminación contrafactual (94.6% y 94.1% respectivamente), superando tanto al LTVE estándar como al Aprendizaje Q Conservador (CQL) mediante el aprovechamiento del contexto no estructurado y el razonamiento analógico.

5. Significado y Reivindicaciones

El artículo afirma que AIGP aborda con éxito la naturaleza de "caja negra" del RL y la "visión de corto plazo" de los LLM genéricos en la fijación de precios del comercio electrónico. Al combinar el razonamiento CoT interpretable con la optimización de valor a largo plazo, el marco permite:

• Toma de Decisiones Transparente: Los comerciantes pueden auditar el "porqué" detrás de los cambios de precios, fomentando la confianza.
• Uso Efectivo de Datos No Estructurados: El sistema aprovecha las reseñas y descripciones para ajustar las estrategias de precios, particularmente para productos en arranque en frío donde los datos históricos son escasos.
• Crecimiento Sostenible: La alineación con métricas a largo plazo (GMV, ROI, hitos) asegura que las estrategias de precios impulsen la salud empresarial sostenible en lugar de solo el volumen a corto plazo.

Los autores concluyen que este enfoque permite que los modelos compactos y desplegables igualen la calidad de decisión de LLMs mucho más grandes, asegurando al mismo tiempo la transparencia de la política y la alineación con objetivos de negocio multiobjetivo complejos. Se sugiere como trabajo futuro explorar la extensibilidad transdominio y los marcos unificados para el razonamiento simbólico y la toma de decisiones estratégicas.