Resumen Técnico: ProfiLLM

1. Formulación del Problema

El artículo aborda el desafío de integrar Modelos de Lenguaje de Gran Escala (LLMs) en sistemas de despacho de transporte privado (ride-hailing) industriales para mejorar el emparejamiento entre pedidos y conductores. Los pipelines de producción actuales dependen fuertemente de características numéricas estructuradas (por ejemplo, distancia, precio) para predecir resultados conductuales (aceptación, cancelación, finalización) de pares orden-conductor (OD). Sin embargo, las señales conductuales decisivas —como la aversión habitual de un conductor hacia regiones específicas o la sensibilidad al tiempo de un pasajero— son inherentemente contextuales y semánticas, lo que las hace difíciles de capturar con características numéricas diseñadas manualmente.

Aunque los LLMs pueden destilar trayectorias conductuales complejas en perfiles semánticos, desplegarlos en un despachador de latencia de milisegundos en vivo enfrenta tres restricciones entrelazadas:

1. Escala de Datos vs. Límites de Contexto: Los registros a escala de plataforma (por ejemplo, 44.3 millones de registros en una sola ciudad durante 38 días) exceden las ventanas de contexto de cualquier LLM.
2. Distribución de Datos de Cola Larga: La mayoría de los usuarios (96% de los pasajeros en el estudio) son de baja frecuencia, careciendo de un historial de interacción suficiente para un perfilado por usuario confiable.
3. Desalineación de la Utilidad: Los perfiles fluidos y superficiales generados por LLMs no necesariamente mejoran la utilidad de predicción descendente; en algunos casos, los perfiles de LLM ingenuos degradan el rendimiento del modelo (por ejemplo, una caída de hasta -7.57% en el AUC).

El problema central es operacionalizar un perfilado de usuario alineado con la utilidad que escale a millones de usuarios, maneje datos dispersos y se integre en un contrato estricto de offline-online donde la inferencia en línea añada una sobrecarga sub-milisegundo con cero llamadas a LLM en línea.

2. Metodología: ProfiLLM

ProfiLLM es un pipeline de datos de agentes de LLM diseñado para cerrar la brecha entre el perfilado semántico y el emparejamiento en tiempo real. Impone una separación estricta: todo el razonamiento del LLM ocurre en offline, mientras que el sistema en línea sirve únicamente embeddings de perfiles a nivel de clúster precomputados. El marco consta de dos módulos principales:

2.1 Minería de Conocimiento Global Aumentada por Herramientas (Offline)

Para abordar los desafíos de escala y fundamentación, un agente de LLM está equipado con un kit de 27 herramientas analíticas (categorizadas en herramientas estadísticas, espaciotemporales, contextuales y causales). El agente sigue un paradigma Explorar → Profundizar → Validar → Sintetizar para procesar volúmenes masivos de registros históricos:

• Explorar: Computa métricas a nivel de plataforma e identifica patrones preliminares.
• Profundizar: Realiza análisis enfocados en patrones temporales, heterogeneidad espacial y segmentación de usuarios.
• Validar: Aplica pruebas de hipótesis estadística y análisis causal para retener solo los hallazgos significativos.
• Sintetizar: Produce tres artefactos reutilizables:
  1. Conocimiento Global ($K$): Benchmarks de la plataforma, regularidades temporales y relaciones causales.
  2. Reglas de Agrupación de Usuarios Adaptativas ($A$): Clasificadores interpretables basados en reglas que agrupan usuarios por similitud conductual (por ejemplo, horas de actividad, regiones frecuentes). Esto aborda el problema de la cola larga al agregar los datos a nivel de clúster en lugar de a nivel individual.
  3. Prios Regionales ($R$): Estadísticas de oferta-demanda a nivel de cuadrícula.

2.2 Exploración de Perfiles Alineada con la Utilidad (Offline)

Para cada clúster de usuarios, el sistema genera y refina perfiles basados en el conocimiento global minado:

• Generación de Candidatos: El LLM genera $K$ perfiles candidatos diversos por clúster, estructurados en Análisis (patrones conductuales), Perfil (descripción semántica) y Lógica (reglas de decisión booleanas ejecutables).
• Evaluación de Utilidad: En lugar de entrenar modelos de predicción completos para cada candidato, el sistema utiliza el componente de Lógica como un proxy ligero. Combina las predicciones del modelo base con las predicciones basadas en reglas para computar un AUC fusionado. Esto identifica perfiles que capturan señales invisibles para las características estructuradas.
• Refinamiento Iterativo: Los mejores candidatos se refinan iterativamente basándose en la retroalimentación del error de predicción.
• Ajuste Fino mediante DPO: Se construyen pares de preferencia comparando perfiles con diferentes ganancias de utilidad. Un paso de ajuste fino de Optimización de Preferencia Directa (DPO) alinea el generador de LLM con la utilidad de predicción descendente, permitiendo que un modelo compacto (por ejemplo, Qwen3-8B) supere a backbones más grandes y no alineados.

2.3 Servicio en Línea

El despachador en línea opera sin inferencia de LLM:

1. Asignación de Clúster: Una evaluación de regla determinista asigna un usuario a un clúster.
2. Búsqueda de Embedding: El sistema recupera el embedding de $d$ dimensiones precomputado del perfil del clúster.
3. Predicción: El embedding se concatena con características estructuradas y se introduce en el modelo de predicción multitarea existente.
4. Emparejamiento: Se computan los pesos y el algoritmo de Kuhn-Munkres resuelve la asignación.
   La sobrecarga total es sub-milisegundo (< 0.01 ms por par).

3. Contribuciones Clave

• Primer Pipeline de Perfilado de LLM Desplegado: ProfiLLM es el primer sistema en desplegar el perfilado de usuario basado en LLM en un despachador de transporte privado de producción, adhiriéndose a estrictas restricciones de latencia mediante una estrategia de desacoplamiento offline-online.
• Minería de Conocimiento Aumentada por Herramientas: Un módulo novedoso donde un agente de LLM compone autónomamente cadenas de 27 herramientas analíticas para extraer conocimiento global y reglas de agrupación de volúmenes de datos que exceden el límite de contexto del LLM.
• Exploración de Perfiles Alineada con la Utilidad: Un mecanismo que trata la utilidad de predicción como una señal de optimización de primera clase. Utiliza un proxy de lógica ligera y ajuste fino DPO para asegurar que los perfiles generados mejoren la predicción descendente en lugar de ser simplemente lingüísticamente fluidos.
• Manejo Escalable de la Cola Larga: Al cambiar del perfilado por usuario al perfilado por clúster, el sistema perfila eficazmente a usuarios de baja frecuencia que carecen de suficiente historial individual.

4. Resultados Experimentales

El sistema fue evaluado con los datos de producción de DiDi en tres ciudades brasileñas (Ciudad A, B, C) y se desplegó en una prueba A/B en línea de 14 días en la Ciudad A.

• Rendimiento de Predicción: ProfiLLM logró una mejora relativa de hasta +6.14% en el AUC de la predicción de resultados (específicamente para la cancelación de pasajeros) en comparación con los baselines de solo estructura. Los baselines de LLM ingenuos a menudo degradaron el rendimiento, resaltando la necesidad del mecanismo de alineación de utilidad.
• Resultados de Simulación: En simulaciones de despacho, ProfiLLM produjo una ganancia de hasta +4.35% en el Valor de la Mercancía Bruta (GMV) y mejoras significativas en las tasas de finalización.
• Prueba A/B en Línea (Ciudad A): Durante 14 días, el sistema demostró mejoras consistentes en el mundo real:
  • +0.47% de GMV.
  • +0.33% de Tasa de Finalización.
  • -0.82% de tasa de Cancelación Antes de la Aceptación.
  • Reducciones en las cancelaciones post-aceptación tanto para conductores como para pasajeros.
• Eficiencia de Costos: La estrategia de actualización basada en DPO redujo los costos offline en 10.6× en comparación con las ejecuciones de exploración iniciales. La ruta en línea añade un costo insignificante, situando a ProfiLLM-DPO en la frontera de Pareto de las relaciones costo-calidad frente a backbones de LLM más grandes.

5. Significado y Reivindicaciones

El artículo afirma que ProfiLLM operacionaliza con éxito los LLM para la toma de decisiones industriales al resolver el trilema de "ventana de contexto", "cola larga" y "alineación de utilidad". Su importancia radica en demostrar que:

1. El Perfilado Semántico es Viable a Escala: Los perfiles generados por LLM pueden capturar señales conductuales (como la aversión regional) que las características estructuradas pasan por alto, siempre que estén fundamentados en el conocimiento global y agregados a nivel de clúster.
2. La Alineación de la Utilidad es Crítica: La fluidez superficial no es un proxy de la utilidad; optimizar los perfiles directamente para las métricas de predicción descendente (vía proxies de lógica y DPO) es esencial para evitar la degradación del rendimiento.
3. El Desacoplamiento Offline-Online es Necesario: Las aplicaciones industriales en tiempo real pueden aprovechar el razonamiento complejo de los LLM solo si la inferencia se restringe estrictamente al procesamiento por lotes (batch) en offline, sirviendo únicamente embeddings ligeros en línea.

Los autores posicionan a ProfiLLM no solo como una mejora teórica, sino como una solución práctica desplegada que mejora los ingresos y la experiencia del usuario en un entorno de alta exigencia y baja latencia sin modificar los algoritmos de emparejamiento centrales.