Resumo Técnico: ProfiLLM

1. Formulação do Problema

O artigo aborda o desafio de integrar Grandes Modelos de Linguagem (LLMs) em sistemas de despacho de transporte por aplicativo (ride-hailing) industriais para melhorar o pareamento entre pedidos e motoristas. Os pipelines de produção atuais dependem fortemente de características numéricas estruturadas (ex: distância, preço) para prever resultados comportamentais (aceitação, cancelamento, conclusão) para pares candidatos de pedido–motorista (OD). No entanto, sinais comportamentais decisivos — como a aversão habitual de um motorista a regiões específicas ou a sensibilidade ao tempo de um passageiro — são inerentemente contextuais e semânticos, tornando-os difíceis de capturar com características numéricas manuais.

Embora os LLMs possam destilar trajetórias comportamentais complexas em perfis semânticos, implantar um sistema em um despachante de latência de milissegundos em tempo real enfrenta três restrições interligadas:

1. Escala de Dados vs. Limites de Contexto: Logs em escala de plataforma (ex: 44,3 milhões de registros em uma única cidade ao longo de 38 dias) excedem as janelas de contexto de qualquer LLM.
2. Distribuição de Dados de Cauda Longa: A maioria dos usuários (96% dos passageiros no estudo) possui baixa frequência, carecendo de histórico de interação suficiente para perfis individuais confiáveis.
3. Desalinhamento de Utilidade: Perfis superficiais e fluentes gerados por LLMs não necessariamente melhoram a utilidade da predição downstream; em alguns casos, perfis de LLM ingênuos degradam o desempenho do modelo (ex: queda de até -7,57% no AUC).

O problema central é operacionalizar o perfilamento de usuário alinhado à utilidade que escale para milhões de usuários, lide com dados esparsos e se integre a um contrato offline-online rigoroso onde a inferência online adiciona overhead de sub-milissegundo com zero chamadas de LLM online.

2. Metodologia: ProfiLLM

O ProfiLLM é um pipeline de dados de LLM agente projetado para preencher a lacuna entre o perfilamento semântico e o pareamento em tempo real. Ele impõe uma separação estrita: todo o raciocínio do LLM ocorre offline, enquanto o sistema online serve apenas embeddings de perfis em nível de cluster pré-computados. O framework consiste em dois módulos primários:

2.1 Mineração de Conhecimento Global Aumentada por Ferramentas (Offline)

Para abordar os desafios de escala e fundamentação, um agente de LLM é equipado com um conjunto de 27 ferramentas analíticas (categorizadas em ferramentas estatísticas, espaço-temporais, contextuais e causais). O agente segue um paradigma Explorar → Aprofundar → Validar → Sintetizar para processar logs históricos massivos:

• Explorar: Computa métricas de nível de plataforma e identifica padrões preliminares.
• Aprofundar: Conduz análises focadas em padrões temporais, heterogeneidade espacial e segmentação de usuários.
• Validar: Aplica testes de hipóteses estatísticas e análise causal para reter apenas descobertas significativas.
• Sintetizar: Produz três artefatos reutilizáveis:
  1. Conhecimento Global ($K$): Benchmarks da plataforma, regularidades temporais e relações causais.
  2. Regras de Agrupamento Adaptativo de Usuários ($A$): Classificadores interpretáveis baseados em regras que agrupam usuários por similaridade comportamental (ex: horas de atividade, regiões frequentes). Isso aborda o problema da cauda longa ao agregar dados no nível do cluster em vez do nível individual.
  3. Priors Regionais ($R$): Estatísticas de oferta-demanda por grade.

2.2 Exploração de Perfil Alinhada à Utilidade (Offline)

Para cada cluster de usuários, o sistema gera e refina perfis baseados no conhecimento global minerado:

• Geração de Candidatos: O LLM gera $K$ perfis candidatos diversos por cluster, estruturados em Análise (padrões comportamentais), Perfil (descrição semântica) e Lógica (regras de decisão Booleanas executáveis).
• Avaliação de Utilidade: Em vez de treinar modelos de predição completos para cada candidato, o sistema usa o componente Lógica como um proxy leve. Ele combina as predições do modelo base com as predições baseadas em regras para calcular um AUC fundido. Isso identifica perfis que capturam sinais invisíveis para características estruturadas.
• Refinamento Iterativo: Os melhores candidatos são refinados iterativamente com base no feedback de erro de predição.
• Ajuste Fino via DPO: Pares de preferência são construídos comparando perfis com diferentes ganhos de utilidade. Um passo de ajuste fino de Otimização de Preferência Direta (DPO) alinha o gerador de LLM com a utilidade de predição downstream, permitindo que um modelo compacto (ex: Qwen3-8B) supere backbones maiores e não alinhados.

2.3 Servimento Online

O despachante online opera sem inferência de LLM:

1. Atribuição de Cluster: Uma avaliação de regra determinística atribui um usuário a um cluster.
2. Busca de Embedding: O sistema recupera o embedding de $d$ dimensões do perfil do cluster pré-computado.
3. Predição: O embedding é concatenado com características estruturadas e alimentado no modelo de predição multitarefa existente.
4. Pareamento: Pesos são computados e o algoritmo Kuhn-Munkres resolve a atribuição.
   O overhead total é de sub-milissegundo (< 0,01 ms por par).

3. Principais Contribuições

• Primeiro Pipeline de Perfilamento de LLM Implantado: O ProfiLLM é o primeiro sistema a implantar o perfilamento de usuário baseado em LLM em um despachante de transporte por aplicativo em produção, aderindo a rigorosas restrições de latência via uma estratégia de desacoplamento offline-online.
• Mineração de Conhecimento Aumentada por Ferramentas: Um módulo inovador onde um agente de LLM compõe autonomamente cadeias de 27 ferramentas analíticas para extrair conhecimento global e regras de agrupamento de volumes de dados que excedem os limites de contexto do LLM.
• Exploração Alinhada à Utilidade: Um mecanismo que trata a utilidade de predição como um sinal de otimização de primeira classe. Ele utiliza um proxy de lógica leve e ajuste fino DPO para garantir que os perfis gerados melhorem a predição downstream em vez de serem apenas linguisticamente fluentes.
• Escalabilidade no Tratamento de Cauda Longa: Ao mudar do perfilamento por usuário para o nível de cluster, o sistema perfila efetivamente usuários de baixa frequência que carecem de histórico individual suficiente.

4. Resultados Experimentais

O sistema foi avaliado nos dados de produção da DiDi em três cidades brasileiras (Cidade A, B, C) e implantado em um teste A/B online de 14 dias na Cidade A.

• Desempenho de Predição: O ProfiLLM alcançou até +6,14% de melhoria relativa no AUC de predição de resultados (especificamente para cancelamento de passageiros) em comparação com baselines de apenas características estruturadas. Baselines de LLM ingênuos frequentemente degradaram o desempenho, destacando a necessidade do mecanismo de alinhamento de utilidade.
• Resultados de Simulação: Em simulações de despacho, o ProfiLLM rendeu até +4,35% de ganho no GMV (Gross Merchandise Value) e melhorias significativas nas taxas de conclusão.
• Teste A/B Online (Cidade A): Durante 14 dias, o sistema demonstrou melhorias consistentes no mundo real:
  • +0,47% de GMV.
  • +0,33% de Taxa de Conclusão.
  • -0,82% de taxa de Cancelamento Antes da Aceitação.
  • Reduções em cancelamentos pós-aceitação tanto para motoristas quanto para passageiros.
• Eficiência de Custo: A estratégia de atualização baseada em DPO reduziu os custos offline em 10,6× em comparação com as execuções iniciais de exploração. O caminho online adiciona custo desprezível, colocando o ProfiLLM-DPO na fronteira de Pareto de trocas custo-qualidade em relação a backbones de LLM maiores.

5. Significância e Alegações

O artigo afirma que o ProfiLLM operacionaliza com sucesso os LLMs para tomada de decisão industrial ao resolver o trilema "janela de contexto", "cauda longa" e "alinhamento de utilidade". Sua significância reside em demonstrar que:

1. O Perfilamento Semântico é Viável em Escala: Perfis gerados por LLM podem capturar sinais comportamentais (como aversão regional) que as características estruturadas perdem, desde que fundamentados em conhecimento global e agregados no nível de cluster.
2. O Alinhamento de Utilidade é Crítico: A fluência superficial não é um proxy para utilidade; otimizar perfis diretamente para métricas de predição downstream (via proxies de lógica e DPO) é essencial para evitar a degradação do desempenho.
3. O Desacoplamento Offline-Online é Necessário: Aplicações industriais em tempo real podem aproveitar o raciocínio complexo de LLMs apenas se a inferência for estritamente confinada ao processamento em lote offline, servindo apenas embeddings leves online.

Os autores posicionam o ProfiLLM não apenas como uma melhoria teórica, mas como uma solução prática e implantada que aumenta a receita e a experiência do usuário em um ambiente de alto risco e baixa latência sem modificar os algoritmos de pareamento principais.