ProfiLLM: Utility-Aligned Agentic User Profiling for Industrial Ride-Hailing Dispatch
ProfiLLM is een agentische LLM-datapijplijn die de uitdagingen van het schalen van gebruikersprofilering voor industriële ride-hailing dispatch overwint door tool-augmented globale kenniswinning te combineren met nut-gealigneerde profielexploratie, wat resulteert in significante prestatiewinsten in DiDi's productie-matching systeem.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een enorme, bruisende stad voor waar miljoenen mensen een rit willen krijgen en duizenden chauffeurs op zoek zijn naar passagiers. Het "brein" van deze stad is een supersnel computersysteem genaamd een dispatcher. Zijn taak is om de juiste chauffeur bij de juiste passagier te matchen in de flits van een oogwenk (letterlijk binnen 2 seconden).
Jarenlang was deze dispatcher als een zeer slimme boekhouder. Hij kijkt naar cijfers: Hoe ver is de chauffeur? Wat is het tarief? Hoe lang heeft de passagier al gewacht? Op basis van deze harde cijfers maakt hij matches.
Maar de auteurs van dit artikel, ProfiLLM, realiseerden zich dat de boekhouder iets belangrijks miste: het menselijke verhaal.
Het Probleem: De Boekhouder versus de Verhalenverteller
Stel je een chauffeur voor die een hekel heeft aan ritten naar de luchthaven omdat er daar altijd file staat, of een passagier die een rit zal annuleren als de ophaallocatie meer dan 5 minuten lopen is. Een boekhouder ziet "Afstand: 2 mijl". Een verhalenverteller ziet "Deze chauffeur vermijdt luchthavens; deze passagier houdt niet van lange wandelingen."
De onderzoekers probeerden Large Language Models (LLMs) te gebruiken — hetzelfde soort AI dat gedichten schrijft en vragen beantwoordt — om de geschiedenis van elke chauffeur en passagier te lezen en een "verhaalprofiel" over hen te schrijven. Ze hoopten dat deze verhalen de dispatcher zouden helpen om betere matches te maken.
Maar er waren drie enorme problemen:
- Te veel data: Er zijn miljoenen gebruikers. Je kunt een AI niet vragen om de volledige geschiedenis van elk individu in realtime te lezen; dat zou te lang duren en het systeem laten crashen.
- Het "Long Tail"-probleem: De meeste mensen (zoals 96% van de passagiers) bestellen slechts een paar ritten per maand. Er is niet genoeg geschiedenis om een goed verhaal over hen te schrijven.
- Mooi maar nutteloos: Een AI kan een zeer vloeiend, prachtig verhaal schrijven over een gebruiker dat geweldig klinkt, maar dat niet echt helpt voorspellen of zij een rit zullen annuleren. Het is alsoiment een gedicht schrijven over een chauffeur dat mooi klinkt, maar je niet vertelt of hij daadwerkelijk zal komen opdagen.
De Oplossing: De "ProfiLLM"-fabriek
Het team bouwde een systeem genaamd ProfiLLM dat werkt als een hoogtechnologische fabriek. In plaats van te proberen in realtime een verhaal voor elke persoon te schrijven, doen ze het zware werk offline (wanneer het systeem rust) en gebruiken ze de resultaten alleen online (wanneer het systeem draait).
Zo werkt de fabriek, met behulp van een eenvoudige analogie:
Stap 1: De "Globale Detective" (Kenniswinning)
Eerst fungeert de AI als een detective. Hij kijkt niet alleen naar één persoon; hij kijkt naar de geschiedenis van de gehele stad met behulp van 27 verschillende "instrumenten" (zoals een vergrootglas, een kaart en een rekenmachine).
- Het ontdekt patronen: "Op regenachtige dinsdagen annuleren chauffeurs in het noordelijke district vaker."
- Het creëert regels om mensen bij elkaar te groeperen. In plaats van 100.000 passagiers als 100.000 unieke individuen te behandelen, groepeert het hen in ongeveer 100 "stammen" of clusters op basis van vergelijkbaar gedrag.
- Analogie: In plaats van elke burger van een land te interviewen, interviewt de detective de leiders van 100 wijken om de algemene stemming van elk gebied te begrijpen.
Stap 2: De "Verhaalredacteur" (Utility-Aligned Exploration)
Nu probeert de AI voor elke van deze 100 "stammen" een profiel te schrijven. Maar het schrijft niet zomaar één en hoopt dat het goed is.
- Het schrijft veel verschillende concepten van het profiel.
- Het voert een snelle test uit: "Als we dit verhaal gebruiken om gedrag te voorspellen, werkt het dan beter dan alleen cijfers gebruiken?"
- Als een verhaal alleen "vloeiend" is maar niet helpt bij voorspellingen, wordt het weggegooid. Als een verhaal helpt bij het voorspellen van annuleringen of acceptaties, wordt het behouden.
- Het gebruikt vervolgens een speciale trainingsmethode (genaamd DPO) om de AI te leren alleen de soorten verhalen te schrijven die daadwerkelijk de dispatcher helpen, en niet alleen de verhalen die mooi klinken.
Stap 3: De "Snelle Matchmaker" (Online Serving)
Dit is het magische deel. Wanneer een echte passagier een rit aanvraagt:
- Vraagt het systeem de AI niet om na te denken of te schrijven. Dat zou te traag zijn.
- In plaats daarvan kijkt het welke "stam" (cluster) de passagier tot de groep behoort.
- Het pakt een vooraf geschreven, vooraf geteste "profielkaart" voor die stam die eerder is gemaakt.
- Het combineert deze kaart met de cijfers (afstand, prijs) en maakt direct een match.
De Resultaten: Werkt het?
De onderzoekers hebben dit getest op Didi, een van de grootste ritvervoerbedrijven ter wereld.
- Betere Voorspellingen: Het systeem werd veel beter in het voorspellen of een chauffeur een rit zou accepteren of dat een passagier een rit zou annuleren. In tests verbeterde het de voorspellingsnauwkeurigheid met wel 6,14%.
- Meer Omzet & Gelukkige Rijders: In een simulatie genereerde het systeem 4,35% meer omzet (GMV). In een realtime test over 14 dagen verhoogde het de omzet daadwerkelijk met 0,47% en voltooide het 0,33% meer ritten.
- Minder Annuleringen: Het verminderde het aantal passagiers dat een rit annuleerde voordat een chauffeur deze zelfs maar geaccepteerd had met 0,82%.
- Super Snel: Omdat de AI al al haar denkwerk doet voordat de spits begint, voegt het eigenlijke matchingsproces bijna geen vertraging toe (minder dan een milliseconde).
De Kernboodschap
ProfiLLM is als het inhuren van een team van deskundige biografen om gedetailleerde karakterprofielen te schrijven voor elke buurt in een stad, maar dan alles 's nachts doen. Tijdens de dag draagt de dispatcher simpelweg een zakformaat kaartje met de "persoonlijkheid" van de buurt bij zich om direct en slimmer beslissingen te nemen.
Het overbrugt de kloof tussen de "koude cijfers" van traditionele systemen en de "warme context" van menselijk gedrag, en bewijst dat AI nuttig kan zijn in realtime industriële systemen als je het zware denkwerk offline houdt en de uitvoering razendsnel maakt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.