Technische Samenvatting: Mobiliteitsbewust Cache-framework voor Schaalbare LLM-gebaseerde Menselijke Mobiliteitssimulatie

Probleemstelling

Het simuleren van grootschalige menselijke mobiliteit is cruciaal voor geospatiale toepassingen zoals stedelijke planning, epidemische respons en transportanalyse. Hoewel recente benaderingen Large Language Models (LLMs) gebruiken als virtuele agenten om realistische mobiliteitsgedragingen te genereren via stapsgewijze redenering, kampen deze methoden met aanzienlijke schaalbaarheidsbarrières. De primaire beperking is de hoge computationele kosten; het simuleren van miljoenen agenten kan leiden tot onbetaalbare API-kosten (bijv. meer dan $1.000 voor één miljoen agenten in een enkele dag).

Bestaande strategieën voor kostenreductie hebben opmerkelijke nadelen:

1. Groepsgebaseerde methoden clusteren agenten op basis van profiel (bijv. beroep, inkomen) en genereren één traject per groep. Dit dwingt alle agenten binnen een groep hetzelfde gedrag op, wat de individuele diversiteit en de getrouwheid van de simulatie ernstig vermindert.
2. Standaard response caching slaat input-outputparen op. Dit onderdrukt echter de gedragsdiversiteit omdat veelvoorkomende queries (bijv. "Wat doet een software engineer na het werk?") herhaaldelijk hetzelfde gecachte antwoord ophalen, waardoor de variantie die inherent is aan echt menselijk gedrag (bijv. nachtdiensten, overwerk) niet wordt gevangen.
3. Directe tekstrecombinatie van gecachte redeneerstappen leidt vaak tot logische inconsistenties. Bijvoorbeeld, het recombineren van tekststappen kan resulteren in een persoon die winkelen gaat voor een feestdag die op de huidige datum niet bestaat, of die reist vanaf een locatie waar hij/zij zich niet eerder bevond, wat ruimtelijke en temporele beperkingen schendt.

Methodologie: MobCache

Om deze uitdagingen aan te pakken, stellen de auteurs MobCache voor, een mobiliteitsbewust cache-framework dat tussenliggende redeneringsstappen cachet in een latente ruimte in plaats van definitieve tekstuele reacties. Deze aanpak maakt de reconstructie van diverse, logisch consistente trajecten mogelijk zonder herhaalde LLM-aanroepen.

Het framework bestaat uit twee hoofdfasen en drie kerncomponenten:

1. Trainingsfase

• Data-initialisatie: Een kleinschalige mobiliteitsdataset wordt gegenereerd met behulp van een bestaande LLM (bijv. GPT-4o-mini) met taakspecifieke prompts die gebruikersprofielen, datums en Points of Interest (POIs) bevatten. Deze dataset koppelt redeneringsketens aan de resulterende mobiliteitsactiviteiten.
• Latente-ruimte redenering: De LLM wordt gefinetuned via een meerfasig trainingsproces om over te stappen van standaard Chain-of-Thought (CoT) tekstredenering naar redenering in de latente ruimte. In plaats van teksttokens voor tussenliggende stappen te produceren, geeft het model latente embeddings ($r_t$) uit die recursief worden teruggevoerd als input voor opeenvolgende stappen. De uiteindelijke mobiliteitsactiviteiten worden nog steeds als tekst gegenereerd.
• Reconstrueerbare Cache-constructie:
  • Opslag: Redeneringsketens in de latente ruimte worden opgeslagen als knopen in een boomstructuur. Dit maakt het mogelijk om takken van verschillende ketens te combineren.
  • Latente-ruimte Evaluator: Een model (Transformer-gebaseerd) wordt getraind om de plausibiliteit te scoren van het toevoegen van een nieuwe latente embedding-knoop aan een bestaande keten. Het gebruikt een op gelijkenis gebaseerde labelconstructiemethode om ervoor te zorgen dat de gecombineerde keten logisch coherent blijft.
  • Lichtgewicht Decoder: Een kleine decoder wordt gedestilleerd van de gefinetunede LLM. Deze is getraind met mobiliteitswet-beperkte distillatie, die een Kullback-Leibler (KL) divergentieverlies bevat om ervoor te zorgen dat de gedecodeerde tekst voldoet aan de statistische mobiliteitswetten (bijv. sprongafstanden, verblijfsduur) die in het docentmodel zijn waargenomen.

2. Inferentiefase

Voor een nieuwe gebruiker voert het systeem de volgende stappen uit:

1. Haalt het meest vergelijkbare gecachte gebruikersprofiel op.
2. Construeert een redeneringsketen met behulp van een van de drie strategieën:
   • Bestaande ketens volgen: Gebruik direct de opgehaalde keten van de gebruiker.
   • Alternatieve ketens verkennen: Tak af van de opgehaalde keten door kandidaat-knopen uit andere ketens te selecteren op basis van embedding-gelijkenis, gevalideerd door de latente-ruimte evaluator.
   • Nieuwe ketens genereren: Als er geen geldige vertakkingen bestaan, wordt de LLM aangeroepen om een nieuwe keten te genereren (die vervolgens wordt gecached).
3. Decodering: De gereconstrueerde latente keten wordt door de lichtgewicht decoder gestuurd om tekstuele mobiliteitsactiviteiten te genereren.
4. Mapping: Activiteiten worden gekoppeld aan echte geografische locaties met behulp van een gravity model om het uiteindelijke traject te vormen.

Belangrijkste Bijdragen

1. Reconstrueerbare Latente Caches: Het artikel introduceert een nieuw cache-paradigma dat tussenliggende redeneringsstappen opslaat als latente embeddings. Dit maakt de flexibele recombinatie van redeneringsketens mogelijk, wat de diversiteit van gegenereerde mobiliteitsdata aanzienlijk verbetert ten opzichte van statische response caching of groepsgebaseerde methoden.
2. MobCache Framework: Een compleet systeem bestaande uit:
   • Een latente-ruimte evaluator die de logische consistentie waarborgt tijdens de recombinatie van redeneringsstappen.
     {% %}{% %}
   • Een lichtgewicht decoder getraind via mobiliteitswet-beperkte distillatie, die latente ketens vertaalt naar natuurlijke taal terwijl ruimtelijke en temporele beperkingen behouden blijven, waardoor herhaalde LLM-aanroepen tijdens inferentie worden geëlimineerd.
3. Schaalbaarheid en Efficiëntie: Het framework is ontworpen om te schalen naar tienduizenden of honderdduizenden agenten zonder hertraining of uitbreiding van de cache, waarmee de computationele knelpunten van huidige LLM-gebaseerde simulaties worden aangepakt.

Experimentele Resultaten

Experimenten werden uitgevoerd op twee datasets: een Beijing mobiliteitsdataset (100k individuen) en een NYC POI check-in dataset. MobCache werd vergeleken met baselines inclusief CoPB, Urban-Mobility-LLM (UML), LLMob en CitySim.

• Efficiëntie: MobCache presteerde aanzienlijk beter dan alle baselines.
  • Inferentietijd: Verminderd met ten minste 83,61% (Beijing) en 85,29% (NYC) vergeleken met de beste baselines.
  • Doorvoersnelheid: Aantal tokens per seconde verhoogd met 53,26%.
  • Kosten: Monetaire kosten verminderd met 71,82% (NYC) en 74,71% (Beijing).
  • Schaalbaarheid: In een casestudy waarbij 1,7 miljoen trajecten werden gesimuleerd (bevolking van Manhattan), bereikte MobCache een 6,5× versnelling en een 3,4× kostenreductie vergeleken met bestaande methoden.
• Kwaliteit: Ondanks de winst in efficiëntie behield MobCache een prestatie die vergelijkbaar is met state-of-the-art LLM-gebaseerde methoden op kwaliteitsmetrieken (Jensen–Shannon divergentie voor radius of gyration, verblijfsduur, afstand, locatiefrequentie en oorsprong-bestemming gelijkenis).
• Ablatieonderzoeken: Het verwijderen van de latente-ruimte evaluator of de mobiliteitswet-beperkingen resulteerde in een afname van de simulatiekwaliteit, wat de noodzaak van deze componenten bevestigt voor het behoud van gedragscoherentie en getrouwheid.
• Overdraagbaarheid: Een cache geconstrueerd van Beijing-data werd succesvol toegepast op New York-simulaties met een aanvaardbaar kwaliteitsverlies, wat het vermogen van het framework aantoont om redeneringspatronen tussen steden over te dragen zonder hertraining.

Betekenis en Claims

Het artikel claimt dat MobCache grootschalige, privacy-bewarende menselijke mobiliteitssimulatie praktisch maakt door de simulatiegetrouwheid los te koppelen van de computationele kosten. Door te cachen op basis van redenering in plaats van reacties en te opereren in de latente ruimte in plaats van tekst, bereikt het framework tegelijkertijd twee cruciale doelen:

1. Behoud van Diversiteit: Het voorkomt de "mode collapse" van groepsgebaseerde methoden en de herhaling van standaard caching, door gevarieerde gedragingen te genereren die overeenkomen met de werkelijke populatieheterogeniteit.
2. Waarborgen van Getrouwheid: Het handhaaft ruimtelijke en temporele beperkingen (mobiliteitswetten) die vaak worden geschonden bij het recombineren van tekst, waardoor de gegenereerde trajecten fysiek en logisch plausibel blijven.

De auteurs benadrukken dat deze aanpak orthogonaal is aan bestaande optimalisaties zoals KV-caching en kan worden geïntegreerd als een plug-and-play accelerator voor bestaande LLM-gebaseerde simulaties (bijv. het verbeteren van de snelheid van UML met 65,49% zonder kwaliteitsverlies). Het werk suggereert dat grootschalige stedelijke simulaties, die voorheen beperkt waren door kosten, nu efficiënt op stadsniveau kunnen worden uitgevoerd.