Effective and Efficient Cross-City Traffic Knowledge Transfer: A Privacy-Preserving Perspective

Technische Samenvatting: FedTT – Effectieve en Efficiënte Cross-City Verplaatsing van Verkeerskennis

Probleemdefinitie
Verkeersvoorspelling (TP) is cruciaal voor stedelijk beheer, maar staat voor aanzienlijke uitdagingen in opkomende steden waar dataschaarste leidt tot overfitting en een slechte modelnauwkeurigheid. Hoewel Transfer Learning (TL) een oplossing biedt door gebruik te maken van datarijke bronsteden, kampen bestaande Federated Traffic Knowledge Transfer (FTT) benaderingen met vier onopgeloste uitdagingen:

1. Privacylekken: Hoewel federated learning het delen van ruwe data voorkomt, brengt het uploaden van gradiënten of modelparameters nog steeds risico's op inferentie-aanvallen met zich mee, die gevoelige verkeersgegevens kunnen reconstrueren.
2. Distributieverschil: Significante verschillen in verkeerspatronen (doorstroming, snelheid, bezettingsgraad) tussen bron- en doelsteden verminderen de effectiviteit van de kennisoverdracht.
3. Lage Datakwaliteit: Real-world sensordata bevatten vaak ontbrekende waarden door defecten of updates, wat bestaande methoden slecht afhandelen (bijv. door op nul te zetten), wat de modelprestaties verslechtert.
4. Inefficiëntie: Huidige FTT-methoden vertrouwen op seriële twee-fasenprocessen en complexe modellen, wat resulteert in hoge computationele en communicatie-overhead (vaak 40x trager dan niet-transfer baselines).

Methodologie: Het FedTT-framework
De auteurs stellen FedTT voor, een privacy-bewarend federated framework dat de verkeersdata van de bronstad transformeert naar het domein van de doelstad voordat de training begint, in plaats van simpelweg modelparameters te aggregeren. Het framework bestaat uit vier kernmodules:

1. Traffic View Imputation (TVI):

   • Doel: Aanpakken van lage datakwaliteit en ontbrekende sensormetingen.
   • Mechanisme: Voordat de federated training begint, vult TVI ontbrekende data aan door spatio-temporele afhankelijkheden vast te leggen. Het maakt gebruik van een Spatial View Extension met behulp van Graph Attention Networks (GAT) en het Dijkstra-algoritme om ontbrekende sensorwaarden te extraheren op basis van de wegnetwerktopologie. Vervolgens gebruikt het een Temporal View Enhancement (gebruikmakend van het DyHSL-model) om ontbrekende waarden te voorspellen op basis van historische en toekomstige temporele sequenties.
   • Resultaat: Genereert een volledige verkeersview ($\hat{X}_t$) voor alle sensoren, wat zorgt voor robuuste training, zelfs met incomplete data.

2. Traffic Domain Adapter (TDA):

   • Doel: Het mitigeren van cross-city distributieverschillen.
   • Mechanisme: TDA gebruikt een Generative Adversarial Network (GAN) architectuur om data uit de bron-domein uniform naar het doel-domein te transformeren.
     • Transformatie: Een generator ($\theta_{Gen}$) brengt brongegevens naar het doel-domein met behulp van transformatiematrices afgeleid van wegnetwerkstructuren en verkeersdomein-prototypes (gemiddelde verkeersdata).
     • Uitlijning & Classificatie: Een discriminator ($\theta_{Dis}$) zorgt ervoor dat de getransformeerde data overeenkomt met de distributie van het doel-domein. De generator wordt getraind om de discriminator te misleiden, waardoor de bron-datadistributie effectief wordt uitgelijnd met de specifieke verkeerspatronen van de doelstad.

3. Traffic Secret Transmission (TST):

   • Doel: Bescherming van privacy tijdens aggregatie zonder op te offeren aan efficiëntie (het vermijden van zware Homomorfe Encryptie of nauwkeurigheidsverlagende Differential Privacy).
   • Mechanisme: In plaats van ruwe getransformeerde data of gradiënten te uploaden, verzenden clients gemaskeerde data.
     • In de eerste ronde versleutelen en verzenden clients de initiële data.
     • In daaropvolgende rondes berekenen clients een masker op basis van het verschil tussen de huidige getransformeerde data en de vorige geaggregeerde data.
     • De server aggregeert deze maskers om de nieuwe geaggregeerde data te reconstrueren.
   • Resultaat: De server heeft alleen toegang tot het geaggregeerde resultaat, wat de inferentie van individuele client-data voorkomt terwijl de hoge trainingsefficiëntie behouden blijft.

4. Federated Parallel Training (FPT):

   • Doel: Communicatie-overhead verminderen en trainingssnelheid verbeteren.
   • Mechanisme: FPT maakt gebruik van Split Learning en Parallel Optimization. Het deelt het trainingsproces op, waardoor clients en de server specifieke modules (bijv. generator, discriminator, verkeersmodel) gelijktijdig kunnen trainen. Het bevriest tussenresultaten (bijv. classifier-outputs, geaggregeerde data) om datadependenties te verbreken, wat parallelle uitvoering mogelijk maakt en de datatransmissie aanzienlijk vermindert.

Belangrijkste Bijdragen

• Framework Design: Stelt FedTT voor, een nieuw framework dat het paradigma verschuift van modelaggregatie naar data-domeintransformatie binnen een federated setting.
• Robuustheid: Introduceert de TVI-module om ontbrekende data te verwerken via spatio-temporele view extensie, wat de robuustheid in real-world scenario's verbetert.
• Effectiviteit: Ontwikkelt de TDA-module om heterogene bron-doel distributies expliciet uit te lijnen, wat de effectiviteit van de transfer verhoogt.
• Privacy & Efficiëntie: Ontwerpt de TST-module voor lichtgewicht, veilige aggregatie en de FPT-module voor parallelle training, waarmee zowel de risico's op privacylekken als de computationele inefficiëntie worden aangepakt.
• Empirische Validatie: Demonstreert state-of-the-art prestaties over meerdere datasets en voorspellingstaken.

Experimentele Resultaten
De auteurs evalueerden FedTT op vier real-world datasets (PeMSD4, PeMSD8, FT-AED, HK-Traffic) die San Francisco, San Bernardino, Nashville en Hong Kong beslaan.

• Prestaties: FedTT presteerde beter dan 18 state-of-the-art baselines (waaronder T-ISTGNN, pFedCTP, en diverse MTT/STT methoden) bij taken voor verkeersdoorstroming, snelheid en bezettingsgraad.
  • Nauwkeurigheid: Bereikte een reductie in Mean Absolute Error (MAE) variërend van 5,43% tot 22,78% en RMSE-reducties van 7,25% tot 50,79%.
  • Schaalbaarheid: Behield superieure prestaties, zelfs wanneer de trainingsdata van de doelstad werd teruggebracht tot 5%.
  • Lange-termijn Voorspelling: Verwerkte succesvol lange-termijn voorspellingen (60 minuten), met winsten van 6,86% tot 17,30% ten opzichte van baselines.
• Efficiëntie: FedTT verminderde de communicatie-overhead met 90% en de looptijd met 1 tot 2 grootheden vergeleken met bestaande FTT-methoden.
• Ablatie-studies: Bevestigden dat elke module (TVI, TDA, TST, FPT) significant bijdraagt aan de algehele prestaties, waarbij TDA en TVI cruciaal zijn voor nauwkeurigheid en TST/FPT voor efficiëntie en privacy.

Betekenis en Claims
Het artikel beweert dat FedTT een uitgebreide oplossing biedt voor de "vier uitdagingen" van bestaande FTT-methoden. Door het datadomein te transformeren in plaats van enkel modellen te aggregeren, overbrugt FedTT effectief de kloof tussen data-rijke en data-arme steden zonder de privacy in gevaar te brengen. De auteurs stellen dat hun lichtgewicht geheime aggregatie en parallelle trainingsstrategieën het framework levensvatbaar maken voor real-world implementatie, waar regelgeving omtrent gegevensprivacy (zoals GDPR) en computationele middelen beperkende factoren zijn. Het werk vestigt een nieuwe baseline voor privacy-bewuste, efficiënte en robuuste cross-city verplaatsing van verkeerskennis.