TrajTok: Adaptive Spatial Tokenization for Trajectory Representation Learning

ملخص تقني: TrajTok: التقطيع المكاني التكيفي لتعلم تمثيل المسارات

بيان المشكلة
يعد تعلم تمثيلات قابلة للتعميم من مسارات نظام تحديد المواقع العالمي (GPS) الخام أمراً صعباً نظراً لطبيعة هذه البيانات المستمرة، والمشوشة، وغير المنتظمة في أخذ العينات. تعتمد النماذج التأسيسية الحالية ونماذج التعلم الجغرافي للتمثيل غالباً على تقسيم شبكي ثابت الحجم. ويقدم هذا النهج مقايضة جوهرية: فالشبكات ذات الدقة العالية تخلق خلايا ذات زيارات GPS غير كافية لتعلم تضمينات (embeddings) قوية، بينما تعاني الشبكات ذات الدقة المنخفضة من تفتت داخلي، مما يؤدي إلى دمج أنماط حركة محلية متباينة في رموز (tokens) واحدة. علاوة على ذلك، تجد الطرق التقليدية صعوبة في التقاط كل من هياكل المسارات الهندسية وديناميكيات الحركة الكينماتيكية في آن واحد دون الاعتماد على معالجة مسبقة صارمة لمطابقة الخرائط (map-matching).

المنهجية
يقترح المؤلفون TrajTok، وهو إطار عمل لترميز المسارات يقوم بتحويل مسارات GPS الخام إلى رموز منفصلة عبر تقطيع مكاني تكيفي، ويتعلم التمثيلات من خلال بنية محول (transformer) مفككة.

1. التقطيع المكاني التكيفي:
   بدلاً من الشبكات الثابتة، يبني TrajkTok مفردات سداسية متعددة الدقة باستخدام نظام H3. يتم بناء المفردات بشكل هرمي: حيث يتم تقسيم الخلايا في المناطق عالية الكثافة تكرارياً إلى دقات أدق حتى يتم استيفاء حد السعة أو الوصول إلى أقصى دقة، بينما تظل المناطق المتفرقة عند دقات أكثر خشونة. يخصص هذا النهج وحدات مكانية أدق للمناطق الكثيفة مع الحفاظ على مفردات مدمجة. يتم رسم خرائط نقاط GPS الخام إلى أعلى خلية في المفردات تحتوي عليها، مما ينتج تسلسلاً من الرموز المنفصلة المرتبطة بمعرفات الخلايا، والدقة، والإحداثيات، والطوابع الزمنية.

2. مشفر المحول المفكك (Factorized Transformer Encoder):
   تستخدم البنية تصميماً ثنائي المسار لفصل التعلم الهندسي عن الكينماتيكي قبل دمجهما:

• القناة الهندسية: تشفر الموقع المكاني عبر ناقلات هوية الخلايا المتعلمة.
• القناة الكينماتيكية: تشفر ميزات الحركة (السرعة والاتجاه المعياريين) بشكل مستمر، باستخدام تحويلات الجيب وجيب التمام للاتجاه لاحترام البنية الدائرية.
• الترميز الموقعي الزماني-المكاني: تستخدم القناة الهندسية ترميز الموضع الدوار الزماني-المكاني (ST-RoPE) عبر خطوط الطول والعرض والزمن. وتستخدم القناة الكينماتيكية ST-RoPE الزمني فقط.
• الدمج: تعالج الطبقات الأولى كل مسار بشكل مستقل عبر الانتباه الذاتي (self-attention). وتقوم طبقات الدمج اللاحقة بتطبيق الانتباه المتقاطع (cross-attention)، مما يسمح للمسارين الهندسي والكينماتيكي بالانتباه لبعضهما البعض، مما يخلق تمثيلاً موحداً للمسار.

3. هدف التدريب المسبق:
   يتم تدريب TrajTok مسبقاً باستخدام هدف نمذجة الرمونات المقنعة المشتركة (co-masked masked token modeling). بالنظر إلى مسار ذي مواضع مقنعة مشتركة عبر كلا القناتين:

• تتنبأ القناة الهندسية بمعرفات الخلايا المقنعة.
• تقوم القناة الكينماتيكية بإعادة بناء السرعة والاتجاه المعياريين.
• يكون الفقد (loss) عبارة عن مزيج خطي من فقد التنبؤ الهندسي وفقد الانحدار الكينماتيكي.
• يقدم المؤلفون قناع النطاق المدرك للجري (run-aware span masking)، والذي يرفض نطاقات الأقنعة المرشحة التي تقع بالكامل ضمن "جري" خلية متكررة واحدة لمنع النموذج من تعلم طرق مختصرة تافهة (نسخ نقاط النهاية).

المساهمات الرئيسية

• التقطيع التكيفي مع الكثافة: طريقة لتقسيم المسارات المستمرة إلى رموز مكانية متعددة الدقة، مما يخصص خلايا أدق للمناطق الكثيفة مع الحفاظ على مفردات مدمجة، مما يعالج المقايضة المتأصلة في نهج الشبكة الثابتة.
• البنية المفككة: مشفر محول يفصل معالجة الإشارات الهندسية (الموقع) والكينماتيكية (الحركة) في الطبقات المبكرة، ويدمجهما عبر الانتباه المتقاطع لالتقاط هندسة المسار وديناميكيات الحركة.
• وصفة التدريب المسبق: هدف نمذجة الرمونات المقنعة البسيط والفعال المصمم لتدفقات GPS الخام، والذي يتضمن القناع المشترك وقناع النطاق المدرك للجري لتشجيع تعلم البنية القابلة للنقل.
• القدرة على التعميم: إثبات أن مشفر واحد مجمد، مقترن بمهايئات مهام خفيفة الوزن، يحقق أداءً يضاهي أو يتفوق على أحدث الأساليب في مختلف المهام النهائية، بما في ذلك المهام التي تهيمن عليها الهندسة (البحث عن التشابه، التصنيف) والمهام التي تهيمن عليها الكينماتيكا (تقدير وقت الوصول ETA، انحدار زمن السفر).

النتائج التجريبية
تم تقييم TrajTok على مجموعة بيانات تاكسي بورتو (Porto taxi)، حيث حقق مشفر TrajTok المجمد مع مهايئات خاصة بالمهام ما يلي:

• البحث عن تشابه المسارات: حقق معدل HR@1 قدره 0.435، متفوقاً على نماذج قوية مثل NeuTraj (0.308) و SIMformer (0.300).
• تصنيف نوع المكالمة: حقق مقياس macro-F1 قدره 0.773، مضاهاً أو متفوقاً قليلاً على الطرق المتخصصة مثل START و JGRM، رغم أن TrajTok يعمل فقط على GPS الخام دون مطابقة الخرائط.
• تقدير وقت الوصول (ETA): حقق متوسط خطأ مطلق (MAE) قدره 42.27 ثانية في التنبؤ القائم على البادئة (prefix-based)، متفوقاً بشكل كبير على أنظمة زمن السفر العصبية السابقة (مثل MetaER-TTE الذي سجل 93.75 ثانية).
• انحدار زمن السفر للمسار الكامل: حقق MAE قدره 38.41 ثانية، متفوقاً بشكل ملحوظ على النماذج المرجعية مثل TIGR (86.86 ثانية).

أكدت دراسات الاستئصال (Ablation studies) أن التقطيع المكاني التكيفي مع الكثافة، والدمج عبر الانتباه المتقاطع، ووصفة التدريب المسبق المحددة، كلها عوامل حاسمة في دفع الأداء. ومن الجدير بالذكر أن المؤلفين لاحظوا أن تمديد التدريب المسبق إلى ما بعد نقطة معينة (زيادة الخطوات من 60 ألف إلى 120 ألف) قلل من فقد التحقق ولكنه أدى إلى تدهور أداء الاسترجاع في المهام النهائية، مما يشير إلى أن فقد التدريب المسبق وحده ليس مؤشراً كافياً للقدرة على النقل.

الأهمية والادعاءات
يزعم البحث أن TrajTok يثبت أن التقطيع المكاني متعدد الدقة المتعلم، جنباً إلى جنب مع هدف نمذجة الرمونات المقنعة البسيط، يعد إطار عمل واعد لنماذج التأسيس العامة للمسارات. النتيجة الرئيسية هي أن مشفراً واحداً مجلداً يمكنه الانتقال بفعالية إلى كل من المهام التي تهيمن عليها الهندسة (حيث يهم "أين") والمهام التي تهيمن عليها الكينماتيكا (حيث يهم "كيف"). يشير هذا إلى أن التمثيل المتعلم يلتقط بنية المسار القابلة للنقل بدلاً من الاختصارات الخاصة بالمهام. ويضع المؤلفون TrajTok كخطوة نحو النماذج التأسيسية لذكاء المسارات التي تعمل مباشرة على بيانات GPS الخام، متجنبة الافتراضات المسبقة لمطابقة الخرائط والتكاليف الحسابية المرتبطة بها.

القصور
يشير المؤلفون إلى أن جميع التجارب أجريت على مجموعة بيانات تاكسي بورتو. وبينما تحققوا من الانتقال عبر أربعة تطبيقات نهائية، فقد أقروا بالحاجة إلى عمل مستقبلي لاختبار التعلم الانتقالي إلى مجموعات بيانات أخرى بأقل قدر من الضبط الدقيق، والتوسع ليشمل مدناً متعددة، وربما إثراء الرمونات بمتطلبات جغرافية خفيفة الوزن دون العودة إلى عمليات مطابقة الخرائط الكاملة.