💻 computer science

TPS-Drive: Task-Guided Representation Purification for VLM-based Autonomous Driving

يقدم TPS-Drive إطار عمل مبتكرًا للقيادة الذاتية القائمة على نماذج الرؤية واللغة الكبيرة (VLM) يستخدم تنقية التمثيلات الموجهة بالمهام عبر مُجزئ رموز متمحور حول الوكيل للقضاء على الحشو المكاني والهلوسة، مما يتيح مسار استدلال مفكك يحقق أداءً رائدًا في السلامة والتنبؤ على كل من اختبارات الحلقة المفتوحة والحلقة المغلقة.

المؤلفون الأصليون: Jiaxiang Li, Yumao Liu, Ke Ma

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaxiang Li, Yumao Liu, Ke Ma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تُعلم روبوتًا ذكيًا جدًا ومطلعًا على الكثير من المعارف كيف يقود سيارة. هذا الروبوت هو نموذج لغوي بصري (VLM): هو بارع في قراءة الخرائط، وفهم إشارات المرور، والتحدث عما يراه، ولكنه يعاني من مشكلة كبيرة؛ فهو سيء للغاية في فهم الهندسة ثلاثية الأبعاد للطريق بدقة. الأمر يشبه كونه فيلسوفًا عبقريًا يمكنه وصف العاصفة بشعر جميل، لكنه لا يستطيع إخبارك بالضبط أين ستصطدم قطرة مطر بالزجاج الأمامي.

تقدم ورقة بحثية نظامًا يُدعى TPS-Drive، وهو مصمم لإصلاح هذه المشكلة عبر تعليم الروبوت كيف "يفكر" بطريقة أكثر نقاءً وتركيزًا.

إليك كيفية عمله، مقسمًا باستخدام تشبيهات بسيطة:

المشكلة: طريقتان سيئتان لوصف الطريق

يقول المؤلفون إن الطرق الحالية لتعليم الروبوتات القيادة تقع في فخين:

فخ "مترجم النصوص": تحاول بعض الأنظمة تحويل العالم ثلاثي الأبعاد إلى كلمات أو أرقام بسيطة (مثل "سيارة أمامنا"، "صندوق عند س، ص، ع").
- التشبيه: تخيل أنك تحاول وصف منحوتة معقدة باستخدام قائمة كلمات مثل "مستدير"، "طويل"، "أحمر" فقط. ستفقد الشكل، والمسافة، والمنحنيات الناعمة. سيصاب الروبوت بالارتباك ويبدأ في "الهلوسة" (يتخيل أشياء ليست موجودة أو يضعها في أماكن خاطئة).
فخ "الكاميرا المثقلة بالبيانات": تحاول أنظمة أخرى تغذية الروبوت بمقاطع فيديو عالية الدقة أو شبكات كثيفة للمشهد بأكته.
- التشبيه: تخيل أنك تعطي الروبوت بث فيديو بدقة 4K لشارع مزدحم، لكن الفيديو يتكون بنسبة 90% من خلفية ثابتة (مثل جدار من الطوب، أو السماء، أو سيارة مركونة لم تتحرك منذ سنوات). سيصبح عقل الروبوت مثقلًا بكل هذا "الضجيج". سيستهلك كل طاقته في معالجة الجدار الممل ويغفل عن مشاة يخطون من على الرصيف. وهذا ما يسمى بـ "تداخل التمثيل".

الحل: مرشح "التنقية الموجهة بالمهمة"

يحل TPS-Drive هذه المشكلة عبر تقديم مرشح خاص يسمى المُجزئ المتمحور حول الوكيل (Agent-Centric Tokenizer).

التشبيه: فكر في عقل الروبوت كمكتبة. عادةً، تكون المكتبة مغمورة بكتب عن كل شيء: الطقس، لون الرصيف، الأشجار، والسيارات. لا يستطيع الروبوت العثور على الكتب المهمة.
الإصلاح: يقوم TPS-Drive بتعيين "أمين مكتبة" (رأس كشف ثلاثي الأبعاد مجمد) يعرف بالضبط ما يحتاجه الروبوت الآن. يقوم أمين المكتبة بمسح المشهد ويرمي 91% من الكتب (الخلفية الثابتة، السماء، الأنسجة).
النتيجة: يتبقى للروبوت "فضاء نقي" يحتوي فقط على الفاعلين الحاسمين والمتحركين: السيارات، المشاة، والدراجات. يمكنه الآن "التفكير" بوضوح لأنه ينظر فقط إلى ما يهم.

كيف يقود الروبوت (عملية الخطوات الثلاث)

بمجرد حصول الروبوت على هذه الرؤية النظيفة والنقية للعالم، فإنه يقود باستخدام مسار استدلال مكون من ثلاث خطوات:

فهم المشهد: ينظر الروبوت إلى المشهد المنقى ويكتب ملخصًا مهيكلًا. هو لا يكتفي بالقول "أرى سيارة"؛ بل يفهم الفيزياء: "هناك سيارة على بعد 10 أمتار، تتحرك بسرعة 5 أميال في الساعة، وعليّ أن أضغط على المكابح".
التنبؤ بالمستقبل: يتوقع الروبوت ما سيحدث لاحقًا. يسأل نفسه: "إذا استمررت في السير، أين ستكون تلك السيارة بعد ثانيتين؟". ولأن الروبوت ينظر فقط إلى العناصر المتحركة (بفضل مرشح التنقية)، فإن هذا التنبؤ يكون أكثر دقة بكثير.
توليد الإجراء: أخيرًا، يقرر الروبوت ما يجب فعله. يستخدم "مخطط الانتشار" (أداة تولد مسارات سلسة وآمنة) لرسم خط على الطريق يوضح بالضبط المسار الذي يجب أن تسلكه السيارة لتجنب التصادم.

التدريب: من طالب إلى خبير

لم يكتفِ المؤلفون بتدريب الروبوت مرة واحدة؛ بل استخدموا عملية تدريب مكونة من ثلاث مراحل:

التدريب المسبق: تعليم "أمين المكتبة" (المُجزئ) كيفية تصفية الضجيج.
الضبط الدقيق الخاضع للإشراف: تعليم الروبوت كيفية قراءة المشهد المصفى والتنبؤ بالمستقبل، تمامًا مثل طالب يدرس للاختبار.
الصقل المدفوع بالمكافأة: هذه هي الخطوة الأهم. يتدرب الروبوت على القيادة في محاكي. إذا قاد بأمان واتبع القواعد، يحصل على "مكافأة". وإذا اصطدم أو قاد بتهور، يحصل على عقوبة. يتعلم الروبوت إعطاء الأولوية للسلامة فوق مجرد تقليد السائقين البشر.

النتائج: قيادة أكثر أمانًا

يدعي البحث أن TPS-Drive يعمل بشكل أفضل بكثير من الطرق السابقة:

تصادمات أقل: في الاختبارات مفتوحة الحلقة (حيث يخطط الروبوت مسارًا لكنه لا يقود فعليًا)، سجل أقل معدلات تصادم مقارنة بالنماذج الرائدة الأخرى.
تنبؤات أفضل: هو أفضل بكثير في تخمين أين ستكون السيارات والناس في المستقبل.
سجلات السلامة: في الاختبارات مغلقة الحلقة (حيث يقود الروبوت فعليًا في بيئة محاكاة)، حقق أرقامًا قياسية جديدة في السلامة، حيث تجنب الاصطدامات واتبع قواعد المرور (مثل التوقف عند الإشارات الحمراء) بشكل أفضل من منافسيه.

الخلاصة

TPS-Drive يشبه إعطاء روبوت ذكي "نظارات ذكية". بدلًا من رؤية فوضى ضبابية وصاخبة للعالم بأكمله، تقوم هذه النظارات تلقائيًا بتغبيش الخلفية المملة وتسليط الضوء فقط على السيارات والناس المتحركين. هذا يسمح للروبوت بتركيز قدراته الذهنية على الأشياء التي تهم حقًا، مما يؤدي إلى قرارات قيادة أكثر أمانًا ودقة.

ملخص تقني: TPS-Drive

بيان المشكلة

تقدم نماذج الرؤية واللغة (VLMs) قدرات استدلال دلالي قوية للقيادة الذاتية، لكنها تعاني من صعوبة في سد الفجوة بين الاستدلال عالي المستوى والتنبؤ المكاني ثلاثي الأبعاد الدقيق. تواجه استراتيجيات التمثيل الحالية مقايضة حرجة:

الأساليب المحاذية للنص: تقوم هذه الأساليب بتسطيح الحالات المكانية المستمرة إلى رموز منفصلة (مثل الأوصاف اللغوية الطبيعية أو الإحداثيات المسطحة). وبينما تتوافق هذه الطريقة مع أجهزة الترميز القياسية، إلا أن هذا التجزئة تضعف البنية الهندسية للمساحة الفيزيائية، مما يؤدي إلى "الهلوسة المكانية" ويحد من قدرة النموذج على التقاط حالات الوكلاء المستمرة.
الأساليب البصرية الكثيفة: تحافظ هذه الأسالكتب (مثل الشبكات الكثيفة أو خرائط الإشغال) على الطوبولوجيا المكانية، لكنها ترهق أجهزة الترميز القياسية بالخلفيات المنسوجة والسيناريوهات الثابتة غير الضرورية. وبسبب اعتمادها على التكميم الموجه بإعادة البناء (Vector Quantization)، تخصص هذه الأساليب قدرة "كودبوك" (Codebook) محدودة بشكل غير متناسب للخلفيات الثابتة بدلاً من الوكلاء الديناميكيين الحرجين، مما يسبب "تداخلاً في التمثيل" يعيق الاستدلال الدلالي.

التحدي الجوهري هو تصميم تمثيل يجسّر الفجوة بين الاستدلال الدلالي والتنبؤ الدقيق دون الوقوع في فخ التشويه الهندسي أو تكرار المعلومات.

المنهجية: TPS-Drive

يقدم TPS-Drive إطار عمل يرتكز على تنقية التمثيل الموجه بالمهام (Task-Guided Representation Purification)، مما يمكن نماذج الرؤية واللغة من "التفكير في مساحة منقاة". يقوم هيكل العمل بفصل عملية القيادة إلى ثلاث مراحل متسلسلة: فهم المشهد، التنبؤ بالمستقبل، وتوليد الإجراءات.

1. المرمز المرتكز على الوكيل (تنقية التمثيل)

الابتكار الأساسي هو المرمز المرتكز على الوكيل (Agent-Centric Tokenizer) الذي يبني مفردات منظور عين الطائر (BEV) منقاة.

التكميم الموجه بالمهام: على عكس نماذج VQ-VAE القياسية التي تعمل على تحسين إعادة البناء الشاملة، يتم الإشراف على هذا المرمز بواسطة رأس كشف ثلاثي الأبعاد مجمد (CenterPoint). يعيد هذا الإشراف تخصيص قدرة الـ "كودبوك" المحدودة صراحةً من الخلفيات الثابتة المنتشرة إلى الوكلاء الديناميكيين الحرجين.
الطبقات الأساسية والمتبقية: يستخدم المرمز "كودبوك" أساسي ( $V_1$ ) لالتقاط الأنماط الهيكلية الجوهرية للوكلاء، تحت إشراف خسائر الكشف (الخرائط الحرارية وصناديق الإحاطة ثلاثية الأبعاد). ولتعويض الفروق الدقيقة في الموقع التي تُفقد أثناء التكميم، يتم إضافة طبقات كودبوك متبقية ( $L-1$ ) بطريقة هرمية لترميز الأخطاء المتبقية.
النتيجة: تعمل هذه العملية على عزل التكرار المكاني، مما ينتج عنه تسلسل رموز مصفى يركز حصرياً على الوكلاء الديناميكيين، مما يمنع بفعالية تداخل التمثيل.

2. مسار الاستدلال المنفصل

يعالج إطار العمل المدخلات عبر ثلاث مراحل متميزة:

فهم المشهد: يستخرج عمود فقري للرؤية واللغة تمثيلاً هيكلياً موحداً ( $s_t$ ) يشمل أوصاف المشهد والقواعد الفيزيائية (مثل قدرات الكبح). يتم توليد هذا التمثيل عبر مفردات محددة مسبقاً وتحت إشراف ملاحظات من نموذج لغوي كبير (Qwen3.5-27B).
التنبؤ بالمستقبل: بناءً على السياق الحالي و $s_t$ ، يتنبأ النموذج برموز العالم المستقبلية ( $z_{t+\Delta t}$ ) في المساحة المنقاة المنفصلة. يستخدم النموذج نهجاً ذاتي التراجع (Autoregressive) للرموز الأساسية ورؤوس تصنيف متوازية للرموز المتبقية.
توليد الإجراءات: يقوم مخطط انتشار مشروط (Conditional Diffusion Planner) بتوليد مسارات مستمرة للمركبة ( $\tau$ ) بناءً على حالات المستقبل المتوقعة وسياق المشهد الهيكلي.

3. التدريب التدريجي ثلاثي المراحل

يتم تحسين النموذج عبر نموذج تدريبي محدد:

التدريب المسبق للمرمز: يتم تدريب المشفر الأساسي، والـ "كودبوك"، وفك التشفيد تحت إشراف موجه بالمهام، يليه تدريب الكودبوك المتبقي.
الضبط الدقيق الخاضع للإشراف (SFT): يتم ضبط العمود الفقري للرؤية واللغة لإتقان فهم المشهد، والتنبؤ بالمستقبل، وتوليد الإجراءات بشكل مشترك.
التحسين المدفوع بالمكافأة: لتجاوز مجرد التعلم بالتقليد، تخضع السياسة لتحسين نسبي مجموعات (Grouped Relative Optimization) من طرف إلى طرف. يتم تقييم عمليات التشغيل العشوائية (Stochastic Rollouts) بناءً على مكافأة خارجية تعتمد على الأخطاء الهندسية وسلاسة الحركة، مما يعمل على صقل نموذج العالم ومخطط الانتشار ليتماشى مع أهداف السلامة.

المساهمات الرئيسية

المرمز المرتكز على الوكيل: مرمز مبتكر يتم الإشراف عليه بواسطة رأس كشف ثلاثي الأبعاد مجمد يحقق تنقية للتمثيل موجهة بالمهام، مما يعزل التكرار المكاني صراحةً لتمكين نماذج الرؤية واللغة من الاستدلال في مساحة منقاة.
إطار العمل المنفصل (TPS-Drive): نظام يفصل بين فهم المشهد، والتنبؤ بالمستقبل، وتوليد الإجراءات، ويتم تحسينه عبر نموذج تدريبي ثلاثي المراحل يتميز بالتحسين المدفوع بالمكافأة.
الأرقام القياسية للأداء: يضع الإطار أرقاماً قياسية جديدة للسلامة على اختبارات صارمة مع الحفاظ على دقة عالية في التنبؤ المكاني.

النتائج التجريبية

أُجريت تجارب واسعة النطاق على nuScenes و NAVSIMv1 و NAVASIMv2.

التخطيط في الحلقة المفتوحة (nuScenes): حقق TPS-Drive أدنى معدل تصادم (CR) مسجل وهو 0.10% (مع حالة المركبة) تحت بروتوكول ST-P3، متفوقاً بشكل كبير على الأساليب الرائدة القائمة على نماذج الرؤية واللغة مثل OmniDrive (0.94%) و OccWorld (0.32%). كما أظهر تفوقاً في التنبؤ المكاني المرتكز على الوكيل، محققاً 34.60% NDS و 24.03% mAP، متجاوزاً نماذج العالم مثل WoTE و BEVWorld.
التخطيط في الحلقة المغلقة (NAVSIMv1 & v2):
- في NAVSIMv1، حقق TPS-Drive درجة نموذج سائق تنبؤي (PDMS) بلغت 89.7، متفوقاً على Recogdrive (89.6) و AutoVLA (89.1).
- في الاختبار الأكثر صرامة NAVSIMv2، سجل 86.7 في درجة نموذج السائق الممتد (EPDMS)، واضعاً رقماً قياسياً جديداً للسلامة ومتفوقاً على المخططين بمستوى الخبراء مثل HydraMDP++ (85.6) وأساليب VLA المعاصرة.
دراسات الاستئصال (Ablation Studies): أكدت النتائج أن التكميم الموجه بالمهام وفر زيادة مطلقة قدرها +12.72% في دقة التنبؤ (NDS) مقارنة بالتكميم الموجه بإعادة البناء القياسي. كما أدى التحسين المدفوع بالمكافأة إلى رفع EPDMS من 84.1 إلى 86.7 وتقليل معدل التصادم في الحلقة المفتوحة إلى 0.19%.

الأهمية والادعاءات

يدعي البحث أن TPS-Drive يعالج بنجاح القيود الجوهرية لأنظمة القيادة القائمة على نماذج الرؤية واللغة من خلال فصل الاستدلال الدلالي عن التحكم المستمر عبر تنقية التمثيل. ومن خلال الانتقال من إعادة البناء الشاملة إلى التنقية الموجهة بالمهام، ينجح الإطار في جسر الفجوة بين الاستدلال الدلالي عالي المستوى وتوليد المسارات الآمنة والدقيقة.

يؤكد المؤلفون أن عزل الدلالات المتعلقة بالسلامة عن البيانات البصرية الخام هو حجر الزاوية للاستدلال الفعال في نماذج الرؤية واللغة والعمل (VLA). وتثبت النتائج أن التمثيلات الهندسية المنقاة يمكن أن تضع معايير سلامة جديدة في البيئات التفاعلية ذات الحلقة المفتوحة والمغلقة على حد سواء.

القيود: يقر المؤلفون بأن الاعتماد على رأس كشف مجمد يحد من إمكانات التمثيل، وأن بنية المراحل المتعددة المنفصلة تقيد حالياً سرعة الاستدلال في الوقت الفعلي. ويقترح العمل المستقبلي استكشاف تنقية مكانية قابلة للاشتقاق من طرف إلى طرف وتحسين الأداء على مستوى الأجهزة.