🤖 AI

OracleTSC: Oracle-Informed Reward Hurdle and Uncertainty Regularization for Traffic Signal Control

يُعد OracleTSC إطار عمل مبتكر يعمل على تثبيت الضبط الدقيق للتعلم التعزيزي للتحكم في الإشارات المرورية باستخدام النماذج اللغوية الكبيرة من خلال إدخال آلية عتبة المكافأة وتنظيم عدم اليقين، مما يحقق تحسينات كبيرة في كفاءة حركة المرور والتعميم عبر التقاطعات مع الحفاظ على اتخاذ قرارات بلغة طبيعية وشفافة.

المؤلفون الأصليون: Darryl Jacob, Xinyu Liu, Muchao Ye, Xiaoyong Yuan, Pan He

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Darryl Jacob, Xinyu Liu, Muchao Ye, Xiaoyong Yuan, Pan He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي جداً ومثقف (نموذج لغوي كبير - LLM) كيف يكون متحكماً في إشارات المرور. هذا الروبوت بارع في كتابة القصص والإجابة على الأسئلة، ولكن عندما يتعلق الأمر بالتحكم في حركة المرور، فإنه يشبه إعطاء مقود سيارة لأمين مكتبة: هو يعرف القواعد، لكنه لا يعرف كيف "يقود" في الوقت الفعلي.

المشكلة هي أن التحكم في المرور هو "لعبة طويلة الأمد". إذا اتخذ الروبوت قراراً سيئاً، فإن الازدحام المروري لا يحدث فوراً؛ بل يتراكم ببطء على مدار دقائق. وبحلول الوقت الذي يدرك فيه الروبوت: "أوه لا، لقد تسببت في تكدس"، يكون الضرر قد وقع بالفعل. وهذا يجعل من الصعب على الروبوت التعلم مما ينجح وما لا ينجح.

قام مؤلفو هذه الورقة البحثية، OracleTSC، ببناء نظام تدريب جديد لإصلاح مشكلتين رئيسيتين في تعليم هذه الروبوتات:

1. مشكلة "الضجيج": تصفية الإشارات الضعيفة

التشبيه: تخيل أنك تحاول تعلم لعب الغولف من خلال الاستماع إلى مدرب يهمس لك: "ضربة جيدة"، حتى عندما تضرب الكرة في حفرة رملية، و"ضربة سيئة" عندما تسجل هدفاً في الحفرة. لن تتعلم أبداً!

في حركة المرور، معظم تغييرات الإشارات لا تحدث فرقاً إلا بشكل طفيف (ربما تتحرك سيارة أو اثنتان بشكل أسرع). بالنسبة لروبوت يتعلم، تبدو هذه التغييرات الطفيفة كضجيج عشوائي. يصاب الروبوت بالارتباك ويستمر في إجراء نفس التغييرات الصغيرة وغير الفعالة.

الحل: "حاجز المكافأة"
قدم المؤلفون "حاجزاً". فكر في الأمر كأنه عارضة للقفز العالي.

إذا تجاوز قرار الروبوت حاجزاً صغيراً (تحسن طفيف في حركة المرور)، يقول النظام: "هذا ليس جيداً بما يكفي. حاول بجهد أكبر". في الواقع، هو يعاقب الروبوت على القيام بحركات ضعيفة.
فقط عندما يتخطى الروبوت حاجزاً عالياً (تحسن كبير، مثل تفريغ طابور ضخم من السيارات)، يحصل على مكافأة "عمل جيد!".
النتيجة: يتوقف الروبوت عن إضاعة الوقت في تعديلات صغيرة عديمة الفائدة، ويتعلم القيام بحركات جريئة وفعالة تفرغ حركة المرور بالفعل.

2. مشكلة "الارتباك": منع الروبوت من التشكيك في نفسه

التشبيه: تخيل روبوتاً يحاول اتخاذ قرار بشأن أي باب يفتحه.

قبل التدريب: يفكر: "ربما الباب (أ)؟ لا، رب maybe الباب (ب)؟ انتظر، الباب (أ) مجدداً؟ في الواقع، الباب (ج)؟" إنه يتحدث مع نفسه في دوائر، ويغير رأيه كل ثانية. هذا ما يسمى "انحراف الاستنتاج".
بعد التدريب: ينظر إلى الموقف، يختار الباب (أ)، ويلتزم به.

الحل: "عقوبة الثقة"
لاحظ الباحثون أنه عندما يكون الروبوت غير متأكد، فإنه يولد تفسيرات مختلفة لنفس موقف المرور (مثل: "اذهب شمالاً" في فكرة، و"اذهب جنوباً" في الفكرة التالية). هذا التناقض يجعل الروبوت غير مستقر.

أضافوا قاعدة تعاقب الروبوت إذا لم يستطع الاتفاق مع نفسه.

يطلبون من الروبوت توليد 8 إجابات مختلفة لنفس الازدحام المروري.
إذا كانت الإجابات مشتتة (عالية "الاعتلاج" أو الارتباك)، يحصل الروبوت على عقوبة.
إذا اختار الروبوت باستمرار نفس المرحلة (اعتلاج منخفض)، يحصل على مكافأة.
النتيجة: يتعلم الروبوت أن يكون حاسماً. يتوقف عن التردد ويختار خطة واحدة واضحة ومتسقة.

النتائج الكبيرة

عندما اختبروا هذا النظام الجديد (OracleTSC) على محاكاة حقيقية لحركة المرور:

لقد نجح بسرعة: استخدموا "دماغ" روبوت أصغر وأكثر دمجاً (LLaMA3-8B) وتعلموا التحكم في المرور بشكل أفضل من العديد من أنظمة الذكاء الاصطناعي المتخصصة و"الصندوق الأسود" التي لا تستطيع شرح قراراتها.
تدفقت حركة المرور بشكل أفضل: انخفضت أوقات السفر بنسبة 75%، وانخفض طول طوابير السيارات (الانتظار) بنسبة 67% مقارنة بالروبوت غير المدرب.
كان ذكياً بما يكفي للتكيف: قاموا بتدريب الروبوت على تقاطع محدد (مثل تقاطع طرق بسيط)، ثم أرسلوه إلى تقاطع مختلف تماماً ومعقد (مثل ساحة مدينة ألمانية مزدحمة). دون أي تدريب إضافي، تعامل الروبوت مع المكان الجديد بشكل جيد تقريباً كما لو كان قد تم تدريبه خصيصاً هناك.

لماذا يهم هذا؟

معظم ذكاء المرور الاصطناعي اليوم هو "صندوق أسود" — إنه يعمل، لكن لا أحد يعرف لماذا اختار قراراً معيناً. إذا ارتكب خطأً، لا يمكننا سؤاله: "لماذا فعلت ذلك؟"

OracleTSC مختلف. لأنه يستخدم نموذجاً لغوياً كبيراً، يمكنه التحدث عن قراراته.

قبل التدريب: كان استنتاج الروبوت فوضوياً، متناقضاً، ومليئاً بـ "انتظر، ربما...".
بعد التدريب: يقدم الروبوت تفسيرات واضحة وخطوة بخطوة: "الخطوة 1: هناك 38 سيارة تنتظر في الجانب الشمالي. الخطوة 2: سأحول الضوء إلى الأخضر للجهة الشمالية لتفريغ الطابور".

باختختصار: يعلم OracleTSC روبوتات التحكم في المرور أن تكون جريئة (من خلال تجاهل التحسينات الصغيرة والضعيفة) وواثقة (من خلال منعها من التشكيك في نفسها)، مما يؤدي إلى حركة مرور أكثر سلاسة وروبوت يمكنك سؤاله فعلياً: "لماذا فعلت ذلك؟"

ملخص تقني: OracleTSC

بيان المشكلة

تتطلب أنظمة التحكم في الإشارات المرورية (TSC) اتخاذ قرارات شفافة لكسب ثقة الجمهور، ومع ذلك فإن طرق التعلم التعزيزي (RL) التقليدية تعمل كـ "صناديق سوداء". وبينما توفر النماذج اللغوية الكبيرة (LLMs) مساراً للتفسير من خلال الاستدلال باللغة الطبيعية، فإن تطبيقها على التحكم في الإشارات المرورية عبر الضبط الدقيق للتعلم التعزيزي يواجه عقبات كبيرة. وتحديداً، يعد التحكم في الإشارات المرورية مشكلة طويلة الأمد (long-horizon) تتميز بـ:

التغذية الراجعة المتفرقة والمتأخرة: غالباً ما تظهر آثار تغيير الإشارة بعد العديد من الخطوات الزمنية، مما يجعل تخصيص الائتمان (credit assignment) أمراً صعباً.
إشارات المكافأة الضعيفة: معظم تغييرات الطور الممكنة لا تؤدي إلا إلى تحسينات طفيفة في مقاييس الازدحام، مما ينتج عنه تدرجات ضوضائية تفشل في توجيه تحسين السياسة بشكل فعال.
انحراف الاستدلال (Reasoning Drift): عندما تكون سياسات النماذج اللغوية الكبيرة غير متيقنة، فإن تفسيراتها وخيارات الطور التي تولدها تتباين بشكل واسع عبر استجابات مختلفة لنفس الحالة، مما يضخ العشوائية في حلقة التحكم ويسبب عدم استقرار الأداء.

غالباً ما تعاني الأساليب الحالية التي تقوم بالضبط الدقيق للنماذج اللغوية الكبيرة للتحكم في الإشارات المرورية من عدم استقرار التدريب والتحسن المحدود مقارنة بالنماذج المرجعية سابقة التدريب، ويرجع ذلك أساساً إلى أن خوارزمية (PPO) القياسية تواجه صعوبة في التعامل مع ديناميكيات المكافآت الضعيفة والمدى الزمني الطويل.

المنهجية: OracleTSC

يقترح المؤلفون OracleTSC، وهو إطار عمل مصمم لتثبيت الضبط الدقيق للتعلم التعزيزي للنماذج اللغوية الكبيرة في مهام التحكم في الإشارات المرورية من خلال معالجة الإشارات الضعيفة وعدم استقرار الاستدلال. يعالج النهج التحكم في الإشارات المرورية كعملية قرار ماركوف (MDP) حيث يتم تمثيل الحالات والأفعال كنصوص لغة طبيعية، مما يسمح للنموذج اللغوي بتوليد كل من طور الإشارة المرورية وشرح "سلسلة التفكير" (CoT).

يتضمن جوهر الطريقة آليتين مبتكرتين مدمجتين في هدف تدريب PPO:

1. آلية عتبة المكافأة (Reward Hurdle Mechanism - RHM)

لمكافحة إشارات المكافأة الضعيفة، يقدم OracleTSC عتبة مكافأة (Reward Hurdle). بدلاً من استخدام التغذية الراجعة البيئية الخام (مثل تقليل طول الطابور) مباشرة، تقوم الطريقة بطرح عتبة معايرة ( $HR$ ) من المكافأة.

الآلية: $R_{total} = R_{env} - HR$ .
الأثر: الأفعال التي تؤدي إلى تحسينات أصغر من العتبة تُعاقب (تتلقى مكافأة سلبية أو صفرية)، بينما تتلقى فقط الأفعال ذات التأثير العالي تعزيزاً إيجابياً. يعمل هذا على تصفية التحديثات منخفضة الجودة ويجبر السياسة على التركيز على التدخلات التي تقلل الازدحام بشكل ملموس، مما يعمل فعلياً كخط أساس ثابت لتقليل تباين التدرج في المراحل الأولى من التدريب.

2. تنظيم عدم اليقين عبر "الإنتروبيا الدلالية المنفصلة لـ Softmax الموزونة حرارياً"

لمعالجة انحراف الاستدلال وعدم اتساق اتخاذ القرار، يقدم الإطار حداً تنظيمياً يعتمد على الإنتروبيا الدلالية (semantic entropy).

الآلية: يقوم النموذج بتوليد $G$ من الاستجابات المرشحة لحالة معينة. يتم تجميع هذه الاستجابات حسب طور المرور المستخرج (مع تجاهل الاختلافات اللغوية). يتم حساب توزيع الاحتمالات عبر هذه الأطوار باستخدام Softmax موزونة حرارياً.
حد المكافأة: يتم تطبيق عقوبة إذا كان التوزيع ذا إنتروبيا عالية (أي أن النموذج غير متيقن بشأن الطور). تُعرف المكافأة بـ $R_{entropy} = p_{chosen} \times \mathbb{I}(R_{env} > HR)$ ، حيث $p_{chosen}$ هو احتمال الطور المختار.
الأثر: يشجع هذا النموذج على إنتاج خيارات أطوار متسقة عبر محاولات أخذ العينات المتعددة، مما يؤدي إلى استقرار عملية الاستدلال وتقليل التباين في اختيار الأفعال.

يجمع الهدف النهائي بين هدف البديل المقيد لـ PPO وهذه المكافآت المعدلة، مما يحسن شبكة السياسة وشبكة القيمة معاً.

المساهمات الرئيسية

تحديد أوضاع الفشل: يحدد البحث تجريبياً أن عدم كفاية قمع الأفعال دون المستوى الأمثل (بسبب المكافآت الضعيفة) وانحراف الاستدلال (بسبب عدم اليقين في المخرجات) هما السببان الرئيسيان لعدم الاستقرار في التحكم في الإشارات المرورية القائم على النماذج اللغوية الكبيرة.
آلية عتبة المكافأة: عقوبة بسيطة وفعالة تفرض عتبة أداء صريحة، مما يضخم إشارات التعلم من الأفعال عالية التأثير ويقلل من التحديثات منخفضة الجودة.
تنظيم الإنتروبيا الدلالية: نهج مبني على أسس كمية لقياس وتخفيف عدم اليقين على مستوى القرار (بدلاً من مستوى الرمز/Token) باستخدام Softmax موزونة حرارياً، مما يستقر عملية الاستدلال طويلة الأمد.
إثبات المتانة: يتيح الإطار للنماذج المدمجة (مثل LLaMA3-8B و Qwen3-0.6B) تحقيق مكاسب كبيرة في الأداء مع الحفاظ على القدرة على التفسير من خلال شروحات اللغة الطبيعية.

النتائج التجريبية

أُجريت التجارب على معيار LibSignal باستخدام هيكلين مختلفين لتقاطعات الطرق: CityFlow1×1 (هانغتشو، 8 أطوار) و Cologne1 (ألمانيا، 4 أطوار).

مكاسب الأداء: تفوق OracleTSC بشكل كبير على النماذج المرجعية للنماذج اللغوية الكبيرة سابقة التدريب وطرق التعلم التعزيزي غير القائمة على النماذج اللغوية في عدة مقاييس.
- في CityFlow1×1، حقق نموذج LLaMA3-8B المضبوط بدقة انخفاضاً بنسبة 75% في وقت السفر وانخفاضاً بنسبة 67% في أطوال الطوابير مقارنة بالنموذج المرجعي سابق التدريب.
- في Cologne1، قللت الطريقة من أطوال الطوابير بنسبة 39-50% ومن أوقات السفر بنسبة 29-85%، محققة إنتاجية مماثلة للمتحكمات في التعلم التعزيزي المتخصصة وغير القابلة للتفسير (مثل PressLight و IDQN).
التعميم عبر التقاطعات: انتقلت السياسة المدربة على هيكل تقاطع واحد بفعالية إلى تقاطع مختلف هيكلياً دون الحاجة إلى ضبط دقيق إضافي. على سبيل المثال، قلل النموذج المدرب على Cologne1 من وقت السفر بنسبة 13% عند اختباره على CityFlow1×1، والعكس صحيح.
دراسات الاستئصال (Ablation Studies):
- استخدام مكافأة البيئة وحدها حقق مكاسب طفيفة.
  వ إضافة عتبة المكافأة (Reward Hurdle) وحدها حسنت الأداء بشكل كبير من خلال تصفية الإشارات الضعيفة.
- إضافة تنظيم عدم اليقين (Uncertainty Regularization) وحدها حسن الاستقرار وقلل أطوال الطوابير.
- التطبيق المشترك: حقق الجمع بين الآليتين أفضل النتائج، مما يؤكد طبيعتهما التكاملية.
التحليل النوعي: بعد الضبط الدقيق، أصبح استدلال سلسلة التفكير (CoT) للنموذج اللغوي منظماً وموجزاً وخالياً من التناقضات الذاتية وتحديد الأطوار الخاطئ الذي لوحظ في النماذج سابقة التدريب.

الأهمية والادعاءات

يدعي البحث أن OracleTSC يوفر منظوراً جديداً لتحسين فعالية الضبط الدقيق للتعلم التعزيزي في مهام التحكم في الإشارات المرورية طويلة الأمد. وتكمن أهميته في:

تثبيت التحكم في النماذج اللغوية الكبيرة: إثبات أن تشكيل المكافأة المستهدف (العتبات) وتنظيم عدم اليقين يمكن أن يتغلبا على عدم الاستقرار المتأصل في تطبيق PPO على النماذج اللغوية الكبيرة في بيئات المكافآت المتفرقة.
الربط بين التفسير والأداء: تحقيق أداء منافس للمتحكمات المتخصلة في التعلم التعزيزي (التي تعمل كصنودق أسود) مع الحفاظ على القدرة الفريدة للنماذج اللغوية الكبيرة على تقديم مبررات باللغة الطبيعية للقرارات.
القابلية للتوسع: إظهار أن هذه الآليات تعمل عبر أحجام نماذج مختلفة (من 0.6 مليار إلى 8 مليارات معلمة) وتتعمم عبر هياكل تقاطعات مختلفة، مما يشير إلى مسار نحو أنظمة نقل ذكية قابلة للتوسع، وقابلة لإعادة الاستخدام، وقابلة للتفسير.

يشير المؤلفون بتواضع إلى أن هدفهم ليس الادعاء بالتفوق على جميع خوارزميات التعلم التعزيزي المحسنة الموجودة، بل تحسين موثوقية وشفافية المتحكمات القائمة على النماذج اللغوية الكبيرة. كما يقرون بوجود قيود، مثل الحاجة إلى ضبط يدوي لمعدل العتبة والتكلفة الحسابية لتوليد العينات المتعددة لتقدير الإنتروبيا.