🤖 AI

Engagement Process: Rethinking the Temporal Interface of Action and Observation

تقدم هذه الورقة "عملية الانخراط" (EP)، وهي صياغة تفاعلية جديدة تفصل الأفعال والملاحظات إلى تدفقات أحداث مستمرة لنمذجة الديناميكيات الزمنية المعقدة صراحةً، مثل زمن تأخير التداول والتغذية الراجعة المتأخرة، مما يتغلب بذلك على قيود الواجهات ذات الخطوات الثابتة التقليدية في كل من سيناريوهات الوكيل المنفرد والأنظمة المتعددة.

المؤلفون الأصليون: Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

نُشر 2026-05-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إدارة مطبخ مزدحم بينما تقوم في الوقت ذات نفسه بتدريس طالب عبر مكالمة فيديو. في الطريقة القدعة للتفكير حول كيفية عمل أجهزة الكمبيوتر (أو "الوكلاء")، تبدو العملية مثل لعبة "تبادل الأدوار" الصارمة والجامدة.

الطريقة القديمة: لعبة "التوقف والانطلاق"
في النموذج التقليدي (الذي يسمى POMDP)، يتعين على الوكيل التوقف عن كل شيء ليفكر، ثم يتخذ خطوة، وينتظر النتيجة، ثم يفكر مرة أخرى.

المشكلة: الحياة الواقعية ليست هكذا. بينما أنت تطبخ الحساء (وهو فعل يستغرق وقتاً)، قد يرن المؤقت (وهي ملاحظة). وبينما تكتب بريداً إلكترونياً طويلاً (عملية تفكير)، قد تظهر رسالة عاجلة جديدة.
العيب: إذا أُجبر الكمبيوتر على الانتظار حتى ينتهي من كتابة البريد الإلكتروني بالكامل قبل أن "يرى" الرسالة الجديدة، فقد تصبح الرسالة قديمة أو تفوت موعدها النهائي. الأمر يشبه محاولة قيادة سيارة حيث لا يمكنك النظر إلى الطريق إلا عندما تتوقف السيارة تماماً.

الفكرة الجديدة: "عملية الانخراط" (EP)
يقترح مؤلفو هذه الورقة طريقة جديدة لوصف كيفية تفاعل الوكيل مع العالم، والتي يسمونها عملية الانخراط (Engagement Process - EP).

فكر في (EP) ليس كلعبة تبادل أدوار، بل كـ قناتين راديو منفصلتين تتدفقان على نفس الخط الزمني:

قناة الفعل: هذه هي القناة التي يرسل من خلالها الوكيل الأوامر (مثل "ابدأ الطبخ"، "استدعِ هذه الأداة"، أو "اكتب هذه الجملة"). هذه الأفعال تستغرق وقتاً لتحدث.
قناة الملاحظة: هذه هي القناة التي يرسل من خلالها العالم المعلومات (مثل "رن المؤقت"، "انتهت الأداة من العمل"، أو "وصل بريد إلكتروني جديد"). هذه الرسائل يمكن أن تصل في أي لحظة، حتى بينما لا يزال الوكيل مشغولاً بالفعل الأول.

تشبيهات إبداعية لشرح المفهوم

قائد الأوركسترا مقابل العازف المنفرد:
- الطريقة القد القديمة: يرفع القائد (الوكيل) عصاه، وينتظر حتى تعزف الأوركسترا بأكملها نوتة واحدة، ثم يتوقف، ويستمع، ثم يرفع عصاه للنوتة التالية. إذا سعل عازف الكمان فجأة (ملاحظة) أثناء عزف النوتة، فإن القائد لا يسمع ذلك حتى "الدور" التالي.
- طريقة الـ EP: يقود الموسيقي قطعة موسيقية متدفقة. يعطس عازف الكمان أثناء عزف الموسيقى. يسمع القائد ذلك فوراً ويمكنه تعديل الإيقاع أو مستوى الصوت في تلك اللحظة، دون إيقاف الموسيقى. "الفعل" (القيادة) و"الملاحظة" (سماع السعلة) يحدثان في وقت واحد على نفس الخط الزمني.
الشيف المزدحم:
- الطريقة القديمة: يضع الشيف قدراً على الموقد ثم يجلس على كرسي، محدقاً في الجدار، منتظراً غليان القدر قبل أن يفعل أي شيء آخر. إذا رن الهاتف، فلا يمكنه الرد عليه حتى يغلي الماء.
- طريقة الـ EP: يضع الشيف قدراً على الموقد (فعل يستغرق وقتاً). بينما يسخن الماء، يرن الهاتف (ملاحظة). يسمع الشيف الرنين، ويرد على الهاتف، ثم يعود لمتابعة القدر. عملية "الطبخ" و"المكالمة الهاتفية" تتداخلان.

ما وجده المؤلفون بالفعل

اختبر المؤلفون هذه الفكرة بثلاث طرق مختلفة لمعرفة ما إذا كانت ستساعد حقاً:

"اختبار وقت التفكير" (تجارب نموذجية):
أنشأوا لعبة حيث يتعين على الوكيل تقرير كم من الوقت سيفكر قبل الإجابة.
- النتيجة: تعثرت وكلاء "التوقف والانطلاق" القدامى. لقد فكروا لفترة طويلة جداً لأنهم في تدريبهم لم يكن "التفكير" يكلف أي وقت. استمروا في اختيار الخيار "الأبطأ والأكثر دقة" ونفد منهم الوقت.
- نتيجة الـ EP: تعلم وكلاء الـ EP أن التفكير يستغرق وقتاً. تعلموا التوقف عن التفكير في وقت مبكر إذا كان الموعد النهائي ضيقاً، مما حقق توازناً أفضل بكثير بين السرعة والدقة.
"اختبار المساعد المزدحم" (تجارب نماذج اللغة الكبيرة - LLM):
حاكوا مساعداً رقمياً يحاول كتابة تقرير طويل بينما تصل رسائل البريد الإلكتروني باستمرار.
- النتيجة: الوكلاء القدامى (الذين يتحققون من رسائل البريد الإلكتروني فقط عند نهاية كل فقرة) فاتهم الكثير من الرسائل العاجلة أو استجابوا لها متأخرين جداً.
- نتيجة الـ EP: استطاع وكلاء الـ EP التوقف عن الكتابة، والتعامل مع البريد الإلكتروني العاجل، ثم استئناف الكتابة بالضبط من حيث توقفوا. لقد فاتهم عدد أقل بكثير من المواعيد النهائية واستجابوا بشكل أسرع.
"الروبوت في المطبخ" (تجارب تجسيد الروبوت):
حاكوا روبوتاً يحاول تدريس طالب بينما يطبخ عدة أطباق تحتاج إلى انتباه في أوقات مختلفة.
- النتيجة: كان الوكلاء القدامى جامدين للغاية. إذا كان الطبق جاهزاً للإخراج من الفرن، فسيقوم الروبوت بتجاهله حتى ينهي جملة التدريس الحالية.
- نتيجة الـ EP: استطاع وكيل الـ EP رؤية إشارة "مؤقت الفرن" أثناء حديثه، وقرر إيقاف التدريس مؤقتاً، وإخراج الطبق، ثم استئناف الدرس. هذا أنقذ الطعام وحافظ على استمرارية الدرس.
"اختبار التعلم لتوفير الوقت":
دربوا ذكاءً اصطناعياً لحل المسائل الرياضية مع وجود حد صارم لعدد الكلمات (الرموز/Tokens) التي يمكن استخدامها.
- النتيجة: جعل التدريب القياسي الذكاء الاصطناعي أكثر ذكاءً في الرياضيات، لكنه لم يتعلم أن يكون موجزاً. استخدم كلمات كثيرة جداً حتى عندما طُلب منه أن يكون سريعاً.
- نتيجة الـ EP: تعلم الذكاء الاصطناعي المدرب بأسلوب الـ EP كيف "يتحدث" بشكل مختلف بناءً على الوقت المتاح. إذا كان لديه وقت قليل، قدم إجابات قصيرة ومباشرة. وإذا كان لديه المزيد من الوقت، قدم شرحاً أكثر تفصيلاً. لقد تعلم كيف يكيف "سرعة تفكيره" حسب الموقف.

الخلاصة

يجادل المؤلفون بأننا بحاجة إلى التوقف عن معاملة الوقت كأنه تفصيل مخفي في كيفية بناء الذكاء الاصطناعي. بدلاً من ذلك، يجب أن نبني نظاماً تكون فيه الأفعال والملاحظات عبارة عن تدفقات منفصلة من الأحداث التي يمكن أن تحدث في نفس الوقت.

من خلال القيام بذلك، تصبح وكلاء الذكاء الاصطناعي أكثر شبهاً بالبشر: يمكنهم تعدد المهام، والتعامل مع المقاطعات، واتخاذ قرارات أفضل عندما ينفد الوقت، بدلاً من العلوق في دورة جامدة من "فكر، افعل، انتظر، فكر، افعل، انتظر".

ملخص تقني: عملية الاشتباك (Engagement Process - EP)

بيان المشكلة

أدت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs)، والذكاء المتجسد، والوكلاء المعززين بالأدوات إلى تمكين العمل في بيئات رقمية ومادية تزداد واقعية. ومع ذلك، يوجد عدم تطابق جوهري بين البنية الزمنية للأفعال والملاحظات في هذه الإعدادات. تعتمد الأشكال الرسمية للتفاعل التقليدية، مثل عمليات ماركوف لاتخاذ القرار القابلة للملاحظة جزئيًا (POMDPs)، على فترات قرار ثابتة حيث تُقرن الملاحظة بفعل لحظي واحد. في الواقع، غالبًا ما يواجه الوكلاء:

مشكلات توقيت من جانب الفعل: زمن تأخير التداول (مثل وقت تفكير النموذج اللغوي الكبير)، الأفعال المستمرة (مثل أوامر الملاحة)، واستدعاءات الأدوات ذات النتائج المتأخرة.
مشكلات توقيت من جانب الملاحظة: وصول الرسائل والإنذارات واستجابات الأدوات بشكل غير متزامن أو متباعد، إلى جانب التغذية الراجعة المستمرة أو متعددة المعدلات من المستشعرات.

غالبًا ما تتعامل النهج الحالية مع ظواهر التوقيت هذه كأنها تفاصيل تنفيذية أو تعالجها عبر رقع خارجية (مثل فترات الاستطلاع الثابتة أو قواعد المقاطعة المصممة يدويًا). وهذا يحجب البنية الزمنية اللازمة لكي يكيف الوكلاء سلوكهم مع تكاليف الوقت الصريحة، مما يؤدي إلى سياسات دون المستوى الأمثل قد تفرط في التداول، أو تفشل في رصد الأحداث العاجلة، أو تفشل في مقاطعة العمليات الجارية بفعالية.

المنهجية: عملية الاشتباك (EP)

يقترح المؤلفون عملية الاشتباك (EP)، وهي شكل رسمي جديد للتفاعل يرث البنية النظرية للقرار من نماذج POMDP، ولكنه يعيد التفكير جذريًا في الواجهة الزمنية.

التعريف الجوهري

تُعرف عملية EP عبر تسلسل منفصل من التكات (ticks) $T = \{0, 1, 2, \dots\}$ (قابل للتمدد إلى الوقت المستمر) وتتحدد بـ $E = (S, A, Y, F, O, U)$ :

الحالة ( $S$ ): تلخص البيئة، والعمليات الجارية، وظروف الواجهة. يمكنها تشفير آثار الأفعال المستمرة والوصول إلى الملاحظات المرتبط بالحالة.
الأفعال كتدخلات: على عكس نماذج POMDP القياسية حيث يكون الفعل هو التحكم الافتراضي عند كل تكة، تعامل EP الأفعال كـ تدخلات موقوتة. يختار الوكيل مجموعة من التدخلات $A_t \subseteq A$ (والتي يمكن أن تكون فارغة أو تحتوي على أفعال ذرية متعددة متزامنة).
الملاحظات كأحداث: يتم توليد الملاحظات من عملية الحالة كـ أحداث معلوماتية $Y_t \subseteq Y$ ، وهي مستقلة عن خطوات القرار. يمكن أن تصل هذه الأحداث بشكل غير متزامن، أو تكون فارغة، أو تحتوي على أحداث متعددة.
الديناميكيات: تتطور الحالة وفقًا لـ $s_{t+1} \sim F(\cdot | s_t, A_t)$ . ومن المهم ملاحظة أن النظام يتطور حتى عندما تكون $A_t = \emptyset$ ، مما يسمح بنمذجة العمليات المستمرة.
المنفعة (Utility): يمكن أن تمثل المنفعة اللحظية $u_t$ مكافآت المهام بالإضافة إلى تكاليف تنفيذ الأفعال، والاستشعار، والمقاطعات، ووقت التداول.

التمايزات الرئيسية

الفصل (Decoupling): تفصل EP عملية اتخاذ القرار الداخلية للوكيل عن التوقيت الخارجي للملاحظات والتدخلات. يحتفظ الوكيل بحالة معلومات $w_t$ بناءً على تاريخ مجموعات التدخلات ومجموعات أحداث الملاحظات، مما يسمح له بتتبع الحسابات المعلقة، واستدعاءات الأدوات، والمواعيد النهائية.
إعادة الاستخدام التركيبي (Compositional Reuse): تدعم الواجهة التنظيم الهرمي. يمكن نمذجة الأنظمة الفرعية داخل الوكيل كعمليات شبيهة بـ EP نفسها، حيث تكون استدعاءات الوحدات هي تدخلات والرسائل العائدة هي ملاحظات، وكلها تشترك في نفس الواجهة المجردة.
العلاقة بالنماذج القائمة:
- نماذج POMDP: يتم استعادتها كحالة خاصة متزامنة حيث تحتوي كل تكة على فعل واحد وملاحظة واحدة بالضبط.
- نماذج SMDPs/Options: تُمثل كعمليات EP مقيدة حيث تخلق التدخلات مكونات "نشطة" في الحالة، لكن EP تسمح للملاحظات بالدخول إلى الواجهة أثناء تنفيذ هذه الخيارات، وليس فقط عند انتهائها.

المساهمات الرئيسية

واجهة زمنية صريحة: توفر EP لغة موحدة لظواهر التوقيت (تأخير التداول، التغذية الراجعة المتأخرة، الأفعال المستمرة، المقاطعات، الملاحظات متعددة المعدلات) التي غالبًا ما تُعامل بشكل منفصل أو تُخفى في تصميم الحالة.
فصل الاهتمامات: تفصل بين واجهة الفعل-الملاحظة الخارجية والتنظيم الداخلي للوكيل، مما يسم يسمح للمكونات التي تعمل بترددات مختلفة (مثل المخططين رفيعي المستوى مقابل المتحكمين منخفضي المستوى) بالتنسيق بناءً على جدول زمني مشترك.
صيغة موحدة: تقدم واجهة متجانسة لكل من التفاعل بين الوكيل والبيئة وبين التفاعل بين الوحدات الداخلية، مما يسهل التصميم التركيبي دون الحاجة إلى واجهات منفصلة لكل حدود.

النتائج التجريبية

قيم المؤلفون عملية EP عبر ثلاثة إعدادات:

1. التجارب التجريبية (Toy Experiments)

التداول المدرك للاستعجال: في المهام التي تتحسن فيها دقة التفكير مع مرور الوقت ولكنها تستهلك موعدًا نهائيًا، تعلمت السياسات المدربة بـ EP موازنة عمق الحساب مقابل الاستعجال. في المقابل، السياسات المدربة بالخطوات (التي تعامل التداول كأنه لحظي) تفرط في استخدام الوضع الأبطأ والأكثر دقة، مما يؤدي إلى معدلات انتهاء عالية (79.0% مقابل 0.0% لـ EP في إعدادات المهمة الواحدة).
الدورية الهرمية مع المقاطعات: في مهمة دورية (patrol) مع إنذارات غير متزامنة، تسمح EP للوكيل بمقاطعة إجراءات الملاحة أو التعامل الجارية فور وصول الإنذار.
- على مستوى الوحدة (Module-level): تحل EP 90.9% من الإنذارات مقارنة بـ 51.5% للنموذج المرجعي الذي يقرر فقط عند حدود الوحدات.
- على مستوى الحالة (State-level): تتفوق EP على الرقع المكتوبة يدويًا والنماذج المرجعية القائمة على الحدود من خلال تعلم المقايضات بين الاستعجال، والمسافة، وتقدم المرحلة، وتكاليف المقاطعة، محققة عوائد أعلى بكثير ومعدلات انتهاء أقل.

2. التجارب القائمة على النماذج اللغوية الكبيرة (LLM-Based Experiments)

المساعد الرقمي (البريد الإلكتروني غير المتزامن): يجب على الوكيل إكمال مهمة رئيسية مع التعامل مع رسائل البريد الإلكتروني الحساسة للوقت.
- تعامل EP توليد المهمة الرئيسية كفعل قابل للمقاطعة، مما يسمح للوكيل بفرز رسائل البريد الإلكتروني فور وصولها.
- النماذج المرجعية: نموذج AgentLoop (المتزامن) يفقد العديد من المواعيد النهائية؛ بينما نموذج Periodic Poll (الاستطلاع الدوري) يتحسن ولكنه محدود بفترات ثابتة.
- النتيجة: تحقق EP أعلى منفعة ودرجات متوازنة، مما يقلل معدلات انتهاء مهل البريد الإلكتروني بنسبة ~40% مقارنة بـ AgentLoop ويقلل زمن استجابة الرد الأول بنسبة تقارب النصف.
الجدولة المتجسدة: ينسق الوكيل بين عمليات التدريس والطهي.
- تكشف EP إشارات الطهي فورًا أثناء التدريس، مما يسم يسمح للوكيل بتقرير ما إذا كان سيقاطع، أو يؤجل، أو يستمر.
- النتيجة: تحقق EP أعلى منفعة وأعلى معدلات نجاح للأطباق الحرجة، متفوقة على النماذج المرجعية القائمة على الاستطلاع أو النماذج الانعكاسية من جهة المحرك، خاصة في سيناريوهات الأطباق المتعددة ذات المواعيد النهائية المتداخلة.

3. التدريب على النماذج اللغوية الواعية بالوقت

درب المؤلفون نماذج التفكير (Qwen3-8B) على مسائل رياضية مع ميزانيات صريحة لعدد الرموز (tokens) وتعليمات الاستعجال.
التدريب المدرك لـ EP: تُعطى المكافآت فقط إذا كانت الإجابة صحيحة و ضمن ميزانية الرموز.
النتيجة: تتعلم النماذج المدركة لـ EP تكييف طول التوليد مع الميزانية (على سبيل المثال، توليد ~420 رمزًا لميزانية 1k مقابل ~1400 رمز لميزانية 8k). في المقابل، نماذج RL التي تركز على الصحة فقط (RLVR) تحسن الدقة ولكنها تفشل في احترام الميزانيات، وغالبًا ما تولد رموزًا أكثر بكثير مما هو مسموح به.

الأهمية والادعاءات

يدعي البحث أن عملية الاشتباك لا تسعى لتحقيق تعبير أكبر عن مساحة الحالة من نماذج POMDP المعززة. بدلاً من ذلك، فإن مساهمتها الأساسية هي واجهة زمنية صريحة تفصل الأفعال والملاحظات على جدول زمني مشترك.

نطاق متواضع: تُقدم EP كصيغة تفاعل، وليس كبنية وكيل محددة أو خوارزمية تعلم. وهي تترك إدارة الذاكرة، والجدولة، وتعلم السياسة للأنظمة التي تُبنى عليها.
القيمة الجوهرية: من خلال جعل الوقت صريحًا في الواجهة، تكشف EP عن البنى الزمنية (مثل تأخير التداول والتغذية الراجعة غير المتزامنة) التي غالبًا ما تكون مخفية في الصيغ القائمة على الخطوات القياسية. وهذا يمكّن الوكلاء من التكيف مع تكاليف الوقت الصريحة، والتعامل مع المقاطعات بمرونة أكبر، وتكوين أنظمة فرعية ذات ديناميكيات زمنية متباينة دون الاعتماد على رقع خارجية أو جداول استطلاع جامدة.
العمل المستقبلي: يقترح المؤلفون اتجاهات مستقبلية تشمل بنيات مدركة لـ EP، وصيغ أكثر ثراءً للوقت المستمر، وتقييمات واسعة النطاق في البيئات المتجسدة، والهرمية، ومتعددة الوكلاء.