🤖 AI

Learning to Hand Off: Provably Convergent Workflow Learning under Interface Constraints

تقدم هذه الورقة البحثية خوارزمية IC- $Q$ ، وهي خوارزمية تعلم $Q$ لامركزية لتدفقات العمل متعددة الوكلاء التي تعمل تحت قيود الواجهة، وتضع أول ضمان تقارب للعينات المحدودة لتعلم $Q$ العصبي في هذا السياق من خلال تفكيك الخطأ إلى مكونات التقريب الدالي، والتمثيل، ووقت الخلط، مع التحقق تجريبياً من قدرتها على مطابقة أداء الأوراكل المركزي دون الوصول إلى المسارات المشتركة.

المؤلفون الأصليون: Jiayu Li, Enpei Zhang, Dawei Zhou, Elynn Chen, Yujun Yan

نُشر 2026-05-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jiayu Li, Enpei Zhang, Dawei Zhou, Elynn Chen, Yujun Yan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل خط تجميع ضخم وعالي المخاطر حيث يقوم متخصصون مختلفون ببناء منتج معاً. لديك المخطط الذي يرسم الفكرة، والمبرمج الذي يكتب التعليمات، والمختبِر الذي يبحث عن الأخطاء، والكاتب الذي يضع اللمسات الأخيرة على التقرير.

في عالم مثالي، يراقب "مدير خارق" واحد العملية بأكملها، ويرى كل فكرة، وكل مسودة، وكل خطأ، ويخبر الجميع بالضبط بما يجب فعلوه بعد ذلك. هذه هي الطريقة التي تعمل بها معظم أنظمة الذكاء الاصطناعي الحالية. ولكن في العالم الحقيقي، غالباً ما ينتمي هؤلاء المتخصصون إلى شركات مختلفة، أو يستخدمون برامج مختلفة، أو يخضعون لقواعد خصوصية صارمة. لا يمكن للمخطط رؤية الملاحظات الخاصة بالمبرمج، ولا يمكن للمبرمج رؤية قائمة التحقق الداخلية للمختبر. هم فقط يمررون "وثيقة تسليم" واحدة (مثل ورقة أو ملف رقمي) إلى الشخص التالي.

هذه الورقة، "تعلم كيفية التسليم" (Learning to Hand Off)، تحل مشكلة محددة: كيف تعلم هذا الفريق العمل معاً بشكل مثالي عندما لا يرى أحد الصورة الكاملة، وعندما لا يمكنهم التواصل إلا من خلال وثيقة التسليم الوحيدة تلك؟

إليك تفصيل حلهم، باستخدام تشبيهات بسيطة:

1. المشكلة: "السباق الأعمى"

عادةً، لتعليم فريق ما كيف يعمل جيداً، تحتاج إلى عرض فيديوهات للعملية بأكملها من البداية إلى النهاية حتى يتمكنوا من التعلم من أخطائهم. ولكن في هذا السيناريو:

لا توجد عين مركزية: لا أحد يملك فيديو للعملية بأكملها.
جدران الخصوصية: المخطط لا يعرف ما يدور في ذهن المبرمج؛ والمبرمج لا يعرف الحالة الخاصة للمختبر.
التسليم: الشيء الوحيد الذي يتغير بين الأيدي هو أداة محددة (الواجهة).

إذا حاولت استخدام طرق تدريب الذكاء الاصطناعي القياسية هنا، فستفشل لأنها تفترض أن الجميع يمكنهم رؤية كل شيء.

2. الحل: "IC-SMDP" (خريطة خط التجميع)

ابتكر المؤلفون خريطة رياضية جديدة تسمى IC-SMDP. فكر في هذا كدليل لقواعد سباق تتابع حيث:

السباق: يتم تقسيم المهمة إلى "أجزاء". كل وكيل (المخطط، المبرمج، إلخ) يركض الجزء الخاص به.
العصا: "أداة التسليم" هي العصا التي تُمرر في السباق.
القاعدة: عندما تمرر العصا، يمكنك فقط النظر إلى العصا وملاحظاتك الخاصة. لا يمكنك التلصص على دفاتر ملاحظات العدائين الآخرين.

تثبت هذه الخريطة أنه حتى مع هذه القيود الصارمة، يمكن للفريق لاحقاً تعلم الطريقة المثلى لخوض السباق.

3. الخوارزمية: "IC-Q" (استراتيجية الهمس)

كيف يعلمون الفريق دون وجود مدير مركزي؟ لقد اخترعوا خوارزمية تسمى IC-Q.

تخيل أن العدائين في سباق تتابع، لكن لا يمكنهم الصراخ بالتعليمات لبعضهم البعض. بدلاً من ذلك، عندما يمر العداء (أ) بالعصا إلى العداء (ب)، يقوم العداء (ب) بعملية حسابية ذهنية سريعة: "إذا أخذت هذه العصا وركضت الجزء الخاص بي، فما هو أفضل مجموع يمكنني الحصول عليه؟"

ثم يهمس العداء (ب) بـ رقم واحد فقط عائدًا إلى العداء (أ): "أفضل مجموع يمكنني الحصول عليه هو 95".

يستخدم العداء (أ) هذا الرقم الواحد ليقرر: "حسناً، إذا مررت العصا للعداء (ب)، سيحصل الفريق على 95. وإذا مررتها للعداء (ج)، سيحصل الفريق على 70. سأمررها لـ (ب)".

السحر: إنهم يتبادلون رقماً واحداً فقط (قيمة عددية) عند كل عملية تسليم. هم لا يتشاركون الأفكار الخاصة، أو الكود، أو السجلات الطويلة. هذا يحافظ على سرعة النظام، وخصوصيته، وتكلفته المنخفضة.

4. الضمان: "بطاقة النتائج"

الجزء الأهم في هذه الورقة هو الإثبات الرياضي. لم يكتفِ المؤلفون بالقول: "يبدو أن هذا يعمل"، بل أثبتوا بدقة مدى جودة عمله ولماذا قد يفشل.

لقد قسموا الأخطاء المحتملة إلى ثلاث فئات، مثل بطاقة نتائج لفريق رياضي:

خطأ "النظارات الضبابية" (فجوة الواجهة): أحياناً لا تحتوي وثيقة التسليم (العصا) على تفاصيل كافية. إذا كانت الوثيقة غامضة جداً، يرتكب الفريق أخطاء. تقول الرياضيات: كلما كانت الوثيقة أسوأ، انخفض المجموع، ولكن يمكننا التنبؤ بمدى هذا الانخفاض بدقة.
خطأ "دماغ الطالب" (التقريب العصبي): وكلاء الذكاء الاصطناعي هم طلاب يتعلمون. أحياناً لا يكونون أذكياء بما يكفي أو لم يدرسوا بما يكفي لإيجاد المسار المثالي. تقول الرياضيات: إذا أعطيتهم قدرة حوسبة أكبر (دماغ أكبر)، فإن هذا الخطأ يتقلص.
خطأ "وقت الانتظار" (وقت الاختلاط): في سباق التتابع، أحياناً يستغرق العداءون وقتاً طويلاً لإنهاء جزءهم. تأخذ الرياضيات في الاعتبار المدة التي تستغرقها عمليات التسليم وتضمن عدم ارتباك الفريق بسبب التأخيرات.

الادعاء الكبير: تثبت الورقة أنه إذا جمعت هذه العوامل الثلاثة، يمكنك التنبؤ بدقة بمدى جودة الفريق. هذا هو المرة الأولى التي يثبت فيها أحد ذلك لفريق لامركزي حيث لا يرى أحد اللعبة بأكملها.

5. الإثبات: "اختبارات المختبر"

اختبر المؤلفون هذا في أربع "ألعاب" مختلفة:

لعبة اصطناعية: بيئة وهمية محكومة حيث يمكنهم رفع وخفض مقبض "النظارات الضبابية". ومع جعل وثائق التسليم أسوأ، انخفض مجموع الفريق تماماً كما توقعت الرياضيات.
مسائل رياضية: فريق من وكلاء الذكاء الاصطناعي (مخطط، مبرمج، مدقق) يحلون مسائل رياضية صعبة. تعلم الفريق توجيه المشكلة إلى الخبير المناسب تلقائياً، محققين أداءً يضاهي "المدير الخارق" الذي يرى كل شيء، رغم أن أحداً من الوكلاء لم يرَ المحادثة بأكملها.
التوجيه (Routing): إرسال البيانات عبر شبكة مكونة من 100 عقدة. تعلم الفريق إيجاد المسار الأسرع دون الحاجة إلى خريطة مركزية.
برمجة المعالجات (CPU Programming): وكلاء يعملون معاً لبرمجة شريحة كمبيوتر. حتى عندما كان على الوكلاء تعلم كيفية التصرف (وليس فقط لمن يمررون المهمة)، نجح النظام.

الملخص

هذه الورقة تشبه دليلاً لبناء خط تجميع عالي الأداء ومركز على الخصوصية. إنها تثبت أنك لست بحاجة إلى "الأخ الأكبر" يراقب الجميع للحصول على نتائج رائعة. بدلاً من ذلك، يمكنك تعليم وكلاء متخصصين تمرير "درجة" بسيطة ذهاباً وإياباً عند كل عملية تسليم.

النتيجة هي نظام قابل للإثبات (نعرف تماماً مدى جودته)، وخاص (الوكلاء لا يشاركون أسرارهم)، وفعال (لا يمررون سوى قدر ضئيل جداً من البيانات). إنها تحول سباق تتابع فوضوياً وأعمى إلى فريق متزامن وفائز.

ملخص تقني: تعلم عملية التسليم (Learning to Hand Off)

بيان المشكلة

تتناول هذه الورقة تحدي تعلم مسارات العمل المثلى في الأنظمة متعددة الوكلاء اللامركزية المتسلسلة، وتحديداً في سياق خطوط أنابيب النماذج اللغوية الكبيرة (LLM) متعددة الوكلاء. بخلاف الأنظمة المركزية حيث يمتلك مصمم واحد رؤية شاملة للمسارات العالمية، فإن نظام التشغيل المستهدف يتضمن وكلاء يمتدون عبر حدود تنظيمية، أو تجارية، أو حدود الثقة. في هذا الإعداد:

التسليم المتسلسل (Sequential Handoffs): تنتقل السيطرة من وكيل متخصص إلى آخر عبر أثر مشترك (مثل رسالة أو مقتطف برمجِي).
اللامركزية (Decentralization): لا يمكن لأي طرف الوصول إلى المسارات المشتركة أثناء التدريب أو التنفيذ.
قيود الواجهة (Interface Constraints): يلاحظ كل وكيل فقط الأثر الذي يتلقاه وحالته الخاصة؛ ولا يتم الكشف عن الحالات الداخلية، أو سلاسل التفكير، أو المطالبات (prompts) المملوكة للوكيل عبر الحدود.
متطلبات العينات المحدودة (Finite-Sample Requirements): تعمل عمليات النشر تحت ميزانيات حوسبة وواجهات برمجة تطبيقات (API) محدودة، مما يستلزم ضمانات على كفاءة العينة بدلاً من مجرد التقارب التقاربي (asymptotic convergence).

تفشل الأطر الحالية في معالجة هذا المزيج المحدد من القيود. فعمليات اتخاذ القرار في نماذج (Dec-POMDPs) تفترض إجراءات متزامنة؛ ونماذج التدريب المركزي مع التنفيذ اللامركزي (CTDE) تتطلب الوصول إلى المسارات المشتركة أثناء التدريب؛ كما أن إطار "الخيارات" (Options framework) يفترض ملاحظة الحالة الكاملة عند لحظات اتخاذ القرار. علاوة على ذلك، تعتمد الأعمال السابقة حول تنسيق النماذج اللغوية الكبيرة متعددة الوكلاء على قواعد تكيفية مصممة يدوياً دون أسس نظرية لاتخاذ القرار أو ضمانات للتقارب.

المنهجية

النموذج الرسمي: IC-SMDP

صاغ المؤلفون المشكلة كـ عملية قرار ماركوف شبه مستمرة مقيدة بالواجهة (IC-SMDP).

البنية: يتطور النظام عند مقياس زمني أولي ولكنه يتخذ القرارات عند أوقات التسليم. تُعامل كل استدعاء للوكيل كـ "خيار" (option) ممتد زمنياً.
الحالات:
- الحالة الكامنة العالمية ( $x_t$ ): غير ملاحظة من قبل أي وكيل.
- حالة الواجهة ( $m_t$ ): الأثر الذي يتم تمريره بين الوكلاء (القناة الوحيدة للمعلومات عبر الوكلاء).
- الحالة الخاصة ( $\ell^{(i)}_t$ ): محلية للوكيل $i$ .
الملاحظات: يلاحظ الوكيل $i$ الحالة $o_t = \phi_i(m_t, \ell^{(i)}_t)$ ، حيث $\phi_i$ هي خريطة ملاحظة خاصة بالوكيل. هذا يفرض قيد الواجهة: لا يمكن للوكلاء رؤية حالة الواجهة الخام أو الحالات الخاصة للوكلاء الآخرين مباشرة.
الإجراءات: يختار الوكلاء إجراءً محلياً ووكيلًا لاحقًا (أو إشارة توقف STOP).
الهدف: تعظيم العائد المخصوم المتوقع عبر مسار العمل، مع مراعاة قيود الملاحظة.

الخوارزمية: IC-Q

اقترح المؤلفون IC-Q، وهي خوارزمية Q-learning لامركزية غير متزامنة مصممة لنظام "الوضع المسبق التكوين" (حيث تكون الإجراءات المحلية ثابتة، ويتم تعلم اختيار الوكيل اللاحق فقط).

الآلية: يحتفظ كل وكيل بدالة Q محلية بناءً على ملاحظات حالة المعلومات التقريبية (AIS) الخاصة به.
تمرير القيمة: عند كل عملية تسليم، يحسب الوكيل اللاحق هدفاً استقرائياً (bootstrap target) عددياً $b_{k+1} = \max_{c'} \hat{Q}_{c'}(o'_{k+1}, c')$ ، ويرسل هذا الرقم، جنباً إلى جنب مع مدة الخيار $\tau_{k+1}$ والمكافأة المتراكمة $R_k$ ، عائداً إلى الوكيل السابق.
التحديث: يقوم الوكيل السابق بتحديث دالة Q المحلية الخاصة به باستخدام هدف الانحدار $y_k = R_k + \gamma^{\tau_{k+1}} b_{k+1}$ .
تكلفة الاتصال: يقتصر التنسيق عبر الوكلاء على ثلاثة قيم عددية بالضبط لكل عملية تسليم، مما يضمن الحد الأدنى من عرض النطاق الترددي وتكاليف واجهة برمجة التطبيقات.

الإطار النظري

ترفع التحليلات إطار حالة المعلومات التقريبية (AIS) من نماذج MDP ذات الخطوات الأولية للوكيل الواحد إلى نماذج SMDP متعددة الوكلاء.

شروط AIS: يعرّف المؤلفون كفاية المكافأة ( $\epsilon_\phi$ ) وكفاية التطور ( $\delta_\phi$ ) عند مقياس الخيار، مع مراعاة مدد الخيارات العشوائية ومعامل الخصم العشوائي $\gamma^{\tau_{k+1}}$ .
إثبات التقارب: تثبت الورقة وجود حد تقارب للعينات المحدودة لخوارزمية IC-Q تحت ظروف المعايير القياسية (الارغراق المنتظم، المكافآت/المدد المحدودة، الميزات جيدة التكييف، وشرط تقليص بلمان المحدد لـ SMDP).

المساهمات الرئيسية

النموذج الرسمي (IC-SMDP): تقديم نموذج لاتخاذ القرار لعمليات التسليم المتسلسلة تحت قيود الواجهة، مما يوضح أنها تشكل SMDP محدد المعالم عند أوقات التسليم مع فجوة واجهة قابلة للقياس.
الخوارزمية اللامركزية (IC-Q): تصميم خوارزمية Q-learning غير متزامنة حيث يتم تقليل التنسيق عبر الوكلاء إلى قيمة عددية واحدة لكل تسليم، مع احترام قيود الخصوصية وعرض النطاق الترددي الصارمة.
ضمان التقارب للعينات المحدودة: أول حد للعينات المحدودة لتعلم Neural Q تحت الملاحظة الجزئية اللامركزية. ينقسم الحد إلى ثلاثة مصادر خطأ مستقلة يمكن التحكم فيها:
- خطأ التقريب العصبي: يتلاشى مع توسيع الشبكات.
- فجوة تمثيل الواجهة: الثمن المدفوع لمحدودية الملاحظة، والمقيد بشروط AIS.
- بقايا زمن المزج (Mixing-Time Residual): يتلاشى بمعدل $O(1/T)$ ، اعتماداً على المدة العشوائية للخيارات.
الجدة النظرية: يعالج الإثبات ثلاثة تحديات لم تواجهها الأعمال السابقة:
- تقليص بلمان (Bellman contraction) تحت خصم عشوائي (يعتمد على مدة الخيار) بدلاً من خصم ثابت.
- انتشار فجوة AIS عند مقياس الخيار بدلاً من مقياس الخطوة الأولية.
- التحكم في الضوضاء الماركوفية تحت مدد الخيارات العشوائية.

النتائج التجريبية

تحقق المؤلفون من الإطار والنظرية عبر أربع تجارب:

IC-SMDP اصطناعي: بيئة محكومة بـ 10 وكلاء لعزل المصطلحات الثلاثة في الحد النظري.
- النتيجة: ترتبط فجوة القيمة التجريبية بقوة ( $\rho \approx 0.916$ ) مع فجوة AIS مع تدهور ملاحظة الواجهة. ويتوافق قياس الخطأ مع بقايا المزج المتوقعة $O(1/T)$ والاعتماد على زمن المزج.
الاستدلال الرياضي متعدد الوكلاء (Multi-LLM): أربعة وكلاء من النماذج اللغوية الكبيرة (المفوض، المفكر، الفاحص، المحرر) يحلون مسائل رياضية. لا يرى الوكلاء سوى ترميز AIS مكون من 4 بت (حالة الإجابة، التعديل، الفحص، الصحة) بدلاً من المحادثة الكاملة.
- النتيجة: تطابق IC-Q مع نموذج "الأوراكل" المركزي وتستعيد مسار العمل الأمثل المحدد مسبقاً (مثل إشراك فاحص للمسائل الصعبة، وتجاوز ذلك للمسائل السهلة) دون أن يلاحظ أي وكيل المسارات المشتركة.
توجيه المهام متعدد الوكلاء (Multi-Agent Routing): 100 وكيل يوجهون المهام في رسوم بيانية عشوائية مع ملاحظات AIS دقيقة ( $\epsilon_\phi = \delta_\phi = 0$ $ϵ_{ϕ} = δ_{ϕ} = 0$ ).
- النتيجة: تحقق IC-Q دقة توجيه بنسبة 100% عبر توزيعات رسوم بيانية مختلفة، مما يؤكد صحة الخوارزمية في الحالة التي تتلاشى فيها فجوة AIS.
برمجة المعالج (CPU Programming) متعددة الوكلاء: ستة وكلاء يتعاونون لتحويل حالات الذاكرة. يتم تعلم كل من الإجراءات المحلية واختيار الوكيل اللاحق (النظام القابل للتكيف).
- النتيجة: تحقق IC-Q دقة تقارب 80% على حالات الهدف غير المرئية، مما يظهر قدرة التعميم التجريبي خارج نطاق النظرية الرسمية.

الأهمية والادعاءات

تدعي الورقة أنها تقدم الإطار الأول الذي يحترم الظروف التشغيلية الأربعة لتدفقات العمل اللامركزية المتسلسلة (التسليم المتسلسل، اللامركزية الكاملة، الملاحظة المحدودة بالواجهة، وضمانات العينات المحدودة).

الأهمية النظرية: تقدم أول حد مشترك للتقارب التقاربي والأساسي لتعلم Neural Q تحت الملاحظة الجزئية اللامركزية. وهي توسع إطار AIS لتشمل نماذج SMDP متعددة الوكلاء ذات المدد العشوائية، وهي فجوة لم يتم معالجتها من قبل.
الأهمية العملية: تثبت النتائج أن تعلم مسارات العمل عالية الأداء ممكن دون الوصول إلى البيانات المركزية أو الكشف عن الحالات الداخلية للوكلاء. وتطابق الخوارزمية نماذج "الأوراكل" المركزية في مهام LLM المعقدة مع الالتزام بقيود الخصوصية والاتصال الصارمة.
التواضع: يشير المؤلفون صراحةً إلى أن إثبات التقارب الرسمي ينطبق على "الوضع المسبق التكوين" (السياسات المحلية الثابتة). أما النجاح في "الوضع القابل للتكيف" (برمجة المعالج) فقد قُدم كدليل تجريبي على التعميم، بينما تُرِك الإثبات الرسمي للحالة القابلة للتكيف للعمل المستقبلي.