Context Assembly as the Controlled Variable: A Control-Theoretic View of Harness Policies for Frozen LLM Agents
تقترح هذه الورقة إطاراً قائماً على نظرية التحكم لوكلاء النماذج اللغوية الكبيرة (LLM) المجمدة، حيث تعامل تجميع السياق كمتغير خاضع للتحكم، وذلك باستخدام سياسة خارجية عبر الإنترنت لتحسين مكونات المطالبة ديناميكياً مع توفير ضمانات استقرار رسمية ومعايرة لعدم اليقين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
فن الصياغة المثالية: قصة في نظرية التحكم
تخيل أنك تحاول تعليم روبوت عبقري، ولكنه عنيد للغاية، كيفية حل لغز ما. هذا الروبوت هو ذكاء اصطناعي، وهو "مجمد"، مما يعني أن دماغه ثابت لا يتغير؛ لا يمكنك إعادة توصيل عصبوناته أو تعليمه حقائق جديدة. هو يعرف الكثير، لكنه لا يعرف كيفية استخدام تلك المعرفة لحل لغزك الخاص ما لم تعطه التعليمات الصحيحة. في عالم الذكاء الاصطناعي، يسمى هذا الإعداد "عميلًا" (Agent). لفترة طويلة، حاول الباحثون معرفة كيفية جعل هؤلاء العملاء موثوقين، والتعامل معهم كآلات تحتاج إلى توجيه. إنهم يستخدمون أفكارًا من "نظرية التحكم"، وهي ببساطة علم الحفاظ على استقرار الأشياء ومسارها — مثل نظام مثبت السرعة في السيارة الذي يعدل دواسة الوقود باستمرار للحفاظ على سرعة ثابتة، أو كيف يقوم منظم الحرارة بتعديل الحرارة للحفاظ على راحة الغرفة.
السؤال الكبير الذي تعالجه هذه الورقة هو: ما الذي يجب أن نوجهه بالضبط؟ معظم الناس كانوا يحاولون التحكم في ما سيفعله الروبوت بعد ذلك (مثل أي أداة يمسكها) أو مع من يتحدث. لكن هذه الورقة تقترح أن السحر الحقيقي يحدث قبل أن يبدأ الروبوت في التحرك حتى. الأمر يتعلق بالتحكم في "السياق" (Context) — التعليمات المحددة، الأمثلة التي تعرضها عليه، وكمية المعلومات الخلفية التي تغذيه بها. فكر في الأمر مثل طاهٍ لا يمكنه تغيير كتاب الوصفات (الذكاء الاصطناعي المجمد)، ولكن يمكنه تغيير المكونات، والإضاءة في المطبخ، والملاحظات الموجودة على الطاولة للحصول على الطبق المثالي. يريد المؤلفون معرفة ما إذا كان بإمكاننا بناء نظام ذكي يحدد تلقائيًا أفضل طريقة لإعداد هذه التعليمات أثناء العمل، وما إذا كان هذا النظام مستقرًا بما يكفي للثقة به.
الفكرة الكبرى للورقة: توجيه الإعداد، وليس الروبوت
تقترح هذه الورقة، التي كتبها ديبجوتي بول في يوليو 2026، طريقة جديدة للنظر إلى عملاء الذكاء الاصطناعي. بدلاً من محاولة التحكم في أفعال الروبوت مباشرة، يقترح المؤلفون التحكم في تجميع السياق (Context Assembly). باللغة البسيطة، هذا يعني التحكم في "إعداد" الصياغة (Prompt): أي قالب ستستخدم، أي أمثلة قليلة ستعرضها على الذكاء الاصطناعي، مقدار المعلومات التي سيتم استردادها من قاعدة بيانات، وكم عدد المرات التي يجب أن يراجع فيها الذكاء الاصطناعي عمله الخاص.
يتخيل المؤلفون نظامًا يتكون من جزأين. الجزء الأول هو عميل الذكاء الاصطناعي "المجمد" — الروبوت الذي يقوم بالعمل فعليًا. الجزء الثاني هو "الحاصرة" (Harness) أو المتحكم الجالس خارج الروبوت. هذا المتحكم هو متعلم ذكي (باستخدام طرق مثل "المقامر السياقي" أو سياسة "REINFORCE") يقوم باستمرار بالتجربة مع إعدادات مختلفة ليرى أي منها يحقق أفضل النتائج. إنه يشبه مدير المسرح الذي لا يمكنه تغيير حوار الممثل (لأن الممثل مجمد)، ولكن يمكنه تغيير الإضاءة، والأدوات، وملاحظات النص لمساعدة الممثل على الأداء بشكل أفضل.
ما وجدوه: اختبار للواقع
لم يكتفِ المؤلفون بتخيل هذه الفكرة؛ بل اختبروها ليروا ما إذا كانت تعمل بالفعل وما إذا كانت مستقرة. أجروا تجارب باستخدام إعداد محدد حيث كان على المتحكم الاختيار من بين 729 تكوينًا مختلفًا (مزيج من أساليب صياغة مختلفة، وأدوات، وسياسات ذاكرة، وخطوات تحقق). أجروا هذه الاختبارات لـ 60 حلقة (محاولة) لكل تشغيل، بإجمالي 240 حلقة عبر بذور (Seeds) مختلفة.
إليك الحقيقة الصادقة عما وجدوه:
1. اختبار الاستقرار (هل يتحسن الأداء؟)
أراد المؤلفون معرفة ما إذا كان المتحكم يتعلم كيف يصبح أفضل بمرور الوقت، وهو مفهوم يسمونه "الاستقرار". في العالم المثالي، يجب أن يرتفع أداء المتحكم أو يبقى ثابتًا أثناء تعلمه. ومع ذلك، أظهرت بياناتهم شيئًا مختلفًا. خلال الـ 60 حلقة التي اختبروها، اتجه الأداء في الواقع نحو الانخفاض الطفيف أو ظل ثابتًا لمعظم عمليات التشغيل. أظهرت ثلاث من أصل أربع عمليات تشغيل اختبارية ميلًا سالبًا طفيفًا.
يشرح المؤلفون أن هذا ليس بالضرورة فشلًا لفكرتهم، بل هو محدودية في حجم الاختبار. هم يجادلون بأنه مع وجود 729 خيارًا متاحًا للاختيار من بينها، فإن 60 حلقة ليست كافية ببساطة ليتعلم المتحكم أصول المهنة. الأمر يشبه محاولة تعلم مكتبة ضخمة من 729 لغة مختلفة في بضعة أيام فقط؛ لم تكن لديك وقت كافٍ للممارسة لتصبح جيدًا. ويشيرون إلى أنه حتى مع 300 حلقة (خمسة أضعاف اختبار الاستقرار الخاص بهم)، وجدت ورقتهم المصاحبة أن النظام لا يزال غير قادر على التغلب على خط أساس ثابت ومحدد مسبقًا. الاستنتاج هو أن النظام حاليًا في نظام "نقص العينات" (Under-sampled) — أي أنه صغير جدًا بحيث لا يمكن إثبات النظرية طويلة المدى، رغم أن النظرية نفسها منطقية.
2. اختبار الثقة (هل يعرف متى يخمن؟)
الشيء الثاني الذي فحصوه هو "معايرة عدم اليقين" (Uncertainty Calibration). يسأل هذا: هل يعرف المتحكم متى يكون واثقًا ومتى يكون غير متأكد؟ في سيناريو العالم الحقيقي، إذا كان الذكاء الاصطناعي غير متأكد، فيجب أن يطلب من إنسان التدخل.
كانت النتائج هنا مفاجئة للغاية وفوضوية نوعًا ما. كانت درجة "الثقة" لدى المتحكم (بناءً على مدى احتمالية اختياره لشيء ما) منخفضة للغاية — حوالي 0.0014 — بينما كان معدل نجاح المهام الفعلي أعلى بكثير، حوالي 0.64 (64%) و 0.58 (58%). هذه فجوة هائلة، تبلغ حوالي رتبتين عشريتين.
يوضح المؤلفون أن هذا ليس خطأً في التعلم، بل هي مشكلة رياضية. نظرًا لوجود 729 خيارًا، فإن احتمال اختيار أي واحد منها هو بطبيعته ضئيل (حوالي 1/729، أو 0.0014). لذا، يبدو المتحكم "غير واثق" طوال الوقت، حتى عندما يختار الإجابة الصحيحة. وهذا يعني أنه إذا حاولت استخدام رقم الثقة الخام هذا لتقرير متى تطلب المساعدة من البشر، فلن يعمل — ستطلب من البشر المساعدة في كل مهمة، حتى السهلة منها. تقترح الورقة أنه لإصلاح ذلك، ستحتاج إلى إعادة معايرة إشارة الثقة (ربما من خلال النظر في الفجوة بين الخيارين الأفضل بدلاً من الاحتمالية الخام)، لكنهم يعترفون بأنهم لم يختبروا هذا الإصلاح بعد.
الخلاصة
لا تدعي هذه الورقة أنها حلت مشكلة التحكم في الذكاء الاصطناعي. بدلاً من ذلك، تقدم نظرة محددة وصادقة لطريقة تفكير جديدة: التحكم في السياق بدلاً من الفعل. هي تجادل بأنه بينما تعد هذه فكرة واعدة ومتميزة، فإن التجارب الحالية تظهر أننا نصطدم بحائط لأن مساحة الاحتمالات (729 تكوينًا) كبيرة جدًا بالنسبة لكمية البيانات التي يمكننا جمعها واقعيًا في يوم واحد.
المؤلفون حذرون من تسمية هذا إنجازًا. إنهم يصرحون صراحة بأن نتائج الاستقرار الخاصة بهم "تهيمن عليها الضوضاء" وأن إشارات الثقة لديهم حاليًا "غير معلوماتية" دون إصلاحات إضافية. إنهم يقولون أساسًا: "إليكم رافعة جديدة لسحبها، ولكن في الوقت الحالي، ليس لدينا ما يكفي من محاولات التدريب لنعرف ما إذا كانت تعمل بشكل مثالي، وطريقتنا الحالية في قياس الثقة معطلة". إنها دعوة لمزيد من البيانات وطرق معايرة أفضل، بدلاً من كونها إعلانًا عن النصر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.