🤖 AI

Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit

تقدم هذه الورقة نموذجاً تدريبياً تقوم فيه وكلاء البرمجة بتقسيم مساراتها ذاتياً عبر إعلان فرضيات سببية قابلة للتفنيد، مما يولد مراحل دلالية عالية الجودة ومتغيرة الطول تتيح ضبطاً دقيقاً تحت الإشراف وتحسيناً مباشراً للتفضيلات بشكل أكثر فعالية مقارنة بوسم النوافذ الثابتة أو القائم على الحلقات التقليدية.

المؤلفون الأصليون: Jingxi Wei

نُشر 2026-08-04

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jingxi Wei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

دفتر ملاحظات المحقق: لماذا يحتاج الذكاء الاصطناعي إلى معرفة متى يتوقف عن التخمين

تخيل أنك تحاول تعليم روبوت حل لغز ضخم وفوضوي. في عالم الذكاء الاصطناعي، يُطلق على هذا الروبوت اسم "الوكيل" (Agent)، وغالبًا ما يكون اللغز عبارة عن قطعة معقدة من كود برمجي. لكي يتعلم، يقوم الروبوت بتجربة أشياء، ويرتكب أخطاءً، ويتلقى ملاحظات. ولكن إليك الجزء الصعب: كيف تخبر الروبوت ما إذا كان ما فعله صحيحًا أم خاطئًا؟

عادةً، ننظر إلى رحلة الروبوت بأكملها من البال البداية حتى النهاية ونعطيه درجة واحدة: "عمل جيد!" أو "حاول مرة أخرى". هذا يشبه مراقبة محقق يحل جريمة والاكتفاء بالقول: "لقد قبضت على المجرم"، دون إخباره أي دليل كان هو نقطة التحول أو أي طريق مسدود كان مضيعة للوقت. إذا قضى المحقق ساعات في مطاردة خيط وهمي قبل العثور على الخيط الحقيقي، فإن درجة "حاول مرة أخرى" تعاقب العمل الجيد الذي قام به في وقت سابق.

تتناول هذه الورقة تلك المشكلة. وهي تسأل: هل يمكننا تعليم الذكاء الاصطناعي تقسيم رحلته الطويلة والفوضوية إلى فصول أصغر وذات مغزى؟ بدلاً من مجرد مشاهدة الفيلم بأكمله، هل يمكن للذكاء الاصطناعي أن يتوقف ويقول: "حسنًا، لقد انتهيت للتو من اختبار هذه النظرية المحددة حول الكود، والآن أنا أنتقل إلى نظرية جديدة"؟ من خلال القيام بذلك، يمكن للذكاء الاصطناعي التعلم من إخفاقاته بشكل أسرع، لأنه سيعرف بالضبط أي "فصل" من تفكيره قد ذهب في الاتجاه الخاط، بدلاً من الحصول على درجة سيئة للكتاب بأكمله.

الورقة البحثية: عندما يكتب وكلاء الذكاء الاصطناعي عناوين فصولهم الخاصة

تقدم هذه الورقة حيلة ذكية تسمى "الحدود المعلنة من قبل الوكيل" (Agent-Declared Boundaries). فكر في الأمر كأنك تعطي وكيل الذكاء الاصطناعي دفتر ملاحظات سحري حيث يتعين عليه كتابة عنوان لكل نظرية جديدة يجربها.

المشكلة: الدرجة "الضبابية"

تخيل أنك تلعب لعبة فيديو حيث يتعين عليك العثور على كنز مخفي. تجرب خريطة، وتحفر في المكان الخطأ، تجرب بوصلة، وتحفر في مكان آخر خطأ، وأخيرًا، تجد الكنز.

الطريقة القديمة: تمنحك اللعبة درجة واحدة في النهاية. إذا ارتكبت بعض الأخطاء، تحصل على درجة منخفضة. لن تعرف ما إذا كانت البوصلة هي المشكلة أم أنك فقط حفرت في المكان الخطأ.
فكرة الورقة: يُطلب من وكيل الذكاء الاصطناعي التوقف والقول: "أنا الآن أختبر نظرية البوصلة". وعندما تفشل تلك النظرية، يقول: "حسنًا، نظرية البوصلة ماتت. الآن أنا أبدأ نظرية الخريطة".

من خلال إجبار الذكاء الاصطناعي على تسمية تخمينه الحالي (فرضيته)، يستطيع الباحثون تقطيع الرحلة الطويلة والمربكة إلى أجزاء مرتبة وقصيرة. كل جزء هو "مرحلة دلالية" (Semantic Phase) — وهي كتلة من الوقت كان الذكاء الاصطناعي فيها مركزًا على فكرة محددة.

كيف فعلوا ذلك: "سجل الفرضيات" (The Hypothesis Ledger)

وضع الباحثون قاعدة خاصة لوكلاء الذكاء الاصطناعي. فبينما يعمل الوكيل على إصلاح الكود، يتعين عليه التصريح: "أعتقد أن الخطأ في نظام تسجيل الدخول". ثم يبدأ العمل. إذا فشل، يتدخل "مُراجع" (ذكاء اصطناعي آخر) ويقول: "لا، نظام تسجيل الدخول سليم. نظرية تسجيل الدخول الخاصة بك كانت خاطئة. جرب نظرية قاعدة البيانات بدلاً من ذلك".

هذا ينشئ "سجلًا" (قائمة) لتخمينات الوكيل.

التكلفة: هذا لا يضيف سوى حوالي 52 توكن (كمية ضئيلة من النص) لكل تخمين. إنه يشبه إضافة ملاحظة لاصقة إلى صفحة؛ فهي لا تثقل كاهل الكتاب.
الفائدة: بدلاً من ملصق واحد كبير بكلمة "فشل" للرحلة بأكملها، يحصلون على أربعة أنواع مختلفة من بيانات التعلم من نفس الرحلة:
1. التدقيق (Audit): "لماذا كان هذا التخمين المحدد خاطئًا؟" (حتى لو فشل التخمين، فإن الدرس مفيد!)
2. الاقتراح (Propose): "ماذا يجب أن نخمن بعد ذلك؟"
3. الإصلاح (Fix): "كيف نصلح الكود الآن بعد أن عرفنا الإجابة؟"
4. التفضيل (Preference): "أي تخمين كان أفضل؟"

الاختبار الكبير: هل كان للذكاء الاصطناعي منطق حقًا؟

كان الباحثون قلقين: "ربما يكتب الذكاء الاصطناعي عناوين عشوائية، وتكون 'الفصول' في الواقع مجرد قطع عشوائية من النصوص". ولإثبات أن هذا لم يكن صحيحًا، أجروا بعض التجارب الممتعة حيث مسحوا العناوين وطلبوا من آخرين تحديد أين تنتهي الفصول.

اختبار الذكاء الاصطناعي "الأعمى": أعطوا ذكاءً اصطناعيًا آخر قائمة من الإجراءات وقائمة من النظريات، لكنهم أخفوا أي نظرية تنتمي إلى أي إجراء. كان على الذكاء الاصطناعي تخمين المطابقة.
- النتيجة: نجح الذكاء الاصطناعي في ذلك بمعدل 2.18 مرة أكثر من التخمين العشوائي. والأفضل من ذلك، عندما قارنوا "الفصول المسماة" للذكاء الاصطناعي بقطع النص إلى كتل متساوية الحجم، كانت الفصول المسماة أفضل بكثير في تجميع الإجراءات ذات الصلة معًا.
اختبار البشر "الأعمى عن الكود": نظر إنسان لا يعرف الكود إلى الأوامر وحاول تخمين أين تتغير النظريات.
- النتيجة: وجد الإنسان 24 من أصل 40 حدودًا بشكل صحيح. لو كان قد خمن عشوائيًا، لكان قد وجد حوالي 11.5 فقط.
الاختبار "الميكانيكي": حاولوا استخدام قواعد بسيطة (مثل قطع النص في كل مرة يتم فيها تشغيل اختبار) لتحديد الحدود.
- النتيجة: فشلت هذه القواعد البسيطة فشلًا ذريعًا، ولم تكن أفضل من التخمين العشوائي. وهذا يثبت أن الحدود ليست مجرد متعلقة بـ متى حدث الاختبار، بل بـ معنى العمل.

ماذا تعلموا؟ (وما لم يتعلموه)

تظهر الورقة أن هذه الطريقة تخلق كتل عمل حقيقية وذات مغزى يسهل دراستها والتعلم منها.

الأخبار الجيدة: يمكن للذكاء الاصطناعي أن يتعلم كيفية رصد التخمينات السيئة وتصحيحها. عندما دربوا ذكاءً اصطناعيًا جديدًا باستخدام هذه الدروس "القائمة على الفصول"، تعلم تفضيلًا محددًا لاختيار أنواع معينة من التخمينات على غيرها. ومع ذلك، كان هذا التعلم مرتبطًا ارتباطًا وثيقًا بكيفية كتابة أزواج التدريب. عند اختبارهم على مجموعة جديدة من المشكلات المبنية بشكل مختلف (مجموعات تنافسية/adversarial sets)، لم يتحسن الذكاء الاصطناعي؛ بل اتخذ نفس الاختيارات السابقة، مما أظهر أنه لم يتعلم مهارة عامة للقيام بتخمينات أفضل.
واقعية الموقف: الورقة صريحة جدًا بشأن ما لم تثبته.
- اختبروا هذا على مجموعة محددة من مهام البرمجة.
- في اختبارهم الصغير، لم يحل الذكاء الاصطناعي الجديد مهامًا أكثر إجماليًا من الذكاء الاصطناعي القديم؛ بل حل نفس عدد المهام تمامًا.
- "التعلم" الذي رأوه كان محددًا للغاية ببناء البيانات. إنه يشبه تعلم لغز معين بإتقان ولكن ليس بالضرورة أن تصبح أفضل في حل جميع الألغاز بعد.

الخلاصة

لا تدعي هذه الورقة أنها بنت روبوتًا فائق الذكاء يمكنه إصلاح أي كود فورًا. بدلاً من ذلك، وجدت طريقة لجعل "عملية تفكير" الروبوت أكثر وضوحًا. من خلال مطالبة الروبوت بكتابة عنوان لكل نظرية يجربها، يستطيع الباحثون تحويل فوضى طويلة ومربكة من الأخطاء إلى سلسلة من الدروس القصيرة والواضحة.

إنه الفرق بين الحصول على تقرير دراسي يقول "لقد رسبت في الفصل الدراسي" وبين الحصول على تقرير يقول "لقد رسبت في فصل الجبر، لكنك تفوقت في فصل الهندسة، وإليك السبب بالتحديد في فشل الجبر". تشير الورقة إلى أن هذا النوع من التغذية الراجية المفصلة هو أداة قوية لتعليم الذكاء الاصطناعي، حتى لو لم يكن الروبوت مستعدًا تمامًا ليكون مبرمجًا محترفًا بعد.

ملخص تقني: المسارات التي تُجزئ نفسها

1. بيان المشكلة

تمثل مسارات وكلاء البرمجة (coding-agents) ذات الأفق الطويل عدم توافق جوهري مع وحدات التدريب القياسية. تعتمد النهج الحالية على ثلاث آليات معيبة لتخصيص الائتمان (credit assignment):

الائتمان لكل إجراء: الإجراءات الفردية (مثل grep أو pytest) تفتقر إلى القيمة الذاتية؛ إذ تعتمد فائدتها كليًا على الفرضية السببية التي تخدمها.
تسميات الحلقات النهائية: دمج بت واحد للنجاح أو الفشل يخلط بين الاستكشاف المنتج والاتجاهات المهجورة، مما يدمج المراحل ذات الأسس الجيدة مع الالتزامات الفاشلة.
النوافذ الثابتة: غالبًا ما تقسم حدود الخطوات الزمنية التعسفية (مثل نوافذ الـ $K$ -turn) التحقيقات المتماسكة أو تدمج التخلي عن سبب ما مع تبني سبب آخر.

هذه الحدود مشتقة من آليات التسجيل (logging) وليس من الحالة المعرفية المتطورة للوكيل، مما يؤدي إلى أهداف ضوضائية تكافئ الشكل السطحي على حساب الاستدلال السببي.

2. المنهجية

2.1 التجزئة الدلالية المعلنة من قبل الوكيل

يقدم البحث بروتوكولًا وقت الجمع حيث يكشف الوكيل الفاعل عن حدوده الخاصة عبر عقد إعلاني (declarative contract).

الآلية: أثناء عملية استخدام الأدوات (rollout)، يتبنى الوكيل فرضية سببية قابلة للتفنيد ( $h_k$ ) ويعلن عنها. ثم يقوم الوكيل بجمع الأدلة، أو تعديل الكود، أو تشغيل الفحوصات تحت هذه الفرضية. تنتهي المرحلة عندما يتبنى الوكيل فرضية جديدة ( $h_{k+1}$ ) أو تنتهي المسار.
التكلفة: يضيف هذا عبئًا طفيفًا (متوسط 52 رمزًا لكل إعلان، حوالي 9.8% من مخرجات الوكيل) مقارنة بالبدائل التي تتطلب رقعًا ذهبية (gold patches)، أو مفردات خاصة بالبيئة، أو بيئات قابلة لإعادة التشغيل، أو مقسمات لاحقة (post-hoc segmenters).
بروتوكول الجمع: يحاول الوكيل تنفيذ مهمة. إذا فشل في الاختبارات المخفية، يتدخل نموذج مراجع. يرى المراجع الإصلاح المرجعي ولكنه ممنوع من تسميته. بدلاً من ذلك، يجب على المراجع تقديم: (1) نفي للنهج الخاطئ الحالي و(2) أصغر اتجاه إيجابي للاستقصاء بعد ذلك. هذا يجبر الوكيل على التخلي عن الفرضية المفروضة وتبني فرضية جديدة، مما يخلق انتقالًا واضحًا من "السبب الخاطئ ثم التصحيح".

2.2 أربعة أهداف إشرافية من عملية جمع واحدة

ينتج عن عملية جمع واحدة أربعة رؤى تدريبية متميزة، مستفيدًا من عدم تماثل المعلومات:

التدقيق (Audit) (2,721 صفًا): يرى المدقق المرحلة المكتملة والأدلة المرتبطة بها للحكم ما إذا كان الاتجاه سليمًا وتحديد الأدلة المفقودة. هذا يستعيد الدروس من النطاقات التي قد يتجاهلها تسمية الحلقة.
الاقتراح (Propose) (1,405 صفًا): يرى النموذج فقط الحالة عند الحد الفاصل (محجوبة) ويجب عليه استنباط فرضية أو حالة أدلة مفقودة قابلة للتحقق.
الإصلاح (Fix) (553 صفًا): يرى النموذج سببًا مؤكد النتيجة ومصدرًا لتحويل تشخيص محلي إلى رقعة برمجية (patch).
أزواج التفضيل (Preference Pairs) (2,551 صفًا): يرى النموذج الحالة المحجوبة عند الحد الفاصل ويتعلم تفضيل الافتتاحية المتقدمة على تلك المتعثرة أو المفروضة.

2.1 مرحلة الـ DPO (Phase-DPO)

ينفذ البحث تحسين التفضيل المباشر (DPO) القياسي على أزواج التفضيل. الهدف هو تعلم سياسة $\pi_\theta$ بحيث يكون $\pi_\theta(y^+ | x) > \pi_\theta(y^- | x)$ ، حيث $y^+$ هي الفرضية الافتتاحية المفضلة و $y^-$ هي الفرضية المرفوضة، بناءً على الحالة المحجوبة $x$ . تعمل المرحلة كوحدة ائتمان، حيث تحدد مكان قطع السياق والنص المستهدف.

3. المساهمات الرئيسية

حدود مستقلة عن التبعيات: يتم توفير التجزئة بواسطة السياسة الفاعلة نفسها بموجب عقد إعلاني، مما لا يتطلب رقعًا ذهبية خارجية، أو مفردات محطات، أو مقسمات لاحقة. يصل الحد ضمن نفس عملية الـ rollout التي تنتج المسار.
وحدات قابلة للعنونة: على عكس النوافذ المحددة بالموقع، فإن الفرضية المعلنة هي مقبض قابل للعنونة. هذا يسمح بتخصيص ائتمان أكثر دقة، وإشراف على العمليات بدون تسمية الخطوات، وتوجيه عبر الاسم (نفي فرضيات محددة بدلاً من مسارات كاملة).
التماسك الدلالي: تتبع الحدود استدلال الوكيل، وليس مجرد آثار التسجيل.
- الإسناد: عند حذف الإعلانات، ينسب نموذج مستقل كتل الإجراءات إلى فرضيتها الحاكمة بنسبة 2.18 ضعف الاحتمال (اختبار الإشارة المزدوجة $p=0.0002$ )، متفوقًا على النوافذ متساوية الطول.
- القابلية للاسترداد: يستطيع قارئ أعمى عن الكود استرداد الحدود بشكل أفضل بكثير من العشوائية، رغم أنه يبالغ في التجزئة (1.55x)، مما يشير إلى أن الحدود ليست قابلة للتكرار بسهولة عبر القواعد التجريبية البسيطة.
واجهة الإنشاء: يصنع البروتوكول انتقالات "السبب الخاطئ ثم التصحيح" التي ندر وجودها في الأعمال المسجلة، مما يوفر إشراف تدقيق من المناطق الفاشلة التي تتجاهلها تسميات الحلقة القياسية.

4. النتائج

4.1 صلاحية الوحدة

الإسناد: تظل كتل الإجراءات قابلة للإسناد لفرضيتها الحاكمة حتى بعد حذف نص الإعلان، مما يؤكد أن الحد دلالي وليس معجميًا.
القابلية للاسترداد: يمكن للقارئ الأعمى عن الكود استرداد الحدود بشكل أفضل بكثير من العشوائية، مما يشير إلى أن الحدود ليست قابلة للتكرار ببساطة عبر الاستدلالات.

4.2 التحسين في المصب (Phase-DPO)

الحساسية للتوجه: التدريب على 2,551 زوجًا باستخدام سياسة SFT بقدر 27B ينتج ذراعًا معكوسة التسمية لا يعيد إنتاج الفصل، مما يؤكد أن الإشارة ليست نتاجًا لبيئة المحسن.
حدود التعميم:
- على العناصر المحجوزة المبنية خصيصًا (87 حالة)، غير المحول (adapter) المدرب 0/91 من القرارات.
- على العناصر ذات البناء المتطابق (60 عنصرًا من نفس عائلة المولد)، غير المحول 4/60 من القرارات (كلها من خطأ إلى صواب)، بينما لم يغيرت عناصر التحكم أي شيء.
- الاستنتاج: التفضيل الملائم حقيقي ولكنه مرتبط بالبناء؛ فهو يتعلم كيفية كتابة الأزواج بدلاً من قدرة عامة.

4.3 تجربة الـ Pilot للـ Rollout

أظهرت تجربة Pilot مكونة من 20 مهمة على SWE-bench Verified ما يلي:

معدل الحل: الأساسي (13/20)، SFT (14/20)، Phase-DPO (14/20). لا يوجد تحسن ذو دلالة إحصائية في معدل الحل.
الكفاءة: أظهر Phase-DPO ميلًا نحو مسارات أقصر (تقليل بنسبة 14.0% في الرسائل مقارنة بالأساسي)، لكن فترات الثقة شملت الصفر.
دراسات الحالة: أظهرت حالات معينة أن DPO يتخذ خيارات محلية أفضل (مثل الحفاظ على الافتراضات الداخلية) أو أسوأ (مثل الالتزام بمواقع خاطئة مبكرًا)، مما يوضح أن اختيار المرحلة الأفضل لا يضمن النجاح العالمي دائمًا.

5. الأهمية والادعاءات

يدعي البحث بتواضع أن بروتوكول التجزئة وقت الجمع و واجهة البيانات هما المساهمتان الرئيسيتان.

ما تم إثباته: يمكن الحصول على حد دلالي بتكلفة منخفضة دون تبعيات خارجية. هذا الحد يخلق وحدة متماسكة حيث يمكن إسناد الإجراءات لفرضية حاكمة، مما يسمح باستخراج الدروس من اتجاهات البحث الفاشلة (إشراف التدقيق) وبناء أزواج التفضيل.
ما لم يتم إثباته: لا يدعي البحث أن التدريب على هذه الوحدات يؤدي إلى سياسة ذات قدرات برمجة فائقة أو معدلات حل أعلى. إشارة التحسين حساسة للتوجه ولكنها حاليًا مرتبطة ببناء أزواج التدريب.
الاتجاه المستقبلي: يفترض البحث أن المتغير التالي الذي يجب تغييره هو تنوع مجموعة الأزواج، وليس تعريف الحد نفسه. الحد هو شرط ضروري للوحدة، لكن فائدة الوحدة تعتمد على جودة وتنوع البيانات التي تهيكلها.

يعيد العمل صياغة مشكلة "وحدة الائتمان": من خلال السماح للوكيل بالإعلان عن التزاماته السببية، يصنع النظام بيانات تدريب تميز بين اتجاهات البحث بدلاً من مجرد النتائج، مما يوفر مسارًا لأكثر دقة وقابلية للتفسير في تدريب الوكلاء.