ملخص تقني: COCORELI

بيان المشكلة

تواجه الوكلاء المستقلون الذين يعملون في بيئات تعاونية (مثل الروبوتات، التصنيع، استخدام الأدوات) تعليمات بشرية غير مكتملة أو غير محددة بدقة بشكل متكرر. يعتمد البشر غالبًا على السياق المشترك أو التواصل التدريجي، مما يترك معايير المهام الأساسية غير محددة. وبينما حسنت النهج الحديثة من عملية كشف المعلومات المفقودة، إلا أن الكشف وحده لا يكفي. فغالبًا ما يمضي الوكلاء في التنفيذ حتى بعد إدراك عدم التحديد، حيث يستنتجون التفاصيل المفقودة بدلاً من الحصول عليها من خلال التفاعل. يؤدي هذا إلى أفعال "منطقية ولكن خاطئة"، وهلوسات، ونتائج غير آمنة.

يحدد المؤلفون هذا الفشل كونه انفصالاً هيكلياً بين كشف المعلومات المفقودة ومنع التنفيذ. تفترض النماذج الحالية، بما في ذلك سلسلة الأفكال (CoT) والأطر الوكيلية (agentic frameworks)، أن التعليمات قابلة للتنفيذ كما هي أو أن التفاصيل المفقودة يمكن استنتاجها من المعرفة الخلفية. ولا يؤدي زيادة حجم النموذج إلى حل هذه المشكلة؛ إذ تميل النماذج الأكبر إلى توليد تخمينات أكثر منطقية بدلاً من الكشف الموثوق عن عدم اليقين وحله. وتفترض الورقة أن التنفيذ التعاوني الموثوق يتطلب فرضاً معمارياً حيث تعمل المعلومات المفقودة كشرط مسبق صارم للفعل.

المنهجية: بنية COCORELI

لمعالجة ذلك، يقترح المؤلفون COCORELI (التعاون، وإعادة التشكيل، وتنفيذ التعليمات اللغوية)، وهي بنية وكيلية نمطية مصمتمة لفرض شروط التنفيذ المسبقة. بخلاف التلقين الأحادي (monolithic prompting)، تقوم COCORELI بتفكيك المهمة إلى ستة مكونات متخصصة، تستخدم جميعها نفس النموذج اللغوي الأساسي (LLaMA-3.1 8B) ولكن مع مطالبات متخصصة ومدخلات مهيكلة:

1. محلل التعليمات (Instruction Parser): يحدد أنواع الكائنات ويستخرج السمات الأولية، مع تصفية المخططات ذات الصلة لتجنب تضخم المطالبة (prompt bloce).
2. البناء (Builder): يحل سمات الكائنات المحددة (مثل الاتجاه، وتكوين الأجزاء).
3. المحدد (Locator): يفسر الأوصاف المكانية ويربط التعبيرات العلاقاتية بإحداثيات مرشحة، مع تطبيق قواعد وضع الكائنات المحددة.
4. وحدة الخطاب (Discourse Module): تولد أسئلة توضيحية (CQs) مستهدفة عندما تظل الحقول المطلوبة دون حل.
5. الذاكرة الخارجية (External Memory): تخزن الهياكل التي تم بناؤها سابقاً كرسوم بيانية علاقاتية (العقد = الأجزاء، الحواف = العلاقات المكانية). وهي تدعم التجريد من خلال فصل الأنماط الهيكلية عن المعايير الخاصة بالنماذج (مثل اللون، والموقع المطلق).
6. المنفذ (Executor): يحول التمثيلات المكتملة إلى إجراءات JSON ملموسة ويتحقق من صحتها مقابل القيود البيئية.

الآلية الجوهرية:
يمثل النظام الكائنات والأفعال كهياكل JSON محددة النوع حيث يتم تهيئة الحقول بـ null. ومع تقدم الحوار، يتم ملء الحقول بالمعلومات المستخرجة. والأهم من ذلك، أن التنفيذ يتم حظره كلما ظلت الحقول المطلوبة دون حل. النظام لا يستنتج القيم المفقودة؛ بل يقوم بتفعيل وحدة الخطاب لطلب التوضيح. وهذا يخلق اقتراناً هيكلياً: كشف المعلمة المفقودة يؤدي تلقائياً إلى حظر التنفيذ. هذا يمنع الأفعال المهلوسة.

الإعداد التجريبي

يقيم المؤلفون COCORELI في ENVIRONMENT، وهو اختبار مرجعي للبناء التعاوني محكم التصميم لعزل حالات عدم التحديد، وتغيرات الحالة المتتالية، وإعادة الاستخدام الهيكلي.

• البيئة: شبكة ثلاثية الأبعاد منفصلة بحجم 16×16×16 مع أنواع أجزاء متباينة (براغي، جسور، إلخ) وقيود فيزيائية صارمة (الجاذبية، تبعيات الدعم). عمليات الوضع الخاطئة غير قابلة للتراجع.
• أنواع المهام:
  1. تعليمات كاملة التحديد.
  2. تسلسلات التعليمات.
  3. بناء هياكل معقدة (أشكال متعددة الأجزاء).
  4. تعليمات غير محددة: معايير محذوفة، تتطلب الكشف والتوضيح.
  5. التجريد وإعادة الاستخدام في السياق: إعادة إنتاج الهياكل المبنية سابقاً في سياقات جديدة دون إعادة ذكر التعليمات الأصلية.
• النماذج المرجعية (Baselines):
  • التلقين أحادي النموذج (CoT): تلقين أحادي باستخدام GPT-4.1 وClaude-3.5 Sonnet.
  • التفكيك الوكيلي للنماذج اللغوية (Agentic LLM Decomposition): تفكيك نمطي حيث تُحل المهام الفرعية من البداية إلى النهاية بواسطة نموذج لغوي (LLaMA-3-70B)، بما في ذلك توليد كود Python للتجريد.
  • COCORELI: تحليل مهيكل مع تمثيلات مهام صريحة وتحكم حتمي في التنفيذ.

يتضمن التقييم أيضاً اختبار نقل على مهام واجهة برمجة تطبيقات ToolBench لتقييم قدرة آلية التجريد على التعميم خارج البناء المكاني.

النتائج الرئيسية

1. التعامل مع عدم التحديد (المهمة iv)

• الكشف والتوضيح: حققت COCORELI والنموذج الوكيلي المرجعي نسبة كشف بلغت 100% للمعلمات المفقودة ونجحا في إصدار أسئلة التوضيح. في المقابل، فشلت نماذج CoT أحادية النموذج غالباً في تحديد المعلمات المفقودة (على سبيل المثال، كشف بنسبة 27.2% فقط لـ GPT-4.1 في مهام الجزء الواحد).
• سلامة التنفيذ: حققت COCORELI 0% من الهلوسة في الأجزاء، والألوان، والمواقع للتعليمات غير المحددة. وعلى العكس من ذلك، كثيراً ما استنتجت نماذج CoT المرجعية السمات المفقودة، مما أدى إلى معدلات عالية من الهلوسة (على سبيل المثال، 100% هلوسة في الموقع لـ GPT-4.1 في مهام الجزء الثاني).
• الاستنتاج: الكشف وحده غير كافٍ؛ فبدون فرض هيكلي، تمضي النماذج المرجعية في تنفيذ قيم مستنتجة (خاطئة).

2. بناء الهياكل المعقدة (المهمة iii)

• حققت COCORELI أعلى دقة على مستوى الخطوة (78.57%)، متفوقة على نماذج CoT المرجعية (54.67%–69.04%) والنموذج الوكيلي المرجعي (69.04%).
• كانت COCORELI هي النظام الوحيد القادر على إعادة بناء الجزء الأكثر تعقيداً ("الجسر المغربي")، والذي تطلب تجريداً وإشارة لاحقة.

3. التجريد وإعادة الاستخدام (المهمة v)

• نجحت COCORELI في إعادة بناء جميع الهياكل التي تم تقييمها، بما في ذلك الهياكل المعقدة (مثل "الجمجمة" بـ 62 جزءاً)، محققة دقة 100% في الأشكال المعقدة.
• فشلت نماذج CoT في الهياكل الأكثر تعقيداً (0% نجاح)، وفشل النموذج الوكيلي المرجعي في الأشكال متوسطة الحجم.
• تعزو الورقة نجاح COCORELI إلى معاملة التجريد كمشكلة تحليل مهيكلة (استخراج الرسوم البيانية العلاقاتية) بدلاً من مطالبة النموذج باستنتاج إجراءات قابلة لإعادة الاستخدام أو توليد كود من الصفر.

4. النقل إلى ToolBench

• في 100 سير عمل من ToolBench، حققت COCORELI دقة (precision) واستدعاء (recall) ودرجة F1 بنسبة 100%، متفوقة بشكل كبير على نموذج CoT المرجعي (30.9% F1).
• يوضح هذا أن آلية التجريد المهيكلة تتعمم على المهام المدفوعة بواجهات برمجة التطبيقات (APIs) غير المكانية.

الأهمية والادعاءات

تدعي الورقة أن التنفيذ التعاوني الموثوق في ظل عدم التحديد لا يعتمد فقط على قدرة النموذج بل على الفرض الهيكلي.

• الاقتران الهيكلي: المساهمة الرئيسية هي الاقتران الهيكلي بين الكشف والمنع. في COCORELI، لا يمكن تنفيذ التمثيلات غير المكتملة للمهام. هذا يلغي الأفعال المهلوسة عن طريق التصميم، وهي خاصية غائبة في نماذج التلقين حيث يكون الكشف والتنفيذ منفصلين.
• التمثيل الأدنى (Minimal Instantiation): لا يدعي المؤلفون أن COCORELI هي الحل النهائي لجميع الحوارات التعاونية، بل كتمثيل أدنى يثبت أن نماذج التلقين تفتقر بشكل منهجي إلى آلية حظر التنفيذ عند وجود حالة عدم يقين.
• القيود: يقر المؤلفون بأن COCORELI تفترض إمكانية تمثيل المهام عبر مخططات مهيكلة (JSON)، وتتجاوز الإدراك متعدد الوسائط، وتنمذج شكلاً ضيقاً من حوار التوضيح (باستثناء التفاوض أو الاستدلال المعقد)، وتفتقر إلى وحدة تخطيط عالية المستوى صريحة.

باختصار، تجادل الورقة بأنه لكي يعمل الوكلاء بشكل موثوق في البيئات التعاونية ذات التعليمات غير المكتملة، يجب أن تفرض بنية النظام صراحةً حل المعلومات المفقودة قبل اتخاذ أي إجراء، بدلاً من الاعتماد على قدرة النموذج الضمنية على التخمين أو الاستنتاج.