ملخص تقني: تقييم سلوكي وتمثيلي للتوجّه نحو الأهداف في وكلاء النماذج اللغوية

بيان المشكلة

يعد فهم أهداف الوكيل أمراً ضرورياً لتفسير وسلوك وتوقع تصرفاته، ومع ذلك لا توجد منهجية مستقرة لنسب الأهداف بشكل موثوق إلى الأنظمة الوكيلية، ولا سيما وكلاء النماذج اللغوية الكبيرة (LLM). تواجه التقييمات السلوكية البحتة قيوداً جوهرية: فالفشل المستمر قد يعكس قيوداً في القدرات بدلاً من نقص في التوجّه نحو الأهداف؛ كما أن السلوك المتوافق قد ينبثق من أهداف داخلية غير متوافقة (التقارب الأدواتي). وعلى العكس من ذلك، فإن التحليلات الداخلية البحتة التي تفتقر إلى الأساس السلوكي قد تفشل في التقاط كيفية تفاعل الوكلاء فعلياً مع بيئتهم. تعالج هذه الورقة الحاجة إلى إطار عمل شامل يدمج التقييم السلوكي مع تحليلات القابلية للتفسير للتمثيلات الداخلية لتوصيف كيفية تمثيل الوكلاء للأهداف والسعي وراءها.

المنهجية

يقترح المؤلفون إطار عمل "الصندوق الأبيض" الذي يجمع بين التقييم السلوكي وفحص التنشيط (activation probing)، والذي تم اختباره على وكيل GPT-OSS-20B يتنقل في عالم شبكي ثنائي الأبعاد قابل للملاحظة بالكامل (بيئة MiniGrid).

1. الإعداد التجريبي

• البيئة: يعمل الوكيل في شبكات $n \times n$ (حيث $n \in \{7, 9, 11, 13, 15\}$) مع كثافات عوائق متفاوتة ($d \in [0, 1]$). المهمة هي التنقل من موقع البداية إلى حالة الهدف.
• قابلية الملاحظة: البيئة قابلة للملاحظة بالكامل لاستبعاد الارتباكات المتعلقة بالذاكرة، وتحديث المعتقدات تحت ظروف عدم اليقين، والمفاضلة بين الاستكشاف والاستغلال.
• تمثيل المدخلات: يتم تحويل الشبكات إلى تمثيلات نصية حيث تقابل كل خلية رمزاً (token) واحداً لتخفيف مشكلات الترميز (tokenization).
• الخط المرجعي (Baseline): تم اشتقاق سياسة مثالية ($\pi^*$) باستخدام بحث A* مع مسافة مانهاتن.

2. التقييم السلوكي

يقيم المؤلفون سياسة الوكيل ($\pi_\theta$) مقابل السياسة المثلى عبر عدة أبعاد:

• صعوبة المهمة: تشمل المقاييس دقة كل إجراء، وعشوائية السياسة (policy entropy)، وتباعد جينسن-شانون (JSD) عن السياسة المثلى.
• تحويلات تساوي الصعوبة (Iso-difficulty Transformations): لاختبار المتانة تجاه خصائص الشبكة العرضية، يطبق المؤلفون تحويلات تحافظ على صعوبة المهمة (حجم الشبكة، كثافة العوائق، طول المسار الأمثل) ولكن تغير التكوين: الانعكاس، الدوران، تبديل البداية/الهدف، والتبديل (transposition).
• هياكل الأهداف المعقدة:
  • الأهداف الأدواتية: مهام تتطلب أهدافاً فرعية وسيطة (مثل جمع مفتاح لفتح باب).
  • الأهداف الضمنية: مهام تحتوي على أشياء تشبه الأهداف لكنها غير ذات صلة وظيفياً (مثل مفتاح لا يوجد له باب).

3. التقييم التمثيلي (الفحص/Probing)

يستخرج المؤلفون تنشيطات المجرى المتبقي (residual-stream) من الطبقات المتوسطة (7، 15، 23) عند نقاط محددة: ما قبل التفكير (قبل أن يولد النموذج رموز التفكير) وما بعد التفكير (بعد التفكير، وقبل اختيار الإجراء).

• الخرائط الإدراكية: تم تدريب مجسات خطية وMLP لفك تشفير أنواع الخلايا (جدار، مساحة مفتوحة، وكيل، هدف) من التنشيطات، مما يعيد بناء "اعتقاد" الوكيل الداخلي بحالة الشبكة.
• فك تشفير المخطط (Plan Decoding): تم تدريب مُفكك شفرة Transformer للتنبؤ بتسلسلات الإجراءات متعددة الخطوات ($T=10$) من مجموعة ثابتة من التنشيطات باستخدام نهج فك التشفير لمرة واحدة (one-shot decoding) لضمان أن هيكل المخطط مشفر في النموذج الأساسي وليس في المجس.
• التدخل: أُجريت تجارب أولية لترقيع التنشيط (activation patching) لاختبار الروابط السببية بين التمثيلات والأفعال.

النتائج الرئيسية

النتائج السلوكية

• الحساسية للصعوبة: تنخفض دقة كل إجراء بشكل رتيب مع زيادة حجم الشبكة وكثافة العوائق، بينما تزداد العشوائية وتباعد جينسن-شانون. الأداء يكون متيناً تجاه المسافة إلى الهدف فقط في الشبكات الأكبر.
• المتانة تجاه التحويلات: لا يظهر أداء الوكيل أي فرق ذي دلالة إحصائية عبر تحويلات تساوي الصعوبة (الانعكاس، الدوران، إلخ)، مما يشير إلى أن السلوك مدفوع بالمعلومات ذات الصلة بالمهمة بدلاً من انحيازات تكوين الشبكة.
• هياكل الأهداف:
  • يتعامل الوكيل بنجاح مع الأهداف الأدواتية (نجاح بنسبة 100% في KeyDoorEnv).
  • الوكيل عرضة للأهداف الضمنية: في بيئة KeyNoDoorEnv (حيث المفتاح عديم الفائدة)، يقوم الوكيل بالتقاط المفتاح في 17% من المسارات، و75% من الإجراءات غير المثلى تتحرك نحو المفتاح. في بيئة 2PathKeyEnv، يميل الوكيل نحو المسار الذي يحتوي على مفتاح متبقٍ، مما يقلل نسب النجاح الإجمالية قليلاً.

النتائج التمثيلية

• الخرائط الإدراكية: يشفر الوكيل خريطة مكانية خشنة بشكل غير خطي. تحقق مجسات MLP دقة تقارب 70% في فك تشفير هويات الخلايا، مع استدعاء عالٍ لمواقع الوكيل والهدف (83-99%) ولكن دقة أقل بسبب "الضبابية" (تعيين تسميات للخلايا المجاورة). معلومات الجدران أقل تفصيلاً.
• إعادة تنظيم التفكير:
  • ما قبل التفكير: تحافظ التنشيطات على إشارات مكانية أوسع وخطط طويلة الأمد.
  • ما بعد التفكير: تتحول التنشيطات نحو التركيز على اختيار الإجراء الفوري. تنخفض دقة الخريطة الإدراكية بشكل كبير (من ~75% إلى ~60%) بعد التفكير، مما يشير إلى إعادة تنظيم التمثيلات بعيداً عن الهيكل المكاني القابل للفك نحو ترميز خاص بالإجراءات.
• فك تشفير المخطط:
  • يكشف فك التشفير لمرة واحدة أن تنشيطات ما قبل التفكير تحتوي على هيكل مسار طويل الأمد يمكن استرداده (الأفضل للبادئات $N \ge 5$).
  • التنشيطات ما بعد التفكير هي الأفضل لاختيار الإجراء الفوري (الأفضل لـ $N=1$).
  • يعمل مُفكك الشفرة ذو الطبقتين بشكل أفضل إجمالاً، مما يشير إلى أن معلومات الإجراء الفوري متاحة للقراءات ذات السعة المنخفضة، بينما يتطلب الهيكل متعدد الخطوات سعة أكبر.
• الاتساق: نسبة كبيرة من الإجراءات غير المثلى بالنسبة للشبكة الحقيقية هي مثلى بالنسبة للخريطة الإدراكية المفككة (معدل الاسترداد: 37.4%–88.4%). هذا يشيد بأن العديد من الإخفاقات تنبع من نماذج العالم الداخلية غير الدقيقة بدلاً من نقص في التوجّه نحو الأهداف.
• حدود التدخل: فشل ترقيع التنشيط أحادي الطبقة في تغيير الإجراءات. فقط الترقيع المتزامن عبر جميع الطبقات نجح في تغيير الإجراء المتوقع للنموذج، مما يشير إلى أن معلومات الحالة ذات الصلة بالمهمة موزعة وليست محلية.

المساهمات

1. إطار العمل: يقترح إطار عمل موحد يجمع بين التقييم السلوكي وفحص التمثيل لتقييم التوجّه نحو الأهداف.
2. التصميم التجريبي: يقدم اضطرابات بيئية محكومة (تحويلات تساوي الصعوبة) وهياكل أهداف متعددة لقياس الانحياز والمتانة.
3. الرؤية في الآليات: يوضح أن الوكلاء اللغوية يشفرون خرائط إدراكية ومخططات متعددة الخطوات، وأن التفكير يعيد تنظيم هذه التمثيلات من الإشارات المكانية/طويلة الأمد إلى اختيار الإجراء الفوري.
4. تحليل التماسك: يظهر أن الانحرافات السلوكية عن المثالية تتماشى غالباً مع معتقدات الوكيل الداخلية (غير الدقيقة)، مما يستلزم فحصاً استبطانياً يتجاوز مقاييس الأداء السطحية.

الأهمية والادعاءات

تجادل الورقة بأن الفحص الاستبطاني مطلوب لما وراء التقييمات السلوكية لتوصيف التوجّه نحو الأهداف بشكل كامل. يدعي المؤلفون أن:

• التوجّه نحو الأهداف هو خاصية غنية تنشأ من التفاعل بين المعتقدات، التخطيط، واختيار الإجراء.
• يمكن أن تُربك المقاييس السلوكية البحتة بسبب قيود القدرة أو الأهداف الداخلية غير المتوافقة التي تنتج سلوكاً متوافقاً بشكل أدواتي.
• "الانحياز" الملحوظ نحو الأشياء التي تشبه الأهداف ولكنها غير ذات صلة (المفاتيح) قد يعكس صراعاً بين مطالبة المهمة الصريحة والارتباطات الدلالية المكتسبة أثناء التدريب المسبق (على سبيل المثال، المفاتيح تعني التقدم)، والتي لا يتم كبحها باستمرار.
• يوفر إطار العمل أساساً لتطوير مناهج صارمة لنسب الأهداف، وهو أمر ضريد لادعاءات السلامة فيما يتعلق بأنظمة الذكاء الاصطناعي المستقلة.

يظل المؤلفون متواضعين، مشيرين إلى أن إعدادهم المحكوم يبسط التعقيد في العالم الحقيقي، وأن إثبات الروابط السببية عبر ترقيع التنشيط لا يزال تحدياً مفتوحاً. هم لا يدعون أنهم حلوا مشكلة المحاذاة، بل قدموا خطوة منهجية نحو فهم الآليات الداخلية للسعي وراء الأهداف في الوكلاء اللغويين.