Unpredictability dissociates from structured control in language agents

ملخص تقني: عدم القدرة على التنبؤ ينفصل عن التحكم الهيكلي في الوكلاء اللغويين

بيان المشكلة
تعالج الورقة البحثية خلطاً جوهرياً في تقييم الوكلاء اللغويين: الافتراض بأن عدم القدرة على التنبؤ بالسلوك (التشتت العشوائي) مرادف للتحكم الهيكلي. فبينما قد يكون النظام صعب التنبؤ به بسبب أخذ العينات الواسع، أو الضجيج، أو مساحة المخرجات الكبيرة، فإن هذا لا يعني بالضرورة أنه يمتلك تمثيلات ذات صلة بالأهداف، أو آليات تثبيط، أو اختياراً للأفعال حساساً للسياق. تتقصى الدراسة ما إذا كان أخذ العينات العشوائي يمكن أن يحل محل الآليات الهيكلية الصريحة — وتحديداً تلك التي تربط الأسباب، والذاكرة، والحالة الذاتية، والتثبيط (الفيتو/المنع) باختيار الفعل — في تنفيذ وكيل لغوي حيث يمكن تعطيل هذه المكونات انتقائياً (عبر عملية "الآفة" أو Lesioning).

المنهجية
تستخدم الأبحاث عائلة من الوكلاء اللغويين القابلين لـ "الآفة" (lesionable) المصممة لعزل مكونات تحكم محددة. تم هيكلة التصميم التجريبي حول ثلاثة محاور استدلالية:

1. التشتت العشوائي (Stochastic Dispersion): قياس ما إذا كان زيادة العشوائية (عبر أخذ عينات بدرجة حرارة عالية وتعطيل وحدات التحكم) يزيد من عدم القدرة على التنبؤ بالفعل.
2. الربط بين الأثر والفعل (Trace–Action Coupling):ai تقييم ما إذا كانت الأسباب المُبلغ عنها، والذاكرة، والحالة الذاتية، ومعلومات المنع (Veto) تظل مرتبطة بالفعل النهائي، متميزة عن مجرد وجودها في تنسيق المخرجات.
3. الاستجابة السلوكية للفعل (Behavioral Action Responsiveness): اختبار ما إذا كانت أكواد الأفعال المحدودة تتغير في الاتجاهات المتوقعة تحت تأثير الاختبارات المضادة للواقع (counterfactual probes) والآفات المستهدفة، بشكل مستقل عن صياغة الأثر الحرة.

الإعداد التجريبي:

• المتغيرات: تقارن الدراسة بين متغير التحكم الهيكلي (A4)، الذي يفعّل التفرع، والحالة الذاتية، والذاكرة، ورسم بياني للأسباب، والمنع، وبين مقارن عالي العشوائية (A5)، الذي يعطل وحدات التحكم ويزيد درجة حرارة أخذ العينات. كما تقوم "الآفات" المستهدفة (A4_no_reason, A4_no_veto) بإزالة مكونات محددة بشكل انتقائي.
• الضوابط: تتضمن الدراسة ضوابط واجهة متطابقة (بأثر رجعي، ومبعثر، وعشوائي، وضوابط الإسهاب) تستخدم نفس مخطط التقارير لاستبعاد كون توفر التنسيق عاملاً مربكاً. كما تختبر بدائل عشوائية قوية (معايرة درجة حرارة أقل، وأخذ عينات متطابقة حوسبياً، والاتساق الذاتي) وتمتد إلى النماذج مفتوحة الأوزان (Qwen2.5 7B/14B/32B, Mistral-7B) وواجهات برمجة التطبيقات الخارجية.
• المقاييس:
  • إنتروبيا الفعل (Action Entropy): إنتروبيا شانون على سلاسل الأفعال النهائية لقياس عدم القدرة على التنبؤ.
  • مؤشر ربط مجال الفعل (AFCI): درجة مركبة تقيس محاذاة السبب، والذاكرة، والمنع، والحالة الذاتية مع الفعل النهائي.
  • اختبار كود الفعل المحدود (Finite-Action-Code Benchmark): اختبار مستقل عن التنسيق حيث يتم رسم الأفعال النهائية على أنطولوجيا مكونة من ستة أكواد (مثل ACTION_A, VETO, DEFER). تقيس درجات (BRSI, BMCI, BVEI, BSCI) الاستجابة للمجسات المحددة مع تجاهل صياغة الأثر الحرة.
• النطاق: تتكون مصفوفة الآفة الأساسية من 74,352 استدعاءً عبر سبعة مجموعات بيانات. تغطي ضوابط الواجهة المتطابقة 26,946 عملية توليد. يتضمن اختبار كود الفعل المحدود 57,816 سجلاً مسجلاً. تغطي عمليات تشغيل النماذج مفتوحة الأوزان 126,000 عملية توليد لكل نموذج عبر 20 عائلة من المهام.

النتائج الرئيسية

1. انفصال عدم القدرة على التنبؤ عن التحكم: في مصفوفة الآفة الأساسية (7/7 مجموعات بيانات)، كان المقارن عالي العشوائية أكثر قدرة على عدم التنبؤ من متغير التحكم الهيكلي. ومع ذلك، فإن هذا التشتت المتزايد لم يعيد إنتاج ملف التحكم الهيكلي. إن إزالة مكونات السبب أو المنع (الآفات) قللت تحديداً من مقاييس التحكم الهري المتوقعة في جميع مجموعات البيانات السبعة، مما يؤكد أن الملف الهيكلي يعتمد على هذه الآليات المحددة.
2. الربط مقابل التنسيق: حافظ الوكيل الهيكلي على مؤشر ربط مجال فعل (AFCI) أعلى بكثير من جميع الضوابط العشوائية، والمبعثرة، وبأثر رجعي، وضوابط الإسهاب عبر جميع مجموعات البيانات. كان الحد الأدنى لثقة بوتستراب بنسبة 95% للفرق في AFCI هو 0.4519، مما يشير إلى أن الربط ليس مجرد نتاج لتنسيق التقارير.
3. الاستجابة السلوكية: في اختبار كود الفعل المحدود، تجاوز متغير التحكم الهيكلي المقارن عالي العشوائية والآفات المستهدفة في 7/7 مجموعات بيانات لجميع المكونات السلوكية المحددة مسبقاً (السبب، الذاكرة، المنع، الاستمرارية الذاتية). كان الحد الأدنى لثقة بوتستراب لمجموعة البيانات هو 0.8557.
4. المتانة والتعميم:
   • الاستبدال العشوائي: فشلت محاولات الاستبدال العشوائي الأقوى (بما في ذلك المحاولات المتطابقة في الإنتروبيا) في استعادة ملف التحكم الهيكلي. لم يحقق أي مرشح للمعايرة معيار القرب في الإنتروبيا ذي المستويات الأربعة المحدد مسبقاً (عتبة 0.15).
   • تعميم النماذج: ظل الانفصال قائماً عبر عائلات Qwen2.5 (7B, 14B, 32B) و Mistral-7B. تجاوزت الدقة الهيكلية الضوابط المتطابقة في التوزيع والمبعثرة في (236/240، 240/240، و 238/240) خلية على التوالي.
   • تدقيق أعمى: أظهر تدقيق أعمى من ثلاثة مدققين على 1,200 عنصر اتفاقاً عالياً (متوسط معامل كوهين كابا الزوجي = 0.961)، مما أثبت صحة تسجيل أبعاد التحكم.
5. القيود: تشير الدراسة صراحة إلى أن المطابقة الصارمة للإنتروبيا والمطابقة الصارمة للرموز/الحوسبة لم تحقق بواباتها المحددة مسبقاً. وبالتالي، فإن الاستنتاج مقيد بالضوابط المختبرة ولا يدعي أن أي مقارن عشوائي تمت معايرته تماماً للإنتروبيا لن ينجح أبداً. وبالمثل، فإن اختبار الإجهاد الخاص بقلب الحالة المضادة للواقع لم يحقق بوابة اتباع القلب بنسبة 90%.

الأهمية والادعاءات
تدعي الورقة توفير انفصال مضبوط بين عدم القدرة على التنبؤ والتحكم الهيكلي ضمن عائلة محددة من الوكلاء اللغويين. وتتمثل مساهمتها الأساسية في إثبات أن عدم القدرة على التنبؤ العشوائي لا يعيد إنتاج التحكم المرتبط بالفعل والهيكلي عندما يتم تعريف الأخير بكونه ربطاً بين الأسباب، والذاكرة، والحالة الذاتية، والمنع باختيار الفعل.

تجادل الدراسة بأن التباين، والنصوص التأملية، والتحكم في الفعل يمكن الخلط بينهم بسهولة في تقييم الوكيل. يمكن للنموذج إنتاج إجابات متنوعة أو مبررات منطقية بأثر رجعي دون أن يقوم فعلياً بربطها باختيار الفعل أو احترام عملية التثبيط. ومن خلال استخدام بنية قابلة للآفة واختبارات سلوكية مستقلة عن التنسيق، تثبت الورقة أن "ملف التحكم الهيكلي" هو خاصية تشغيلية متميزة لا يمكن للاستبدال العشوائي وحده تعويضها.

تظل النتائج مقيدة بتواضع بالعائلة الوكيلة المختبرة، والمطالبات (prompts)، وبروتوكولات تتبع الأثر/الفعل المقاسة. لا يدعي المؤلفون أنهم أثبتوا قانوناً عالمياً للوكالة، بل قاموا تجريبياً بفصل نمطين تشغيليين متميزين في الأنظمة التي تم تقييمها. ويعمل هذا العمل كتحذير ضد المساواة بين العفوية أو الإنتروبيا العالية وبين التحكم الأدواتي أو الوكالة الموجهة نحو الهدف في الوكلاء اللغويين.