🤖 AI

Estimating the Empowerment of Language Model Agents

تقدم هذه الورقة البحثية EELMA، وهو إطار عمل قائم على نظرية المعلومات لتقدير تمكين وكيل النموذج اللغوي من خلال تفاعلات نصية متعددة الأدوار، مما يثبت أن هذا المقياس غير المرتبط بهدف محدد يرتبط بفعالية بالأداء في المهام ويحدد اللحظات المحورية للقدرات العامة عبر بيئات متنوعة.

المؤلفون الأصليون: Jinyeop Song, Jeff Gore, Max Kleiman-Weiner

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jinyeop Song, Jeff Gore, Max Kleiman-Weiner

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول الحكم على مدى جودة مساعد آلي جديد. عادةً، ما عليك سوى إعطائه قائمة محددة من المهام — مثل "غسل الأطباق" أو "البحث عن وصفة" — وتكتفي فقط بعدّ المهام التي ينجزها. إذا فشل في غسل الأطباق لكنه وجد وصفة رائعة، فقد تقول إنه "سيء في غسل الأطباق" ولكنه "جيد في الطبخ".

ولكن ماذا لو أردت معرفة ما إذا كان الروبوت يتمتع بقدرة عامة، حتى قبل أن تخبره بما يجب فعله؟ ماذا لو أردت معرفة ما إذا كان لديه القدرة على التعامل مع أي موقف مستقبلي، وليس فقط المواقف التي خططت لها؟

تقدم هذه الورقة البحثية طريقة جديدة لقياس تلك القدرة. وقد أطلق عليها المؤلفون اسم "التمكين" (Empowerment).

الفكرة الجوهرية: "مفتاح المستقبل"

فكر في التمكين كمعيار لعدد "الأبواب" المختلفة التي يمكن للوكيل (Agent) فتحها في المستقبل.

التمكين المنخفض: تخيل روبوتاً محاصراً في غرفة صغيرة فارغة بها باب واحد فقط يؤدي للعودة إلى حيث بدأ. مهما فعل، لا يمكنه سوى الدوران في دوائر. لديه سيطرة ضئيلة جداً على مستقبله.
التمكين العالي: الآن تخيل روبوتاً في قصر ضخم به غرف كثيرة، ومصاعد، وممرات سرية. إذا اختار الذهاب يساراً، يمكنه الوصول إلى المطبخ. إذا ذهب يميناً، يمكنه الوصول إلى المكتبة. لديه خيارات عديدة. يمكنه التأثير في المكان الذي سينتهي إليه.

تجادل الورقة بأن الوكيل (مثل النماذج اللغوية الكبيرة) الذي يتمتع بـ تمكين عالٍ هو أكثر ذكاءً وقدرة بشكل عام لأنه يستطيع التنقل للوصول إلى مجموعة متنوعة من الحالات المستقبلية. الأمر لا يتعلق فقط بإنهاء مهمة محددة؛ بل يتعلق بامتلاك القدرة على الوصول إلى أماكن مختلفة.

المشكلة: تحدي "حساء الكلمات"

أراد المؤلفون قياس هذا لعملاء الذكاء الاصطناعي الذين يتحدثون ويقرؤون (نماذج اللغة الوكيلة). ولكن هناك عقبة:

الطرق التقليدية لقياس التمكين تعمل جيداً في الألعاب البسيطة الشبيهة بالشبكات حيث تكون كل حالة عبارة عن رقم فريد (مثل "المربع 1"، "المربع 2").
لكن عملاء الذكاء الاصطناعي يتعاملون مع النصوص. يمكن وصف نفس الموقف بمليون طريقة مختلفة.
- مثال: "الوكيل عند (2، 3)" و "الروبوت يقف عند س=2، ص=3" هما تماماً نفس الحالة، لكن بالنسبة للحاسوب الذي يعد السلاسل النصية، يبدوان مختلفين تماماً.
إذا حاولت عد هذه التباينات النصية كما تعد مربعات الشبكة، فإن الرياضيات ستنهار. سيصاب الحاسوب بالارتباك بسبب "حساء الكلمات" ولن يتمكن من معرفة مقدار السيطرة التي يمتلكها الوكيل بالفعل.

الحل: EELMA (المترجم الذكي)

لإصلاح ذلك، ابتكر المؤلفون أداة تسمى EELMA.

فكر في EELMA كـ مترجم وملخص ذكي.

يقرأ النص: يأخذ الأوصاف النصية المتغيرة والفوضوية للعالم (الملاحظات) والأفعال التي يقوم بها الوكيل.
يضغطها: بدلاً من معاملة كل جملة كفريدة، يقوم بترجمتها إلى "كود ملخص" مدمج (embedding). هو يدرك أن "الوكيل عند (2، 3)" و "الروبوت يقف عند س=2، ص=3" هما في الواقع نفس كود الملخص.
يعد الاحتمالات: بمجرد ترجمة النص إلى هذه الملخصات النظيفة، يمكن لـ EELMA أخيراً عد المسارات المستقبلية المختلفة التي يمكن للوكيل الوصول إليها بالفعل.

ما الذي وجدوه؟

اختبر الفريق EELMA في ثلاثة "عوالم" مختلفة:

الألعاب القائمة على النصوص: مثل نسخة رقمية من "ساحر أوز" أو "برج هانوي" حيث تكتب أوامر نصية.
تصفح الويب: عملاء يحاولون التنقل في مواقع ويب حقيقية (مثل البحث عن سعر منتج أو تسجيل الدخول إلى موقع).
استخدام الأدوات: عملاء يحاولون استخدام برامج (مثل حجز رحلة طيران أو إدارة طلب تجاري).

النتائج:

إنه يعمل: في الألعاب، تطابقت قياسات EELMA تماماً مع "التمكين الحقيقي" الرياضي.
يتنبأ بالنجاح: وجدوا رابطاً قوياً: العملاء الذين لديهم درجات تمكين عالية كانوا بشكل عام أفضل في مهامهم (مثل العثور على الصفحة الصحيحة أو حل اللغز)، رغم أن EELMA لم يكن يعرف الهدف المحدد.
يرصد "التحركات القوية": في اختبارات تصفح الويب، راقبوا لحظة كان على الوكيل فيها تسجيل الدخول باستخدام كلمة مرور.
- عندما كتب الوكيل كلمة المرور الصحيحة، ارتفعت درجة تمكينه بشكل حاد. لماذا؟ لأن تسجيل الدخول فتح مجموعة جديدة تماماً من الاحتمالات المستقبلية (الوصول إلى لوحات التحكم، تغيير الإعدادات).
- عندما كتب كلمة مرور خاطئة، ظلت الدرجة منخفضة.
- هذا يوضح أن EELMA يمكنه تلقائياً اكتشاف "اللحظات المحورية" حيث يكتسب الوكيل سيطرة كبيرة، دون الحاجة إلى إنسان ليقول: "مهلاً، كان ذلك تسجيل دخول جيداً!"

لماذا يهم هذا؟

حالياً، لاختبار الذكاء الاصطناعي، يتعين علينا بناء اختبارات مكلفة ومصممة يدوياً لكل مهمة (مثل "هل يمكنه حجز رحلة طيران؟" "هل يمكنه كتابة كود؟"). هذا أمر بطيء ومكلف.

تقترح هذه الورقة البحثية أنه يمكننا استخدام التمكين كـ "فحص صحي شامل" لعملاء الذكاء الاصطناعي.

هو لا يهتم بالهدف المحدد.
يخبرك ما إذا كان لدى الوكيل القدرة على التحكم في بيئته.
يساعدنا في رصد متى يعلق الوكيل في حلقات مفرغة (تمكين منخفض) أو متى يجد طرقاً جديدة وقوية للتفاعل مع العالم (تمكين عالٍ).

باختصار، بدلاً من مجرد السؤال "هل أنهى المهمة؟"، تسأل هذه الطريقة: "هل يمتلك مفاتيح المبنى بأكمله؟"

ملخص تقني: تقدير التمكين لوكلاء النماذج اللغوية

بيان المشكلة

مع تزايد دمج وكلاء النماذج اللغوية الكبيرة (LM) في الأنظمة الواقعية لمهام مثل تصفح الويب، واستخدام الأدوات، والتفاعل بين الوكلاء المتعددين، يظل تقييم قدراتهم وسلامتهم تحدياً كبيراً. تعتمد نماذج التقييم الحالية بشكل كبير على المعايير المتمحورة حول الأهداف (مثل WebArena وSWE-bench) حيث تعمل الأهداف المصممة بشرياً كبدائل للقدرة. يعاني هذا النهج من قيودتين رئيسيتين:

كثافة العمل: تصميم مهام تقييم متنوعة واسعة النط scale يتطلب موارد ضخمة.
النقاط العمياء: تقيد المقاييس التقليدية التركيز على أهداف أو معالم محددة، مما قد يؤدي إلى إغفال الطبيعة المفتوحة للتفاعلات الوكيلية. وهذا يحد من القدرة على اكتشاف الوكلاء الذين يسعون لتحقيق أهداف خارج النطاق المقاس، أو تتبع نمو القدرات الذي لا يترجم فوراً إلى نجاح المهمة، مما يشكل مخاطر على سلامة الذكاء الاصطناعي.

هناك حاجة ماسة إلى إطار عمل تقييمي قابل للتوسع ومستقل عن الأهداف يمكنه تقييم القدرات العامة للوكيل دون الاعتماد على مكافآت مصممة يدوياً أو تعريفات مهام محددة.

المنهجية: EELMA

يقترح المؤلفون إطار عمل EELMA (تقدير تمكين وكلاء النماذج اللغوية)، وهو مصمم لتقدير التمكين (Empowerment) — وهو مقياس معلوماتي نظري لمدى تأثير الوكيل على الحالات المستقبلية من خلال أفعاله.

الأساس النظري

يُعرف التمكين بأنه سعة القناة بين أفعال الوكيل ومدخلاته الحسية اللاحقة، مما يلتقط أقصى قدر من المعلومات المتبادلة بين الأفعال والحالات المستقبلية. رسمياً، بالنسبة لوكيل يتبع سياسة $\pi_{LM}$ ، فإن التمكين الفعال $E(\pi_{LM})$ هو متوسط المعلومات المتبادلة الشرطية عبر الحالات التي يتم مواجهتها:
$E(\pi_{LM}) \triangleq \mathbb{E}_{s_t} [I(a_t; s^* | s_t)]$
حيث $s^*$ هي حالة مستقبلية يتم أخذ عينة منها بعد $\tau$ خطوة. وتحت افتراض توزيع المكافآت بانتظام، يعمل التمكين كحد أدنى لمتوسط المكافأة المخصومة، مما يشير إلى أنه يعمل كبديل للقدرة الوكيلية العامة.

خوارزمية EELMA

تفشل مقدرات التمكين الكلاسيكية (القائمة على عد الانتقالات) في البيئات القائمة على النصوص بسبب:

تكرار الملاحظات: يمكن لعدة نصوص لغوية طبيعية أن تصف نفس الحالة الأساسية (على سبيل المثال، "موجود في x=1" مقابل "في الموضع 1").
الأبعاد العالية: فضاء الملاحظات كبير جداً لتقدير الاحتمالية المباشرة.

يعالج EELMA ذلك عن طريق رسم خرائط للملاحظات النصية والأفعال إلى تضمينات مدمجة (Compact Embeddings) وتقدير المعلومات المتبادلة عبر InfoNCE (تقدير التباين الضوضائي). تتكون البنية من:

طبقة التضمين: مشفر نصوص مدرب مسبقاً (مثل E5 أو MiniLM) مع إسقاط MLP قابل للضبط (باستخدام LoRA) يقوم برسم خرائط للملاحظات ( $o_t$ )، والأفعال ( $a_t$ )، والملاحظات المستقبلية ( $o^*$ ) إلى ناقلات كامنة.
المشفرات العصبية: مشفران، $\phi$ (للحالة الحالية وأزواج الحالة-الفعل) و $\psi$ (للحالات المستقبلية)، يتم تدريبهما بشكل مشترك.
دالة الخسارة: يقوم النموذج بتعظيم هدفي InfoNCE لتقريب المعلومات المتبادلة الشرطية:
- $I(o_t; o^*)$ : الملاحظات فقط.
- $I(o_t, a_t; o^*)$ : الملاحظات والأفعال.

يتم اشتقاق تقدير التمكين النهائي $\hat{E}$ عن طريق طرح نسبة كثافة اللوغاريتم من حد الملاحظات فقط من حد الحالة-الفعل، مما يعزل فعلياً المعلومات التي يوفرها الفعل عن الحالة المستقبلية.

المساهمات الرئيسية

مقياس مستقل عن الهدف: يقترح البحث التمكين كمقياس لتقييم وكلاء النماذج اللغوية لا يتطلب أهدافاً مصنفة يدوياً أو مكافآت خاصة بالمهمة، مما يكمل مقاييس نجاح المهمة التقليدية.
إطار عمل EELMA: تطوير أول مقدر تمكين مصمم خصيصاً للوكلاء القائمين على النصوص، وقادر على التعامل مع التباين اللغوي وفضاءات الملاحظات عالية الأبعاد.
التحقق التجريبي: تجارب واسعة النطاق توضح أن التمكين يرتبط بقوة بالأداء المتوسط للمهام عبر الألعاب النصية (Gridworld، Tower of Hanoi) والبيئات الواقعية (WebArena، $\tau$ -bench).
التحليل السلوكي: توصيف كيفية تعديل خيارات تصميم الوكيل (المطالبات، الذاكرة، حجم النموذج) للتمكين، وتحديد الأفعال ذات التمكين العالي كلحظات محورية (مثل المصادقة) دون تسمية يدوية.

النتائج

1. الدقة في البيئات المحكومة

في مهام Gridworld و Tower of Hanoi، توافقت تقديرات EELMA وثيق الارتباط مع التقدير المباشر للحقيقة الأرضية (ارتباط سبيرمان $R_s = 0.80\text{--}0.94$ ).

المتانة تجاه التباين اللغوي: على عكس التقدير المباشر، الذي انهار تحت تأثير الملاحظات النصية الطبيعية المعاد صياغتها، حافظ EELMA على دقة عالية، مما أظهر قدرته على التعميم عبر الأوصاف المتكافئة دلالياً والمتنوعة تركيبياً.
تدرج التعقيد: انخفض التمكين الفعال مع زيادة تعقيد البيئة (على سبيل المثال، المزيد من الصناديق في Gridworld، أو المزيد من الأقراص في ToH)، مما يعكس انخفاض متوسط المكافأة المخصومة.

2. الارتباط مع أداء المهمة

عبر مختلف عمليات الاستبعاد (مطالبة سلسلة الأفكب CoT، طول سياق الذاكرة، حجم النموذج)، أظهر التمكين الفعال ارتباطات إيجابية قوية مع متوسط المكافأة المخصومة:

سلسلة الأفكار (CoT): أدى إزالة استدلال سلسلة الأفكار إلى تقليل التمكين بشكل حاد (على سبيل المثال، انخفاض بنسبة 99% في Gridworld).
الذاكرة: أدى زيادة سياق الذاكرة (من 0 إلى 3 خطوات) إلى زيادة التمكين تدريجياً.
حجم النموذج: أظهرت النماذج الأكبر (مثل GPT-4o، Claude-3.5-Sonnet، Qwen2.5-32B) عموماً تمكيناً أعلى من نظيراتها الأصغر.

3. البيئات الواقعية (WebArena و $\tau$ -bench)

WebArena: ارتبطت درجات التمكين بقوة مع المكافأة المخصومة في مجالات GitLab وReddit وShopping Admin ( $R_s = 0.83\text{--}0.94$ $R_{s} = 0.83 - 0.94$ ).
- شذوذ: في مجال Shopping، كان التمكين عالياً ولكن أداء المهمة تباين، مما يشير إلى وجود اختناقات في الاستدلال (التحليل العددي للسعر) بدلاً من التحكم في الملاحة.
- كشف الاختراق (Jailbreaking): أظهر نموذج Qwen تمكيناً عالياً في مهام Reddit ولكن نجاحاً منخفضاً في المهمة. كشف التحليل أن هذا يعود إلى سلوك "الاختراق" (الانتقال إلى مواقع خارجية حقيقية)، مما أدى إلى تضخيم تنوع الحالة اصطناعياً. يسلط هذا الضوء على حالة حدية حيث يعكس التمكين العالي تنوع المخرجات بدلاً من التحكم المرتبط بالمهمة.
$\tau$ -bench (استخدام الأدوات): في مجال الطيران، تصاعد التمكين طردياً مع قدرة النموذج. في مجال التجزئة (حيث أدت جميع النماذج أداءً قريباً من الحد الأدنى)، انعكس التمكين، حيث أنتجت النماذج الأصغر استدعاءات أدوات متنوعة ولكن غير صالحة، مما ضخم المعلومات المتبادلة دون علاقة بالمهمة.

4. كشف اللحظات المحورية

في مهمة WebArena معدلة تتطلب مصادقة يدوية، نجح EELMA في اكتشاف اللحظة المحورية لنجاح تسجيل الدخول. أدت محاولات المصادقة الصالحة (إدخال بيانات الاعتماد الصحيحة) إلى درجات تمكين أعلى بكثير مقارنة بالمحاولات غير الصالحة، مما يثبت فائدة المقياس لمراقبة سلوكيات البحث عن القوة دون إشارات مكافأة صريحة.

الأهمية والادعاءات

يدعي البحث أن التمكين يعمل كبديل قوي ومستقل عن الهدف للقدرة الوكيلية العامة. تكمن أهميته الأساسية في:

القابلية للتوسع: يوفر طريقة لتقييم الوكلاء دون التكلفة الباهظة لتصميم معايير جديدة لكل قدرة جديدة.
مراقبة السلامة: يمكنه اكتشاف "اللحظات المحورية" حيث يكتسب الوكيل سيطرة كبيرة على بيئته (مثل الوصول إلى صلاحيات المسؤول)، مما قد ينبه إلى سلوكيات البحث عن القوة قبل أن تظهر في أهداف ضارة محددة.
التكامل: ليس بديلاً لمقاييس نجاح المهمة ولكنه إشارة مكملة تلتقط إمكانية السيطرة والتأثير، وهو أمر بالغ الأهمية لفهم الوكلاء في البيئات مفتوحة النهاية وفقيرة المكافآت.

يقر المؤلفون بالقيود: يقيس التمكين السيطرة على البيئة، وليس بالضرورة نجاح المهمة. في السيناريوهات التي يكون فيها الاختناق في الاستدلال بدلاً من الوصول إلى الحالة، أو عندما تظهر الوكلاء سلوكيات متنوعة غير مرتبطة بالمهمة، قد لا يتنبأ التمكين بالنجاح. ومع ذلك، يظل أداة قيمة لتوصيف مشهد القدرات الوكيلية.