💬 NLP

Calibrate-Then-Act: Cost-Aware Exploration in LLM Agents

تقدم هذه الورقة إطار عمل "المعايرة ثم التنفيذ" (CTA)، الذي يزود وكلاء النماذج اللغوية الكبيرة (LLMs) بمتطلبات سابقة مستنتجة حول حالات البيئة الكامنة للتفكير صراحةً في مقايضات التكلفة وعدم اليقين، مما يمكنهم من اكتشاف استراتيجيات اتخاذ قرار متسلسلة أكثر مثالية في مهام مثل الإجابة على الأسئلة المدعومة بالاسترجاع والبرمجة دون الاعتماد على التعلم المعزز القياسي.

المؤلفون الأصليون: Wenxuan Ding, Nicholas Tomlin, Greg Durrett

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenxuan Ding, Nicholas Tomlin, Greg Durrett

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز، ولكن في كل مرة تطرح فيها سؤالاً أو تفحص دليلاً، فإن ذلك يكلفك جزءاً من ميزانيتك. كما أنك لا تعرف يقيناً ما إذا كانت حدسك صحيحاً أم لا. هذه هي الحياة اليومية لـ وكيل LLM (برنامج كمبيوتر ذكي) يحاول حل المشكلات في العالم الحقيقي.

تعالج ورقة بحثية بعنوان "Calibrate-Then-Act" (المعايرة ثم التنفيذ) مشكلة محددة: كيف نعلم وكلاء الذكاء الاصطناعي هؤلاء متى يتوقفون عن التخمين ويبدأون في اتخاذ الإجراءات، دون إضاعة المال أو الوقت؟

إليك تفصيل الموضوع باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "خمن وانطلق" مقابل "الإفراط في التفكير"

تخيل أنك تحاول فتح صندوق مغلق.

الخيار (أ) (خمن وانطلق): أنت تخمن الرقم السري فقط. إذا كنت محقاً، فستفوز فوراً. إذا كنت مخطئاً، ستخسر دوراً وعليك المحاولة مرة أخرى.
الخيار (ب) (الإفراط في التفكير): تقوم باستئجار خبير أقفال لفحص كل آلية قفل قبل أن تلمس الصندوق حتى. هذا الخيار آمن، لكنه يكلف ثروة ويستغرق وقتاً طويلاً جداً.

وكلاء الذكاء الاصطناعي الحاليون سيئون في الموازنة بين هذين الخيارين.

بعضهم متهور للغاية: يخمنون فوراً، حتى عندما يكونون متأكدين بنسبة 50% أنهم مخطئون، مما يهدر الوقت في إصلاح الأخطاء لاحقاً.
وبعضهم حذر للغاية: يفحصون كل تفصيل (مثل إجراء اختبار على كل سطر من التعليمات البرمجية) حتى عندما يكونون متأكدين بنسبة 99% من صحة الإجابة، مما يهدر المال في فحوصات غير ضرورية.

تسأل الورقة البحثية: هل يمكننا تعليم الذكاء الاصطناعي حساب الاحتمالات والتكلفة، ثم اختيار الحل الوسط المثالي؟

2. الحل: "المعايرة ثم التنفيذ" (CTA)

يقترح المؤلفون طريقة جديدة تسمى "Calibrate-Then-Act". فكر في الأمر كأنك تعطي للمحقق إيجازاً قبل المباراة قبل أن يدخل مسرح الجريمة.

الطريقة القديمة (الذكاء الاصطناعي القياسي): يدخل المحقق وهو يعمل بشكل أعمى. يتعين عليه اكتشاف مستوى ثقته بنفسه بينما ينفق المال بالفعل. وغالباً ما يخطئ في ذلك.
الطريقة الجديدة (CTA): قبل أن يبدأ المحقق، يهمس له مساعد ذكي: "مهلاً، بناءً على اسم الملف، هناك احتمال 67% أن القفل هو مفتاح قياسي و33% احتمال أن يكون رمزاً رقمياً. أيضاً، استدعاء خبير الأقفال يكلف 10 دولارات، بينما التخمين يكلف دولاراً واحداً."

من خلال إعطاء الذكاء الاصطناعي هذا "التقدير المسبق" (Prior) (تقدير محسوب مسبقاً للاحتمالات)، يمكن للذكاء الاصطناعي التوقف عن التخمين الأعمى. يمكنه الآن إجراء الحسابات: "هل يستحق الأمر إنفاق 10 دولارات لفحص القفل، أم يجب أن أجرب المفتاح بما أنني متأكد بنسبة 67%؟"

3. كيف اختبروا ذلك؟

اختبر الباحثون هذه الفكرة في ثلاث "ألعاب" مختلفة:

لعبة "صندوق باندورا": لغز رياضي بسيط حيث يتعين عليك العثور على جائزة في أحد ثلاثة صناديق. يمكنك إما تخمين صندوق أو الدفع للنظر بداخله.
- النتيجة: عندما تم إعطاء الذكقة الاصطناعي الاحتمالات (التقديرات المسبقة)، حل اللغز بشكل مثالي تقرياً. وبدون تلك الاحتمالات، استمر في التلصص غير الضروري.
لعبة "الإجابة على الأسئلة": يتعين على الذكاء الاصطناعي الإجابة على سؤال معلومات عامة. يمكنه الإجابة من ذاكرته (مجاناً) أو البحث في الإنترنت (يكلف وقتاً/مالاً).
- النتيجة: تعلم الذكاء الاصطناعي البحث فقط عندما كان غير متأكد. إذا كان واثقاً، فإنه يجيب مباشرة. هذا وفر المال مع الحفاظ على دقة عالية.
لعبة "قراءة الملف": يتعين على الذكاء الاصطناعي كتابة كود لقراءة ملف بيانات فوضوي. هو لا يعرف ما إذا كان الملف يستخدم الفواصل أو علامات التبويب للفصل بين البيانات. يمكنه كتابة "اختبار" للتحقق (مكلف) أو مجرد كتابة الكود والأمل في النجاح (مخاطرة).
- النتيجة: تعلم الذكاء الاصطناعي إجراء الاختبارات فقط عندما يعطيه اسم الملف تلميحاً ضعيفاً. إذا كان اسم الملف يعطي تلميحاً قوياً، فإنه يتخطى الاختبار ويكتب الكود فوراً.

4. الخلاصة الكبرى

تظهر الورقة البحثية أن وكلاء الذكاء الاصطناعي ليسوا بالضرورة "أغبياء"؛ هم فقط يفتقرون إلى السياق الصحيح.

عندما تجبر الذكاء الاصطناعي على تعلم كل شيء من الصفر (مثل تدريب كلب على الجلوس بضربه بعصا)، فإنه غالباً ما يتعلم عادة جامدة: "افحص دائماً أولاً" أو "لا تفحص أبداً".

ولكن عندما تعطي الذكاء الاصطناعي "الاحتمالات" مسبقاً (خطوة المعايرة)، فإنه يصبح فوراً استراتيجياً بارعاً. يمكنه موازنة تكلفة الفحص مقابل خطر الخطأ واتخاذ القرار الأمثل في كل مرة.

باختصار: الورقة البحثية لا تخترع عقلاً أذكى؛ بل تعطي العقل خريطة أفضل ورؤية أوضح للتضاريس قبل أن يبدأ في المشي. وهذا يسمح للذكاء الاصطناعي بالتصرف بكفاءة أكبر، مما يوفر المال والوقت مع إنجاز المهمة بشكل صحيح.

ملخص تقني: المعايرة ثم التنفيذ: الاستكشاف الواعي بالتكلفة في وكلاء النماذج اللغوية الكبيرة (LLM Agents)

بيان المشكلة

تُنشَر وكلاء النماذج اللغوية الكبيرة (LLM agents) بشكل متزايد في بيئات تتطلب التفاعل لاكتساب المعلومات، مثل تصحيح أخطاء البرمجيات، والاكتشاف العلمي، والإجابة على الأسئلة المدعومة بالاسترجاع (RAG). في هذه الإعدادات، يواجه الوكلاء مقايضة جوهرية: الاستكشاف (جمع المزيد من المعلومات عبر الأدوات أو الاختبارات أو الاسترجاع) يقلل من حالة عدم اليقين ولكنه يتكبد تكالماً (تأخير في واجهة برمجة التطبيقات، تكلفة مالية، وقت)، بينما الالتزام (العمل بناءً على معلومات جزئية) يوفر التكاليف ولكنه ينطوي على مخاطر حدوث أخطاء.

غالباً ما تكون سياسات الوكيل الحالية ثابتة؛ فعلى سبيل المثال، قد يقوم وكيل برمجي دائماً بتشغيل اختبارات الوحدة قبل تنفيذ الكود، أو قد يقوم وكيل الأسئلة والأجوبة دائماً باسترجاع السياق بغض النظر عن درجة ثقته. تجادل الورقة بأن السلوك الأمثل هو دالة لاحتمالية نجاح الوكيل وتكاليف البيئة المحددة. ومع ذلك، تفشل النماذج اللغوية الكبيرة القياسية، حتى عند توجيهها (Prompting) أو تدريبها باستخدام التعلم التعزيزي (RL)، في تعلم قواعد اتخاذ القرار الديناميكية والحساسة للتكلفة بفعالية؛ حيث تواجه صعوبة في معايرة عدم اليقين ضمنياً مقابل تكالونات الفعل لاكتشاف استراتيجيات مثالية (Pareto-optimal).

المنهجية: المعايرة ثم التنفيذ (Calibrate-Then-Act: CTA)

يقترح المؤلفون إطار عمل "المعايرة ثم التنفيذ" (CTA)، الذي يفصل بين تقدير عدم اليقين البيئي (المعايرة) وعملية الاستنتاج لاختيار الإجراء. الجوهر يكمن في أنه من خلال تزويد الوكيل صراحة بـ توزيع قبلي (Prior) مُقدّر للحالة الكامنة للبيئة، يمكن دفع النموذج اللغوي الكبير للاستنتاج حول مشكلة اتخاذ القرار المتسلسل الأمثل بشكل تجريدي.

الصياغة الرياضية

تمت صياغة المشكلة كمسألة اتخاذ قرار متسلسل تحت عدم اليقين، مُنمذجة كعملية ماركوف لاتخاذ القرار القابلة للملاحظة جزئياً (POMDP).

الحالة الكامنة ( $Z$ ): سمات غير ملاحظة للبيئة (مثل محارف الفصل في الملفات، أو موقع "الجائزة" في صندوق، أو صحة إجابة معلمية).
الأفعال (Actions): مجموعة من أفعال الاستكشاف (مثل VERIFY أو RETRIEVE أو UNIT_TEST) وفعل الالتزام (GUESS أو ANSWER).
التكاليف: تتضمن أفعال الاستكشاف عوامل خصم ضربية ( $\gamma$ أو $d$ ) تقلل من المكافأة النهائية بناءً على عدد الخطوات المتخذة.
الهدف: تعظيم المكافأة المخصومة المتوقعة $R = I[\text{task completed}] \cdot D_\theta(\text{actions})$ .

إطار عمل CTA

يقدم CTA توزيعاً قبلياً مُقدراً $\hat{p}(Z|x)$ في حلقة اتخاذ القرار للوكيل. هذا التوزيع القبلي مستمد من مصادر خارجية لعملية الاستنتاج المباشرة للوكيل (مثل ثقة النموذج أو مُتنبئ مُدرب) ويتم تمريره كجزء من التوجيه (Prompt).

الوكيل الموجه بـ CTA (CTA-Prompted): يتم توجيه النموذج اللغوي الأساسي بوصف المهمة، والملاحظة الحالية، والتوزيع القبلي الصريح $\hat{p}(Z|x)$ . يُتوقع من النموذج الاستنتاج حول المقايضة بين قيمة المعلومات وتكلفة الاستكشاف.
الوكيل المدرب بـ CTA (CTA-RL): يتم ضبط النموذج (Fine-tuning) باستخدام تحسين السياسة النسبي للمجموعات (GRPO) مع نفس التوجيهات المعززة بالتوزيع القبلي. تتضمن دالة المكافأة نجاح المهمة وخصومات التكلفة.

استراتيجيات تقدير التوزيع القبلي

تستعرض الورقة طريقتين لتوليد هذه التوزيعات القبلية:

من ثقة النموذج (الأسئلة والأجوبة): بالنسبة للأسئلة والأجوبة القائمة على المعرفة، فإن التوزيع القبلي هو احتمال الإجابة بشكل صحيح دون استرجاع ( $p_{da}$ ). يتم تقدير ذلك باستخدام الثقة اللفظية من النموذج، والتي تمت معايرتها عبر "الانحدار الأيزوتوني" (Isotonic Regression) على مجموعة بيانات تحقق.
من بيانات التدريب (البرمجة): بالنسبة لمهام قراءة الملفات في البرمجة، فإن التوزيع القبلي هو توزيع الاحتمالات لسمات تنسيق الملف (محرف الفصل، محرف الاقتباس، تخطي الصفوف) بناءً على اسم الملف. تم تدريب مُتنبئ خفيف الوزن يعتمد على نموذج BERT (MBERT) لربط أسماء الملفات بتوزيعات التنسيق هذه.

المساهمات الرئيسية

صياغة موحدة: صاغ المؤلفون مهام استكشاف متنوعة واعية بالتكلفة (صندوق باندورا، الأسئلة والأجوبة مع الاسترجاع، والاختبار الانتقائي للأكواد) كمسألة موحدة لاتخاذ القرار المتسلسل تحت عدم اليقين.
منهجية CTA: قدموا طريقة تُشترط فيها الوكلاء صراحةً بتوزيعات قبلية مُقدرة. هذا يُمكّن الوكلاء من الاستنتاج حول المثالية بطريقة تفشل فيها عمليات التوجيه القياسية أو تدريب التعلم التعزيزي (RL) من الطرف إلى الطرف.
التحقق التجريبي: تُظهر الورقة أن حتى نماذج "التفكير" الصغيرة (Qwen3-8B) يمكنها حل السياسات المثلى في هذه الإعدادات إذا تم تزويدها بالتوزيعات القبلية الصحيحة، بينما تفشل في تعلم هذه السياسات ضمناً من خلال التعلم التعزيزي وحده.

النتائج التجريبية

قيم المؤلفون منهجية CTA في ثلاثة إعدادات:

صندوق باندورا (إثبات المفهوم): مهمة اصطناعية حيث يجب على الوكيل الاختيار بين التحقق من صندوق أو التخمين.
- النتيجة: بدون التوزيعات القبلية، تحقق عمليات التوجيه والتعلم التعزيزي القياسية معدلات مطابقة مثلى منخفضة (~11-23%). حقق CTA-Prompted معدل مطابقة مثلى بنسبة 94.0%، مما يثبت قدرة النموذج على الاستنتاج حول المقايضة بين التكلفة وعدم اليقين عندما يكون التوزيع القبلي صريحاً.
الأسئلة والأجوبة المعرفية (PopQA): يقرر الوكلاء ما إذا كان سيتم استرجاع السياق أو الإجابة مباشرة.
- النتيجة: تميل النماذج المرجعية (Baselines) إما إلى الاسترجاع المفرط (تجاهل التكلفة) أو الاسترجاع النادر جداً. حقق CTA-Prompted أعلى مكافأة وأفضل توافق مع السياسة المثالية (Oracle Policy) عبر تكاليف استرجاع متفاوتة، حيث يتكيف معدل الاسترجاع ديناميكياً بناءً على توزيع الثقة القبلي المقدم.
قراءة الملفات (البرمجة): يجب على الوكلاء تحليل ملفات CSV ذات تنسيقات غير معروفة، والاختيار بين تشغيل اختبارات الوحدة (رخيصة لكنها غنية بالمعلومات) أو كتابة الكود (مكلفة ولكنها مباشرة محتملاً).
- النتيجة: تنهار وكلاء التعلم التعزيزي القيسيين في سياسة ثابتة "الاختبار أولاً" بغض النظر عن نسب التكلفة. حقق CTA-RL (المدرب بتوزيعات قبلية صريحة) مكافأة أعلى بنسبة 3.5% من التعلم التعزيزي القياسي، وأظهر سلوكاً تكيفياً، حيث يقوم بإجراء اختبارات أقل عندما يكون تنفيذ الكود رخيصاً، واختبارات أكثر عندما يكون مكلفاً. وهو يعمل باستمرار على جبهة باريتو (Pareto frontier) عبر مختلف أنظمة التكلفة.

الأهمية والادعاءات

تدعي الورقة أن العقبة الرئيسية أمام السلوك الأمثل للوكلاء في البيئات المقيدة بالتكلفة ليست نقصاً في قدرة الاستنتاج لدى النموذج اللغوي الكبير، بل هي صعوبة معايرة عدم اليقين والتكاليف بشكل ضمني. ومن خلال إخراج عملية المعايرة (تقدير التوزيع القبلي) وتغذيتها مرة أخرى للوكيل، يسمح CTA للنموذج بالتركيز على منطق القرار نفسه.

يؤكد المؤلفون أن هذا النهج يدفع الوكلاء لاكتشاف استراتيجيات اتخاذ قرار أكثر مثالية من النماذج المرجعية القياسية. كما يشددون على أن هذه الطريقة تعمل حتى مع وجود تقديرات غير مثالية للتوزيع القبلي (على سبيل المثال، مُتنبئ بدقة 67%)، حيث تظهر تدهوراً تدريجياً وسلساً بدلاً من الفشل الكارثي. يشير هذا العمل إلى أن المعلومات على المستوى الأعلى (المعلومات القبلية حول القدرات أو هيكل البيئة) تلعب دوراً حاسماً في تشكيل سياسات الوكلاء، مما يفتح مساراً جديداً لتحسين كفاءة التكلفة لوكلاء النماذج اللغوية الكبيرة دون الحاجة إلى تدريب واسع النطاق للتعلم التعزيزي من الصفر.

المحددات: يقر المؤلفون بأن تجاربهم أُجريت على مجموعات بيانات محكومة أو اصطناعية (PopQA, FILEREADING) وهي أبسط من عمليات النشر الواقعية مفتوحة النهاية. كما يشيرون إلى أن CTA يعتمد على توافر تقديرات مفيدة للتوزيعات القبلية، وفي البيئات الأكثر تعقيداً، يجب أن تظل قدرات الاستنتاج في النموذج الأساسي كافية لتفسير التوزيعات القبلية وتحديث المعتقدات بشكل صحيح.