تخيل أنك تدير خدمة توصيل لأسطول من الروبوتات. بعض هذه الروبوتات صغيرة، سريعة، وغير مكلفة في التشغيل، لكنها أحياناً تصاب بالارتباك وتُسقط الطرود. وهناك روبوتات أخرى عملاقة، فائقة الذكاء، ومكلفة للغاية، لكنها نادراً ما ترتكب خطأً. في عالم الذكاء الاصطناعي، تمثل هذه الروبوتات "نماذج اللغات الكبيرة" (LLMs)، وهي العقول التي تقف وراء برامج الدردشة الآلية ومساعدي البرمجة. عادةً، عندما نطرح سؤالاً، فإننا نرسله إلى روبوت واحد وننتظر الإجابة. ولكن في العالم الحقيقي، تصبح الأمور معقدة. فإذا أخطأ الروبوت الصغير، فإن النظام الذكي لا يستسلم فحسب؛ بل يطلب من الروبوت المحاولة مرة أخرى. وقد يصل الأمر حتى إلى استدعاء الروبوت العملاق للتدخل. هذا ما يسمى بـ "النظام الوكيل" (Agentic System) — وهو عبارة عن فريق من وكلاء الذكاء الاصطناعي يعملون معاً لحل مشكلة ما.

المشكلة هي أننا كنا نحسب تكلفة عمليات التوصيل هذه بشكل خاطئ تماماً. لقد كنا ندفع ثمن رحلة واحدة فقط، متناسين أنه إذا تعثر الروبوت واضطر للعودة إلى المستودع ليحاول مرة أخرى، فإننا ندفع ثمن الرحلة ذهاباً وإياباً، وليس مجرد تذكرة ذهاب فقط. تتحدث هذه الورقة البحثية عن طريقة جديدة لإدارة فرق الذكاء الاصطناعي هذه حتى لا نستنفد ميزانيتنا بالخطأ عبر إرسال الروبوت غير المناسب لمهمة تتطلب الكثير من محاولات إعادة التجربة.

---

التكلفة الخفية لـ "حاول مرة أخرى"

تخيل أنك في ملاهي عند كشك ألعاب. لديك قدر محدود من المال (عملات معدنية) للعب. يمكنك الاختيار بين آلة رخيقة ومتهالكة تكلف دولاراً واحداً لكل محاولة، أو آلة فاخرة وعالية التقنية تكلف 10 دولارات لكل محاولة.

كانت الطريقة القدية في التفكير بسيطة: "الآلة الرخيصة تكلف دولاراً واحداً، لذا سأختارها!". لكن هنا تكمن الخدعة: الآلة الرخية صعبة المراس. إذا طرحت عليها سؤالاً صعباً، فقد تخطئ. لذا، سيتعين عليك دفع دولار آخر لتجربة ثانية، وثالثة، ورابعة. وبحلول الوقت الذي تحصل فيه أخيراً على الإجابة الصحيحة، ستكون قد أنفقت 5 دولارات على الآلة الرخيصة. في هذه الأثناء، كانت الآلة الفاخرة ستعطيك الإجابة الصحيحة من المرة الأولى مقابل 10 دولارات.

تسمي هذه الورقة البحثية هذه التكلفة الإضافية الخفية بـ "تضخم الرموز" (Token Inflation). وهي الفجوة بين ما تعتقد أنك تدفعه (محاولة واحدة) وما تدفعه فعلياً (خمس محاولات). وجد المؤلفون أنه بالنسبة للمهام الصعبة، يمكن أن يكون هذا التضخم هائلاً. فقد ينتهي الأمر بنموذج صغير ورخيص بتكلفة تزيد بمقدار 4.25 ضعف المتوقع لأنه يستمر في الفشل ويحتاج إلى إعادة المحاولة.

الاستراتيجية الجديدة: "وكيل التضخم" (InflationAgent)

قام الباحثون ببناء نظام جديد يسمى InflationAgent لإصلاح ذلك. بدلاً من مجرد النظر إلى سعر المحاولة الواحدة، يعمل هذا النظام مثل مدير ملاهي داهية يعرف بالضبط أي الآلات عرضة للأعطال.

إليك كيف يعمل، خطوة بخ بخطوة:

1. "فحص الحدس" (تشتت تشعب سلسلة الأفكاء - CoT Branching Entropy)
قبل أن يطلب النظام من روبوت حل مشكلة ما، يقوم باختبار سريع ومجاني. يطلب من روبوت صغير محلي أن يفكر في المشكلة ثلاث مرات مختلفة.

• إذا أعطى الروبوت نفس الإجابة في المرات الثلاث، فإن النظام يعرف أن المشكلة سهلة.
• إذا أعطى الروبوت ثلاث إجابات مختلفة تماماً ومشوشة، فإن النظام يعرف أن المشكلة صعبة وأن الروبوت من المرجح أن يعلق في حلقة مفرغة من إعادة المحاولات.
  يسمي المؤلفون هذا القياس "تشتت تشعب سلسلة الأفكار" (CoT Branching Entropy). إنه يشبه فحص محرك السيارة لمعرفة ما إذا كان يتعثر قبل أن تبدأ الرحلة فعلياً. وهذا لا يكلف شيئاً إضافياً لأنه يحدث على جهاز كمبيوتر محلي، وليس على خوادم السحاب المكلفة.

2. حاسبة "بطاقة السعر"
باستخدام هذا "الفحص الحدسي"، يتنبأ النظام بمقدار "التضخم" الذي سيحدث. هو لا يخمن فحسب؛ بل يستخدم حاسبة صغيرة ذكية (نموذج تعلم آلي) مدربة على بيانات سابقة. يتنبأ بما يلي: "إذا أرسلنا هذا السؤال الصعب إلى الروبوت الصغير، فمن المحتمل أن يفشل 3 مرات، لذا فإن التكلفة الحقيقية هي 3 أضعاف السعر".

3. مُحدد "أفضل صفقة"
الآن يحسب النظام "سعر الصرف الدلالي" (Semantic Exchange Rate - SER). وهي طريقة منمقة للسؤال: "كم مقدار الدقة التي أحصل عليها مقابل كل دولار أنفقه فعلياً؟"

• إذا كان الروبوت الصغير رخيصاً ولكنه سيفشل 4 مرات، فإن "صفقته" سيئة.
• إذا كان الروبوت الكبير مكلفاً ولكنه سيصيب الهدف من المرة الأولى، فإن "صفقته" قد تكون في الواقع أفضل.
  يختار النظام الروبوت الذي يقدم أفضل قيمة، وليس فقط أرخص سعر مكتوب على الملصق.

4. قاعدة "البداية الجديدة"
هذه هي الحيلة الأهم. إذا أرسل النظام سؤالاً إلى روبوت وفشل، ثم قرر التصعيد إلى روبوت أكبر وأذكى، فإنه يتخلص من المحاولة الفاشلة القديمة.
اكتشف الباحثون شيئاً مفاجئاً: إذا أظهرت للروبوت الكبير الملاحظات الفوضوية والمشوشة من محاولة الروبوت الصغير الفاشلة، فإن الروبوت الكبير سيصاب بالارتباك أيضاً! الأمر يشبه إظهار صفحة من الخربشات لطالب متعثر لتقديمها لطالب عبقري؛ فقد يبدأ العبقري في الشك في نفسه.
من خلال إعطاء الروبوت الكبير مطالبة جديدة (Prompt) (أي صفحة بيضاء نظيفة)، يحافظ النظام على دقة عالية. لو قاموا فقط بتمرير الملاحظات الفاشلة، لانخفضت دقة الروبوت الكبير بمقدار 34.8 نقطة مئوية في الأسئلة الصعبة.

ما وجدوه

اختبر الفريق نظامهم على مسائل رياضية (GSM8K) وأسئلة معلومات عامة صعبة (HotpotQA). وإليكم ما حدث:

• التضخم حقيقي: في أسئلة المعلومات العامة الصعبة، كان معدل التضخم للنموذج الصغير (Qwen2.5-7B) هو 4.25 ضعف. وهذا يعني أنه مقابل كل دولار كنت تعتقد أنك تنفقه، كنت تنفق 4.25 دولار فعلياً لأن الروبوت استمر في الفشل.
• نتائج أفضل بتكلفة أقل: عندما وضعوا ميزانية ثابتة (حداً صارماً لعدد الرموز التي يمكن إنفاقها)، حقق نظامهم الجديد (InflationAgent) إجابات صحيحة بنسبة 94.7%. بينما حققت الطريقة الشهيرة القديمة (FrugalGPT) نسبة 91.0% فقط.
• توفير الرموز (Tokens): للحصول على نفس الدقة (91.0%) التي حققتها الطريقة القديمة، استخدم النظام الجديد رموزاً أقل بنسبة 31%. وهذا توفير هائل.
• خطورة "المزيد من المحاولات": وجدوا أن مجرد إعطاء الروبوت الصغير فرصاً أكثر للمحاولة (حتى 10 مرات) لم يكن فعالاً للأبد. فبعد نقطة معينة، بدأ الروبوت يرتبك بسبب إخفاقاته السابقة، وانخفضت دقته فعلياً. أحياناً، يكون من الأفضل الانتقال إلى روبوت أذكى بدلاً من الاستمرار في ضرب رأسك بالحائط.

الخلاصة

توضح هذه الورقة البحثية أنه في عالم الذكاء الاصطناعي، "الرخيص" ليس دائماً رخيصاً. فإذا كان من المرجح أن يفشل النموذج ويحتاج إلى إعادة المحاولة مراراً وتكراراً، فإنه يصبح مكلفاً وغير فعال. ومن خلال قياس مدى احتمالية تعثر النموذج (باستخدام تشتت الإنتروبي في "الفحص الحدسي") ومن خلال البدء من جديد عند الانتقال إلى نموذج أذكى، يمكننا توفير المال والحصول على إجابات أفضل.

يعبر المؤلفون عن ثقتهم في هذه النتائج بناءً على اختباراتهم مع مجموعات بيانات رياضية ومعلومات عامة محددة. ويشيرون إلى أنه بينما يعمل هذا بشكل رائع لمهام الاستنتاج، إلا أننا لا نزال بحاجة إلى اكتشاف كيفية تطبيق ذلك على المحادثات الأكثر انفتاحاً أو الأدوات. ولكن في الوقت الحالي، لقد أثبتوا أن القليل من التخطيط الذكي يذهب بعيداً في منع ميزانية الذكاء الاصطناعي من التضخم خارج السيطرة.