Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap
تُبين هذه الورقة أن سقف عدد الرموز المخرجة (output-tokens) الثابت يعمل كمتغير تجريبي خفي يؤدي إلى تضخيم أو عكس فجوات الاستدلال متعدد اللغات المقاسة بشكل مصطنع، وتجادل بأن التقييمات يجب أن تبلغ عن الدقة عبر طيف من ميزانيات المخرجات بدلاً من الاكتفاء بسقف واحد للتمييز بين العجز الحقيقي في الاستدلال وبين آثار الاقتطاع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول قياس مدى سرعة عداءين مختلفين في إنهاء سباق. أحد العدائين يتحدث لغة كلماتها قصيرة وقوية، بينما الآخر يتحدث لغة كلماتها طويلة ومزخرفة. إذا قلت لكليهما: "يجب أن تتوقف عن الركض تماماً عندما تخطو 100 خطوة"، فأنت لا تختبر سرعتهما فحسب؛ بل أنت تختبر سراً عدد الخطوات التي تتطلبها لغتهما لقول الشيء نفسه. قد يتم قطع جملة العداء الذي يستخدم كلمات طويلة في منتصفها، ليس لأنه بطيء، بل لأن خط النهاية وُضع مبكراً جداً بالنسبة لخطواته المحددة. هذا هو جوهر لغز الذكاء الاصطناي الحديث: عندما نطلب من نماذج الذكاء الاصطناعي حل مسائل رياضية بلغات مختلفة، نرى غالباً أنها تؤدي بشكل أسوأ في لغتها الأم مقارنة بحلها للمسألة بعد ترجمتها إلى الإنجليزية أولاً. يطلق العلماء على هذا "فجوة الاستدلال متعدد اللغات". ولكن هل هذه الفجوة علامة على أن الذكاء الاصطناعي "أغبى" حقاً في لغته الأم، أم أنها مجرد خطأ في القياس ناتج عن كيفية وضع قواعد اللعبة؟
تستقصي هذه الورقة البحثية، التي تحمل عنوان "انتبه للحد الأقصى" (Mind the Cap)، ما إذا كانت تلك الفجوة الشهيرة هي في الواقع خدعة من شريط القياس. وضع الباحثون سباقاً لنموذجين شهيرين من نماذج الذكاء الاصطناعي (Qwen و Llama) لحل مسائل رياضية باللغات الألمانية، والتايلاندية، والسواحيلية. وقارنوا بين استراتيجيتين: ترك الذكاء الاصطناعي يفكر ويجيب بلغته الأم (NATIVE)، مقابل ترجمة المسألة إلى الإنجليزية، والتفكير بالإنجليزية، ثم الإجابة باللغة الأم (TRANSLATE-ACT). والتحول المفاجئ؟ لم يكتفوا بالنظر إلى النتيجة النهائية فحسب؛ بل راقبوا السباق يحدث خطوة بخطوة، مع تغيير "سقف الرموز" (token cap) — وهو الحد الأقصى لقطع البناء الرقمية (الرموز/tokens) المسموح للذكاء الاصطناعي باستخدامها لكتابة إجابته.
اكتشف المؤلفون أن "الفجوة" ليست حقيقة ثابتة؛ بل هي هدف متحرك يعتمد كلياً على مدى ضيق القيود. عندما يكون السقف ضيقاً جداً (مثل 128 رمزاً)، غالباً ما تخسر اللغة الأم بشدة، ليس لأن الذكاء الاصطناعي لا يستطيع الاستدلال، بل لأنه ببساطة ينفد منه المساحة لإنهاء جملته. ومع ذلك، بينما قاموا بتوسيع السقف، تقلصت الفجوة وتلاشت أحياناً. في الواقع، عند ميزانية محددة تبلغ 1,024 رمزاً، اختفت الفجوة لنموذج واحد (Qwen) تماماً تقريباً، مما يشير إلى أن الذكاء الاصطناعي لم يكن يفتقر إلى مهارات الاستدلال؛ بل كان يحتاج فقط إلى مساحة أكبر ليتنفس.
كما وجدت الدراسة شيئاً مفاجئاً: إخبار الذكاء الاصطناعي بالحد الأقصى قبل أن يبدأ يمكن أن يغير سلوكه. فعندما أخبروا نموذج الذكاء الاصطناعي الذي يتحدث التايلاندية، "لديك 128 رمزاً فقط"، كان أداؤه في الواقع أفضل مما لو قالوا له، "لديك 2,048 رمزاً"، رغم أن الحد الصلب كان هو نفسه في كلتا الحالتين. يبدو أن الذكاء الاصطناعي يحاول أن يكون أكثر كفاءة عندما يعتقد أنه في عجلة من أمره.
في النهاية، تجادل الورقة بأن "فجوة الاستدلال" غالباً ما تكون مجرد "أثر ناتج عن الميزانية". إذا منحت الذكاء الاصطناعي مساحة كافية لإنهاء أفكاره، فإن اللغة الأم غالباً ما تلحق بالركب. اختبر الباحثون ذلك من خلال تجميد تجاربهم مسبقاً وإجراء آلاف الاختبارات الجديدة والمستقلة. ووجدوا أنه بينما تكون الفجوة حقيقية في الميزانيات الضيقة، فإنها غالباً ما تختفي بمجرد السماح للذكاء الاصطناعي بكتابة إجابة كاملة. كما اختبروا "توسيع المفردات" — أي منح الذكاء الاصطناعي كلمات جديدة وأقصر للغته الأم — لكنهم وجدوا أن هذا ساعد فقط عندما كانت الميزانية لا تزال ضيقة بما يكفي لقطع جمل الذكاء الاصطناعي. وبمجرد حصول الذكاء الاصطناعي على مساحة كافية، لم تحدث الكلمات الإضافية أي فرق.
الخلاصة الكبرى هي أنه لا ينبغي لنا معاملة حد الرموز كإعداد خلفي. إنه متغير يغير النتيجة. إذا أردنا معرفة ما إذا كان بإمكان الذكاء الاصطناعي الاستدلال حقاً بلغة ما، فلا يمكننا الاكتفاء بالنظر إلى درجة واحدة بحد واحد. يجب أن نراقب السباق بأكمله، من طلق البداية إلى خط النهاية، وندرك أن الذكاء الاصطناعي أحياناً لا يفشل في التفكير؛ بل يفشل فقط في الإنهاء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.