The Best Programming Language for Tokenmaxxing: An Investigation of Coding Agent Behavior Across Programming Languages
تبحث هذه الورقة في كيفية إظهار وكلاء البرمجة تباينات كبيرة ومتسقة في استهلاك الرموز (tokens) عبر لغات البرمجة المختلفة، كاشفةً أن عدم الكفاءة ينبع من سلوكيات مثل توليد كود غير قابل للتجميع في اللغات غير المألوفة، وعدم الثقة في الاختبارات المقدمة، والقيام بالنمذجة الأولية بلغة بايثون، مما يرسخ كفاءة استهلاك الرموز حسب اللغة كمعيار حاسم للتقييم وتحسين التكلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك استأجرت مساعداً آلياً (روبوتاً) عبقرياً ودؤوباً لكتابة برامج الكمبيوتر من أجلك. تعطيه لغزاً، فيبدأ بكتابة الكود، وتشغيل الاختبارات، وإصلاح الأخطاء، والمحاولة مرة أخرى حتى ينجح في حلها. هذا هو عالم "وكلاء البرمجة" (coding agents)، وهو نوع جديد من الذكاء الاصطناعي الذي لا يكتفي فقط بالإجابة على الأسئلة، بل يبني البرمجيات فعلياً. لكن هناك عقبة: هذه الروبوتات لا تعمل مجاناً. ففي كل مرة تفكر فيها، أو تكتب كلمة، أو تتحقق من عملها، فإنها تستهلك "رموزاً" (tokens). فكر في الرموز كأنها وقود للسيارة أو دقائق في خطة هاتف محمول؛ فكلما فكر الروبوت وأعاد الكتابة أكثر، زاد استهلاك الوقود.
الآن، تخيل أنك طلبت من هذا الروبوت حل نفس اللغز تماماً، لكن هذه المرة أخبرته أن يكتب الحل بلغة مختلفة. ربما يكتب بلغة بايثون (Python) (وهي لغة تشبه الإنجليزية كثيراً)، أو ربما يكتب بلغة أوكاميل (OCaml) (وهي لغة تبدو أكثر مثل شفرة رياضية سرية). قد تفترض أن الروبوت سيحرق نفس كمية الوقود بغض النظر عن اللغة، طالما أن اللغز هو نفسه. ولكن ماذا لو كانت اللغة نفسها تجعل الروبوت يتعثر في قدميه؟ ماذا لو كانت بعض اللغات مثل الطرق السريعة الناعمة للروبوت، بينما كانت لغات أخرى مثل المستنقعات الطينية حيث يعلق ويتدحرج في دوائر ويحرق وقوداً إضافياً لمجرد محاولة معرفة كيف يمشي؟ هذا هو السؤال الذي سعى فريق من الباحثين للإجابة عليه: هل تغيير لغة البرمجة التي تختارها يغير كمية "الوقود" (الرموز) التي يحرقها مساعدك الآلي لإنجاز المهمة؟
قرر الباحثون، زيكسوان وو، كارولين جين أندرسون، وأرجون غوها، التحقيق في ذلك عبر إطلاق سراح وكلاء البرمجة لديهم على مجموعة ضخمة مكونة من 100 لغز برمجي. لم يكتفوا بمراقبة ما إذا كان الروبوتات قد توصلت إلى الإجابة الصحيحة فحسب، بل راقبوا كل خطوة اتخذتها الروبوتات، مثل محقق يراجع لقطات كاميرات المراقبة. اختبروا خمسة نماذج مختلفة من الذكاء الاصطناعي على أربع لغات مختلفة: بايثون، وجافا، ورست (Rust)، وأوكاميل.
كان اكتشافهم الأكبر هو أن اللغة تهم بشكل هائل. فحتى عندما كانت الألغاز متساوية في الصعوبة، حرقت الروبوتات عدداً أكبر بكما من الرموز عند العمل بلغة أوكاميل ورست مقارنة ببايثون. في الواقع، بالنسبة لبعض النماذج، كانت الكتابة بلغة أوكاميل تكلف ما يقرب من 1.7 ضعف الرموز المستخدمة في بايثون. ويشير المؤلفون إلى أن هذا ليس بسبب طول الكود النهائي، بل لأن الروبوتات ارتبكت، وارتكبت المزيد من الأخطاء، واضطرت لبذل جهد أكبر لإصلاحها في اللغات الأقل ألفة لها.
لكن المتعة الحقيقية كانت في مراقبة كيفية تعثر الروبوتات. وجد الباحثون أنه عندما يصطدم الروبوت بحائط مسدود في لغة صعبة مثل أوكاميل، فإنه لا يستسلم فحسب، بل يبدأ في التصرف بغرابة. فأحياناً، يحصلون على حل يجتاز جميع الاختبارات، لكنهم يستمرون في إعادة كتابته على أي حال، مضيفين تعليقات غير ضرورية أو مغيرين الأسلوب، كما لو كانوا لا يثقون في نجاحهم. وفي أحيان أخرى، يعلقون في خطأ بسيط في بناء الجملة (مثل فاصلة منقوطة مفقودة) ويدورون في دوائر، ويعيدون كتابة نفس الكود المعطل مراراً وتكررا دون إدراك ما الخطأ.
ولعل السلوك الأكثر إثارة للضحك هو أنه عندما تواجه الروبوتات لغة لا تعرفها جيداً، فإنها تغش قليلاً. فهي تحل المشكلة سراً بلغة بايثون أولاً - حيث تشعر بالراحة والثقة - ثم تحاول ترجمة حل البايثون هذا إلى اللغة المستهدفة، مثل أوكاميل أو رست. يشبه الأمر طالباً يعرف كيفية حل مسألة رياضية في ذهنه، ولكنه يحاول كتابتها بلغة يكاد لا يتحدثها، فيرتبك بسبب القواعد رغم معرفته بالرياضيات.
كما بحثت الدراسة في مفهوم "الاستهلاك الأقصى للرموز" (tokenmaxxing)، وهو ما وصفه المؤلفون بأسلوب يجعل الذكاء الاصطناعي ينفق أكبر قدر ممكن من المال. ووجدوا أنه إذا كنت تريد حقاً استنزاف ميزانيتك، فعليك اختيار أوكاميل. ستعاني الروبوتات، وتعيد العمل، وتفرط في التفكير في طريقها عبر المشكلات، مستهلكة كمية هائلة من الرموز. ومن ناحية أخرى، إذا كنت تريد أن يكون ذكاؤك الاصطناعي فعالاً ورخيصاً، فإن بايثون هي الفائز الواضح.
في النهاية، تشير الورقة البحثية إلى أن اختيار لغة البرمجة ليس مجرد مسألة تتعلق بشكل الكود؛ بل إنها تغير طريقة تفكير الذكاء الاصطناعي. فبعض اللغات تعمل كمرشد لطيف، بينما تعمل لغات أخرى كمتاهة تجعل الروبوت يدور في دوائر. ويأمل المؤلفون أنه من خلال فهم هذه السلوكيات، يمكننا بناء روبوتات أفضل وأكثر كفاءة لا تهدر الكثير من الوقود، بغض النظر عن اللغة التي يُطلب منها التحدث بها. كما يحذرون من أنه بينما وجدوا هذه الأنماط في تجاربهم المحددة، فإن الروبوتات المستقبلية قد تصبح أذكى وتتعامل بشكل أفضل مع هذه اللغات الصعبة، لذا فإن النتائج هي لقطة لكيفية سير الأمور في الوقت الحالي، وليست قاعدة دائمة في الكون.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.