Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents
تقدم هذه الورقة إطاراً صارماً لقياس الاحتفاظ بالسياسات عبر اللغات لدى الوكلاء المستخدمين للأدوات من خلال تصحيح خمسة عوامل مربكة حرجة، كاشفةً أن النماذج الرائدة تحتفظ هيكلياً بنسبة 71-73% من سياسات الإجراء الخاصة بها عبر اللغات عن طريق توجيه المهام غير الإنجليزية عبر الإنجليزية، بينما تظهر النماذج الأصغر انهيارات، كما يمكن تصنيع حالات الفشل الملحوظة اصطناعياً بواسطة التعبيرات النمطية لاستخراج الأثر بدلاً من كونها قصوراً في النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الرحلة الخفية للمساعد الرقمي
تخيل أن لديك مساعدًا رقميًا فائق الذكاء، يشبه روبوتًا شخصيًا ولكنه يعيش داخل جهاز كمبيوتر. مهمته هي حل المشكلات عبر اتخاذ سلسلة من الخطوات: قد يبحث عن معلومات، أو يجري بعض العمليات الحسابية، أو يترجم جملة، قبل أن يعطيك الإجابة النهائية. هكذا تعمل "وكلاء الذكاء الاصطناعي" (AI agents) الحديثون؛ فهم لا يخمنون الإجابة فحسب، بل يبنون مسارًا للوصول إليها.
لفترة طويلة، اختبر العلماء هؤلاء المساعدين عبر طرح نفس السؤال بلغات مختلفة، مثل الإنجليزية والهندية. إذا قدم المساعد الإجابة الصحيحة بكلتا اللغتين، كان الجميع يشعر بالسعادة. كان الأمر يشبه تقييم طالب بناءً على حصوله على الرقم الصحيح فقط في اختبار رياضيات، دون النظر إلى كيفية حله للمسألة. ولكن ماذا لو حل الطالب المسألة بالإنجليزية عن طريق رسم صورة، بينما حل المسألة بالهندية عن طريق كتابة مقال طويل؟ لقد حصلوا على نفس الدرجة، لكنهم استخدموا أساليب مختلفة تمامًا.
يطرح هذا البحث سؤالًا كبيرًا: عندما يغير وكيل الذكاء الاصطناعي لغته، هل يغير "مساره" أو الخطوات التي يتخذها للوصول إلى الإجابة؟ اتضح أن الخطوات تهم كثيرًا. فالطريق يحدد مقدار المال الذي ينفقه الكمبيوتر، ومدى سرعة عمله، وماذا يحدث إذا ارتكب خطأً. إذا اتخذ الذكاء الاصطناعي مسارًا مختلفًا بالهندية عنه في الإنجليزية، فقد يكلف أكثر أو يفشل بطريقة لم تكتشفها قواعد السلامة. لذا، قرر الباحثون التوقف عن مجرد النظر إلى الإجابة النهائية والبدء في مراقبة الرحلة نفسها.
الالتفاف اللغوي الكبير
شرع الباحثون في معرفة ما إذا كان هؤلاء الوكلاء يعملون بالذكاء الاصطناعي ثنائيي اللغة حقًا أم أنهم يتظاهرون بذلك فقط. أخذوا ثمانية نماذج مختلفة من الذكاء الاصطناعي وأعطوهم نفس المهام بـ 41 لغة مختلفة. وبدلاً من التحقق من النتيجة النهائية فقط، سجلوا كل خطوة يتخذها الذكاء الاصطناعي — "الأثر" (trace) — مثل نظام تحديد المواقع (GPS) الذي يتتبع رحلة سيارة. أرادوا معرفة: إذا طلبت من الذكاء الاصطناعي "البحث عن الطقس ثم حساب التكلفة" بالإنجليزية، ثم طلبت الشيء نفسه تمامًا بالهندية، هل سيتخذ نفس الخطوات بالضبط؟
كانت الإجابة "لا" قاطعة، ولكن ليس بالطريقة التي قد تتوقعها. لم يتخذ الذكاء الاصطناعي مسارًا مختلفًا قليلاً فحسب، بل كان يسلك التفافًا هائلاً. وجد الباحثون أنه عندما تتغير اللغة، يتغير سلوك الذكاء الاصطناعي بشكل كبير. في الواقع، عندما نظروا إلى النماذج الأكثر تقدمًا، وجدوا أنها حافظت على حوالي 71% إلى 73% فقط من خطتها الأصلية خطوة بخطوة عند تغيير اللغة. وهذا يعني أنه في حوالي 27% إلى 29% من الوقت، كان الذكاء الاصطناعي يفعل شيئًا مختلفًا تمامًا لمجرد أن الكلمات كانت بلغة مختلفة.
سر "المحور الإنجليزي"
لماذا كان هذا يحدث؟ اكتشف الفريق عادة خفية طورها وكلاء الذكاء الاصطناعي. تبين أنه حتى عندما تسأل الذكاء الاصطناعي سؤالاً بالهندية، أو التاميلية، أو أي لغة أخرى، فإنه غالبًا ما يترجم الموضوع بأكمله سرًا إلى الإنجليزية في "عقله" أولاً. ثم يحل المشكلة بالإنجليزية ويترجم الإجابة عائدًا.
أطلق الباحثون على هذا اسم "المحور الإنجليزي" (English pivot). ولإثبات ذلك، حاولوا إجبار الذكاء الاصطناعي على التوقف عن فعل ذلك. أخبروا الذكاء الاصطناعي: "يرجى التفكير باللغة التي تتحدث بها، لا تترجم إلى الإنجليزية!". لكن الذكاء الاصطناعي لم يمتثل. في النموذجين اللذين تم اختبارهما، اتبع الذكاء الاصطناعي التعليمات بالتفكير بلغة المهمة في أقل من 1% من المرات. ولأن الذكاء الاصطناعي لم يقم فعليًا بما أُمر به تقريبًا، لم يتمكن الباحثون من اختبار ما إذا كان التفكير بلغة مختلفة سيغير خطواته. ومع ذلك، أثبتت النتيجة شيئًا أقوى: "المحور الإنجليزي" ليس مجرد تفضيل يمكن إيقافه بأمر بسيط؛ إنه سلوك متجذر بعمق يتجاهله النماذج فعليًا عند تلقي أمر مباشر. كان الأمر أشبه بمسافر، مهما زار من بلدان، يصر على التحدث فقط مع مترجم قبل التحدث مع أي شخص آخر، بغض النظر عما يقوله له المرشد. كانت هذه العادة قوية جدًا لدرجة أنها كانت السبب الرئيسي في تغير خطوات الذكاء الاصطناعي عندما تتغير اللغة.
فخ الاختصارات
كشف البحث أيضًا عن خطأ مضحك كاد أن يخدع الجميع. فعند قياس مدى جودة عمل هؤلاء الوكلاء، كان بعض الباحثين يستخدمون برنامج كمبيوتر بسيطًا لقراءة خطوات الذكاء الاصطناعي. كان أحد هذه البرامج صارمًا للغاية، فإذا كتب الذكاء الاصطناعي جملة مثل "سأستخدم الآلة الحاسبة"، بدلاً من تنسيق برمجي محدد، فإن البرنامج يعتبر أن الذكاء الاصطناعي قد فشل.
بسبب هذا، ظهر نموذج ذكاء اصطناعي قادر للغاية وكأنه يفشل بنسبة 76% من الوقت. ولكن عندما قام الباحثون بإصلاح برنامج الكمبيوتر ليكون أكثر مرونة، قفز "معدل نجاح" الذكاء الاصطناعي بمقدار 26 ضعفًا! علم هذا الباحثين أن ما يبدو أحيانًا كمشكلة لغوية هو في الواقع مجرد مشكلة في كيفية قراءتنا لخط يد الذكاء الاصطناعي.
قاعدة "الحجم يفرق"
أخيرًا، نظر الفريق فيما إذا كانت نماذج الذكاء الاصطناعي الأكبر هي الأفضل في هذا الصدد. وجدوا قاعدة غريبة: النماذج الأكبر والأكثر قوة كانت متشابهة جدًا، حيث التزمت بذلك الثبات بنسبة 71-73%. لكن النماذج الأصغر كانت في حالة فوضى. بدت بعض النماذج الصغيرة رائعة، ولكن تبين أنها كانت محظوظة فقط لأنها سلكت مسارات قصيرة وبسيطة يسهل مطابقتها بالصدفة. وبمجرد أن صحح الباحثون تأثير هذا الحظ، لم تعد النماذج الصغيرة تبدو مثيرة للإعجاب. يبدو أن النماذج الكبيرة والقوية جدًا هي الوحيدة التي استقرت على طريقة سلوك ثابتة، بينما لا تزال النماذج الأصغر تحاول فهم الأمر.
لماذا يهم هذا؟
تغير هذه الدراسة كيفية اختبارنا للذكاء الاصطناعي. فهي توضح أن الحصول على الإجابة الصحيحة ليس كافيًا. إذا اتخذ الذكاء الاصطناعي مسارًا مختلفًا، أو أكثر تكلفة، أو أكثر خطورة لمجرد أنك تحدثت بلغة مختلفة، فهذه مشكلة. أظهر الباحثون أن هؤلاء الوكلاء ليسوا طلقاء حقًا في أفعالهم؛ فهم لا يزالون يعتمدون على "عكاز إنجليزي" خفي. وإلى أن نصلح ذلك، قد يكون الذكاء الاصطناعي جديرًا بالثقة بالإنجليزية ولكنه غير موثوق به في اللغات الأخرى، ليس لأنه "غبي"، بل لأنه يسلك طريقًا مختلفًا وغير مراقب للوصول إلى نفس الوجهة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.