When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use
تتقصى هذه الورقة مشكلة "عدم تطابق لغة الوسيط" (Argument Language Mismatch) في النماذج اللغوية الكبيرة متعددة اللغات عند استدعاء واجهة برمجة التطبيقات (API)، وتُثبت أن الضبط الدقيق الخاضع للإشراف (supervised fine-tuning) يعمل كخط أساس قوي لضمان اتساق لغة الوسيط، بينما لا يقدم التعلم التعزيزي (reinforcement learning) سوى تحسينات تدريجية تتركز أساساً في جوانب التعميم والموازنات متعددة الأهداف.
تخيل أنك تقوم بتعليم روبوت فائق الذكاء ليكون مساعداً شخصياً. هذا الروبوت، المعروف باسم "نموذج لغوي كبير" (LLM)، بارع للغاية في الدردشة، وكتابة القصص، والإجابة على الأسئلة بلغات عديدة ومختلفة. لكن هناك عقبة: لكي يكون مفيداً حقاً، يحتاج الروبوت إلى فعل ما هو أكثر من مجرد التحدث؛ يحتاج إلى التحدث مع برامج حاسوبية أخرى لإنجاز المهام. فكر في هذه البرامج كأنها مكتبة ضخمة من الأدوات—مثل آلة حاسبة، أو تطبيق للطقس، أو نظام لحجز الرحلات الجوية. وللاستخدام هذه الأدوات، يجب على الروبوت أن يتحدث لغة محددة وصارمة جداً تسمى "استدعاء واجهة برمجة التطبيقات" (API call). الأمر يشبه طلب بيتزا: يمكنك قول "أريد بيتزا" بأي لغة تحب، لكن المطبخ لا يفهم إلا تنسيق تذكرة محدد بلمسات وأحجام دقيقة.
المشكلة الكبيرة التي تعالجها هذه الورقة البحثية هي ما يحدث عندما يكتب الروبوت الطلب بشكل صحيح ولكنه يخطئ في صياغة التذكرة. إذا طلب شخص يتحدث الإسبانية من الروبوت حجز رحلة طيران، فقد يختار الروبوت الأداة الصحيحة وهي "حجز رحلة"، ولكنه قد يضع الوجهة بالكلمة الإنجليزية "Paris" بدلاً من الكلمة الإسبانية "París". بالنسبة للإنسان، قد يبدو هذا خطأً صغيراً وغير ضار، ولكن بالنسبة لبرنامج الحاسوب الذي ينتظر الطلب، فهو كارثة. النظام يتعطل أو يرفض الطلب لأنه كان ينتظر كلمات إسبانية. تسمي الورقة هذا الخلل بـ "عدم تطابق لغة الوسيط" (Argument Language Mismatch - ALM). إنه خطأ محبط حيث يفهم الروبوت ماذا تريد، لكنه يفشل في التحدث بـ لغة الأداة التي تحاول استخدامها. أراد الباحثون معرفة أفضل طريقة لتدريب هذه الروباتات للتوقف عن ارتكاب هذا الخطأ المحدد، خاصة عندما تتعامل مع لغات عديدة مختلفة في آن واحد.
قرر مؤلفو هذه الورقة لعب دور المحقق باستخدام طريقتين مختلفتين للتدريب لمعرفة أيهما يصلح خلل اللغة هذا بشكل أفضل. الطريقة الأولى تشبه معلماً صارماً يظهر للروبوت آلاف الأمثلة المثالية لكيفية ملء التذاكر، وتسمى "الضبط الدقيق الخاضع للإشراف" (Supervised Fine-Tuning - SFT). الطريقة الثانية تشبه ألعاب الفيديو: يحاول الروبوت ملء التذكرة، ويحصل على درجة بناءً على مدى جودة أدائه، ويتعلم من أخطائه من خلال التجربة والخطأ، وتسمى هذه الطريقة "التعلم التعزيزي" (Reinforcement Learning - RL). قام الباحثون ببناء منصة اختبار خاصة باستخدام مجموعة بيانات من استدعاءات الأدوات المترجمة إلى خمس لغات (الإسبانية، الفرنسية، الإيطالية، الهولندية، والإنجليزية) لمعرفة مدى قدرة الروبوتات على التعلم.
إليك المنعطف المفاجئ الذي وجدوه: طريقة "المعلم الصارم" (SFT) كانت هي النجم الحقيقي. فعندما عرضوا على الروبوت ببساطة أمثلة لعمليات استدعاء أدوات من الإسبانية إلى الإسبانية، أصلح ذلك الغالبية العظمى من أخطاء عدم تطابق اللغة. في الواقع، بالنسبة للعديد من المهام، عملت طريقة المعلم البسيطة بنفس كفاءة طريقة لعبة الفيديو المعقدة، أو حتى أفضل منها أحياناً. تشير الورقة إلى أن الروبوت لم يكن بحاجة إلى "التفكير" للوصول إلى حل؛ بل كان يحتاج فقط إلى رؤية أمثلة كافية لتعلم النمط الذي يقول: "إذا كان المستخدم يتحدث الإسبانية، فيجب أن تكون تذكرة الأداة بالإسبانية".
ومع ذلك، كانت لطريقة لعبة الفيديو (وتحديداً نسخة تسمى GRPO) بعض الحيل الخاصة بها. فبينما لم تتفوق دائماً على طريقة المعلم في المهمة الأساسية، إلا أنها كانت أفضل في شيئين: التعامل مع أدوات لم يسبق للروبوت رؤيتها من قبل، والحفاظ على مهارات الاستنتاج العامة لديه حادة. وجد الباحثون أن طريقة لعبة الفيديو كانت مثل طالب أكثر مرونة يمكنه التكيف مع المواقف الجديدة دون نسيان كيفية حل المسائل الرياضية. كما اكتشفوا أن "الدرجة" التي يحصل عليها الروبوت في لعبة الفيديو كانت مهمة جداً؛ فإذا كانت الدرجة تقول فقط "عمل جيد" أو "عمل سيء"، فإن الروبوت لا يتعلم الكثير، ولكن إذا قدمت الدرجة ملاحظات تفصيلية حول أي كلمة تحديداً كانت خاطئة، فإن الروبوت يتعلم بشكل أسرع بكثير.
في النهاية، تخلص الورقة إلى أننا لسنا بحاجة دائماً إلى أكثر طرق التدريب تعقيداً وتكلفة لإصلاح هذه الخلل اللغوي. فمجموعة تدريبية مصممة بعناية وجيدة مع معلم بسيط يمكنها حل معظم المشكلة. أما تدريب لعبة الفيديو الفاخر فهو مفيد لصقل مهارات الروبوت وجعله أكثر قوة في المواقف الصعبة، لكنه ليس الحل السحري كما كنا نظن. الخلاصة الرئيسية هي أنه لجعل الروبوتات تتحدث اللغة الصحيحة مع أدواتها، أحياناً تكون الطريقة القديمة المتمثلة في عرض الأمثلة الصحيحة عليها هي الأداة الأكثر قوة في صندوق الأدوات.
ملخص تقني: عندما تتحدث واجهة برمجة التطبيقات (API) لغة خاطئة
تعريف المشكلة: عدم تطابق لغة الوسيط (ALM)
تتفاعل النماذج اللغوية الكبيرة (LLMs) بشكل متزايد مع الأنظمة الخارجية عبر استدعاءات واجهة برمجة التطبيقات (API) المهيكلة. وبينما أدت التطورات الأخيرة إلى تحسين قدرات استخدام الأدوات باللغة الإنجليزية، إلا أن الموثوقية تتدهور بشكل كبير في البيئات متعددة اللغات. ومن بين أوجه الفشل المحددة التي تم استكشافها في هذا العمل، يبرز عدم تطابق لغة الوسيط (Argument Language Mismatch - ALM).
يحدث الـ ALM عندما يحدد النموذج بنجاح نية المستخدم ويختار أداة الـ API المناسبة، ولكنه يولد قيم الوسائط (arguments) بلغة لا تتوافق مع مدخلات المستخدم أو متطلبات النظام. على سبيل المثال، قد يتلقى مستخدم يسأل باللغة الإسبانية استدعاءً لواجهة برمجة التطبيقات بوسطاء باللغة الإنجليزية. ورغم أن هذه المخرجات صحيحة دلاليًا، إلا أنها غير صالحة تشغيليًا في الأنظمة التي تفرض قيودًا لغوية صارمة، مما يؤدي إلى فشل المهمة. وغالبًا ما تعامل مقاييس استدعاء الـ API القياسية (مثل مطابقة شجرة الإعراب المجردة AST) هذه الحالات كأخطاء استدعاء عامة، مما يحجب السبب المحدد للفشل.
المنهجية
بناء المعيار المرجعي (Benchmark)
لدراسة الـ ALM، قام المؤلفون ببناء امتداد متعدد اللغات لمعيار Berkeley Function Calling (BFC).
اللغات: تغطي مجموعة البيانات اللغة الإسبانية (للتدريب والتقييم)، والإيطالية، والهولندية، والفرنسية (للتقييم فقط).
بروتوكول الترجمة: تم تصميم بروتوكول ترجمة قائم على القواعد لضمان الاتساق بين عبارات المستخدم المترجمة وقيم الوسائط الناتلة. ظلت المعرفات القانونية والتنسيقات المفروضة من قبل الـ API دون تغيير، بينما تمت ترجمة الوسائط ذات الطبيعة اللغوية الطبيعية المقدمة من المستخدم.
تقسيمات التقييم: تم إنشاء تقسيمين لاختبار قدرات مختلفة:
التقسيم-1 (القابلية للتعلم): تداخل متوسط في واجهات برمجة التطبيقات بين مجموعات التدريب والاختبار.
التقسيم-2 (التعميم): تداخل ضئيل في واجهات برمجة التطبيقات، لاختبار الانتقال إلى واجهات برمجة تطبيقات وهياكل وسائط غير مرئية مسبقًا.
مقاييس التقييم
يقترح المؤلفون إطار تقييم هرمي لعزل الـ ALM عن الأخطاء الأخرى:
كشف استدعاء الأداة (TID): تحديد ما إذا كان استدعاء الـ API مطلوبًا بشكل صحيح.
دقة اختيار الأداة (TSA): اختيار وظيفة الـ API الصحيحة.
دقة إكمال الوسيط (ACA): توليد جميع أسماء الوسائط المطلوبة.
مطابقة استدعاء الوظيفة (FCM): مطابقة تامة أو دلالية لاستدعاء الـ API الكامل. تشكل هذه المقاييس تسلسلًا هرميًا صارمًا (FCM≤ALC≤ACA≤TSA≤TID)، مما يسمح بعزل حالات الفشل المتعلقة باللغة.
استراتيجيات ما بعد التدريب
تقارن الدراسة بين ثلاثة نهج لما بعد التدريب:
الضبط الدقيق الخاضع للإشراف (SFT): نهج أساسي يعمل على تعظيم احتمالية المخرجات المهيكلة الصحيحة (ground-truth).
التعلم التعزيزي (RL): وتحديدًا تحسين السياسة القريبة (PPO) وتحسين السياسة النسبي للمجموعات (GRPO).
تصميم المكافأة: صمم المؤلفون ثلاثة نماذج مكافأة (RM) لاختبار تأثير دقة المكافأة:
RM-1 (متفرقة): مكافآت ثنائية بين التنفيذ المثالي مقابل الفشل.
RM-2 (هرمية): مكافآت متوسطة بناءً على عمق الهيكل التقييمي الذي تم تحقيقه.
RM-3 (مجزأة حسب الوسيط): مكافآت مستمرة على مستوى الوسيط تخصص درجات محددة لقيم الوسائط الفردية بناءً على جودة مطابقة اللغة.
تثقيل الرموز (Token Weighting): استقصاء حول زيادة وزن رموز قيم الوسائط أثناء التحسين للتركيز على إشارة التعلم.
البدء الدافئ (Warm-Start): تم بدء تدريب الـ RL من نموذج خضع لدورة واحدة من الـ SFT لضمان توليد مرشحات صحيحة هيكليًا.
النتائج الرئيسية
1. الـ SFT كخط أساس قوي
يعالج الضبط الدقيق الخاضع للإشراف (SFT) وحده جزءًا كبيرًا من أخطاء الـ ALM.
يحسن الـ SFT بشكل كبير كلاً من اتساق لغة الوسيط (ALC) ومطابقة استدعاء الوظيفة (FCM) النهائي مقارنة بالنماذج الأساسية.
في ظل ظروف محكومة (اختيار أفضل نقطة تحقق من الصحة)، يحقق الـ SFT أداءً مشابهًا، وفي بعض الحالات (Split-1 FCM)، يتفوق على النهج الأكثر تعقيدًا القائمة على الـ RL.
يشير هذا إلى أن جزءًا كبيرًا من الأداء في ربط الـ API متعدد اللغات يمكن تحقيقه من خلال التدريب الخاضع للإشراف الدقيق واختيار النموذج، دون الحاجة إلى أهداف تحسين معقدة.
2. المكاسب التدريجية من الـ RL
يوفر التعلم التعزيزي (RL) فوائد إضافية، ولكنها تدريجية، فوق الـ SFT.
التعميم: يظهر الـ RL (خاصة GRPO) قدرة أقوى على التعميم لواجهات برماء التطبيقات واللغات غير المرئية مقارنة بالـ SFT. ويبدو أنه يتعلم قاعدة مجردة ("طابق لغة الوسيط مع موقع المستخدم المحلي") بدلاً من حفظ الأشكال السطحية.
الحفاظ على الاستدلال: من النتائج الحاسمة هي المقايضة بين أداء المهمة والاستدلال العام. فقد أظهر أفضل نموذج SFT انخفاضًا ملحوظًا في قدرة الاستدلال باللغة الإنجليزية (معيار MGSM)، بينما حافظت طرق الـ RL (مثل GRPO) على أداء الاستدلال مع تحقيق دقة API تنافسية.
دقة المكافأة: تحسن الأداء بشكل رتيب مع زيادة دقة المكافأة من RM-1 إلى RM-3. كانت المكافآت المجزأة حسب الوسيط (RM-3) ضرورية لتخصيص الاعتماد الدقيق، مما مكن النموذج من التمييز بين المخرجات الصحيحة جزئيًا والمخرة المثالية تقريبًا.
3. ديناميكيات التحسين
GRPO مقابل PPO: تفوق GRPO باستمرار على PPO في كل من ALC وFCM. ويعزو المؤلفون ذلك إلى التقييس النسبي للمجموعات في GRPO، والذي يعمل على استقرار التعلم عندما تكون المكافآت متفرقة أو محصورة في رموز محددة (قيم الوسائط)، بينما أثبت PPO حساسية تجاه المكافآت عالية التباين بسبب التقييس على مستوى الدفعة.
تثقيل الرموز: أدت زيادة وزن رموز قيم الوسائط إلى تحسين أداء GRPO ولكنها أدت إلى زعزعة استقرار PPO، مما يسلط الضال على التفاعل بين تشكيل المكافأة وخوارزميات التحسين.
الأهمية والادعاءات
يدعي البحث ثلاث مساهمات رئيسية:
صياغة الـ ALM: تحديد وصياغة "عدم تطابق لغة الوسيط" كنمط فشل متميز ومهم عمليًا في الأنظمة الوكيلية (agentic systems) متعددة اللغات، والذي غالبًا ما يتم حجبه بواسطة المقاييس القياسية.
إعادة تقييم ما بعد التدريب: يتحدى البحث الافتراض القائل بأن الأهداف الأكثر تعقيدًا ضرورية للتوليد المهيكل متعدد اللغات. تظهر النتائج أن خطوط الأساس القوية الخاضعة للإشراف (SFT) يمكنها تحقيق معظم مكاسب الأداء، بينما يقدم الـ RL تحسينات مستهدفة وتدريجية بدلاً من تغييرات جذرية.
التعلم التعزيزي للموازنة بين الأهداف المتعددة: بينما يعد الـ SFT كافيًا للعديد من الحالات، يجادل البحث بأن الـ RL (خاصة مع المكافآت المدركة للوسائط وGRPO) يعد ذا قيمة للسيناريوهات التي تتطلب تعميمًا قويًا وموازنة القدرات الاستدلالية العامة جنباً إلى جنب مع أداء المهمة المحددة.
يخلص المؤلفون إلى أنه بالنسبة للتوليد المهيكل متعدد اللغات، فإن فهم حدود التعلم الخاضع للإشراف أمر بالغ الأهمية. ليست كل مشكلات المحاذاة تتطلب تحسينًا معقدًا؛ ومع ذلك، عندما يتطلب الأمر التعميم على هياكل غير مرئية أو موازنة أهداف متعددة، يظل التعلم التعزيزي المهيكل أداة صقل ضرورية.