Training on Broken Contexts: Source Loss and Repair in Tool-Augmented LLM Post-Training
تحدد هذه الورقة وتُكمّم فشلاً حرجاً في تدريب النماذج اللغوية الكبيرة المعززة بالأدوات، حيث تؤدي سياسات بناء التسلسل القياسية إلى قطع الصلة بين أهداف المساعد وملاحظات الأدوات المصدرية الخاصة بها، وتقترح استراتيجيات إعادة بناء تُحسن بشكل كبير من تغطية الإشراف وسلامة السياق مع تقليل تكرار الرموز (tokens).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُصمم المساعدات الذكية الاصطناعية الحديثة بشكل متزايد لتعمل كوكلاء يمكنهم التواصل مع أدوات خارجية لحل المشكلات. فعندما يطرح المستخدم سؤالاً، قد يقرر النموذج استدعاء قاعدة بيانات، أو التحقق من خدمة الطقس، أو استرداد حالة طلب ما. ولتعليم النموذج كيفية القيام بذلك، يزوده الباحثون بآلاف الأمثلة على هذه التفاعلات. وهذه الأمثلة ليست مجرد أسئلة وأجوبة بسيطة؛ بل هي محادثات معقدة تحتوي على طلب المستخدم، وقرار النموذج باستخدام أداة ما، والبيانات الخام التي أعادتها تلك الأداة، وأخيراً استجابة النموذج التي تستخدم تلك البيانات للإجابة على المستخدم. والهدف من التدريب هو إظهار القصة بأكملة للنموذج حتى يتعلم كيفية ربط النقاط بين مخرجات الأداة والإجابة النهائية.
ومع ذلك، هناك خطوة خفية في هذه العملية تحدث بعد كتابة المحادثات وقبل أن يتعلم النموذج منها بالفعل. فلكي تتسع هذه القصص الطويلة في ذاكرة الكمبيوتر، يجب على برنامج التدريب تقطيعها، أو إعادة ترتيبها، أو قصها لتناسب حداً معيلاً للحجم. وتتقصى هذه الورقة البحثية ما يحدث عندما يسوء هذا التقطيع وإعادة الترتيب. لقد طرح الباحثون سؤالاً بسيطاً ولكنه حاسم: عندما يقوم الكمبيوتر بتقطيع محادثة لتناسب خانة تدريب معينة، هل يقوم أحياناً بالإبقاء على الإجابة النهائية بينما يتخلص عن طريق الخطأ من بيانات الأداة التي استندت إليها تلك الإجابة؟ إذا كان يتم تقييم النموذج بناءً على إجابة، ولكن الدليل على تلك الإجابة مفقود من رؤيته، فإن النموذج يُطلب منه تعلم خدعة سحرية بدلاً من عملية منطقية.
فحص الباحثون ثلاث مجموعات كبيرة من محادثات استخدام الأدوات التي تُستخدم عادةً لتدريب هذه الأنظمة. وقد بنوا نظام تتبع يتبع كل قطعة نص من المحادثة الأصلية عبر عملية التقطيع وإعادة الترتيب. وبحثوا تحديداً عن اللحظات التي يُفترض فيها أن يتعلم النموذج من قيمة أعادتها أداة ما، مثل رقم طلب محدد أو رمز خطأ، وتحققوا مما إذا كانت تلك القيمة لا تزال مرئية للنموذج عندما يتعلم كتابة الإجابة. واختبروا ذلك عبر أحجام مختلفة من قطع التدريب، تتراوح من القصيرة جداً إلى الطويلة جداً، واستخدموا عدة طرق مختلفة لكيفية تقطيع وحزم النص.
وكشفت النتائج عن مشكلة كبيرة في كيفية إعداد بعض بيانات التدريب حالياً. فعندما يستخدم البرنامج طريقة تقسم المحادثات الطويلة إلى قطع أصغر لتناسب حجماً ثابتاً، فإنه غالباً ما يفصل الإجابة عن بيانات الأداة التي تعتمد عليها. وفي إحدى مجموعات البيانات التي درسوها، كانت ما يقرب من أربعين بالمائة من الإجابات المحتفظ بها تُدرّس للنموذج دون ملاحظة الأداة التي بررتها. وفي مجموعة بيانات أخرى، كانت حوالي عشرين بالمائة من الإجابات "يتيمة" بشكل مماثل. وهذا يعني أن النموذج يتم مكافأته على توليد نص لا يمكنه معرفته بالضرี่، لأن الدليل الذي يحتاجه قد تم قطعه ووضعه في جزء آخر من تسلسل التدريب الذي لا يستطيع النموذج رؤيته في تلك اللحظة.
كما وجدت الدراسة أن الطريقة التي تُقطع بها البيانات تغير ما يتعلمه النموذج فعلياً. إذ إن إحدى الطرق الشائعة لحزم البيانات، والتي تحاول احتواء أكبر عدد ممكن من الأمثلة في قطعة واحدة دون تقسيمها، تتجنب مشكلة الفصل هذه تماماً. ومع ذلك، فإن هذه الطة صارمة للغاية لدرجة أنها تتخلص من معظم بيانات التدريب، ولا تحتفظ إلا بجزء ضئيل من المحادثات الأصلية. وقد أظهر الباحثون أن هناك مقايضة: فالطرق التي تحتفظ بمعظم البيانات غالباً ما تكسر الرابط بين الأداة والإجابة، بينما الطرق التي تحافظ على الرابط سليماً غالباً ما تتخلص من الكثير من البيانات لدرجة تجعلها غير مفيدة.
ولإصلاح ذلك، اقترح الباحثون طريقة جديدة لإعادة بناء أمثلة التدريب. فبدلاً من تقطيع النص بشكل عشوائي، اقترحوا تجميع الأجزاء ذات الصلة من نفس المحادثة معاً بحيث تظل بيانات الأداة والإجابة دائماً في نفس نافذة العرض. ووجدوا أنه من خلال تجميع هذه القطع بعناية، يمكنهم الاحتفاظ بنفس عدد الإجابات الصحيحة مع استخدام ذاكرة كمبيوتر أقل وإلغاء آلاف القطع المكررة. كما اكتشفوا أنه بالنسبة لبعض مجموعات البيانات، فإن قائمة القواعد التي تصف كيفية استخدام الأداة تأخذ مساحة كبيرة لدرجة أنها تدفع بالمحادثة الفعلية خارج النافذة. ومن خلال تبسيط قوائم القواعد لإظهار الأجزاء المحددة المطلوبة لاستدعاء واحد فقط، تمكنوا من إدراج المزيد من الأمثلة المفيدة في عملية التدريب.
أخيراً، فحص الباحثون الكود البرمجي المستخدم من قبل العديد من المطورين لإعداد هذه البيانات ووجدوا خطأً خفياً في نسخة شائعة الاستخدام. تسبب هذا الخطأ في جعل البرنامج يكرر أجزاء من النص عن طريق الخطأ أو يخلط ترتيب الكلمات عند معالجة دفعات كبيرة من البيانات، مما خلق تدفقاً للمعلومات لا يتطابق مع المحادثة الأصلية على الإطلاق. يسلط هذا الاكتشاف الضوء على أن المشكلة ليست فقط في البيانات نفسها، بل في الأدوات المستخدمة لإعدادها. وتخلص الورقة إلى أن الطريقة التي تُبنى بها بيانات التدريب لا تقل أهمية عن البيانات نفسها. فإذا انكسر الرابط بين مخرجات الأداة وإجابة النموذج أثناء التحضير، فلن يتمكن النموذج من تعلم استخدام الأداة بشكل صحيح، بغض النظر عن كمية البيانات التي يراها. ويحث الباحثون على ضرية التحقق من أن السياق المطلوب للإجابة موجود بالفعل عندما يتعلم النموذج منها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.