Why LLMs Refuse to Summarize More in Long Contexts?
تكشف هذه الورقة أن النماذج اللغوية الكبيرة تولد ملخصات بنمو تحت خطي قوي بالنسبة لطول المدخلات، مما يظهر أنه في حين أن توجيهات الأوامر لها تأثير ضئيل، فإن الضبط الدقيق على بيانات محددة الطول هو الرافعة الأساسية للتحكم في حجم الملخص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مساعداً رقمياً يمكنه قراءة مكتبات كاملة، أو كتابة برمجيات معقدة، أو إدارة مشروع بحثي على مدار أسابيع. وللقيام بذلك، يحتفظ المساعد بسجل مستمر لكل ما رآه وفعله، وهو تاريخ يزداد طولاً مع كل إجراء. يتم تخزين هذا التاريخ في مساحة ذاكرة مؤقتة تسمى "نافذة السياق". وبينما تكون هذه النوافذ شاسعة، حيث تستوعب مئات الآلاف من الكلمات، إلا أنها ليست غير محدودة. فعندما تطول المهمة أكثر من اللازم، تمتلئ الذاكرة، ويخاطر المساعد بنسيان أهم التفاصيل من البداية. ولحل هذه المشكلة، يستخدم المهندسون تقنية تسمى "التلخيص". الفكرة بسيطة: قبل أن تصبح الذاكرة ممتلئة جداً، يقوم المساعد بتكثيف تاريخه الطويل إلى نسخة أقصر وأكثر إحكاماً، مستبعداً الضجيج مع الحفاظ على الجوهر، ثم يواصل عمله بناءً على ذلك الملخص. إنها شكل رقمي من أشكال تدوين الملاحظات لتذكر محادثة طويلة.
ومع ذلك، تشير دراسة جديدة من باحثين في جامعة ولاية بنسلفانيا إلى أن شبكة الأمان هذه تفشل بطريقة خفية ولكنها حاسمة. فقد استقصى الباحثون ما إذا كان يمكن بالفعل توجيه هذه النماذج للذكاء الاصطناعي للاحتفاظ بمزيد من التفاصيل عند التلخيص. أرادوا معرفة ما إذا كان بإمكان الملخص، مع ازدياد طول التاريخ، أن يزداد طولاً أيضاً، بحيث يحافظ على كسر ثابت من المعلومات الأصلية. بدلاً من ذلك، وجدوا أن النماذج لديها حد أقصى صلب. فمهما طالت القصة، يظل الملخص بنفس الحجم تقريباً، مما يقلص كمية المعلومات المحفوظة إلى جزء ضئيل جداً. وحتى عندما يطلب البشر من الكمبيوتر صراحةً كتابة ملخص أطول، يرفض الكمبيوتر الامتثال، متمسكاً بعاداته القصيرة. واكتشف الباحثون أن الطريقة الوحيدة لتغيير هذا السلوك ليست عبر الطلب بلطف، بل عبر إعادة تدريب الكمبيوتر على أمثلة لملخصات أطول.
اختبر الفريق هذا السلوك عبر أحد عشر نموذجاً مختلفاً من النماذج اللغوية الكبيرة، تتراوح بين المساعدين للأغراض العامة وأدوات البرمجة والاستنتاج المتخصصة. قاموا بتغذية هذه النماذج بمدخلات نمت من ألف كلمة فقط إلى مائة ألف كلمة، باستخدام وثائق طويلة وسجلات واقعية لوكيل يحل مشكلات برمجية. في النظام المثالي، إذا زاد المدخل مائة ضعف، يجب أن ينمو الملخص بشكل متناسب للحفاظ على نفس المستوى من التفاصيل. بدلاً من ذلك، تصرفت النماذج كما لو كانت عالقة في روتين ثابت. فبينما تضخمت المدخلات لتصل إلى مائة ألف كلمة، لم ينمُ الملخص إلا قليلاً جداً. في الواقع، عند هذا النطاق الهائل، نجا أقل من واحد بالمائة من المدخلات الأصلية في الملخص. بالنسبة لوثيقة بهذا الحجم، يعني هذا أنه مقابل كل مائة جملة في النص الأصلي، نجت جملة واحدة فقط في الملخص النهائي. وقد ظل هذا النمط ثابتاً بغض النظر عما إذا كان النموذج مصمماً لكتابة الكود، أو المحادثة العامة، أو الاستنتاج المعقد. ولم يساعد حجم النموذج نفسه في حل المشكلة؛ فحتى أكبر النماذج وأكثرها قوة أنتجت ملخصات كانت قصيرة جداً بالنسبة للمهمة.
حاول الباحثون بعد ذلك اتباع نهج أكثر مباشرة. فقد اشتبهوا في أن النماذج قد تحتاج ببساطة إلى تعليمات أوضح. أخذوا نفس المدخلات الضخمة وأضافوا أوامر محددة إلى "المطالبة" (prompt)، تطلب من النماذج كتابة ملخصات بطول معين، مقاساً بالكلمات أو الحروف أو الرموز (tokens). طلبوا ملخصات تعادل ربع أو ثلث أو حتى نصف حجم النص الأصلي. كانت النتائج محبطة ومتسقة بشكل مثير للقلق. فبينما كتبت النماذج ملخصات أطول قليلاً عند الطلب، إلا أنها اصطدمت بسقف صلب بسرعة كبيرة. إذا طلب الباحثون ملخصاً مكوناً من ستة عشر ألف كلمة، فإن النماذج تتوقف عن الكتابة بعد بضعة آلاف، متجاهلة بقية الطلب. بدا أن النماذج غير قادرة على مد مخرجاتها لتطابق الطلب، بغض النظر عن كيفية قياس الطول أو كيفية صياغة الطلب. قدمت التعليمات دفعة صغيرة في الطول، لكنها لم تكن كافية بأي حال من الأحوال لمنع فقدان التفاصيل الحرجة.
أدى هذا بالباحثين إلى استنتاج مفاجئ: المشكلة ليست في "المطالبة" أو المدخلات، بل في بيانات التدريب. ولإثبات ذلك، أخذوا نموذجين من النماذج وقاموا بإجراء عملية إعادة تدريب خفيفة، أو "ضبط دقيق" (fine-tuning)، باستخدام ملخصات ذات أطوال مختلفة. تم تدريب إحدى المجموعات على ملخصات قصيرة جداً، بينما تم تدريب الأخرى على ملخصات أطول بكثير. وعندما اختبروا هذه النماذج المعاد تدريبها باستخدام نفس التعليمات المحايدة، تغيرت النتائج بشكل كبير. فالنموذج المدرب على ملخصات قصيرة كتب نصوصاً أكثر قصراً، بينما كتب النموذج المدرب على ملخصات طويلة نصوصاً أطول بكثير، رغم أن المطالبة لم تذكر الطول أبداً. يشير هذا إلى أن النماذج قد تعلمت عادة افتراضية من حيث الإيجاز من بيانات تدريبها، وهي عادة تتجاوز أي طلب للقيام بخلاف ذلك. إن طول الملخص ليس حساباً مرناً يعتمد على حجم المدخلات؛ بل هو سلوك جامد محفور في الحمض النووي للنموذج.
إن التداعيات على الوكلاء المستقلين (autonomous agents) كبيرة. تعتمد هذه الأنظمة على التلخيص للبقاء في المهام الطويلة، ولكن إذا كان الملخص قصيراً جداً، فستضيع معلومات حيوية مثل مسار ملف، أو محاولة فاشلة، أو قيد محدد إلى الأبد. وبمجرد فقدانها، لا يستطيع الوكيل استعادتها ويضطر لإضاعة الوقت في إعادة اكتشافها أو المضي قدماً بشكل أعمى. تظهر الدراسة أن مجرد طلب "تذكر المزيد" من الوكيل عبر طلب ملخص أطول ليس حلاً موثوقاً. الحل لا يكمن في تحسين صياغة المطالبات، بل في تغيير البيانات المستخدمة لتدريب الملخصات. وإلى أن تعلم هذه البيانات النماذج كيفية الحفاظ على مزيد من التفاصيل مع نمو السياق، ستستمر المساعدات الرقمية التي نعتمد عليها في المهام طويلة الأمد في فقدان ذاكرتها، عبر ملخص واحد صغير وغير قابل للتغيير في كل مرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.