MOSAIC: Multi-Objective Search for Allocating Inference Cache Across LLM Decoder Layers
إنَّ MOSAIC هو إطار عمل للبحث عن البنية العصبية متعدد الأهداف يعمل على تحسين ميزانيات ذاكرة التخزين المؤقت لـ KV لكل طبقة في استنتاج النماذج اللغوية الكبيرة ذات السياق الطويل، وهو يتفوق باستمرار على التخصيص الموحد عبر نماذج وطرق طرد متنوعة من خلال تحقيق درجات مهام أعلى مع تقليل استخدام الذاكرة بشكل كبير.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء العديد من أدوات الذكاء الاصطناعي الأكثر تقدمًا في يومنا هذا، وهي قادرة على قراءة وثائق ضخمة أو إجراء محادثات طويلة. ومع ذلك، تواجه هذه النماذج قيدًا ماديًا عندما تحاول معالجة تسلسلات نصية طويلة: إذ يجب عليها تخزين كمية متزايدة من المعلومات المؤقتة في ذاكرة الكمبيوتر الخاصة بها لمواكبة ما قرأته بالفعل. وتتوسع منطقة التخزين هذه، المعروفة باسم "ذاكرة المفتاح والقيمة" (key-value cache)، خطيًا مع طول النص. وبالنسبة لنموذج يحاول فهم وثيقة بطول كتاب، يمكن أن يصبح متطلب الذاكرة هذا هائلًا لدرجة تتجاوز قدرة الأجهزة الحاسوبية القياسية، مما يجبر النظام إما على التوقف أو التخلص من المعلومات.
ولحل هذه المشكلة، طور الباحثون طرقًا لتكون انتقائية بشأن المعلومات التي يتم الاحتفاظ بها. تعمل هذه التقنيات مثل "فلتر" (مرشح)، حيث تقرر أي أجزاء من النص تستحق الاحتفاظ بها في الذاكرة وأيها يمكن نسيانه بأمان. وحتى الآن، كانت هذه المرشحات تطبق القواعد الصارمة نفسها على كل جزء من المعالجة الداخلية للنموذج. كان الافتراض السائد هو أن كل طبقة من "دماغ" النموذج تحتاج إلى نفس القدر من الذاكرة للقيام بمهمتها. ويتحدى هذا البحث الجديد ذلك الافتراض، مقترحًا أن الطبقات المختلفة تحتاج في الواقع إلى كميات مختلفة من المساحة، وأن منحها حصصًا متساوية يعد هدرًا للموارد.
قدم فريق من الباحثين طريقة جديدة تسمى "MOSIC"، وهي تحدد تلقائيًا الكمية المثالية من الذاكرة التي يجب تخصيصها لكل طبقة في نموذج لغوي كبير. وبدلاً من معاملة النموذج ككتلة موحدة حيث يحصل كل قسم على شريحة متساوية من ذاكرة التخزين، تتعامل MOSIC مع الطبقات كأفراد ذوي احتياجات فريدة. يستخدم النظام عملية بحث متطورة لاختبار آلاف الطرق لتوزيع الذاكرة؛ حيث يبحث عن نمط محدد تحصل فيه بعض الطبقات على مساحة أكبر بينما تحصل طبقات أخرى على مساحة أقل، كل ذلك مع البقاء ضمن حد إجمالي للذاكرة. والهدف هو إيجاد الترتيب الذي يسمح للنموذج بالإجابة على الأسئلة أو تلخيص النصوص بأكبر قدر من الدقة دون نفاذ الذاكرة.
اختبر الباحثون هذا النهج على نموذجين لغويين كبيرين مشهورين وقارنوه بالطريقة القياسية التي تعطي كل طبقة نفس مقدار الذاكن. وقاموا بتقييم النماذج في مجموعة متنوعة من المهام الصعبة، بما في ذلك الفهم القرائي المعقد، وتوليد الأكواد البرمجية، وتلخيص الوثائق الطويلة. وأظهرت النتائج أن الطريقة الجديدة تفوقت باستمرار على الطريقة القديمة في الغالبية العظمى من الحالات، حيث هزمت التوزيع الموحد في 146 من أصل 154 إعدادًا للاختبار. وفي بعض الحالات، كان التحسن دراماتيكيًا، حيث اكتسب النموذج ما يقرب من خمسين نقطة في اختبار معياري لفهم السياق الطويل. ولعل الأهم من ذلك، أن الطريقة الجديدة سمحت للنماذج بتحقيق نفس الأداء العالي باستخدام ذاكرة أقل بما يصل إلى أربع مرات مما كانت عليه من قبل. وهذا يعني أن النماذج يمكنها التعامل مع نصوص أطول أو العمل على أجهزة كمبيوتر أصغر وأقل تكلفة.
كانت واحدة من أكثر النتائج إثارة للدهشة هي أن أفضل توزيع للذاكرة لم يكن عشوائيًا. فقد كشف البحث عن نمط ثابت: مجموعة صغيرة من الطبقات في منتصف النموذج احتاجت باستمرار إلى ذاكرة أكبر من الطبقات الموجودة في البداية أو النهاية. استطاعت الطبقات في البداية والنهاية العمل بشكل جيد بمساحة أقل، بينما عملت الطبقات الوسطى كـ "عنق زجاجة" حرج حيث يجب الحفاظ على المعلومات. ومن خلال نقل الذاكرة من الطبقات التي لم تكن بحاجة إليها إلى تلك التي تحتاجها، أصبح النظام أكثر كفاءة. يشير هذا الاكتشاف إلى أن البنية الداخلية لهذه النماذج ليست موحدة؛ فالأجزاء المختلفة من الشبكة تلعب أدوارًا مختلفة وتتطلب موارد مختلفة لتعمل بأفضل حالاتها.
وجد الباحثون أيضًا أن هذا النمط الأمثل يمكن اكتشافه مرة واحدة ثم تطبيقه على العديد من حدود الذاكرة المختلفة. لم يحتاجوا إلى إجراء بحث جديد ومكلف لكل حجم ذاكرة قد يريده المستخدم؛ بل وجدوا "شكلاً رابحًا" لتوزيع الذاكرة وقاموا ببساطة بتوسيع نطاقه أو تصغيره. وهذا يعني أن عملية بحث واحدة لمرة واحدة يمكن أن توفر الحل لأي قيد مستقبلي للذاكرة، مما يجعل الطريقة عملية للاستخدام في العالم الحقيقي. يعمل النظام من خلال تعلم التوازن المثالي "خارج الخط" (offline)، قبل أن يُستخدم النموذج للإجابة على أي سؤال، مما يعني أنه لا يضيف أي تأخير إضافي أثناء الاستخدام الفعلي.
وعند مقارنتها بالمحاولات الأخيرة الأخرى لحل هذه المشكلة، استكشف هذا النهج الجديد فضاءً أوسع بكثير من الاحتمالات. فبينما اختبرت الطرق الأخرى عددًا قليلاً فقط من المتغيرات في كل مرة، قام هذا النظام بتقييم جزء ضئيل من الإعدادات الممكنة — حيث قام بمسح فضاء بحث أكبر بمليارات المرات من الطرق السابقة مع تقييم بضع مئات فقط من المرشحين لإيجاد الحل الأفضل. ورغم النظر في خيارات أكثر بكثير، إلا أنه تطلب ساعات حاسوبية أقل للعثور على الحل الأمثل. وتؤكد الدراسة أن الفكرة القديمة المتمثلة في معامل كل طبقة بنفس الطريقة هي فكرة غير فعالة. فمن خلال إدراك أن بعض أجزاء النموذج أكثر أهمية من غيرها وتخصيص الموارد وفقًا لذلك، يمكننا جعل هذه الأدوات القوية أسرع، وأرخص، وقادرة على فهم سياقات أطول بكثير مما كان يُعتقد سابقًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.