Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors
تثبت هذه الورقة أن القواعد اللغوية الحتمية، التي تم اكتشافها من خلال البحث التطوري، يمكن أن تعمل كأدوات فعالة ومنخفضة التكلفة لضغط المطالبات (prompts) مما يقلل من نفقات استدلال النماذج اللغوية الكبيرة دون الحاجة إلى عمليات تمرير أمامي للنموذج أثناء عملية الضغط، محققةً أداءً يضاهي الطرق المتقدمة القائمة على النماذج اللغوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يقرأ مكتبة ضخمة من الكتب للإجابة على سؤال واحد. الروبوت عبقري، لكن لديه مشكلة: فهو يصاب بالارتباك بسبب كثرة النصوص. إذا غذيته برواية كاملة، فإنه يتباطأ، ويكلف ثروة لتشغيله، وأحياناً يفتقد الجوهر لأن التفاصيل المهمة تضيع وسط الضجيج. هذا هو عالم "نماذج اللغات الكبيرة" (LLMs)، وهي العقول الاصطناعية التي تقف وراء العديد من الأدوات الحديثة. ولحل هذه المشكلة، حاول العلماء "ضغط" النص — أي تقليم الحشو للاحتفاظ بالحقائق الجوهرية فقط.
حتى الآن، كانت الطريقة القياسية للقيام بذلك تشبه توظيف محرر باهظ الثمن وبطيء يقرأ كل كلمة ويحسب "درجة" لمدى أهميتها. هذا المحرر هو في الواقع نموذج ذكاء اصطناعي آخر يعمل في الخلفية. إنه دقيق، لكنه ثقيل، وبطيء، ويتطلب رقائق حاسوبية قوية ومكلفة (GPUs) للعمل. الأمر يشبه استخدام مشرط مطلي بالذهب لتقليم سياج نباتي.
ولكن ماذا لو لم تكن بحاجة إلى مشرط مطلي بالذهب؟ ماذا لو كان بإمكانك استخدام مقص حديقة بسيط وقديم يعتمد على بعض القواعد الواضحة؟ هذا هو السؤال الكبير الذي تطرحه الورقة البحثية: هل يمكننا ضغط النص باستخدام قواعد لغوية بسيطة وحتمية — مثل "احتفظ بالأسماء، واحذف كلمات مثل 'الـ' و 'و'" — دون الحاجة إلى ذكاء اصطناعي ثانٍ لتقييم كل كلمة؟
قرر الباحثون، وهم فريق من جامعة هونغ كونغ للبوليتكنيك، اكتشاف ذلك. لم يكتفوا بالتخمين؛ بل أنشأوا "بحثاً تطورياً" رقمياً. تخيل غابة افتراضية زرعوا فيها 42 "بذرة" مختلفة من قواعد الضغط. كانت هذه البذور مبنية على قرون من المعرفة اللغوية البشرية: بعضها نظر إلى أنواع الكلمات (مثل الاحتفاظ بكلمة "مهندس" وحذف "الـ" التعريف)، وبعضها نظر إلى بنية الجملة (الاحتفاظ بالفعل الرئيسي مع قطع الأوصاف الإضافية)، وبعضها نظر إلى تدفق القصة.
ثم، تركوا للذكاء الاصطناعي دور "المُحوّر". لقد أخذ هذه "البذور القاعدية"، وخلطها، وعدلها، وابتكر تركيبات جديدة. واختبروا هذه "الضاغطات" الجديدة من خلال معرفة ما إذا كان بإمكان الروبوت لاحقاً الإجابة على الأسئلة بشكل صحيح بعد تقليص النص. الضاغطات الأكثر لياقة — تلك التي احتفظت بأكبر قدر من المعلومات المهمة مع قطع أكبر قدر من الكلمات — هي التي نجت وتكاثرت لتنتج الجيل التالي.
النتيجة؟ اكتشفوا أن الضاغط المبني بالكامل من هذه القواعد اللغوية يمكنه أن يؤدي بشكل جيد تماماً مثل الطرق الثقيلة والمكلفة القائمة على الذكاء الاصطناعي في العديد من أنواع المستندات الطويلة. والجزء الأفضل؟ بمجرد "تطوير" الضاغط، لم يعد بحاجة إلى أي ذكاء اصطناعي لتشغيله. كان بإمكانه العمل على معالج كمبيوتر عادي (CPU) في لمح البصر، وبتكلفة شبه معدومة. كان الأمر يشبه استبدال ذلك المحرر البطيء والمطلي بالذهب بآلة تعتمد على القواعد، سريعة كالبرق ولا تتعب أبداً.
ومع ذلك، وجدت الورقة البحثية أيضاً حداً معيلاً. هذه "المقصات" القائمة على القواعد تعمل ببراعة عندما تحتاج إلى تقليص النص قليلاً أو بمقدار معتدل (مثل تقليص مستند من 100 صفحة إلى 25 صفحة). ولكن إذا حاولت أن تكون عدوانياً للغاية وتقطع النص إلى جزء ضئيل جداً (مثل 10 صفحات)، فإن القواعد تبدأ في المعاناة. لا يمكنها أن تكون بذكاء المحرر المكلف القائم على الذكاء الاصطناعي عندما تكون الميزانية ضيقة للغاية.
باخت de المختصر، تشير الورقة البحثية إلى أنه في العديد من المهام الواقعية، لسنا بحاجة إلى تعقيد الأمور باستخدام تقييم الذكاء الاصطناعي المكلف. أحياناً، تكون مجموعة مصممة جيداً من القواعد اللغوية، التي صقلها التطور، هي الأداة المثالية والخفيفة لجعل الذكاء الاصطناعي أسرع، وأرخص، وأكثر ذكاءً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.