Recursive Language Models
تقدم هذه الورقة النماذج اللغوية التكرارية (RLMs)، وهي نموذج لتوسيع نطاق الاستدلال يُمكّن النماذج اللغوية الكبيرة من تفكيك ومعالجة المطالبات الطويلة بشكل تعسفي برمجياً وبشكل تكراري، مما يحقق أداءً يتفوق بشكل كبير على الأساليب الحالية للسياقات الطويلة والنماذج الرائدة مع الحفاظ على تكاليف مماثلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك أمين مكتبة عبقرياً ولكنه قصير النظر (النموذج الذكي). هذا الأمين ذكي للغاية ويمكنه الإجابة على أي سؤال تقريباً، لكن لديه قاعدة صارمة للغاية: يمكنه فقط حمل حوالي 272,000 صفحة من النصوص في يديه في المرة الواحدة. إذا حاولت أن تعطيه مكتبة كاملة من الكتب (ملايين الصفحات)، فإنه يشعر بالارتباك، ويسقط الكتب، ويبدأ في نسيان بداية القصة بحلول الوقت الذي يصل فيه إلى منتصفها. هذا هو الحد الحالي لمعظم نماذج الذكاء الاصطناعي المتقدمة، والمعروف باسم "نافذة السياق" (Context Window).
تقدم الورقة البحثية طريقة جديدة للتعامل مع أمين المكتبة هذا تسمى نماذج اللغة التكرارية (Recursive Language Models - RLMs). بدلاً من محاولة إجبار أمين المكتبة على حمل المكتبة بأكملها في وقت واحد، فإن الـ RLMs تمنحه صندوق أدوات وخزانة ملفات.
إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:
المشكلة: حد "المرة الواحدة"
عادةً، إذا طلبت من أمين مكتبة العثور على حقيقة محددة في موسوعة مكونة من 10 ملايين صفحة، فإنه يحاول قراءتها كلها دفعة واحدة. ولأنه لا يستطيع حمل هذا القدر، فإنه يصاب بالارتبال، أو يفوت التفاصيل، أو يستسلم. هذا ما يسمى بـ "تآكل السياق" (Context Rot) — فكلما طال النص، أصبح الجواب أقل ذكاءً.
الحل: "المدير" مع خزانة ملفات
يغير نهج الـ RLM الوصف الوظيفي لأمين المكتبة. فبدلاً من أن يكون قارئاً، يصبح أمين المكتبة مديراً للمشروع لديه إمكانية الوصول إلى خزانة ملفات ضخمة (برنامج حاسوبي يسمى REPL).
المطالبة (Prompt) هي ملف، وليست حفنة من الورق: عندما تعطيه مطالبة ضخمة (الكتاب المكون من 10 ملايين صفحة)، فإن الـ RLM لا يحشر الكتاب في يدي أمين المكتبة. بدلاً من ذلك، يضع الكتاب على رف في خزانة الملفات ويعطي أمين المكتبة ملصقاً يقول: "الكتاب موجود في الصندوق أ".
كتابة التعليمات (الكود): يُسمح لأمين المكتبة بكتابة ملاحظات صغيرة (أكواد برمجية) للتفاعل مع هذا الصندوق. يمكنه أن يقول: "افتح الصندوق أ، وانظر إلى أول 50 صفحة، وأخبرني ماذا يوجد هناك".
الحلقة التكرارية (المدير الفرعي): إذا احتاج أمين المكتبة للتحقق من الكتاب بأكمله، فإنه لا يحاول قراءته كله دفعة واحدة. بل يكتب حلقة تكرارية:
- "اقرأ الجزء الأول. لخصه. احفظ الملخص في مجلد جديد."
- "اقرأ الجزء التالي. لخصه. احفظه أيضاً."
- "الآن، خذ كل تلك الملخصات وادمجها للإجابة على السؤال."
الأهم من ذلك، يمكن لأمين المكتب لا حتى توظيف أمين مكتبة مبتدئ (استدعاء فرعي) للقيام بالعمل الشاق في أجزاء محددة. يدير أمين المكتبة الرئيسي العملية، بينما يقوم أمين المكتبة المبتدئ بقراءة الصفحات المحددة وتقديم التقارير.
لماذا يعد هذا أمراً هاماً؟
اختبرت الورقة هذه الفكرة على بعض المهام الصعبة للغاية:
- "الإبرة في كومة قش": العثور على جملة محددة في مليون صفحة.
- "تقرير الكتاب": قراءة كتاب كامل والإجابة على أسئلة معقدة حول الحبكة.
- "المحقق البرمجي": فهم مشروع برمجيات ضخم يحتوي على آلاف الملفات.
النتائج:
- نطاق فائق للقدرات: استطاع نظام الـ RLM التعامل مع مدخلات أكبر بـ 10 مرات من الحد الطبيعي لأمين المكتبة. لقد عالج بنجاح ملايين الرموز (الكلمات/الفقرات) حيث فشل أمين المكتبة التقليدي تماماً.
- جودة أفضل: حتى في المهام القصيرة، كان نهج ال-RLM أكثر ذكاءً. لم يكتفِ بالتلخيص فحسب؛ بل كان بإمكانه التعمق في تفاصيل محددة لأنه استطاع "التقريب" (Zoom in) على أجزاء معينة برمجياً.
- التكلفة: ومن المثير للدهشة أن هذا لم يكلف الكثير من المال. نظرًا لأن النظام فعال في تقسيم المشكلة، فإنه غالباً ما يستخدم موارد أقل من الطرق الأخرى التي حاولت فرض النص بأكمله في ذاكرة النموذج.
خدعة تدريب خاصة
حاول الباحثون أيضاً تعليم أمين مكتبة أصغر وأرخص (نموذج بـ 8 مليارات معلمة) كيفية استخدام نظام خزانة الملفات هذا. عرضوا عليه 1,000 مثال لكيفية استخدام أمين مكتبة فائق الذكاء للنظام.
- النتي نتيجة: تعلم أمين المكتبة الصغير بسرعة. لقد أصبح أفضل بنسبة 28% في حل المشكلات الطويلة بمجرد تعلم كيفية استخدام "خزانة الملفات" و"المديرين الفرعيين"، رغم أنه لم يكن مصمماً لذلك في الأصل.
الخلاصة
تجادل الورقة بأننا لسنا بحاجة لبناء عقول أكبر وأكثر تكلفة للتعامل مع كميات هائلة من النصوص. بدلاً من ذلك، يمكننا تعليم عقولنا الحالية أن تكون مديرين أفضل. من خلال معاملة النص ككائن خارجي يمكنهم فتحه وقراءته وتلخيصه جزءاً بجزء برمجياً، يمكن للذكاء الاصطناعي التعامل بفعالية مع كميات "لانهائية" من المعلومات دون أن يشعر بالارتباك.
ما لا تدعيه الورقة البحثية:
- هي لا تدعي أن هذا يعمل للتشخيص الطبي أو الاستشارات القانونية (رغم أنها تستخدم مهام البرمجة والبحث كأمثلة).
- هي لا تقول إن هذا سيحدث تلقائياً في المستقبل؛ بل يتطلب هذا الإعداد المحدد لـ "المدير" لكي يعمل.
- هي لا تدعي أن الذكاء الاصطناعي "واعٍ" أو "يفكر" بطريقة بشرية؛ إنه مجرد طريقة ذكية جداً لتنظيم معالجة البيانات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.