PERK: Long-Context Reasoning as Test-Time Learning

تُعد النماذج اللغوية الكبيرة أدوات قوية تعلمت القراءة والكتابة من خلال دراسة كميات هائلة من النصوص. وهي تتفوق في إيجاد الأنماط والإجابة على الأسئلة عندما تكون المعلومات حاضرة أمامها مباشرة. ومع ذلك، تواجه هذه النماذج عقبة كبيرة عندما تكون المعلومات التي تحتاجها مدفونة داخل جدار ضخم من النصوص، مثل مستند بطول كتاب أو نص مفرغ طويل. فكلما زاد طول النص، عانت النماذج غالباً في تجاهل الضجيج غير ذي الصلة والعثور على الحقيقة المحددة اللازمة لحل مشكلة ما. ويتفاقم هذا الصعوبة بسبب ميل العديد من النماذج إلى التركيز بشدة على بداية النص أو نهايته، مع فقدان تتبع التفاصيل المخفية في المنتصف. وقد سعى الباحثون منذ فترة طويلة لإيجاد طرق لمساعدة هذه النماذج على التعامل مع مهام "السياق الطويل" هذه دون الحاجة إلى إعادة تدريبها من الصفر، وهي عملية غالباً ما تكون مكلفة للغاية وتستغرق وقتاً طويلاً.

في دراسة جديدة عُرضت في مؤتمر ICLR 2026، يقترح باحثون من المعهد الفيدرالي السويسري للتكنولوجيا في لوزان (EPFL) حلاً يسمى PERK، والذي يرمز إلى "الاستدلال الفعال للمعلمات عبر المعرفة" (Parameter Efficient Reasoning over Knowledge). فبدلاً من محاولة إجبار النموذج على قراءة مستند ضخم دفعة واحدة، يعامل PERK عملية القراءة كعملية تعلم تحدث في اللحظة التي يُطرح فيها السؤال. تخيل طالباً، عند استلامه كتاباً مدرسياً سميكاً وسؤالاً محدداً، يقوم بمسح الصفحات بسرعة لكتابة مجموعة موجزة من الملاحظات على دفتر ملاحظات. وبمجرد كتابة تلك الملاحظات، يمكن للطالب وضع الكتاب المدرسي جانباً والإجابة على السؤال باستخدام الملاحظات فقط. يعمل PERK بطريقة مماثلة؛ فعند تقديم مستند طويل، لا يحتفظ النموذج بالنص بأكمله في ذاكرته النشطة. بدلاً من ذلك، يستخدم مرحلة تعلم داخلية قصيرة لضغط الأجز الأهم من ذلك النص في مجموعة صغيرة وفعالة من التعديلات على إعداداته الداخلية. تعمل هذه التعديلات كنموذج ذاكرة متخصص، حيث تخزن جوهر المستند الطويل. وبمجرد إنشاء هذا "الدفتر"، يتم التخلص من النص الأصلي، ويستخدم النموذج إعداداته الجديدة والمحدثة للإجابة على الأسئلة المتعلقة بالمحتوى.

لقد طور الباحثون طريقة تدريب تعلم النموذج كيفية إجراء عملية الضغط والاسترجاع هذه بفعالية. واستخدموا تقنية تتضمن طبقتين من التعلم؛ في الطبقة الأولى، يتعلم النموذج كيفية تشفير جزء من النص بسرعة في إعدادات ذاكرته. وفي الطبقة الثانية، يتعلم النموذج كيفية استخدام تلك الإعدادات للإجابة على الأسئلة بدقة. وللحفاظ على كفاءة هذه العملية ومنع الحاسوب من نفاد الذاكرة، لا يقوم النموذج بتحديث سوى جزء ضئيل جداً من إجمالي معلماته، وتحديداً مكوناً خفيف الوزن يُعرف باسم "المحول منخفض الرتبة" (low-rank adapter). وهذا يسمح للنموذج بالتعلم من السياق دون تغيير قاعدة معرفته الأساسية. واختبر الباحثون هذا النهج في مهام مختلفة وصعبة، بما في ذلك العثور على حقيقة واحدة محددة مخبأة ضمن آلاف الصفحات من النصوص، والإجابة على أسئلة معقدة تتطلب ربط قطع متعددة من المعلومات، واسترجاع البيانات من قوائم طويلة من السجلات المتشابهة.

أظهرت النتائج أن PERK تفوق بشكل كبير على الطرق القياسية حيث يتم تدريب النماذج ببساطة على النصوص الطويلة للإجابة على الأسئلة لاحقاً. وفي الاختبارات التي شملت نموذج Qwen-2.5، حسن PERK الدقة بنسبة تصل إلى 20 بالمائة مقارنة بهذه الأساليب القياسية. وأثبتت الطريقة متانتها حتى عندما طُلب من النموذج التعامل مع نصوص أطول بكثير مما رآه أثناء التدريب، حيث نجح في التعميم على سياقات تصل إلى 64,000 وحتى 128,000 رمز (token). علاوة على ذلك، أظهر PERK قدرة فريدة على تجاهل موقع المعلومات؛ فبينما تفشل النماذج الأخرى غالباً عندما يتم نقل الحقيقة ذات الصلة من بداية النص أو نهايته إلى منتصفه، حافظ PERK على دقة عالية بغض النظر عن مكان ظهور المعلومة. يشير هذا إلى أنه من خلال ترميز النص في هيكل ذاكرة مرن بدلاً من الاعتماد على مواضع ثابتة، يمكن للنموذج أن يستدل بشكل أكثر موثوقية. وقد عمل هذا النهج باستمرار عبر أحجام نماذج مختلفة، بدءاً من النماذج الصغيرة جداً التي تبلغ 0.5 مليار معلمة وصولاً إلى النماذج الأكبر التي تبلغ 8 مليارات، بل وتفوق أو ساوى أداء النماذج الضخمة المتخصصة المصممة خصيصاً للسياقات الطويلة.

بعيداً عن الدقة، سلطت الدراسة الضوء على كفاءة هذه الطريقة. فبسبب معالجة النموذج للنص في أجزاء أصغر يمكن التحكم فيها والتخلص من النص الأصلي بعد الترميز، فإنه يتطلب ذاكرة حاسوبية أقل بكثير للتعامل مع المستندات الطويلة للغاية. وفي الاختبارات التي تعطلت فيها الطرق القياسية بسبب حدود الذاكرة عند 128,000 رمز، استمر PERK في العمل، حيث عالج المعلومات في جزء بسيط من الوقت وباستخدام جزء ضئيل من الذاكرة. وخلص الباحثون إلى أنه من خلال إعادة صياغة الاستدلال في السياق الطويل كمسألة تعلم وقت الاختبار، حيث يكيف النموذج ذاكرته الخاصة آنياً، فمن الممكن تحقيق أداء متفوق دون التكلفة الحسابية الثقيلة للتدريب التقليدي. ويقدم هذا النهج مساراً واعداً لجعل النماذج اللغوية الكبيرة أكثر قدرة على التعامل مع المعلومات الواسعة والمعقدة الموجودة في العالم الحقيقي.