ARC-Encoder: learning compressed text representations for large language models
تقدم الورقة البحثية ARC-Encoder، وهو مشفر قابل للتكيف يقوم بضغط النصوص إلى تمثيلات مستمرة لاستبدال تضمينات الرموز (token embeddings) في النماذج اللغوية الكبيرة من نوع فك التشفير (decoder LLMs)، محققاً أداءً هو الأفضل في فئته عبر سيناريوهات متنوعة مع تحسين كفاءة الاستدلال بشكل كبير والتعميم عبر نماذج فك تشفير متعددة دون الحاجة إلى تعديلات في البنية.
المؤلفون الأصليون:Hippolyte Pilchen, Edouard Grave, Patrick Pérez
تخيل أنك تحاول قراءة موسوعة ضخمة مكونة من ألف صفحة للإجابة على سؤال واحد. يجب على عقلك (أو في هذه الحالة، برنامج كمبيوتر فائق الذكاء يسمى "نموذج لغوي كبير") أن يحتفظ بكل كلمة في ذاكرته في آن واحد لفهم القصة. تكمن المشكلة في أن هذه الحواسيب تصاب بالارتباك عندما تصبح القصة طويلة جداً؛ إذ تبدأ في التباطؤ، أو تصاب بالتشوش، أو ببساطة تصطدم بـ "جدار" حيث لا تستطيع تذكر أي شيء بعد نقطة معينة. يشبه هذا إلى حد كبير محاولة حمل مكتبة في حقيبة ظهرك؛ ففي النهاية ستنقطع الأحزمة، أو لن تستطيع المشي بعد ذلك.
ولحل هذه المشكلة، حاول العلماء تعليم هذه الحواسيب كيفية "تلخيص" المكتبة قبل قراءتها. تحاول بعض الأساليب التخلص من الكلمات التي يعتقدون أنها غير مهمة (مثل حذف صفحات من الكتاب)، بينما يحاول البعض الآخر تحويل الكتاب بأكمله إلى "رمز سحري" واحد كثيف يحمل كل المعاني. لكن العلة تكمكمن في أن معظم هذه الخدع السحرية تتطلب إعادة بناء عقل الكمبيوتر بالكامل لاستيعاب الملخص الجديد. الأمر يشبه تعليم كلب التحدث بالفرنسية، ولكن عليك إجراء جراحة لتعديل دماغه للقيام بذلك. هذا يجعل الكلب بارعاً في الفرنسية ولكنه سيئ في حيله الأصلية، ولا يمكنك استخدام نفس هذا العقل مع كلب آخر.
وهنا يأتي دور دراسة جديدة من باحثين في "كيوتاي" (Kyutai). لقد طرحوا سؤالاً بسيطاً: ماذا لو استطعنا بناء "مترجم" منفصل يحول الكتاب الطويل إلى نسخة قصيرة ومضغوطة، دون المساس بعقل الكمبيوتر أبداً؟ لقد ابتكروا أداة تسمى ARC-Encoder. فكر في الأمر كأنه أمين مكتبة فائق الكفاءة يقرأ كتاباً من 1000 صفحة ثم يسلمك ورقة غش مكونة من 125 صفحة تحتوي على جميع الأفكار المهمة نفسها، ولكن بشفرة سرية يعرف الكمبيوتر بالفعل كيفية قراءتها. لا يحتاج الكمبيوتر إلى التغيير على الإطلاق؛ بل يكتفي بقراءة ورقة الغش بدلاً من الكتاب الكامل.
وجد الباحثون أن هذا النهج يعمل بشكل جيد بشكل مدهش. فمن خلال استخدام تقنية محددة تسمى "التجميع" (pooling) — وهي تشبه أخذ كل أربع كلمات ودمجها في "كلمة خارقة" واحدة — تمكنوا من تقليص النص بمعامل قدره 4 أو 8. وعندما اختبروا ذلك على أنواع مختلفة من الحواسيب (التي تسمى "المفككات" أو decoders)، وجدوا أن ARC-Encoder كان قادراً على مساعدتها في الإجابة على الأسئلة، وترجمة اللغات، وتلخيص القصص تماماً كما لو كانت قد قرأت النص الكامل، ولكن بسرعة أكبر بكثير. والأروع من ذلك، أنهم اكتشفوا أن "مترجماً" واحداً يمكن تدريبه للعمل مع عدة حواسيب مختلفة في نفس الوقت. إنه يشبه امتلاك محول عالمي واحد يناسب أي جهاز، بدلاً من الحاجة إلى شاحن مخصص لكل جهاز على حدة.
تشير الدراسة إلى أن هذه الطريقة هي وسيلة مرنة لجعل الذكاء الاصطناعي أسرع وأذكى دون كسر قدراته الأصلية. وبينما يعترف الباحثون بأنها لا تزال بحاجة إلى ممارسة للتعامل مع المستندات الطويلة جداً بشكل مثالي، فقد أظهروا أنه من خلال ضغط النص، يمكنهم توفير الكثير من قدرة الحوسبة والذاكرة. في الواقع، قاموا بحساب أن تخزين هذه الملخصات المضغوطة لموسوعة ويكيبيديا الإنجليزية بأكملها سيشغل مساحة تقارب مساحة النص الخام نفسه، مما يعني أنه يمكننا إعداد هذه الملخصات مسبقاً واستخدامها فورياً عند الحاجة. إنها خطوة واعدة نحو جعل الذكاء الاصطناعي قادراً على قراءة المكتبة بأكملها دون تعب، مع الحفاظ على شخصيته الأصلية كما هي.
ملخص تقني: ARC-Encoder
بيان المشكلة
مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) في مهام تتطلب سياقات طويلة — مثل التوليد المعزز بالاسترجاع (RAG) والاستنتاج عبر سلسلة الأفكناء (Chain-of-Thought) — ترتفع التكلفة الحسابية للاستدلال بشكل كبير بسبب التعقيد التربيعي لآليات الانتباه في نماذج Transformer. وبينما يوفر ضغط السياق حلاً لتقليل طول المدخلات، تواجه الطرق الحالية قيوداً حرجة:
الضغط الصلب (Hard Compression): تقوم طرق مثل LLMLingua بتقليم أو تلخيص الرموز (tokens). ورغم أنها قابلة للتفسير، إلا أنها تقدم نسب ضغط محدودة.
الضغط المرن (Soft Compression): تستخدم طرق "رموز الذاكرة" (memory tokens) أو "رموز الموجز" (gist tokens) لترميز السياق في متجهات كثيفة. ومع ذلك، فإن معظم أساليب الضغط المرن الفعالة تتطلب ضبطاً دقيقاً (fine-tuning) للمفكك المستهدف (decoder) أو تعديل بنيته. هذا التكيف غالباً ما يؤدي إلى تدهور القدرات العامة للنموذج عندما لا يُستخدم لمهمة الضغط المحددة، ويستلزم تدريب مشفر (encoder) مخصص لكل مفكك على حدة، مما يعيق قابلية النقل.
المنهجية
يقترح المؤلفون ARC-Encoder (مُضغط تمثيلات النصوص القابل للتكيف)، وهو أسلوب يضغط النص إلى تمثيلات مستمرة تحل محل تضمينات الرموز الخام في نموذج مفكك (decoder) مجمد. يضمن التصميم الجوهري بقاء المفكك دون تعديل، مما يحافظ على قدراته الأصلية في التوليد والتعلم من أمثلة قليلة (few-shot).
البنية الهندسية
يتكون النظام من ثلاثة مكونات رئيسية:
المشفر النصي (Text Encoder): يعتمد على محول LLM (تحديداً Llama3.2 3B في التجارب الأساسية) مع إزالة رأس المخرجات والقناع السببي (causal mask).
آلية التجميع (Pooling Mechanism): عملية مبتكرة تُجرى داخل وحدة الانتباه الذاتي في الطبقة الأخيرة للمشفر. بدلاً من استخدام رموز ذاكرة ثابتة، يقوم المشفر بمتوسط متجهات الاستعلام (query vectors) المتتالية لتقليل طول التسلسل بعامل تجميع ثابت (x، عادةً 4 أو 8). تظل المفاتيح (keys) والقيم (values) غير مضغوطة، بينما يتم دمج الاستعلامات. وهذا يسمح لحجم المخرجات بالتوسع خطياً مع طول المدخلات.
مشروع MLP (MLP Projector): شبكة عصبية بسيطة (MLP) خفيفة الوزن مكونة من طبقتين (بدون دالة تنشيط) تقوم برسم خرائط مخرجات المشفر إلى البعد الخفي للمفكك المستهدف. يعمل هذا كعنق زجاجة بُعدي ومحول (adapter).
استراتيجية التدريب
تتضمن عملية التدريب مرحلتين متمايزتين لضمان أن تكون التمثيلات المضغوطة قابلة لإعادة البناء ومفيدة للتوليد اللاحق:
التدريب المسبق (Pretraining): يتناوب النموذج بين مهمتين:
إعادة البناء (Reconstruction): يتم توجيه المفكك (teacher-forced) لمحاكاة رموز النص الكاملة من التمثلات المضغوطة.
الاستمرارية (Continuation): تُستبدل أجزاء من النص بتمثلات مضغوطة، ويُدرب المفكك على إكمال النص من تلك النقطة.
تُضاف رموز متعلمة خاصة (<Rec> و <Cont>) لتحديد المهمة.
الضبط الدقيق (Fine-Tuning): يتم ضبط المشفر بدقة على مهام لاحقة محددة (سؤال وجواب، ترجمة، تلخيص) بينما يظل المفكك مجلداً. وللحفاظ على قدرات التعلم من أمثلة قليلة، تتداخل بيانات التدريب بين الوثائق المضغوطة والاستعلامات والإجابات كاملة النص.
التكيف مع تعدد المفككات (Multi-Decoder Adaptation)
الابتكار الرئيسي هو القدرة على تدريب مشفر واحد مشترك للعمل مع عدة مفككات (مثل Mistral 7B و Llama3.1 8B). ويتحقق ذلك من خلال إبقاء أوزان المشفر مشتركة مع تعلم مشروع MLP منفصل وخفيف الوزن ورموز مهام محددة لكل مفكك. وتستحوذ هذه المعلمات الخاصة بالمفكك على أقل من 1% من إجمالي بارامترات المشفر.
المساهمات الرئيسية
منهجية ARC-Encoder: نهج مبتكر لحساب تمثيلات نصية مضغوطة تحل محل المدخلات الخام في نماذج LLM دون تعديل المفكك. يحقق أداءً قوياً عبر الاختبارات المعيارية (سؤال وجواب، ترجمة، تلخيص) مع تقليل طول تسلسل المدخلات.
التوافق مع تعدد المفككات: إثبات أن مشفراً واحداً يمكن تدريبه لدعم عدة مفككات في آن واحد. يتطلب التكيف مع مفكك جديد تدريب مشروع MLP صغير فقط (<1% من بارامترات المشفر)، مما يتيح حلاً للضغط "قابل للنقل".
توسيع نافذة السياق: نجحت الطريقة في توسيع نافذة السياق للمفككات (على سبيل المثال، تمكين نموذج بـ 4 آلاف رمز من معالجة 32 ألف رمز) عن طريق ضغط المستندات الكبيرة إلى قطع (chunks) تُعالج بالتوازي.
رؤى التدريب: يثبت المؤلفون أن كلاً من التدريب المسبق (للمحاذاة) والضبط الدقيق (للتخصص في المهام) أمران حاسمان. كما وجدوا أن التدريب المسبق باستخدام عامل تجميع أعلى من المستخدم في الضبط الدقيق يؤدي إلى نتائج أفضل.
النتائج
الأداء: يحقق ARC-Encoder أداءً يضاهي أو يتجاوز النماذج المرجعية (ICAE, xRAG, PISCO, LLMLingua2) في الاختبارات المعيارية (HotpotQA, Natural Questions, SQuAD, FLORES, CNN-DailyMail) أثناء العمل على النماذج الأساسية.
الكفاءة: تقلل الطريقة من تكاليف الحوسبة في مرحلة التعبئة المسبقة (FLOPs) بنسبة تقارب 1.8 إلى 1.9 مرة مقارنة بمعالجة النص الكامل، اعتماداً على عامل التجميع.
الذاكرة: يوضح المؤلفون أن التمثلات المضغوطة لويكيبيديا تتطلب مساحة تخزين مقاربة للنص الخام (حوالي 20-80 جيجابايت مقابل 24 جيجابايت للنص الخام)، مما يجعل الحوسبة المسبقة والتخزين أمراً قابلاً للتطبيق في أنظمة RAG.
التعميم: يظهر النموذج قدرة قوية على التعميم خارج النطاق (out-of-domain) على مجموعات البيانات الطبية الحيوية (BioASQ, PubMedQA) حيث تعاني الضواغط الأخرى، ويرجع ذلك على الأرجح إلى قوة المشفر المشترك والحد الأدنى من تعديل المفكك.
السياق الطويل: في اختبارات السياق الطويل (ZeroSCROLLS)، يتفوق ARC-Encoder المقترن بنموذج Llama2 Chat القياسي على النماذج التي تم ضبطها خصيصاً للسياقات الطويلة (مثل Llama2-32k) في مهام معينة، مع ترك بنية المفكك دون تغيير.
الأهمية والادعاءات
يضع البحث ARC-Encoder كحل مرن وفعال لضغط السياق القابل للنقل. تكمن أهميته الأساسية في فصل الضغط عن تعديل المفكك. ومن خلال الحفاظ على أوزان المفكك الأصلية، تتجنب الطريقة "النسيان الكارثي" الذي يصاحب غالباً الضبط الدقيق للمفككات لمهام محددة، وتحافظ على التوافق مع التعلم من أمثلة قليلة وبروتوكولات التقييم القياسية (مثل المطابقة التامة في إعدادات الـ 5 أمثلة).
يدعي المؤلفون أن ARC-Encoder يتيح إنشاء تمثلات مضغوطة عالمية يمكن تكييفها مع مختلف نماذج LLM بأقل قدر من التكاليف الإضافية، مما يوفر مساراً عملياً لمعالجة السياق الطويل بكفاءة دون الحاجة إلى تغييرات في البنية الهيكلية للنماذج المستهدفة. كما يقرون بوجود قيود، مشيرين إلى أن فعالية الطريقة تعتمد حالياً على تنسيق المهام في بيانات الضبط الدقيق، وأن نسب الضغط الأعلى (تتجاوز 8 أضعاف) أو السياقات الطويلة جداً (مثل 128 ألف رمز) تظل مجالات للعمل المستقبلي.