OrBIT: Structure-Guided Embedding Compression
تقدم الورقة البحثية OrBIT، وهو إطار عمل لضغط التضمين موجه بالبنية يكتشف الهندسة المحلية القابلة لإعادة الاستخدام من ديناميكيات المدار لتقييد الكلمات الرمزية المشتركة ضمن مخططات ضيقة متداخلة، محققاً نسب ضغط عالية (تصل إلى 37.9 ضعفاً) وأداءً تنافسياً في معدل التشويه من خلال الاستفادة من التخصيص الموجه بالبواقي والتركيب الزائد لإلغاء الأخطاء المحلية.
تعتمد نماذج اللغة الحديثة، وهي الأنظمة القوية التي تكتب وتترجم وتتحاور، على مكتبات داخلية ضخمة لفهم الكلمات. وتعمل هذه المكتبات، المعروفة باسم جداول التضمين (embedding tables)، كذاكرة للنموذج، حيث تخزن عنواناً رقمياً فريداً لكل كلمة يعرفها. ومع ازدياد حجم هذه النماذج وقدراتها، تصبح بنوك الذاية هذه هائلة، مما يستهلك كميات ضخمة من ذاكرة الحاسوب ويبطئ الأنظمة التي تستخدمها. ولجعل هذه النماذج عملية للاستخدام في الأجهزة اليومية، يجب على الباحثين إيجاد طرق لتقليص حجم هذه المكتبات دون فقدان المعنى الذي تحمله. لقد كان النهج القياسي هو إجبار عناوين الكلمات المعقدة هذه على الدخول في صناديق جامدة ومعدة مسبقاً، مثل الشبكات البسيطة أو الأشكال الهندسية الثابتة، ثم ضغط البيانات داخل تلك القيود. ومع ذلك، يفترض هذا الأسلوب أن البيانات تتناسب مع الصندوق، بدلاً من التساؤل عما إذا كان يمكن تشكيل الصندوق نفسه ليتناسب مع البيانات.
قدم فريق من الباحثين طريقة جديدة تسمى OrBIT تقلب هذه العملية رأساً على عقب. فبدلاً من فرض شكل ثابت على البيانات، يكتشف نظامهم الشكل الطبيعي الكامن داخل عناوين الكلمات نفسها. إنهم يتعاملون مع مجموعة عناوين الكلمات كنظام ديناميكي، يشبه كيفية دوران الكواكب حول نجم، ويستخدمون هذه الحركة لرسم المسار الأكثر كفاءة لتخزين المعلومات. ومن خلال تعلم الأنماط المحددة والقابلة لإعادة الاستخدام التي تنبثق من حركة البيانات نفسها، يبني النظام هندسة ضغط مخصصة. وهذا يسمح له بالتخلص من الهياكل الجامدة والمحددة مسبقاً للطرق القديمة، واستخدام هيكل مرن ومكتشف يتناسب تماماً مع البيانات. والنتيجة هي نظام يمكنه تقليص مكتبات الذاكرة الضخمة هذه بمعامل يصل إلى ثمانية وثلاثين ضعفاً لبعض النماذج، مع الحفاظ على دقة الكلمات المعاد بناؤها لتكون قريبة جداً من النسخ الأصلية غير المضغوطة.
يكمن جوهر هذا الاكتشاف في كيفية تعامل الباحثين مع "الخرائط" أو الرؤى المحلية للبيانات. تخيل النظر إلى جسم معقد من خلال عدة نوافذ متداخلة؛ حيث تظهر كل نافذة جزءاً مختلفاً قليلاً، ولكنه مرتبط، من الكل. في هذا النظام الجديد، ينشئ الباحثون رؤى متعددة متداخلة كهذه لعناوين الكلمات. ثم يستخدمون مجموعة صغيرة مختارة بعناية من الكلمات كمرتكزات لتعلم الهندسة المحلية، أو قواعد الحركة المحددة، لكل رؤية. وتُستخدم هذه القواعد لبناء قاموس من الأنماط القابلة لإعادة الاستخدام. وعندما يقوم النظام بضغط المكتبة بأكملها، فإنه لا يخزن كل عنوان كلمة بشكل فردي، بل يخزن مجموعة صغيرة من هذه الأنماط القابلة لإعادة الاستخدام وبعض التعليمات البسيطة لكل كلمة، تخبر النظام بالنمط الذي يجب استخدامه وكيفية دمجها. وهذا يمثل تحولاً كبيراً عن الطرق السابقة التي إما كانت تجبر الكلمات على الدخول في فئات منفصلة وغير متداخلة، أو استخدمت قوائم أنماط غير مقيدة وغير منظمة.
اختبر الباحثون هذا النهج على أربعة نماذج لغة كبيرة مختلفة، بما في ذلك أنظمة واسعة الاستخدام تحتوي على مليارات المعلمات. ووجدوا أنه من خلال ترك البيانات تملي هندستها الخاصة، استطاع النظام تحقيق معدلات ضغط متفوقة بمراحل على التقنيات الحالية. بالنسبة لنموذج يسمى GPT-2، قللت الطريقة الجديدة حجم التخزين بمقدار 37.9 ضعفاً مقارنة بتخزين 16 بت القياسي. وبالنسبة للنماذج الأكبر التي تحتوي على 7 مليارات معلمة، كان الانخفاض أكثر من 23 ضعفاً. والأهم من ذلك، أن هذا الاختزال الهائل في الحجم لم يأتِ على حساب الدقة؛ فقد حافظ النظام على مستوى من الدقة نافس، وفي كثير من الحالات تجاوز، أفضل طرق الضغط الحالية. وكان مفتاح هذا النجاح هو قدرة النظام على استخدام الرؤى المتداخلة لإلغاء الأخطاء. فعندما كان يحتوي أحد رؤى عنوان الكلمة على عدم دقة طفيفة، وفرت الرؤى المتداخلة فرصة ثانية لتصحيحه، تماماً كما يمكن لشهود متعددين المساعدة في إعادة بناء صورة واضحة لحدث ما حتى لو أخطأ شاهد واحد قليلاً.
تتضمن العملية آلية ذكية مكونة من خطوتين. أولاً، يتعلم النظام الهندسة المحلية من جزء ضئيل من البيانات، أقل من واحد بالمائة من إجمالي الكلمات. ويستخدم هذه العينة الصغيرة لاكتشاف "المدار" أو المسار الذي تتبعه البيانات بشكل طبيعي. ثم يستخدم هذا المسار المكتشف لتقييد مجموعة صغيرة من الأنماط المشتركة التي ستُستخدم للمكتبة بأكملها. وبمجرد تعلم هذه الأنماط وتجميعها في شكل نهائي مدمج، يتم التخلص من الآلية المعقدة المستخدمة لاكتشافها. إن فك التشفير النهائي، وهو ما يعمل فعلياً على الحاسوب، نحيف للغاية؛ فهو لا يحتاج لتذكر القواعد المعقدة أو البيانات الأصلية المستخدمة لتعلمها، بل يحتاج فقط إلى المجموعة النهائية من الأنماط والتعليمات البسيطة لكل كلمة. وهذا يعني أنه يمكن نشر النظام بكفاءة دون حمل الأعباء الثقيلة لعملية التدريب الخاصة به.
أظهر الباحثون أيضاً أن الهندسة المحددة التي اكتشفوها لم تكن مجرد خدعة رياضية عشوائية. فقد قارنوا نهجهم القائم على البيانات مقابل نهج قياسي غير منظم استخدم أشكالاً عشوائية من نفس الحجم. وقد نجح النهج القائم على البيانات باستمرار في التقاط المزيد من البنية الحقيقية لعناوين الكلمات، مما قلل الخطأ بنسبة تقارب عشرة بالمائة مقارنة بالنهج العشوائي. أثبت هذا أن النظام كان يتعلم حقاً شيئاً مفيداً عن البيانات، بدلاً من مجرد إيجاد طريقة ملائمة لحشرها في صندوق. علاوة على ذلك، تضمن النظام خطوة تحسين حيث يمكنه النظر إلى النتيجة النهائية وإجراء تعديلات صغيرة على الأنماط لإصلاح أي أخطاء متبقية، وكل ذلك دون إضافة أي مساحة تخزين إضافية. وقد أظهرت هذه القدرة على تحسين المخرجات النهائية بعد اكتمال الضغط الأولي أن النظام قوي وقابل للتكيف.
في النهاية، يقدم هذا العمل طريقة جديدة للتفكير في ضغط البيانات. فهو ينتقل من فكرة إجبار البيانات على الدخول في قوالب موجودة مسبقاً إلى فكرة اكتشاف القالب الذي تشكله البيانات طبيعياً. ومن خلال التعامل مع تخزين عناوين الكلمات كمسألة إيجاد الهندسة الصحيحة بدلاً من مجرد حشر الأرقام في مساحة أصغر، أظهر الباحثون أنه من الممكن تحقيق تخفيضات هائلة في الحجم مع الحفاظ على جودة المعلومات. يعمل هذا الأسلوب من خلال التعلم من عينة صغيرة، وبناء مكتبة مشتركة من الأنماط، ثم استخدام الرؤى المتداخلة لضمان دقة إعادة البناء النهائية. ويقدم هذا النهج مساراً واعداً لجعل نماذج اللغة الكبيرة أكثر كفاءة وسهولة في الوصول إليها، مما يثبت أن أفضل طريقة لتقليص حجم شيء ما هي فهم شكله أولاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.