Training-Free Hashing-Based Attention via Binary Principal Components

تخيل أنك تحاول تذكر محادثة حدثت منذ زمن بعيد. إذا حاولت الاحتفاظ بكل كلمة قالها الجميع في رأسك دفعة واحدة، فسوف يزدحم عقلك ويتباطأ. هذه هي بالضبط المشكلة التي تواجه "نماذج اللغات الكبيرة" (LLMs) الحديثة، وهي العقول الذكية للغاية وراء أدوات مثل روبوتات الدردشة. تصبح هذه النماذج أفضل في قراءة المستندات الضخمة، لكن لديها عنق زجاجة في الذاكرة: لكي تجيب على سؤال، تحتاج إلى النظر إلى كل ما قرأته حتى الآن. ومع طول المحادثة، تنمو "الذاكرة" (التي تسمى ذاكرة المفتاح والقيمة - Key-Value cache) بشكل هائل، ويضطر الكمبيوتر للبحث فيها في كل مرة يريد فيها قول الكلمة التالية. الأمر يشبه محاولة العثور على جملة محددة في مكتبة تستمر في إضافة كتب جديدة في كل ثانية؛ حيث يتعثر أمين المكتبة (الكمبيوتر) في مجرد المشي عبر الممرات، مما يجعل عملية القراءة الفعلية بطيئة للغاية.

لحل هذه المشكلة، حاول العلماء جعل أمين المكتبة أكثر ذكاءً من خلال النظر فقط إلى الصفحات الأكثر أهمية. تحاول بعض الطرق تخمين الصفحات المهمة بناءً على قواعد عشوائية، بينما تحاول طرق أخرى "تدريب" أمين المكتبة ليتعلم مخطط المكتبة. لكن التخمينات العشوائية غالبًا ما تفقد الأشياء الجيدة، والتدريب يستغرق وقتًا طويلاً ويكلف ثروة. تقدم هذه الورقة حيلة ذكية جديدة تسمى BinaryPC. فكر في الأمر كأنك تعطي أمين المكتبة نظام بطاقات فهرسة سحري وفائق السرعة. بدلاً من قراءة الكتاب بأكمله أو حفظ المخطط، يقوم BinaryPC بتحويل كل صفحة إلى "كود ثنائي" (binary code) صغير مكون من 64 بت (سلسلة من الآحاد والأصفار فقط) يلتقط "شكل" أو "روح" الصفحة. يفعل ذلك دون الحاجة إلى أي تدريب إضافي، فقط من خلال النظر إلى البيانات الموجودة هناك. والنتي نتيجة ذلك؟ يمكن لأمين المكتبة مسح ملايين الصفحات فورًا باستخدام حيل كمبيوتر فائقة السرعة (عمليات bitwise) للعثور على الصفحات الصحيحة، مما يجعل الذكاء الاصطناعي أسرع بكثير دون نسيان التفاصيل المهمة.

المشكلة: "إبرة في كومة قش" لا تنتهي أبداً

تخيل أنك تقرأ رواية طولها 100,000 صفحة. طُلب منك الإجابة على سؤال حول تفصيل صغير ذُكر في الصفحة 12. للإجابة بشكل صحيح، يحتاج الذكاء الاصطناعي إلى النظر في جميع الصفحات الـ 100,000 للعثور على تلك الإبرة الواحدة. ولكن في كل مرة يحاول فيها الذكاء الاصطناعي توليد كلمة جديدة، يتعين عليه إعادة مسح كومة القش بأكملها. هذا الأمر بطيء، ومكلف، ويجعل الذكاء الاصطناعي يتلعثم.

تحاول الحلول الحالية المساعدة عن طريق التخلص من الصفحات التي يعتقدون أنها ليست مهمة. تستخدم بعض الطرق تخمينات عشوائية (مثل التجزئة الحساسة للموقع أو LSH) لاختيار الصفحات. وتجادل الورقة بأن هذا يشبه محاولة العثين على إبرة عن طريق إغلاق عينيك والإشارة إلى أماكن عشوائية في كومة القش؛ قد يحالفك الحظ، لكنك غالبًا ما ستفقد الإبرة أو تلتقط قطعة من القش. وتحاول طرق أخرى تعلم الطريقة المثلى لاختيار الصفحات، لكن هذا يتطلب وقت تدريب وبيانات هائلة لكل نموذج ذكاء اصطناعي، وهو أمر غير عملي للكثير من المستخدمين.

الحل: BinaryPC (المكونات الرئيسية الثنائية)

يقترح المؤلفون BinaryPC، وهي طريقة "لا تتطلب تدريبًا" (لا تحتاج لتعلم أي شيء جديد) ولكنها "مدركة للبيانات" (تفهم البيانات المحددة التي تنظر إليها).

إليك كيف تعمل، باستخدام تشبيه إبداعي:

تخيل أن ذاكرة الذكاء الاصطناعي عبارة عن سحابة ضخمة من البالونات الطافية، كل منها يمثل قطعة من المعلومات من النص. بعض البالونات حمراء، وبعضها أزرق، وهي تتجمع معًا في أشكال محددة.

• الطرق القديمة حاولت قطع هذه السحابة بجدران غير مرئية وعشوائية (إسقاطات عشوائية) لفرز البالونات. وغالبًا ما كان هذا يقطع مباشرة عبر التجمعات، مما يخلط بين البالونات المهمة والنفايات.
• BinaryPC ينظر إلى السحابة ويجد الاتجاهات الرئيسية حيث تصطف البالونات بشكل طبيعي. إنه يشبه العثين على الأطول والأعرض والأكثر تميزًا في السحابة. ثم يقوم بإسقاط كل بالون على هذه المحاور وتحويل موقعه إلى رمز نعم/لا بسيط (أو +1/-1) ثنائي.

تسمى هذه العملية بحساب المكونات الرئيسية الثنائية (Binary Principal Components). وهي تشبه كيف يمكنك وصف جسم ثلاثي الأبعاد معقد بمجرد القول "إنه طويل، ونحيف، وعالٍ" بدلاً من سرد كل ذرة فيه. ومن خلال تحويل البيانات المعقدة إلى كود ثنائي مدمج مكون من 64 بت (سلسلة من 64 واحدًا وصفرًا)، يمكن للذكاء الاصطناائي مقارنة ملايين الصفحات في الوقت الذي تستغرقه رمشة عين.

لماذا يعد هذا تغييراً لقواعد اللعبة؟

تظهر الورقة أن BinaryPC يمثل "النقطة المثالية" بين التخمينات العشوائية الفوضوية وطرق التدريب المكلفة.

1. إنه سريع وخفيف: نظرًا لأن الأكواد قصيرة جدًا (64 بت) ومكونة من آحاد وأصفار فقط، يمكن للكمبيوتر استخدام عمليات "bitwise" فائقة السرعة (مثل قلب المفاتيح) لمقارنتها. وجد المؤلفون أنه على بطاقات الرسوميات الحديثة (GPUs)، يجعل هذا الأسلوب الذكاء الاصطناعي أسرع بـ 3.56 مرة في فك تشفير النصوص الطويلة مقارنة بالمعيار الذهبي الحالي (FlashAttention). وفي بعض الحالات، كان أسرع بـ 5.04 مرة عندما تتباطأ الطريقة القياسية.
2. لا ينسى: هناك قلق رئيسي بشأن هذه الاختصارات وهو أن الذكاء الاصطناعي قد ينسى "الإبرة" في كومة القش. أضاف المؤلفون شبكة أمان تسمى الوقاية الواعية بالخطأ (EAS). إذا كان نظام الكود الثنائي غير متأكد من صفحة ما (بسبب غرابتها أو صعوبة تصنيفها)، فإن النظام يحتفظ تلقائيًا بتلك الصفحة في مجموعة "المهم" ليكون في أمان. هذا يضمن عدم تفويت الذكاء الاصطناعي للتفاصيل الحاسمة.
3. لا يتطلب تدريبًا: على عكس الطرق الأخرى التي تحتاج لأسابٍ من التدريب لتعلم كيفية فرز المكتبة، يكتشف BinaryPC قواعد الفرز أثناء العمل، تمامًا عند بدء الذكاء الاصطناعي في القراءة. وهو يعمل على أنواع مختلفة من نماذج الذكاء الاصطناعي (مثل Llama-3 و Mistral) دون الحاجة إلى إعادة ضبط لكل منها.

النتائج: السرعة دون التعثر

اختبر الباحثون هذا على بعض التحديات الصعبة، بما في ذلك اختبار "إبرة في كومة قش"، حيث أخفوا جملة سرية في مستند ضخم وسألوا الذكاء الاصطناعي للعثور عليها.

• الدقة: أدى BinaryPC أداءً يقارب ما لو كان الذكاء الاصطناعي قد قرأ كل صفحة (الانتباه الكامل - Full Attention). في الواقع، في بعض الاختبارات مع 128,000 توكن (كمية هائلة من النص)، طابق أداء "الأوراكل" (الأسلوب المثالي البطيء الذي يفحص كل شيء).
• المقارنة: تفوق على الطرق "المتفرقة" الأخرى (التي تحاول تخطي الصفحات) بل وتفوق على طريقة التجزئة العشوائية (MagicPIG)، التي غالبًا ما كانت تفقد الإبرة أو تتطلب أكوادًا طويلة جدًا (أكثر من 1,000 بت) لتعمل بشكل جيد.
• القابلية للتوسع: مع زيادة طول النص (من 8K إلى 128K توكن)، ظل BinaryPC سريعًا ودقيقًا، بينما بدأت الطرق الأخرى في الانهيار أو فقدان الدقة.

الخلاصة

تشير الورقة إلى أن BinaryPC هو وسيلة عملية، خفيفة الوزن، وفعالة للغاية لجعل الذك- الاصطناعي طويل السياق أسرع. فهو يحل مشكلة "عنق زجاجة الذاكرة" عن طريق تحويل البيانات المعقدة إلى أكواد ثنائية بسيطة ومدمجة يمكن لأجهزة الكمبيوتر معالجتها بسرعة البرق. ويثبت أنك لست بحاجة لتدريب نموذج جديد أو استخدام تخمينات عشوائية للحصول على نتائج رائعة؛ أنت فقط بحاجة للنظر في الشكل الطبيعي للبيانات وبناء خريطة ثنائية ذكية لها. لأي شخص يحاول تشغيل الذكاء الاصطناعي على مستندات طويلة، قد يعني هذا الفرق بين أداة بطيئة ومكلفة وبين أداة سريعة وفعالة تعمل على الأجهزة القياسية.