تخيل أنك تقف أمام مكتبة سحرية ضخمة تحتوي على كل كلمة نُطقت في كل لغة على وجه الأرض. أنت راوٍ للقصص، ومهمتك هي كتابة الجملة التالية من قصة ما. وللقيام بذلك، يجب عليك اختيار أفضل كلمة واحدة من تلك المكتبة بأكملها. في عالم الذكاء الاصطنا-عي، تُسمى هذه "المكتبات" بالمعجم اللغوي (vocabularies)، ويُسمى "رواة القصص" بنماذج اللغات الكبيرة (LLMs). هذه النماذج ذكية للغاية، ولكن لديها مشكلة كبيرة: فحص كل كلمة في مكتبة تضم 100,000 أو حتى 250,000 كلمة يستغرق وقتاً وطاقة هائلين. الأمر يشبه محاولة العثين على إبرة معينة في كومة قش عن طريق التقاط كل قطعة قش واحدة تلو الأخرى. هذه العملية البطيئة تجعل من الصعب استخدام هذه النماذح الذكية في أشياء تتطلب وقتاً حقيقياً مثل الدردشة، أو البرمجة، أو الإجابة على الأسئلة بسرعة. لقد حاول العلماء العثور على طريقة لتخطي الأجزاء المملة من البحث دون ارتكاب أخطاء، لكن معظم المحاولات السابقة إما كانت تخمن كثيراً (مما يؤدي إلى مخاطر وقوع أخطاء) أو تطلبت إعادة بناء المكتبة بأكملها.

يقدم هذا البحث حيلة جديدة ذكية تسمى CSV-Decode. فبدلاً من فحص كل كلمة في المكتبة، أدرك المؤلفون أنه بالنسبة لأي لحظة معينة في القصة، هناك عدد قليل جداً من الكلمات التي من المرجح فعلياً أن تكون هي الخيار الصحيح، أما البقية فهي مجرد "ضجيج". لقد توصل الفريق إلى طريقة لاستخدام الهندسة — تخيل الأمر كأنك ترسم دوائر غير مرئية حول مجموعات من الكلمات المتشابهة — لإثبات رياضياً أن مجموعات معينة من الكلمات لا يمكن أن تكون هي الإجابة. ومن خلال القيام بذلك، يمكنهم تجاهل أجزاء ضخمة من المكتبة بأمان دون النظر إليها أبداً. لقد بنوا نظاماً يقوم بهذا الأمر بكفاءة عالية لدرجة أنه يجعل الذكاء الاصطناعي يعمل أسرع بمعدل 2 إلى 3 مرات (ويصل إلى ما يقرب من 5 أضعاف في بعض المهام) مع ضمان أن تكون الإجابة صحيحة. لقد اختبروا ذلك على نماذج مختلفة ووجدوا أن الأمر يعمل بسلاسة، مما يوفر الكثير من الطاقة والوقت دون التضحية بجودة القصة.

المشكلة: عنق الزجاجة في "المكتبة"

فكر في نموذج اللغة الكبير كطالب فائق الذكاء حفظ قاموساً ضخماً. عندما يريد هذا الطالب كتابة جملة، فعليه أن يقرر أي كلمة تأتي بعد ذلك. لاتخاذ هذا القرار، ينظر إلى "حالته الخفية" (فكره الحالي) ويقارنها بكل كلمة في قاموسه ليرى أي منها يناسب السياق بشكل أفضل.

المشكلة هي أن القواميس الحديثة ضخمة جداً. بعض النماذج لديها قواميس تضم أكثر من 250,000 كلمة. مقارنة فكرة بـ 250,000 كلمة يتطلب قدرة حوسبية هائلة. الأمر يشبه لو كان عليك سؤال 250,000 شخص في ملعب: "هل هذه هي الكلمة الصحيحة؟" قبل أن تتمكن من كتابة السطر التالي من مقالك. هذه العملية بطيئة ومكلفة لدرجة أنها أصبحت العائق الرئيسي الذي يحول دون عمل هذه النماذج بسرعة.

الطرق القديمة: التخمين ثم التخمين مرة أخرى

قبل هذه الطريقة الجديدة، جرب العلماء طرقاً أخرى لتسريع العمل:

• Softmax التكيفي (Adaptive Softmax): يشبه هذا تجميع الكلمات الأكثر شيوعاً وتجاهل الكلمات النادرة. لكنه جامد؛ فهو لا يتغير بناءً على القصة، وغالباً ما يتطلب إعادة تدريب النموذج بالكامل.
• Softmax الهرمي (Hierarchical Softmax): ينظم الكلمات في هيكل شجري، مثل شجرة العائلة، بحيث لا تضطر لفحص كل ورقة. لكن بناء هذه الشجرة أمر صعب، ولا يلتقط دائماً معنى الكلمات بشكل جيد.
• الترميز الاستدلالي (Speculative Decoding): يشبه هذا وجود مساعد مبتدئ يخمن الكلمات القليلة التالية، ثم يقوم الطالب الأساسي بالتحقق مما إذا كانت صحيحة أم لا. ورغم أن هذا يساعد، إلا أنه لا يزال يتطلب من الطالب الأساسي القيام بالكثير من العمل للتحقق من التخمينات، ولا يحل المشكلة الجوهرية المتمثلة في فحص القاموس بأكمله.

يجادل مؤلفو هذا البحث بأن هذه الطرق إما تضحي بالدقة (بارتكاب الأخطاء) أو أنها لا تحل المشكلة الرياضية الأساسية المتمثلة في فحص الكثير من الكلمات.

الفكرة الجديدة: "السياج الهندسي"

وصل المؤلفون، بقيادة دونج ليو وزملاؤه، إلى نهج مختلف. لقد أدركوا أن الكلمات في ذاكرة الكمبيوتر ليست مجرد قوائم عشوائية؛ بل هي مرتبة في مساحة هندسية بناءً على معناها. الكلمات التي تحمل معاني متشابهة (مثل "قطة" و"هريرة") تتجمع معاً، بينما الكلمات المختلفة تماماً (مثل "قطة" و"طائرة") تكون متباعدة.

إليك الحيلة السحرية:

1. التجميع: قبل أن يبدأ الذكاء الاصطناعي في الكتابة، يأخذ المؤلفون القاموس ويجمعون الكلمات المتشابهة في مجموعات (مثل وضع كل كلمات "الحيوانات" في صندوق واحد وكلمات "المركبات" في صندوق آخر).
2. السياج: لكل صندوق، يحسبون "سياجاً هندسياً". هذا السياج هو حدود رياضية تمثل أقصى درجة ممكنة يمكن أن تحصل عليها أي كلمة داخل ذلك الصندوق.
3. الاختصار: عندما يفكر الذكاء الاصطناعي في الكلمة التالية، فإنه لا يفحص كل كلمة داخل الصناديق. بدلاً من ذلك، يفحص السياج. إذا كان السياج الخاص بصندوق "المركبات" أقل من درجة أفضل كلمة وجدها الذكاء الاصطناعي بالفعل، فإنه يعرف يقيناً أن لا كلمة في صندوق "المركبات" يمكن أن تكون هي الفائزة. لذا، يتخطى الصندوق بأكمله دون بذل أي جهد!

هذا يشبه المشي في غابة ورؤية لافتة تقول: "الكنز بالتأكيد ليس في هذا الوادي لأن أعلى نقطة هناك منخفضة جداً". لست بحاجة لتسلق كل شجرة في ذلك الوادي؛ يمكنك ببساطة المرور بجانبه.

كيف يعمل: "التخطي الموثق"

يقدم البحث طريقتين رئيسيتين للتأكد من أن هذا التخطي آمن:

• توثيق الـ Top-k الدقيق: إذا كنت بحاجة إلى أفضل 10 كلمات (على سبيل المثال، لاختيار الكلمة الأفضل على الإطلاق)، فإن النظام يثبت رياضياً أنه لا يمكن لأي كلمة خارج المجموعة المختارة أن تكون ضمن أفضل 10. إنه ضمان بنسبة 100%.
• $\epsilon$-Certified Softmax: إذا كنت بحاجة إلى احتمالات جميع الكلمات (لاختيار كلمة عشوائياً بناءً على مدى احتمالية ظهورها)، فإن النظام يضمن أن الخطأ ضئيل جداً (أقل من رقم صغير محدد $\epsilon$).

يعمل النظام في الوقت الفعلي. يبدأ بفحص "الأسياج" للمجموعات الأكثر واعدة. إذا بدا أن المجموعة جيدة، فإنه يفتح الصندوق ويفحص الكلمات بداخله. وإذا بدت المجموعة سيئة، فإنه يتركها مغلقة للأبد. ويستمر في القيام بذلك حتى يجد الكلمات الكافية ليكون متأكداً، أو حتى يصل إلى حد الأمان.

النتائج: سريع، آمن، وصديق للبيئة

بنى المؤلفون نظاماً كاملاً لاختبار هذه الفكرة. استخدموا بطاقات رسوميات قوية (GPUs) لتشغيل الكود واختبروه على عدة نماذج ذكاء اصطناعي شهيرة، بما في ذلك Llama-3 و Mistral و CodeLlama.

إليكم ما وجدوه:

• السرعة: جعلت الطريقة الجديدة الذكاء الاصطناعي أسرع بمعدل 2.67 إلى 4.95 مرة من الطريقة القياسية. وفي مهام معينة، مثل كتابة الأكواد البرمجية، كان أسرع بنحو 5 مرات.
• الدقة: رغم تخطي الكثير من الكلمات، ظلت جودة المخرجات مثالية تقريباً. حافظت النماذج على 99.3% من جودتها الأصلية.
• الأمان: نادراً ما اضطر النظام إلى "العودة للحالة الأصلية" (التوقف عن التخطي وفحص كل شيء). كان معدل العودة أقل من 2%، مما يعني أنه نجح في تخطي الكلمات الصحيحة في كل مرة تقريباً.
• الطاقة: بما أنه يقوم بعمليات حسابية أقل، فإنه يستهلك طاقة أقل بنسبة 52% لكل كلمة يتم إنتاجها. وهذا أمر بالغ الأهمية لتوفير المال وحماية البيئة.

اختبروا أيضاً مدى فعالية العمل عند استخدام عدة أجهزة كمبيوتر (GPUs) معاً. لقد توسع النظام بشكل شبه مثالي، مما يعني أن إضافة المزيد من الأجهزة جعلته أسرع دون إضاعة الوقت في التواصل بينها.

لماذا يهم هذا الأمر

هذا البحث لا يقترح مجرد فكرة رائعة؛ بل يقدم نظاماً يعمل مع براهين رياضية تثبت صحته. إنه يوضح أننا لسنا مضطرين للاختيار بين أن نكون سريعين أو أذكياء. فمن خلال استخدام الهندسة لفهم كيفية ارتباط الكلمات ببعضها، يمكننا بناء أنظمة ذكاء اصطناعي أكثر كفاءة.

يعترف المؤلفون بأن الطريقة تعتمد على مدى جودة تجميع الكلمات. إذا كانت المجموعات غير منظمة، فقد تكون "الأسياج" فضفاضة جداً، وقد يضطر النظام لفحص المزيد من الكلمات. ومع ذلك، أظهرت تجاربهم أنه مع التجميع الصحيح، تكون الطريقة فعالة للغاية.

في المستقبل، يأمل المؤلفون في جعل التجميع أكثر ذكاءً بحيث يمكنه التكيف مع أنواع مختلفة من القصص أو اللغات بشكل فوري. ولكن في الوقت الحالي، يقف CSV-Decode كأداة جديدة قوية تجعل نماذج اللغات الكبيرة أسرع، وأرخص، وأكثر سهولة في الوصول للجميع. إنه يحول المهمة المستحيلة المتمثلة في فحص مليون كلمة إلى عملية تخطي سريعة وواثقة، ليثبت أن أفضل طريقة للعثور على الإجابة الصحيحة هي أحياناً معرفة الكلمات التي لا تحتاج للنظر إليها.