تخيل أنك تحاول تذكر قصة ضخمة لتخبر بها صديقاً لك. لديك دفتر ملاحظات تكتب فيه كل تفصيل مهم سمعته حتى الآن. وكلما كبرت القصة، احتجت إلى صفحات أكثر. الآن، تخيل أن دفتر ملاحظاتك بدأ ينفد منه المساحة، ولا يمكنك شراء دفتر أكبر. ولحل هذه المشكلة، قررت تصغير خط يدك. بدلاً من كتابة حروف كاملة وواضحة، تقوم بخربشتتها باستخدام أربعة رموز صغيرة فقط: نقطة، وشرطة، ودائرة، وعلامة (X). هذا يشبه ضغط كمية هائلة من المعلومات في مساحة صغيرة جداً.

في عالم الذكاء الاصطناوي، وتحديداً النماذج اللغوية الكبيرة (LLMs)، تُسمى دفاتر الملاحظات هذه "ذاكرة التخزين المؤقت لـ KV" (KV caches). وهي تخزن سياق المحادثة لكي يتذكر الذكاء الاصطناعي ما قيل سابقاً. ومع طول المحادثات، تصبح هذه الذاكرة ضخمة، مما يستهلك الذاكرة ويبطئ العمل. ولحل هذه المشكلة، يحاول العلماء تقليص البيانات إلى 2 بت فقط (باستخدام أربعة مستويات فقط، مثل رموزنا الأربعة). لكن هناك مشكلة: عندما تضغط البيانات بهذا الإحكام، فإن "القيم المتطرفة" (outliers) — أي التفاصيل المهمة وغير العادية — يتم سحقها لتأخذ شكلاً خاطئاً، ويبدأ الذكاء الاصطناعي في ارتكاب الأخطاء. الأمر يشبه محاولة وضع حبة بطاطس ضخمة وغير منتظمة في صندوق صغير؛ ستتعرض البطاطس للكدمات، وعند إخراجها، لن تبدو كما كانت البطلاًة التي وضعتها في البداية.

لفترة من الوقت، حاول الباحثون إصلاح ذلك عن طريق تدوير البطاطس قبل ضغطها، آملين في توزيع النتوءات بشكل متساوٍ، لكنهم كانوا يقيسون النجاح بناءً على مدى جودة مظهر البطاطس داخل الصندوق، وليس بناءً على مدى قدرة الذكاء الاصطناعي على استخدامها لسرد القصة لاحقاً. تقدم هذه الورقة البحثية طريقة جديدة تسمى OptR (التدوير المدرك للمخرجات - Output-Aware Rotation) والتي تغير قواعد اللعبة. فبدلاً من مجرد محاولة جعل البيانات تبدو جيدة داخل الصندوق، تتحقق OptR مما إذا كان بإمكان الذكاء الاصطناعي لا يزال يفهم القصة بعد ضغط البيانات وفك ضغطها. وقد تبين أنه من خلال الاهتمام بالنتيجة النهائية، يمكن للذكاء الاصطناعي أن يتذكر الكثير بدقة أكبر، حتى مع وجود ذلك الدفتر الصغير ذي الرموز الأربعة.

المشكلة: تأثير "البطاطس المسحوقة"

عندما يقرأ الذكاء الاصطناعي نصاً طويلاً، فإنه يبني خريطة ذهنية للكلمات التي رآها. تُخزن هذه الخريطة في ذاكرة الـ KV cache. ولتوفير المساحة، يستخدم الباحثون تقنية تسمى التكميم (quantization) لتقليص هذه الخريطة. والنسخة الأكثر تطرفاً هي تكميم INT2، الذي يقلل البيانات إلى أربع قيم محتملة فقط. إنها فعالة للغاية — حيث تستخدم 1/8 فقط من ذاكرة التنسيقات القياسية — لكنها محفوفة بالمخاطر.

فكر في البيانات في الذاكرة المؤقتة كأنها مجموعة من الطلاب يقفون في صف. معظم الطلاب متوسطو الطول، لكن القليل منهم عمالقة. إذا حاولت وضعهم جميعاً في غرفة صغيرة (نطاق INT2)، فسيتم سحق العمالقة، وسيتم سحق الطلاب المتوسطين أيضاً لأن الغرفة صغيرة جداً بالنسبة للعمالقة. وهذا يسبب "خطأ التكميم"، حيث يخطئ الذكاء الاصطناعي في تذكر العمالقة والطلاب المتوسطين على حد سواء.

لإصلاح ذلك، استخدمت الطرق السابقة التدوير (rotation). تخيل تدوير صف الطلاب بحيث لا يعود العمالقة واقفين بشكل مستقيم بل مائلين جانباً. هذا يوزع طولهم عبر الغرفة، مما يجعل من السهل استيعاب الجميع دون سحقهم. ومع ذلك، تجادل الورقة البحثية بأن الطرق السابقة كانت ترتكب خطأً؛ فقد كانت تقوم بتدوير الطلاب لمجرد جعلهم يتناسبون بشكل جيد داخل الغرفة (تقليل الخطأ في البيانات المخزنة)، لكنها لم تكن تتحقق مما إذا كان الطلاب سيتمكنون من الجري في سباق بشكل صحيح بمجرد خروجهم من الغرفة.

يشير المؤلفون إلى وجود عدم تطابق: التدوير الذي يجعل البيانات تبدو في أفضل حال داخل الصندوق ليس بالضرورة هو التدوير الذي يساعد الذكاء الاصطناعي على الأداء بشكل أفضل بعد استخدامه لتلك البيانات. فالذكاء الاصطناعي لا يهتم إذا كانت البيانات تبدو مثالية في الذاكرة المؤقتة؛ بل يهتم إذا كانت الإجابة النهائية صحيحة.

الحل: OptR (التدوير المدرك للمخرجات)

تقترح الورقة البحثية OptR، وهي طريقة تحسن التدوير بناءً على المخرج النهائي للذكاء الاصطناعي، وليس فقط التخزين.

إليك كيف تعمل OptR، خطوة بخطوة:

1. تمركز البيانات (خدعة "التسوية"): قبل ضغط البيانات، تقوم OptR بطرح القيمة المتوسطة من المفاتيح (Key Reparameterization). تخيل لو أن العمالقة في صفنا كانوا يقفون بالفعل على منصة عالية؛ تقوم OptR بخفض المنصة بحيث يقف الجميع على نفس مستوى الأرض. هذا لا يغير من كونهم طوال القامة أو قصار القامة بالنسبة لبعضهم البعض، لكنه يمنع العمالقة من الاصطدام بسقف الغرفة الصغيرة. والأهم من ذلك، أن هذه الخطوة "مكافئة للانتباه" (attention-equivalent)، مما يعني أنها تغير الأرقام ولكنها تحافظ على تركيز انتباه الذكاء الاصطناعي تماماً. إنها تضيق نطاق الأرقام، مما يجعل عملية ضغط INT2 أقل إيلاماً بكثير.

2. تعلم الدوران المثالي (خطوة "الإدراك للمخرجات"): بدلاً من استخدام دوران ثابت (مثل التدوير الرياضي القياسي)، تتعلم OptR دوراناً مخصصاً لكل "رأس" (head) (وهو جزء محدد من دماغ الذكاء الاصطناعي) في النموذج. وهي تفعل ذلك من خلال محاكاة العملية بأكملها: ضغط البيانات، ثم فك ضغطها، ثم تشغيلها عبر آلية الانتباه للذكاء الاصطناعي، ثم إسقاطها على الإجابة النهائية.

   • تنظر إلى الخطأ في الإجابة النهائية (خطأ مخرجات الانتباه ما بعد الـ WO).
   • تقوم بتفكيك هذا الخطأ إلى جزأين: أخطاء ناتجة عن المفاتيح (التي تحدد ما ينتبه إليه الذكاء الاصطناعي) وأخطاء ناتجة عن القيم (التي تحدد المعلومات التي يتم استرجاعها فعلياً).
   • ثم تقوم بتعديل زوايا التدوير قليلاً لتقليل الخطأ في الإجابة النهائية، وليس فقط الخطأ في التخزين.

فكر في الأمر كضبط جهاز الراديو. الطرق القديمة حاولت جعل الضجيج (static) هادئاً قدر الإمكان داخل صندوق السماعة. أما OptR فتستمع إلى الموسيقى الخارجة من السماعة وتضبط المقابض حتى تبدو الأغنية مثالية، حتى لو لم يكن الضجيج داخل الصندوق صامتاً تماماً.

ما وجدوه

اختبر الباحثون OptR على ثلاثة نماذج مختلفة للذكاء الاصطناعي (Qwen3-4B، وQwen3-8B، وPhi4-14B) وخمسة اختبارات مرجعية صعبة، بما في ذلك مسائل الرياضيات (AIME25)، ومهام البرمجة (LiveCodeBench)، واسترجاع السياق الطويل (البحث عن إبرة في كومة قش مكونة من 64,000 كلمة).

كانت النتائج مذهلة:

• مكاسب هائلة في الدقة: في نموذج Qwen3-8B، أدى استخدام تكميم INT2 القياسي مع أفضل طريقة سابقة (QuaRot) إلى دقة بلغت 17.33% فقط في اختبار رياضيات صعب. وعند إضافة OptR، قفزت الدقة إلى 66.67%. هذا تحسن يقارب أربعة أضعاف.
• التفوق على المعايير المرجعية: حتى عند مقارنتها بأفضل طريقة حالية (OSCAR)، والتي كانت جيدة جداً بالفعل، رفعت OptR الدقة من 54.67% إلى 66.00%.
• قوة السياق الطويل: النتيجة الأكثر إثارة للإعجاب كانت في مهام السياق الطويل. فكلما طالت القصة (حتى 64,000 توكن)، فشلت طرق INT2 القياسية فشلاً ذريعاً، حيث انخفضت الدقة إلى ما يقرب من الصفر. أما OptR فقد حافظت على دقة الاسترجاع عالية، حيث انخفضت قليلاً من 99.83% (عند 4 آلاف توكن) إلى 70.02% (عند 64 ألف توكن)، بينما انهارت الطريقة القياسية إلى 0.04%.
• لا يوجد عقوبة في السرعة: أكد المؤلفون أن هذا السحر لا يأتي بتكلفة باهظة. فقد دمجوا OptR في النظام ووجدوا أنها تضيف عبئاً ضئيلاً جداً. سرعة الذكاء الاصطناعي (latency) وكمية البيانات التي يمكن معالجتها (throughput) ظلت متطابقة تقريباً مع الطرق القياسية. إنه كالحصول على محرك خارق دون إضافة أي وزن إضافي للسيارة.

لماذا يهم هذا؟

تشير الورقة البحثية إلى أنه لكي يعمل التكميم فائق انخفاض البتات (مثل INT2)، لا يمكننا مجرد النظر إلى البيانات بمعزل عن غيرها. يجب أن ننظر إلى كيفية تدفق تلك البيانات عبر النظام بأكمله وصولاً إلى الإجابة النهائية. ومن خلال التحسين من أجل المخرجات بدلاً من التخزين، تسد OptR الفجوة بين الضغط الشديد والأداء العالي.

يؤكد المؤلفون أن هذا ليس مجرد فوز نظري، بل هو فوز عملي. فهو يسمح لنماذج الذكاء الاصطناعي بالتعامل مع محادثات أطول بكثير ومجموعات أكبر من المستخدمين دون نفاد الذاكرة، مع الحفاظ على ذكاء النموذج لحل المسائل الرياضية الصعبة وكتابة الأكواد. لم يقترحوا فقط أن هذا قد ينجح، بل قاموا بقياسه عبر نماذج مختلفة ووجدوا تحسينات ثابتة وكبيرة، مما يثبت أن التحسين "المدرك للمخرجات" هو المفتاح لإطلاق الإمكانات الكاملة لذكاء اصطناعي بـ 2 بت.