تخيل أنك تحاول حل لغز صعب للغاية، ولكن لديك قاعدة صارمة جدًا: لا يمكنك الاحتفاظ إلا بعدد ضئيل من الملاحظات اللاصقة أمامك لتذكر أدلتك. وبينما تعمل، يولد عقلك سلسلة طويلة من الأفكار، "سلسلة من الأفكار"، حيث تدون كل خطوة، وكل تخمين، وكل طريق مسدود. في عالم الذكاء الاصطناي، تسمى هذه "الملاحظات اللاصقة" KV cache (ذاكرة المفتاح والقيمة). إنها طريقة الكمبيوتر لتذكر كل ما قاله حتى الآن ليتمكن من مواصلة الحديث.

المشكلة هي أنه بالنسبة لنماذج الذكاء الاصطناي الذكية حقًا التي تحاول حل مسائل رياضية صعبة، تصبح "سلسلة الأفكار" هذه طويلة للغاية. تتراكم كومة الملاحظات اللاصقة وتصبح كبيرة جدًا حتى تنفد ذاكرة الكمبيوتر، مما يؤدي إلى تعطل الذكاء الاصطناي أو تباطؤه بشكل كبير. ولإصلاح ذلك، حاول العلماء "ضغط" الذاكرة المخبأة (cache)—بمعنى التخلص من الملاحظات الأقل أهمية لتوفير مساحة. ولكن هناك مشكلة؛ فمعظم الطرق القديمة تعامل كل ملاحظة كما لو كانت متساوية في الأهمية. فهي تأخذ حفنة من الملاحظات وترمي الباقي، تمامًا مثل تنظيف غرفة فوضوية عبر رمي كل ما لا يشبه التلفاز. وهذا غالبًا ما يؤدي إلى رمي الأدلة الحاسمة اللازمة لحل اللغز، مما يترك الذكاء الاصطناي في حالة ارتباك وغير قادر على إتمام المهمة.

يقدم هذا البحث طريقة جديدة وأكثر ذكاءً لتنظيف الذاكرة تسمى Thought-Aware Attention Matching (TAM) (مطابقة الانتباه المدركة للأفكار). فبدلاً من التعامل مع أفكار الذكاء الاصطناي كقائمة مسطحة ومملة من الكلمات، يدرك TAM أن التفكير له بنية. إنه يشبه قصة ذات فصول: بعض الفصول تحتوي على تحولات حبكة مثيرة وحقائق رئيسية، بينما البعض الآخر هو مجرد شخصية تتجول في غابة تائهة. يكتشف TAM أي الأجزاء هي "تحولات الحبكة" وأيها "التجوال"، ويقوم فقط بالتخلص من أجزاء التجوال. ومن خلال القيام بذلك، يحافظ على الذكريات الأكثر أهمية آمنة بينما يقلص حجم البقية، مما يسمح للذكاء الاصطناي بحل المشكلات المعقدة دون نفاد الذاكرة.

المشكلة: تسريب ذاكرة في عقل الذكاء الاصطناي

عندما يحاول نموذج ذكاء اصطناعي حل مسألة رياضية، فإنه لا يكتفي بإخراج الإجابة فحسب، بل يفكر بصوت عالٍ، مولدًا تسلسلًا طويلًا من الخطوات يُعرف بـ "سلسلة من الأفكار". ولتتبع هذا التفكير، يخزن النموذج كمية هائلة من البيانات تسمى KV cache. فكر في هذه الذاكرة كحقيبة ظهر تزداد ثقلاً مع كل كلمة يكتبها الذكاء الاصطناي. وإذا كان الذكاء الاصطناي يحل مسألة صعبة، فقد تصبح حقيبة الظهر ثقيلة جدًا لدرجة أنها تكسر ذاكرة الكمبيوتر، مما يجبر الذكاء الاصطناي على التوقف.

لقد حاول العلماء إصلاح ذلك عن طريق "ضغط" حقيبة الظهر—أي التخلص من بعض العناصر القديمة لجعلها أخف وزنًا. ومع ذلك، كانت الأساليب السابقة تشبه عامل نظافة أخرق: كانوا ينظرون إلى الحقيبة ويقولون: "حسنًا، سأحتفظ بـ 10% من العناصر وأرمي الباقي"، دون الاهتمام بماهية تلك العناصر فعليًا. لقد عاملوا معادلة رياضية حاسمة بنفس الطريقة التي يعاملون بها وقفة "اممم، دعني أفكر". هذا النهج "الموحد" غالبًا ما كان يرمي أهم الأدلة، مما يتسبب في وقوع الذكاء الاصطناي في الأخطاء أو فشله في حل المشكلة تمامًا.

الحل: أمين مكتبة ذكي

يقترح مؤلفو هذا البحث طريقة جديدة تسمى Thought-Aware Attention Attention Matching (TAM). وبدلاً من أن يكون عامل نظافة أخرق، يعمل TAM كأمين مكتبة ذكي يعرف تمامًا أي الكتب هي الكلاسيكية وأيها مجرد مجلات قديمة.

يعمل TAM من خلال فهم أن سلسلة الأفكار ليست مجرد قائمة عشوائية من الكلمات، بل هي رحلة منظمة. فهو يقسم عملية تفكير الذكاء الاصطناي إلى "مقاطع فكرية"—مثل الفصول في كتاب. بعض الفصول تكون حيوية (مثل تحديد المشكلة أو إيجاد رقم رئيسي)، بينما البعض الآخر يكون طرقًا مسدودة (مثل تجربة مسار خاطئ وإدراك أنه لا يعمل).

إليك كيف يقوم TAM بسحره في ثلاث خطوات:

1. تقسيم القصة: يبحث TAM في مخرجات الذكاء الاصطناي ويجد الفواصل الطبيعية بين الأفكار. يستخدم قواعد بسيطة، مثل البحث عن فواصل الأسطر المزدوجة (حيث يبدأ الذكاء الاصطناي فقرة جديدة)، لتقسيم سلسلة الأفكار الطويلة إلى قطع يمكن إدارتها.
2. الميزانية التكيفية: هذا هو الجزء الذكي. يسأل TAM: "ما مدى أهمية هذه القطعة؟" يقيس مدى اعتماد أفكار الذكاء الاصطناي الحالية على كل مقطع. إذا كان المقطع عبارة عن "طريق مسدود" تجاوزته عملية التفكير، فإن TAM يمنحه ميزانية ضئيلة—أي يضغطه بشدة، ويرمي معظم التفاصيل. أما إذا كان المقطع عبارة عن "مرساة رئيسية" (مثل نص المشكلة الأصلي)، فإن TAM يمنحه ميزانية ضخمة، ويحافظ على معظم التفاصيل آمنة. الأمر يشبه التعبئة للرحلة: أنت تحفظ جواز سفرك ومحفظتك بأمان، لكن يمكنك ضغط جواربك وقمصانك لتوفير المساحة.
3. حماية المراسي: أحيانًا، تكون كلمات معينة مهمة جدًا بحيث لا يجب المساس بها أبدًا. يحدد TAM هذه "الكلمات المحورية"—وهي الكلمات التي يعود إليها الذكاء الاصطناي باستمرار، مثل الثوابت أو التعريفات الحاسمة—ويضعها في منطقة آمنة خاصة لا يمكن حذفها.

ما وجدوه: أذكى، وليس فقط أصغر

اختبر الباحثون هذه الطريقة الجديدة على اثنين من الاختبارات المرجعية الصعبة للرياضيات: AIME 2024 (مسابقة تضم 30 مسألة صعبة) و MATH-500 (مجموعة من 500 مسألة). واستخدموا نموذجًا يسمى Qwen3-4B لمعرفة ما إذا كان بإمكان TAM حل هذه المسائل مع استخدام ذاكرة أقل من الطرق القديمة.

كانت النتائج واعدة. فعندما قارنوا TAM بالطريقة "الموحدة" القديمة (التي ترمي قطعًا عشوائية فقط)، حقق TAM نتائج أفضل باستمرار.

• في اختبار AIME 2024، حققت الطريقة الموحدة القديمة حوالي 56.7% من الإجابات الصحيحة، بينما رفع TAM هذه النسبة إلى 60.0%.
• في اختبار MATH-500، حققت الطريقة الموحدة 64.6%، بينما وصل TAM إلى 67.8%.

ولعل الأمر الأكثر إثارة للإعجاب هو توفير الذاكرة. فمن خلال استخدام نسخة "دورية" من TAM (التي تنظف الذاكرة كل 1,024 كلمة بدلاً من الانتظار حتى النهاية)، تمكنوا من تقليل ذروة استخدام الذاكرة إلى 3.1–3.2 جيجابايت. وهذا يمثل انخفاضًا بنسبة 65% مقارلة بعدم الضغط على الإطلاق، والذي كان سيستخدم حوالي 9.2 جيجابايت. والأهم من ذلك، نجحوا في الحفاظ على دقة الذكاء الاصطناي عالية مع جعل بصمة الذاكرة أصغر بكثير.

المقايضات والقيود

نظر البحث أيضًا في مقدار الوقت الذي يستغرقه هذا "التنظيف الذكي". ووجدوا أن العمل الإضافي الذي يقوم به TAM لتحديد الأجزاء المهمة سريع جدًا—حيث يضيف حوالي 0.15 ثانية فقط إلى العملية. وهذا ثمن ضئيل جدًا مقارنة بالوقت الذي يستغرقه توليد النص نفسه.

ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس حلاً سحريًا لكل المواقف. تعتمد طريقتهم على أن مخرجات الذكاء الاصطناي تمتلك بنية واضحة (مثل الفقرات). إذا كان تفكير الذكاء الاصطناي فوضويًا ولا يحتوي على فواصل واضحة، أو إذا كان يتنقل ذهابًا وإيابًا بطريقة مربكة، فقد يواجه TAM صعوبة في العثور على المقاطع الصحيحة. كما أنهم اختبروا هذا فقط على مسائل رياضية باستخدام نموذج محدد. وبينما النتائج قوية، إلا أننا لا نعرف بعد ما إذا كان سيعمل بنفس الطريقة عند كتابة القصص أو برمجة البرمجيات، أو على نماذج ذكاء اصطناي أكبر بكثير.

باختصار، يشير هذا البحث إلى أنه من خلال معاملة أفكار الذكاء الاصطناي كقصة منظمة بدلاً من كومة كلمات فوضوية، يمكننا توفير كمية هائلة من الذاكرة دون فقدان القدرة على التفكير بوضوح. إنها خطوة نحو جعل نماذج الذكاء الاصطناي الذكية قادرة على العمل على أجهزة أصغر وأقل تكلفة دون نسيان الأجزاء الأكثر أهمية من رحلتها.