The Query Knows What to Forget: A Second Erase Direction for Linear Attention

تخيل أنك تحاول تذكر قصة سمعتها منذ زمن بعيد. يمتلك عقلك مساحة محدودة لاستيع هذه الذكريات، وإذا حاولت حشو الكثير من القصص في تلك المساحة الصغيرة، تبدأ التفاصيل في التداخل، وقد تخلط بين نهاية إحدى الحكايات وبداية أخرى. هذا يشبه إلى حد كبير كيفية تعامل نماذج الذكاء الاصطناዊ الحديثة مع المحادثات الطويلة؛ فهي تستخدم نوعًا خاصًا من الذاكرة يسمى "الانتباه الخطي" (linear attention) لمتابعة كل ما قيل حتى الآن دون نفاذ المساحة. وبدلًا من حفظ كل كلمة في كومة ضخمة ومتنامية، تقوم بضغط المعلومات في "حالة" ثابتة الحجم، تشبه مفكرة سحرية تُحدّث نفسها مع وصول كلمات جديدة.

ومع ذلك، هناك عقبة؛ فكلما طالت المحادثة، بدأت الذكريات القديمة في تلك المفكرة بالتداخل مع بعضها البعض. وعندما يحاول الذكاء الاصطناعي البحث عن معلومة محددة (مثل اسم ذُكر قبل 10,000 كلمة)، فإن الضجيج الناتج عن الكلمات الأخرى يجعل من الصعب استرجاع الإجابة الصحيحة. لقد حاول العلماء إصلاح ذلك بجعل الذكاء الاصطناعي أكثر ذكاءً فيما يتعلق بما يجب حذفه؛ حيث بنوا أنظمة يمكنها "مسح" المعلومات القديمة غير ذات الصلة لإفساح المجال للمعلومات الجديدة، ولكن حتى الآن، كانت أدوات المسح هذه خرقاء نوعًا ما، إذ كانت تعرف ما يجب حذفه بناءً على الكلمة الحالية التي يتم معالجتها فقط، وليس بناءً على ما يبحث عنه الذكاء الاصطناعي فعليًا.

يقدم هذا البحث خدعة ذكية تسمى QED (اتجاه المسح المستمد من الاستعلام - Query-derived Erase Direction) لإصلاح هذه الخرق. اكتشف الباحثون، الذين عملوا مع نماذج تبلغ بارامتراتها 340 مليونًا، أنه من خلال السماح لـ "سؤال البحث" (الاستعلام/query) الخاص بالذكاء الاصطناعي بالمساعدة في تحديد ما يجب مسحه، يمكن للنموذج الاحتفاظ بالمعلومات المهمة لفترة أطول بكثير. لقد قاموا بتدريب نماذجهم على مجموعة بيانات ضخمة تضم 15 مليار توكن (token)، ووجدوا أن هذه الطريقة الجديدة تسمح للذكاء الاصطناعي بتذكر التفاصيل من مسافات أبعد بكثير في المحادثة مما كان عليه من قبل. وتحديدًا، في اختبار يسمى S-NIAH-1، ضاعفت الطريقة الجديدة كمية النص التي يمكن للنموذج قراءتها بفاعلية، حيث دفعت الحد المفيد من حوالي 8,000 كلمة إلى 16,000 كلمة. ويشير البحث إلى أن هذه خطوة مهمة نحو جعل الذكاء الاصطناعي أفضل في قراءة المستندات الطويلة، رغم أن المؤلفين أشاروا إلى أن بعض الأجزاء المحددة من أداتهم الجديدة قد تحتاج إلى مزيد من الاختبار لمعرفة ما إذا كانت ضرورية تمامًا.

المشكلة: الممحاة "أحادية الاتجاه"

لفهم هذا الاختراق، دعونا ننظر إلى كيفية عمل نماذج الذكاء الاصطنا هذه حاليًا. تخيل أن ذاكرة الذكاء الاصطناعي هي مكتبة مزدحمة حيث يتم استبدال الكتب (المعلومات) باستمرار. عندما يصل كتاب جديد، يتعين على أمين المكتبة (النموذج) أن يقرر أي كتاب قديم سيرميه ليفسح مجالاً.

في النماذج المستخدمة قبل هذا البحث (مثل Gated DeltaNet-2)، ينظر أمين المكتبة فقط إلى الكتاب الجديد ("المفتاح"/key) ليقرر ما سيتم التخلص منه. الأمر يشبه قول: "هذا الكتاب الجديد يتحدث عن القطط، لذا سأرمي الكتاب القديم الذي يتحدث عن القطط". هذا يعمل بشكل جيد، لكنه يعاني من نقطة عمياء.

المشكلة هي أن الذكاء الاصطناعي لا ينظر فقط إلى الكتاب الجديد، بل لديه أيضًا سؤال محدد يحاول الإجابة عليه ("الاستعلام"/query). ربევما يكون السؤال: "من هو الشخصية الرئيسية؟". يحتاج أمين المكتبة للعثَد على الإجابة على ذلك السؤال تحديدًا. لكن الممحاة القديدة "أحادية الاتجاه" لا تعرف سوى ما يجب حذفه بناءً على موضوع الكتاب الجديد، وليس بناءً على السؤال المطروح.

أدرك المؤلفون أن "التداخل" — وهو الضجيج الذي يربك الذكاء الاصطناعي — يوجد بالضبط حيث يبحث السؤال. إذا كان السؤال يبحث عن تفصيل معين، ولكن أمين المكتبة يمسح فقط بناءً على موضوع الكتاب الجديد، فقد يظل الضجيج المربك في طريق السؤال مباشرة. الأمر يشبه محاولة العثور على إبرة في كومة قش بينما يقوم أمين المكتبة بإزالة القش الذي يشبه لون الإبرة فقط، متجاهلاً حقيقة أن الإبرة مخبأة تحت كومة من القش نفسه.

الحل: الممحاة "ثنائية الاتجاه"

يقترح البحث حلاً يسمى QED. بدلًا من وجود ممحاة واحدة، أضافوا ممحاة ثانية يتم توجيهها بواسطة السؤال نفسه.

فكر في الأمر بهذه الطريقة: أصبح لدى الذكاء الاصطناعي الآن "ممحاة موجهة بالمفتاح" (القديمة) و"ممحاة موجهة بالاستعلام" (الجديدة).

1. الممحاة الموجهة بالمفتاح لا تزال تقوم بعملها: تنظر إلى المعلومات الجديدة وتمحو الأشياء القديمة التي تطابقها.
2. الممحاة الموجهة بالاستعلام تنظر إلى ما يطلبه الذكاء الاصطناعي حاليًا. إذا كان السؤال هو "من هو الشرير؟"، فإن هذه الممحاة تستهدف وتزيل تحديدًا المعلومات القديمة المربكة التي قد تخفي الإجابة على هذا السؤال.

ومن الأهمية بمكان أن هذه الممحاة الجديدة مصممة لتكون "متعامدة" (orthogonal) مع الممحاة القديمة. وبمعنى أبسط، هذا يعني أنها تنظف الأجزاء من الذاكرة التي لا تستطيع الممحاة القديمة الوصول إليها. إنه يشبه امتلاك مكنسة كهربائية يمكنها شفط الغبار من زوايا الغرفة التي تعجز المكنسة اليدوية عن الوصول إليها.

اختبر الباحثون ذلك عبر تدريب النماذج على 15 مليار توكن من النصوص. ووجدوا أنه عندما سمحوا لـ "السؤال" بتوجيه الممحاة، أصبح النموذج أفضل بكثير في العثور على حقائق محددة في النصوص الطويلة.

ما وجدوه (وما لم يجدوه)

كانت النتائج واعدة للغاية، لكن المؤلفين كانوا حذرين من المبالغة في تقدير الأمر. إليكم ما أظهرته البيانات بالفعل:

• قدرة فائقة على السياق الطويل: في اختبار يسمى S-NIAH-1 (الذي يتحقق مما إذا كان النموذج يمكنه العثัง "إبرة في كومة قش" من النصوص)، حسنت الطريقة الجديدة الدقة بشكل ملحوظ. على سبيل المثال، عند طول 16,000 توكن (كلمة)، حصل النموذج القياسي على 21.8% تقريبًا، بينما حصل نموذج QED الجديد على 39.8%. وعند 32,000 توكن، كانت القفزة أكثر دراماتيكية، حيث انتقلت من 9.4% إلى 15.8%.
• مضاعفة الطول القابل للاستخدام: يذكر المؤلفون أن هذا التحسن يضاعف فعليًا طول السياق القابل للاستخدام. قبل ذلك، كان النموذج يبدأ في الارتباك حول 8,000 توكن؛ ومع QED، ظل موثوقًا حتى 16,000 توكن.
• لا يوجد "سحر" في الـ Perplexity: ومن المثير للاهتمام أن الطريقة الجديدة لم تجعل الذكاء الاصطناعي أفضل في الكتابة أو التنبؤ بالكلمة التالية في الجملة (وهو مقياس يسمى "فقدان التحقق"/validation loss)؛ حيث ظل الفقدان كما هو تمامًا. وهذا يشير إلى أن QED لا تجعل الذكاء الاصطناعي "أذكى" بالمعنى العام، بل تجعله أفضل في استرجاع ذكريات محددة من حالته المضغوطة.

لغز "الاستبعاد" (Ablation): أي الأجزاء مهمة؟

لمعرفة السبب الدقيق وراء نجاح QED، أجرى الباحثون تجارب قاموا فيها بإيقاف تشغيل أجزاء مختلفة من النظام الجديد. هذا يشبه تفكيك محرك سيارة لمعرفة أي برغي هو الذي يجعل السيارة تسير بشكل أسرع.

لقد اختبروا ثلاثة مكونات رئيسية:

1. الاتجاه (Direction): استخدام "السؤال" (الاستعلام) لتوجيه الممحاة.
2. البوابة (Gate): مفتاح يقرر متى يتم المسح (حتى لا يحذف الأشياء التي لا يزال الذكاء الاصطناعي بحاجة إليها).
3. الإسقاط (Projection): قاعدة رياضية لضمان أن الممحاة الجديدة لا تعبث بعمل الممحاة القديمة عن طريق الخطأ.

وهنا تكمن المفاجأة: كانت النتائج مختلطة نوعًا ما.

• الاتجاه هو المفتاح: في كل مرة استخدموا فيها "السؤال" لتوجيه الممحاة، أصبح النموذج أفضل. يبدو أن هذا الجزء هو البطل الحقيقي.
• البوابة والإسقاط غير واضحين: عندما أوقفوا "البوابة" أو "الإسقاط"، كانت النتائج غير متسقة؛ فأحيانًا كان النموذج يؤدي بشكل أفضل، وأحيانًا أسوأ، اعتمادًا على "البذرة العشوائية" (starting point) التي استُخدمت في التدريب. يشير المؤلفون إلى أنه بينما قد تساعد هذه الأجزاء، إلا أن التجارب لم تثبت أنها ضرورية تمامًا. ومن المحتمل أن يكون "الإسقاط" لم يفعل الكثير بالنسبة لحجم النموذج المحدد الذي استخدموه، لأن النموذج تجنب طبيعيًا المشكلات التي صُمم لمعالجتها.

الخلاصة

يخلص البحث إلى أن QED هي وسيلة ناجحة لمساعدة نماذج الذكاء الاصطناعي على تذكر الأشياء في المحادثات الطويلة. فمن خلال السماح لـ "السؤال" بالمساعدة في تحديد ما يجب نسيانه، يمكن للنموذج إزالة الضجيج الذي عادة ما يعيق ذاكرته.

ومع ذلك، كان المؤلفون صادقين بشأن حدود نتائجهم. لم يثبتوا أن "البوابة" أو "الإسقاط" ضروريان؛ بل أثبتوا فقط أن استخدام "الاستعلام" لتوجيه الممحاة هو التحسن الأكثر اتساقًا. كما أشاروا إلى أن قوة هذه الممحاة الجديدة قد تحتاج إلى ضبط اعتمادًا على المهمة المحددة، حيث إن تغيير "قوة" الممحاة وقت الاختبار أعطى نتائج مختلفة لنماذج مختلفة.

باختصار، يشير البحث إلى أنه إذا كنت تريد من الذكاء الاصطناعي قراءة رواية كاملة وتذكر اسم الشرير في الفصل الأخير، فيجب أن تعطيه "ممحاة موجهة بالاستعلام". ولكن قد تظل بحاجة إلى إجراء المزيد من الاختبارات لمعرفة كيفية ضبط "الأزرار" الأخرى في تلك الآلة الجديدة.