Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model
تشخص هذه الورقة وتصلح "إصابة واجهة" محددة في نموذج لغوي بحجم 0.6 مليار تم تحويله إلى انتباه خطي، حيث يتنبأ النموذج بشكل أعمى بتسميات الخيارات (مثل "A") بدلاً من المحتوى، وذلك باستخدام تشخيص قائم على التبديل وعملية تقطير KL مستهدفة في مرحلة الإكمال لاستعادة دقة الاختيار من متعدد مع الحفاظ على الكفاءة على الأجهزة الاستهلاكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت صغير وذكي للغاية كيف يقرأ كتابًا. في عالم الذكاء الاصطناعي، تُسمى هذه الروبوتات "نماذج لغوية". وهي تعمل من خلال النظر إلى الكلمات واحدة تلو الأخرى وتخمين ما سيأتي بعد ذلك، تمامًا مثل لعبة "أكمل الفراغ" فائقة السرعة. وللقيام بذلك، تحتفظ عادةً بقائمة ذهنية ضخمة لكل ما قرأته حتى الآن، مما يستهلك الكثير من الذاكرة. ولكن ماذا لو استطعنا تعليمها تذكر الأشياء بطريقة أصغر وأكثر كفاءة، مثل حلقة ذاكرة قصيرة المدى؟ هذا هو الوعد الذي يقدمه "الاهتمام الخطي" (linear attention)، وهو خدعة جديدة تسمح لهذه الروبوتات بالعمل على أجهزة كمبيوتر أصغر، مثل تلك الموجودة في حاسوبك المحمول أو هاتفك، بدلًا من الحاجة إلى أجهزة كمبيوتر عملاقة ومكلفة.
لقد حاول العلماء أخذ روبوتات كبيرة وقوية تعرف الكثير بالفعل وإجراء "جراحة" لها لتستخدم هذه الخدعة الجديدة والفعالة للذاكرة. السؤال الكبير هو: عندما نستبدل ذاكرتها القديمة بالذاكرة الجديدة والفعالة، هل ستنسى كيف تفكر، أم أنها ستصاب فقط بالارتباك بشأن كيفية إظهار ما تعرفه لك؟ هذا البحث يغوص في هذا الغموض تحديدًا. إنه يسأل: إذا أصلحنا ذاكرة الروبوت، فهل سيظل يعرف الإجابات، أم أن الجراحة قد كسرت الجزء من دماغه الذي يربط معرفته بالكلمات التي ينطق بها؟
الجراحة التي كسرت صندوق الصوت
قام الباحث بأخذ نموذج ذكاء اصطناعي صغير، بحجم 0.6 مليار معلمة (فكر فيه كطالب ذكي جدًا ولكنه صغير)، وأجرى له جراحة كبرى. لقد استبدل 21 طبقة من طبقات دماغه الـ 28 بنظام "اهتمام خطي" جديد وفعال يسمى KDA. قام بذلك باستخدام بطاقة رسوميات قياسية واحدة لجهاز كمبيوتر، وهي من النوع الذي قد يمتلكه لاعب فيديو (Gamer)، بدلاً من استخدام كمبيوتر خارق.
بعد الجراحة، فحصوا صحة الروبوت باستخدام الاختبارات الطبية القياسية. قالت الاختبارات إن الروبوت يبلي بلاءً حسنًا! فمقياس "الارتباك" (perplexity) لديه (وهو مقياس لمدى مفاجأته بالكلمة التالية) كان جيدًا تقريبًا مثل النموذج الأصلي. بدا وكأنه يفهم تدفق اللغة بشكل مثالي. ولكن بعد ذلك، طرحوا عليه سؤالًا بسيطًا من نوع الاختيار من متعدد: "ما هي عاصمة فرنسا؟ أ) لندن، ب) باريس، ج) برلين، د) روما".
فشل الروبوت. فشل فشلًا ذريعًا. لم يحصل على الإجابة الصحيحة إلا بنسبة 25% تقريبًا، وهي نفس النتيجة التي قد تحصل عليها إذا كنت تخمن عشوائيًا فقط. لقد كذبت الاختبارات القياسية. كان الروبوت يعرف الحقائق في أعماقه، لكنه فقد القدرة على الإشارة إلى الإجابة الصحيحة.
إدمان حرف "أ": قصة تحقيق بوليسية
لمعرفة ما كان خطب الأمر، ابتكر الفريق خدعة تحقيق ذكية تسمى "تشخيص التبديل الرباعي". تخيل أن لديك سؤالًا من نوع الاختيار من متعدد بأربعة خيارات: أ، ب، ج، ود. عادةً ما يكون الإجابة مخفية خلف أحد هذه الحروف.
أخذ الباحث 161 سؤالًا وقام بتبديل الحروف حول بعضها البعض. سأل نفس السؤال أربع مرات، ولكن في كل مرة قام بتدوير الخيارات:
- الأصل: أ=لندن، ب=باريس...
- مروَّت: أ=باريس، ب=برلين...
- مروَّت مرة أخرى: أ=برلين، ج=روما...
- ومرة أخرى.
إذا كان الروبوت يفكر حقًا، فيجب أن يتبع "المحتوى" (كلمة "باريس") ويختار الحرف الصحيح، بغض النظر عن مكانه. أما إذا كان قد نسي كل شيء، فسيخمن عشوائيًا في كل مرة.
لكنه لم يفعل أيًا من الأمرين. لقد فعل شيئًا غريبًا: أصبح مهووسًا بالحرف "أ".
- اختار الخيار "أ" بنسبة 81% من المرات، بغض النظر عما إذا كان "أ" هو الإجابة الصحيحة أم لا.
- في 106 من أصل 161 سؤالاً، اختار نفس الحرف بالضبط (عادةً "أ") حتى عندما تم تبديل الخيارات تمامًا.
لم يكن الروبوت غبيًا؛ بل كان "عالقًا". لقد فقد الواجهة — الجسر الذهني الذي يربط معرفته بالملصقات المحددة (أ، ب، ج، د) التي يحتاج إلى إخراجها. كان يعرف أن الإجابة هي باريس، لكنه لم يستطع معرفة أي حرف يضغط ليقول "باريس". كان الأمر يشبه شخصًا يعرف إجابة لغز، لكنه لا يستطيع التحدث إلا بشفرة معينة مكسورة تبدأ دائمًا بنفس الكلمة.
الحل: إعادة تعليم التنسيق
أدرك الفريق أن الروبوت قد تدرّب على فقرات طويلة من النصوص، لكنه لم يتدرّب أبدًا على التنسيق المحدد لـ "سؤال -> خيارات -> إجابة". لم يكن يعرف كيف يلعب لعبة الاختيار من متعدد.
لإصلاح ذلك، أجروا جلسة تدريب قصيرة ومستهدفة. لم يعلموه حقائق جديدة؛ بل عرضوا عليه آلاف الأمثلة على تنسيق أسئلة الاختيار من متعدد، وعلموه تحديدًا كيفية النظر إلى الخيارات واختيار الإجابة الصحيحة. استخدموا تقنية تسمى "الكمال فقط عبر KL" (completion-only KL)، وهي طريقة معقدة لقول: "لا تقلق بشأن جزء السؤال، فقط تعلم كيفية إكمال الإجابة بشكل صحيح".
كانت النتيجة استعادة دراماتيكية:
- قفزت درجة الروبوت في اختبار قياسي (C-Eval) من 28.8% إلى 41.3%.
- انخفض "إدمان حرف أ" إلى النصف (من 81% إلى 58%).
- بدأ الروبوت يختار الخيار الصحيح أكثر من الخيارات الخاطئة.
لم يعد الروبوت يخمن فحسب؛ بل تعلم مجددًا كيفية ربط معرفته بملصقات الإجابة.
اللمسة الأخيرة: منحُه شخصية
بمجرد أن أصبح بإمكان الروبوت الإجابة على الأسئلة بشكل صحيح، أراد الفريق منحه شخصية. أرادوا منه أن يتصرف مثل مساعد رقمي محدد يُدعى "Qingyi". فعلوا ذلك من خلال جعل الروبوت يتدرب على الدردشة والإجابة على الأسكئة بأسلوب هذه الشخصية.
ومن المثير للدهشة، أن هذا لم يكسر الروبوت مرة أخرى. عادةً ما يؤدي تعليم الروبوت شخصية جديدة إلى جعله ينسى مهاراته القديمة (وهي مشكلة تسمى "النسيان الكارثي"). ولكن لأن دماغ الروبوت كان ثابتًا ومصلحًا بالفعل، فقد تعلم الشخصية الجديدة دون أن يفقد قدرته على الإجابة على الأسئلة. انتهى به الأمر بدرجة 41.83%، وهي قريبة جدًا من درجته بعد الإصلاح، مما يثبت أنه يمكنك منح الروبوت شخصية دون كسر دماغه.
ما تعلمناه (وما لم نتعلمه)
يخلص البحث إلى بعض الدروس المهمة لأي شخص يحاول بناء هذه النماذج الفعالة من الذكاء الاصطناعي:
- لا تثق في الاختبارات القياسية: مجرد كون الروبوت يبدو بصحة جيدة على الورق (انخفاض الارتباك) لا يعني أنه يمكنه القيام بالمهمة فعليًا. يجب عليك اختبار ما إذا كان بإمانه اتباع التعليمات، وليس فقط التنبؤ بالكلمات.
- مشكلة "أ" حقيقية: عندما تغير طريقة تفكير الذكاء الاصطناعي، يمكن أن يعلق في عادات بسيطة مثل اختيار الخيار الأول دائمًا. هذه "إصابة في الواجهة"، وليست فقدانًا للمعرفة.
- أجهزة الكمبيوتر الصغيرة يمكنها القيام بأشياء كبيرة: يمكنك إجراء هذا النوع من الجراحة المعقدة على بطاقة رسوميات واحدة للمستهلك، ولكن يجب أن تكون حذرًا. وجد الباحث خطأً خفيًا حيث كانت رياضيات الكمبيوتر (باستخدام تنسيق يسمى
bf16) تبتلع التحديثات الصغيرة بصمت، مما جعل الروبوت يعتقد أنه يتعلم بينما كان في الواقع متجمدًا. اضطروا للانتقال إلى تنسيق رياضي مختلف (FP32) لإصلاح ذلك.
لقد نشر الباحث جميع الأكواد، والأوزان، و"تقرير الحادث" لكل ما سار بشكل خاطئ، لكي يتعلم الآخرون من أخطائهم. هم لم يحلوا كل شيء — فلا تزال هناك فجوة بين روبوتهم الصغير والنموذج المعلم الكبير — لكنهم أثبتوا أنه مع التشخيص الصحيح والقليل من التدريب على التنسيق، يمكنك إصلاح الأجزاء المكسورة في دماغ الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.