J-space Forecasts Model Collapse, but Only Anchoring the Function Prevents It
بينما يتسبب التدريب المتكرر على البيانات الاصطناعية في انهيار النموذج الذي يتجلى في شكل انزياح عالمي في تمثيل الفضاء الجزئي لـ J-space، تجد الدراسة أن تثبيت هذه الهندسة غير فعال، في حين أن تثبيت دالة الإدخال والإخراج للنموذج عند حالة ما قبل الانهيار باستخدام عدد قليل من المتواليات الحقيقية ينجح في منع جميع الأضرار تقريبًا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
أصبحت أنظمة الذكاء الاصطناعي المعروفة باسم النماذج اللغوية شائعة بشكل متزايد، وهي قادرة على كتابة القصص، والإجابة على الأسئلة، ومحاكاة المحادثات البشرية. تتعلم هذه الأنظمة من خلال قراءة كميات هائلة من النصوص من الإنترنت والكتب. ومع ذلك، ظهرت ظاهرة مقلقة: إذا تم تدريب هذه النماذج على نصوص كتبتها هي نفسها، فإنها تبدأ في التدهور. هذه العملية، التي تسمى "انهيار النموذج"، تجعل الذكاء الاصطناعي يفقد قدرته على فهم النطاق الكامل للغة البشرية. فبدلاً من إنتاج استجابات متنوعة ودقيقة، يبدأ النموذج في تكرار نفسه، والتركيز فقط على العبارات الأكثر شيوعاً، وفي النهاية ينسى الأفكار النادرة والمعقدة التي تجعل اللغة غنية. الخطر حقيقي لأنه مع زيادة المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي على الإنترنت، قد تتعلم النماذج المستقبلية دون قصد من هذا المخرج المتدهور، مما يخلق حلقة مفرغة حيث يتآكل الذكاء ببطء.
لسنوات، لاحظ العلماء هذا الانهيار من خلال مراقبة المخرجات النهائية للنماذج، ومراقبة تدهور جودة النص. لكن دراسة جديدة أجراها الباحث المستقل تشاو وو سون (ChaeWoo Son) تطرح سؤالاً أعمق: أين يحدث الضرر بالضبط داخل الآلة؟ هل يحدث الإصابة في الطريقة التي يمثل بها النموذج الأفكار، أم أنها تحدث في الطريقة التي يقرر بها ما سيقوله بعد ذلك؟ لمعرفة ذلك، بنى الباحث تجربة محكومة باستخدام نموذج لغوي صغير وأجبره على التعلم من نصه الاصطناعي الخاص عبر عدة أجيال. كان الهدف هو تتبع الضرر أثناء حدوثه ومعرفة ما إذا كان يمكن إيقافه عن طريق حماية أجزاء معينة من البنية الداخلية للنموذج.
بدأت الدراسة بتدريب نموذج على مجموعة كبيرة من الكتابة البشرية الحقيقية. وبمجرد أن أصبح النموذج جاهزاً، بدأ الباحث دورة: يقوم النموذج بتوليد مليون كلمة من إنتاجه الخاص، ثم يعاد تدريبه على هذا النص الجديد. تكررت هذه العملية ست مرات. وكما كان متوقعاً، ساء أداء النموذج على النصوص البشرية الحقيقية بسرعة كبيرة. فبعد جولة واحدة فقط من هذا التدريب الذاتي، انخفضت قدرة النموذج على التنبؤ بالكلمة التالية في الجملة بشكل ملحوظ. ولكن قبل أن تظهر على مخرجات النموذج أي علامات فشل، لاحظ الباحث شيئاً آخر يحدث داخل الآلة. فمن خلال النظر إلى مساحة محددة منخفضة الأبعاد داخل النموذج حيث يخزن فهمه للمفاهيم، رأى الباحث تحولاً هائلاً في كيفية تمثيل النموذج للمعلومات. حدث هذا التحول الداخلي أسرع بعشر مرات من انخفاض الأداء الذي يمكن لأي شخص رؤيته من الخارج.
ومع ذلك، لم تكن إشارة الإنذار المبكر هذه فريدة من نوعها في حالة الانهيار. فعندما تم تدريب النموذج على نص بشري جديد وعالي الجودة بدلاً من مخرجاته الخاصة، تحركت تلك المساحة الداخلية نفسها أيضاً، ولكن بطريقة أصغر وأقل اتساقاً. الفرق الجوهب كان في سرعة وعمق التغيير. فعندما تعلم النموذج من بياناته السيئة، كان التحول الداخلي ضخماً ومتسقاً، ودفع فهم النموذج إلى مستوى منخفض جداً. وعندما تعلم من بيانات جيدة، كان التحول طفيفاً. وهذا يشير إلى أنه بينما كانت المساحة الداخلية مقياساً حساساً للمشاكل، إلا أنها لم تكن بالضرورة المكان الذي يتم فيه إلحاق الضرر.
لاختبار ذلك، حاول الباحث إيقاف الانهيار عن طريق تثبيت البنية الداخلية في مكانها. لقد أجبروا النموذج على الاحتفاظ بتمثيلاته الداخلية كما هي تماماً قبل بدء التدريب، حتى أثناء تعلمه من البيانات الاصطناعية السيئة. نجح هذا تماماً في الحفاظ على استقرار المساحة الداخلية، لكنه فشل في إنقاذ النموذج. فقد انهار النموذج رغم ذلك، وفقد معظم قدرته على التعامل مع النصوص الحقيقية. وحتى عندما قام الباحث بتثبيت طبقة النموذج بأكملها، وليس فقط المساحة الصغيرة، كان التأثير الوقائي ضئيلاً. كان هذا اكتشافاً حاسماً: فقد أثبت أن الإصابة لم تكن تحدث في الطريقة التي يخزن بها النموذج أفكاره، بل في مكان آخر.
جاء الحل عندما غير الباحث الاستراتيجية من حماية الخريطة الداخلية إلى حماية السلوك. فبدلاً من تجميد البنية الداخلية للنموذج، أضاف قاعدة تجبر النموذج على إبقاء تنبؤاته بشأن مجموعة صغيرة من الجمل البشرية الحقيقية كما هي تماماً في البداية. هذا يشبه قولك لطالب: "يمكنك دراسة ما تريد، ولكن يجب أن تظل قادراً على الإجابة على هذه الأسئلة المحددة بشكل صحيح". وعند تطبيق هذه القاعدة، تم إنقاذ النموذج بالكامل تقريباً. لقد تعلم من البيانات الاصطناعية السيئة دون أن يفقد قدرته على فهم النصوص البشرية الحقيقية. في الواقع، كانت هذه الطريقة أكثر فعالية بكثير من مجرد خلط الجمل البشرية الحقيقية في بيانات التدريب، وهي الطريقة القياسية التي يحاول العلماء بها حل هذه المشكلة. فقد منعت القاعدة السلوكية جميع الأضرار تقريباً، بينما منع خلط البيانات حوالي نصف الضرر فقط.
تكشف الدراسة أن انهيار نموذج الذكاء الاصطناائي ليس فشلاً في ذاكرته الداخلية أو قدرته على تخزين المفاهيم. بدلاً من ذلك، هو فشل في الاتصال بين ما يراه النموذج وما يقرر قوله. يحدث الضرر في الوظيفة، أي في عملية الربط من المدخلات إلى المخرجات، وليس في التمثيل الثابت للأفكار. ومن خلال تثبيت هذه الوظيفة على مرجع سليم، يمكن حماية النموذج من فساد مخرجاته. وبينما أُجريت هذه التجربة على نموذج صغير، فإن النتائج تشير إلى طريقة قوية وفعالة لحماية الأنظمة الأكبر مستقبلاً. فإذا أمكن استخدام حفنة من الأمثلة البشرية الحقيقية لتثبيت سلوك النموذج، فقد يكون من الممكن منع التدهور البطيء للذكاء الاصطناعي، حتى مع امتلاء الإنترنت بالمحتوى الذي تولده الآلات. يقدم البحث مساراً واضحاً للمضي قدماً: لا تحاول فقط الحفاظ على الحالة الداخلية للنموذج؛ بل حافظ على قدرته على التصرف بشكل صحيح في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.