Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models
تجادل هذه الورقة بأن تجانس المخرجات في النماذج اللغوية الكبيرة لا ينتج أساساً عن عملية المحاذاة، بل يتم تعلمه أثناء مرحلة ما قبل التدريب ويتم كشفه أو تضخيمه فقط من خلال مراحل ضبط التعليمات والمحاذاة اللاحقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير داخل مكتبة ضخمة وصاخبة حيث تُكتب ملايين الكتب في كل ثانية. هذه ليست مكتبة من الورق والحبر، بل هي عالم رقمي تتعلم فيه أجهزة الكمبيوتر التي تسمى "نماذج اللغات الكبيرة" (LLMs) كيف تتحدث وتكتب وتبدع من خلال قراءة كل ما وُضع على الإنترنت تقريبًا. فكر في هذه النماذج كطلاب مجتهدين للغاية وسريعي التعلم، يقرؤون المكتبة بأكملها فقط ليتعلموا كيفية إكمال جملة ما. لكن مؤخرًا، لاحظ الناس شيئًا غريبًا: مهما كان السؤال الذي تطرحه على هؤلاء الطلاب الرقميين، تبدأ إجاباتهم في التشابه. جميعهم يختارون نفس الاستعارات، ويستخدمون نفس العبارات المهذبة، ويتجنبون الأفكار الغريبة أو الجامحة أو الإبداعية. الأمر يشبه لو طلبت من عشرة طهاحين مختلفين صنع شطيرة، فقرروا جميعًا استخدام نفس الخبز، ونفس اللحم، ونفس الخردل، وصولاً إلى العدد الدقيق لشرائح الخبز.
يسمي العلماء هذا "تجانس المخرجات" أو "التقارب الدلالي". وهو مصدر قلق كبير لأنه إذا بدأت جميع مساعدات الذكاء الاصطناعي الخاصة بنا في التفكير والتحدث بنفس الطريقة الضيقة، فقد نفقد شرارة الإبداع البشري. لفترة طويلة، اعتقد الناس أن هذا السلوك الممل والمتكرر يحدث بسبب "التدريب" الذي تتلقاه النماذج بعد قراءتها للمكتبة. هذه المرحلة الثانية، المسماة "المواءمة" (Alignment)، تشبه معلمًا صارمًا يتدخل ليقول للطالب: "لا تقل هذا الشيء الغريب؛ قل هذا الشيء المهذب بدلًا من ذلك". كان الاعتقاد الشائع هو أن الطالب كان في الأصل عبقريًا جامحًا ومبدعًا، وأن قواعد المعلم هي التي سحقت تلك الإبداعية. ولكن ماذا لو كان الطالب مملًا بالفعل قبل دخول المعلم؟ ماذا لو كان "المعلم" جعل الملل أعلى صوتًا فحسب؟
هذه الورقة البحثية، التي تحمل عنوان "هل التقارب حتمي؟"، تقوم برحلة بحث جنائي لمعرفة أين يبدأ هذا التشابه فعليًا. وضع المؤلفون، وهم باحثون من جامعة كولومبيا البريطانية، اختبارًا لفكرتين كبيرتين. أولاً، أرادوا معرفة ما إذا كانت عملية "المواءمة" (قواعد المعلم) هي الشرير الذي يقتل الإبداع. ثانيًا، أرادوا معرفة ما إذا كانت مرحلة "التدريب المسبق" (قراءة الطالب للمكتبة) قد زرعت الملل بالفعل في دماغ النموذج منذ البداية. ولحل هذا الغموض، لم يكتفوا بسؤال النماذج أسئلة فحًا، بل أجروا سلسلة من التجارب الذكية باستخدام الاستعارات كمادة للاختبار. لقد عاملوا النماذج كفئران تجارب علمية، حيث قدموا لها تعليمات محددة لمعرفة ما إذا كان يمكن خداعها لتكون مبدعة أم أنها عالقة في حلقة مفرغة.
إليك ما وجدوه، وهي نهاية غير متوقعة للقصة.
أولاً، نظروا إلى النماذج في مراحل مختلفة من "تعليمها". فحصوا النماذج مباشرة بعد انتهائها من قراءة المكتبة ("النموذج الأساسي")، ثم بعد تعلمها كيفية اتباع التعليمات (مرحلة "SFT")، وأخيرًا بعد مواءمتها لتكون مفيدة وآمنة (مرحتي "DPO" و"RL"). كانت النتائج صادمة. حتى بعد الخطوة الأولى من تعلم اتباع التعليمات - وقبل إضافة أي قواعد سلامة صارمة أو فلاتر "المساعدة" - كانت النماذج تخرج بالفعل إجابات متطابقة تقريبًا. فعندما طُلب منها كتابة استعارة عن "الزمن"، لم تكن النماذج تبدو متشابهة فحسب، بل بدت وكأنها تقرأ من نفس النص. يشير المؤلفون إلى أن عملية "المواءمة" ليست هي التي تسحق التنوع، بل هي مجرد عدسة مكبرة تكشف عن نمط كان موجودًا بالفعل، مختبئًا في وضح النهار.
ولإثبات ذلك، لعب الباحثون لعبة "أوجد الفروق" مع بيانات التدريب. أخذوا نموذجًا وحاولوا تعليمه طريقة جديدة في التفكير. أنشأوا مجموعة خاصة من التعليمات حيث أخبروا النموذج أن يستخدم استعارة محددة وغريبة عن "الزمن" (مثل "الزمن هو شطيرة") لم يسبق للنموذج رؤيتها من قبل. كانوا يأملون أنه من خلال إجباره على حفظ هذه الفكرة الجديدة، يمكنهم كسر النمط. لكن النموذج رفض التحرك. لقد تجاهل فكرة "الشطيرة" الجديدة واستمر في التمسك باستعارة "النهر" المملة القديمة التي بدا وكأنه يحبها منذ البداية. وجد الباحثون أنه يمكن تضخيم النموذج - أي جعله يقول الشيء نفسه بصوت أعلى - لكن لا يمكن تعريفه بطريقة جديدة للتفكير إذا لم تكن تلك الفكرة كامنة بالفعل في ذاكرته. الأمر يشبه محاولة تعليم كلب أن يموء؛ مهما أثنيت عليه، فلن يفعل ذلك لأنه ليس في حمضه النووي.
أخيرًا، عادوا إلى البداية تمامًا: "النماذج الأساسية" التي لم تتعلم أبدًا اتباع التعليمات أو أن تكون مهذبة. ظنوا أن هذه النماذج الخام ستكون جامحة ومتنوعة. لكن عندما استخدموا خدعة خاصة - بالتظاهر بأنهم مساعد مفيد أو بإعطاء النموذج بعض الأمثلة حول كيفية الإجابة - رأوا نفس الأنماط المملة تظهر. حتى بدون معلم، فإن النموذج الخام، عندما يتم توجيهه في الاتجاه الصحيح، ينهار طبيعيًا نحو استعارة "النهر" نفسها. هذا يشير إلى أن الميل للتقارب نحو نفس الإجابات ليس خطأً ارتكبه المعلمون، بل هو عادة طبيعية تعلمها النماذج أثناء قراءتها للمكتبة فحسب.
إذًا، ماذا يعني كل هذا؟ تشير الورقة إلى أن التشابه الذي نراه في الذكاء الاصطناعي ليس مجرد عرض جانبي لجعلهم آمنين أو مهذبين. بدلاً من ذلك، يبدو أنه جزء أساسي من كيفية تعلم هذه النماذج التنبؤ بالكلمة التالية في الجملة. عندما تدرب نموذجًا على كمية هائلة من النصوص البشرية، فإنه يتعلم أن الإجابة الأكثر "احتمالية" هي غالبًا الإجابة الأكثر شيوعًا. عملية "المواءمة" ترفع فقط مستوى صوت هذا الميل الطبيعي. ويخلص المؤلفون إلى أن إصلاح هذه المشكلة لن يكون سهلاً. لا يمكنك مجرد تعديل قواعد "المعلم" النهائية لجعل الذكاء الاصطناعي أكثر إبداعًا، لأن الإبداع لم يكن موجودًا حقًا من الأساس. "الملل" مطبوخ في الوصفة، وليس مجرد شيء تمت إضافته في النهاية. ورغم أن هذا قد يبدو كئيبًا بعض الشيء، إلا أنه اكتشاف بالغ الأهمية. فهو يخبرنا أننا إذا أردنا ذكاءً اصطناعيًا متنوعًا ومبدعًا حقًا، فقد نحتاج إلى إعادة التفكير في كيفية تعليمهم في المقام الأول، بدلاً من مجرد محاولة إصلاح سلوكهم بعد حدوثه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.