LLM generation novelty through the lens of semantic similarity
تقترح هذه الورقة إطار عمل لاسترجاع دلالي ثلاثي المراحل وقابل للتوسع لقياس جدة توليد النماذج اللغوية الكبيرة مقابل مجموعات بيانات التدريب المسبق الكاملة، مما يكشف أن النماذج تستخدم البيانات عبر تسلسلات أطول مما كان يُعتقد سابقاً، وتُظهر أنماط جدة خاصة بمجالات معينة، وتزيد من الجدة من خلال الضبط الدقيق للتعليمات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول معرفة ما إذا كان أحد الطلاب يعيد إنتاج المحتوى في اختبار ما. إذا نسخ الطالب جملة من الكتاب المدرسي بكلماتها حرفياً، فهذا نسخ واضح. ولكن ماذا لو قرأ الفصل بأكم، وفهم المفهوم، ثم كتب جملة جديدة تماماً تعني الشيء نفسه بالضبط؟ هل هذا إعادة إنتاج، أم أنه تعلم حقيقي؟ هذا هو السؤال الكبير الذي يواجه العلماء الذين يدرسون الذكاء الاصطناعي (AI). هذه النماذج من الذكاء الاصطناعي، والتي تُسمى غالباً النماذج اللغوية الكبيرة (LLMs)، تشبه الطلاب ذوي القدرات الفائقة الذين قرأوا الإنترنت بأكمله تقريباً. يمكنها كتابة القصص، وحل المسائل الرياضية، والدردشة معنا. لكن في بعض الأحيان، هي فقط تكرر ما قرأته من قبل، وفي أحيان أخرى، تبدو وكأنها تأتي بشيء جديد. الجزء الصعب هو تحديد الفرق بين "النسخ" و"الابتكار" عندما يكون الذكاء الاصطناعي بارعاً جداً في إخفاء مصادره. يريد العلماء معرفة: هل يفكر الذكاء الاصطناعي فعلاً ويععمم المفاهيم، أم أنه مجرد ببغاء متطور يكرر الأنماط التي حفظها؟
تقدم هذه الورقة طريقة جديدة وذكية لحل ذلك الغموض. فبدلاً من مجرد البحث عن تطابق الكلمات بدقة (مثل مدقق إملائي)، بنى المؤلفون نظاماً يبحث عن المعنى الكامن وراء الكلمات. هم يسمون هذا "التشابه الدلالي". فكر في الأمر كأنك تقارن بين لوحتين؛ إذا نظرت فقط إلى ضربات الفرشاة المحددة، فقد تبدو اللوحتان مختلفتين تماماً، ولكن إذا نظرت إلى الصورة العامة، فقد تدرك أن كلتيهما ترسمان نفس مشهد الغروب. استخدم الباحثون هذه الفكرة لمسح المكتبات الضخمة من البيانات التي تدرب عليها الذكاء الاصطناعي. لم يسألوا فقط: "هل نسخ الذكاء الاصطناعي هذه الجملة؟"، بل سألوا: "هل نسخ الذكاء الاصطناعي فكرة هذه الجملة، حتى لو استخدم كلمات مختلفة؟"
لاختبار ذلك، استخدم الفريق عائلة من نماذج الذكاء الاصطناعي تسمى SmolLM. لقد وضعوا تحقيقاً يتكون من ثلاث خطوات. أولاً، استخدموا أداة بحث سريعة للعثور على الأفكار الأكثر تشابهاً في مكتبة التدريب. ثانياً، أعادوا ترتيب تلك النتائج للتأكد من أنهم ينظرون إلى النوع الصحيح من التشابه، وليس مجرد تطابقات قصيرة وسهلة. وأخيراً، وهذا هو الجزء الأهم، قارنوا إجابات الذكاء الاصطناعي بإجابات كتبها بشر حقيقيون. كان هذا بمثابة أداة "معايرة"، تشبه كيف يتذوق الطاهي طبقاً مقابل وصفة معيارية ليرى ما إذا كان التتبيل صحيحاً. ومن خلال القيام بذلك، تمكنوا من قياس مدى "جدة" (novelty) مخرجات الذكاء الاصطناعي حقاً، بغض النظر عما إذا كانت تبدو فاخرة أو بسيطة.
كانت النتائج مفاجئة وغيرت طريقة تفكيرنا في هذه النماذج من الذكاء الاصطناعي. أولاً، وجدوا أن نماذج الذكاء الاصطناعي تستمد من بيانات تدريبها عبر مساحات أطول بكثير من النصوص مما كان يُعتقد سابقاً. الأمر ليس مجرد نسخ جملة واحدة؛ بل هي تنسج الأفكار من فقرات طويلة. ثانياً، نوع المهمة يفرق كثيراً؛ فعندما يُطلب من الذكاء الاصطناعي القيام بشيء صارم للغاية، مثل حل مسألة رياضية، فإنه يميل إلى أن يكون أقل جدة لأنه لا توجد سوى طريقة واحدة صحيحة لقول الإجابة. ولكن عندما يُطلب منه كتابة قصة أو الإجابة على سؤال صعب، فإنه يصبح أكثر إبداعاً وأقل شبهاً بالمقلد.
ربما كان الاكتشاف الأكثر إثارة للاهتمام هو ما يتعلق بـ "ضبط التعليمات" (instruction tuning). وهذا هو عندما تعلم الذكاء الاصطناعي اتباع أوامر محددة، مثل "تصرف كمساعد مفيد". وجد الباحثون أن هذا التدريب لا يغير أسلوب الذكاء الاصطناعي فحسب، بل يجعله أيضاً أكثر جدة. بدأت النماذج المضبوطة بالتعليمات في استخدام صياغات وهياكل مختلفة كانت أقل تشابهاً مع بيانات تدريبها الأصلية. الأمر كما لو أن تعليم الذكاء الاصطناعي اتباع التعليمات منحه الثقة للتوقف عن تكرار الكتاب المدرسي والبدء في كتابة قصته الخاصة.
اكتشف المؤلفون أيضاً أن نماذج الذكاء الاصطناዊ الأصغر حجماً كانت غالباً أكثر "جدة" من النماذج العملاقة. بدت النماذج الأكبر وكأنها تلتزم بقوة أكبر ببيانات تدريبها، كما لو كانت أكثر خوفاً من الابتعاد عما حفظته. وبينما لا تثبت الدراسة أن هذه النماذج "تفكر" بالمعنى البشري، إلا أنها تشير بقوة إلى أن ضبط التعليمات يساعدها على تجاوز مجرد الحفظ البسيط. لقد أطلق الباحثون جميع أدواتهم وبياناتهم ليتمكن الآخرون من التحقق من عملهم، آملين أن تساعد هذه الطريقة الجديدة لقياس "الجدة" في فهم ما تتعلمه هذه الأدمغة الرقمية بالضبط ومتى تبدع شيئاً جديداً حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.