Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data
تبحث هذه الورقة في مدى انتشار خطاب التطرف في مجموعة بيانات تدريب "دولما" (Dolma)، كاشفةً أنها قد تحتوي على مئات الآلاف من الوثائق التي تتضمن خطاب كراهية ودعوات للعنف، مما يسلط الضطوء على التداعيات الحرجة المتعلقة بتنقيح البيانات وسلامة النماذج اللغوية الكبيرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد النماذج اللغوية الكبيرة هي المحركات الكامنة وراء العديد من أدوات الذكاء الاصطالتي التي نستخدمها اليوم، بدءاً من برامج الدردشة الآلية التي تجيب على الأسئلة وصولاً إلى الأنظمة التي تساعد في كتابة الأكواد البرمجية. هذه الآلات لا تتعلم من خلال تلقي قواعد في فصل دراسي؛ بل تتعلم من خلال قراءة كميات هائلة من النصوص من الإنترنت والكتب والمصادر الرقمية الأخرى. تُعرف هذه العملية بالتدريب. ولكي يصبح النموذج فصيحاً ومطلعاً، يجب أن يستهلك مكتبة من النصوص ضخمة لدرجة أنها قد تستغرق حياة إنسان كاملة لقراءتها جميعاً. لقد ركز الباحثون لفترة طويلة على كيفية بناء هذه النماذج وكيفية ضبطها بعد تعلمها الأولي لضمان كونها آمنة ومفيدة. ومع ذلك، ظل هناك سؤال جوهري لم يُطرح بشكل كافٍ: ما هو نوع المادة التي يقرؤها النموذج في المقام الأول؟ إذا كانت مكتبة التدريب تحتوي على أفكار ضارة أو كراهية أو أفكار خطيرة، فقد يتعلم النموذج تكرارها، حتى لو حاول مبتكروه لاحقاً تعليمه سلوكاً أفضل. هذه ليست مجرد خلل تقني؛ بل هي مسألة تتعلق بالسلامة العامة، حيث تُستخدم هذه الأنظمة بشكل متزايد من قبل أشخاص من جميع الأعمار، بما في ذلك الأطفال، الذين قد يواجهون وجهات نظر خطيرة دون سابق إنذار.
قام فريق من الباحثين في جامعة مانشستر بالتحقيق في محتويات بيانات التدريب لأحد أهم مجموعات النصوص مفتوحة المصدر المتاحة للمجتمع العلمي. هذه المجموعة، المعروفة باسم "دولما" (Dolma)، تشكل الأساس لسلسلة من النماذج اللغوية المتقدمة المسماة "أولمو" (OLMo). أراد الباحثون معرفة ما إذا كانت هذه المكتبة الضخمة تحتوي على خطاب متطرف—وهو النص الذي يحرض على العنف أو الكراهية أو الإطاحة بالأنظمة الديمقراطية. وللإجابة على ذلك، لم يكتفوا بمجرد التخمين أو الاعتماد على برنامج حاسوبي واحد؛ بل صمموا عملية دقيقة متعددة الخطوات للعثور على هذه الوثائق. بدأوا بأخذ عينة عشوائية مكونة من 200,000 وثيقة من مجموعة "دولما"، والتي تمثل شريحة صغيرة ولكنها ذات دلالة إحصائية من الكلمات الثلاثة تريليونات التي تدرب عليها النموذج. ثم استخدموا عدة نماذج حاسوبية مختلفة لمسح هذه الوثائق، وطلبوا من كل منها تحديد النصوص التي تطابق تعريفات محددة للتطرف. جاءت هذه التعريفات من توجيهات حكومية رسمية في المملكة المتحدة ومن خبراء أكاديميين في دراسة الإرهاب والعنف السياسي.
تم تصميم العملية لتكون تحفظية، بمعنى أن الباحثين هدفوا إلى التأكد تماماً قبل تصنيف أي شيء على أنه متطرف. استخدموا تقنية تسمى "فحص الاتحاد" (union check)، حيث طلبوا من النماذج الحاسوبية وضع علامة على الوثيقة إذا كانت تطابق أيًا من التعريفات المختلفة للتطرف. ساعد هذا في ضمان فهم النماذج للمهمة بشكل صحيح. وبمجرد أن قامت الحواسيب بتحديد المطابقات المحتملة، أخضعها الباحثون لمزيد من التدقيق. استخدموا نظام ذكاء اصطناعي أكثر قوة لتصفية الإنذارات الكاذبة، وفي النهاية، استعانوا بخبير بشري متخصص في دراسة الخطاب المتطرف لقراءة عينة صغيرة من النصوص التي تم تحديدها بدقة. كانت هذه المراجعة البشرية حاسمة لأن النصوص الموجودة في الواقع غالباً ما تكون فوضوية، أو مليئة باللغة المشفرة، أو مكتوبة بطريقة يصعب على الآلات تفسيرها. قرأ الخبير هذه الوثائق للتأكد مما إذا كانت تحتوي حقاً على السرديات الخطيرة التي يبحث عنها الباحثون.
كانت نتائج هذا التحقيق واضحة ومثيرة للقلق. وجد الباحثون أن مجموعة تدريب "دولما" تحتوي بالتأكيد على مئات الآلاف من الوثائق ذات المحتوى المتطرف. وبناءً على تقديراتهم المتحفظة، حسبوا أن ما يقرب من وثيقة واحدة من كل 2,000 وثيقة في العينة العشوائية تحتوي على سرديات متطرفة أو خطاب كراهية. وعندما أسقطوا هذا المعدل على كامل مجموعة البيانات، التي تتكون من مليارات الوثائق، أشارت الأرقام إلى مستودع هائل من المواد الضارة. حددت الدراسة أنواعاً مختلفة من المحتوى الخطير، بما في ذلك الدعوات المباشرة للعنف، وخطاب الكراهية الذي يستهدف مجموعات عرقية أو دينية معينة، والسرديات التي تسعى إلى تقويض المؤسسات الديمقراطية. ومن المثير للاهتمام أن الباحثين وجدوا أن التعريف المحدد للتطرف المستخدم في البحث قد غير النتائج؛ فالتريف الذي ركز على الصراع بين "المجموعات الداخلية" و"المجموعات الخارجية" وضع شبكة واسعة جداً وأمسك بنصوص عديدة كانت كارهة ولكنها ليست بالضرورة متطرفة بالمعنى السياسي. أما التعريف الآخر، المستند إلى المعايير الحكومية الرسمية، فكان أكثر دقة ولكنه لا يزال يحدد قدراً كبيراً من المواد الضارة.
كان الاكتشاف اللافت للنظر هو غياب نوع معين من التطرف في العينة. فعلى الرغم من الطبيعة العالمية للإنترنت، لم يجد الباحثون سوى نصوص قليلة جداً تتعلق بالإرهاب الجهادي، حيث ظهرت قصة إخبارية واحدة فقط حول مثل هذا الحدث. يشير هذا إلى أن اللوائح الصارمة وسياسات الشركات المتعلقة بالمنظمات الإرهابية قد نجحت في إزالة هذا النوع المحدد من المحتوى من مجموعات البيانات العامة التي تغذي هذه النماذج. ومع ذلك، وجدت الدراسة أن السرديات المتطرفة اليمينية كانت أكثر انتشاراً، وغالباً ما تظهر في شكل مدونات سياسية، أو تعليقات في منتديات، أو نظريات مؤامرة. كما لاحظ الباحثون أن الكثير من المحتوى الذي وجدوه كان "على الحافة"—أي نصوصاً شديدة الاستقطاب أو عنيفة أو كارهة، لكنها لا تتوافق دائماً مع تعريف قانوني صارم للتطرف. هذه المنطقة الرمادية خطيرة بشكل خاص لأن من الصعب تصفيتها، ومع ذلك يمكنها أن تطبع الآراء المتطرفة للنماذج التي تقرأها.
تتجاوز تداعيات هذه النتائج التفاصيل التقنية لكيفية بناء النماذج. يرى الباحثون أن المشكلة لا يمكن حلها ببساطة من خلال محاولة إصلاح النماذج بعد أن تكون قد تعلمت بالفعل من هذه البيانات. فإذا كان النموذج قد حفظ آلاف الوثائق التي تدعو إلى العنف أو تروج للكراهية، فقد يواجه صعوبة في "إلغاء تعلم" تلك الأنماط، حتى مع تدريب إضافي على السلامة. تسلط الدراسة الضوء على أن تكوين بيانات التدريب هو قضية جوهرية تتطلب اهتماماً عاجلاً من الأشخاص الذين يبنون هذه الأنظمة. لا يكفي التركيز على كيفية سلوك النماذج بمجرد إصدارها؛ فسلامة المنتج النهائي تعتمد بشكل كبير على ما تم إدخاله إليها خلال مرحلة التعلم الأولية. ويخلص الباحثون إلى أن هناك حاجة لنقاش أوسع حول أنواع المحتوى المقبولة للإدراج في مكتبات تدريب الذكاء الاصطناعي، خاصة عندما تُستخدم تلك المكتبات لإنشاء أدوات تتفاعل مع الجمهور يومياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.