What Are LLMs Doing to Scientific Communication? Measuring Changes in Writing Practices and Reading Experience

ملخص تقني: ماذا تفعل النماذج اللغوية الكبيرة (LLMs) بالتواصل العلمي؟

بيان المشكلة
يثير التكامل السريع للنماذج اللغوية الكبيرة (LLMs) في الكتابة العلمية تساؤلات نقدية تتعلق بتطور ممارسات الكتابة وتأثيرها اللاحق على تجربة القراءة. وبينما ركزت الأبحاث السابقة على التمييز بين النص المكتوب كلياً بواسطة البشر والنص المولّد كلياً بواسطة الذكاء الاصطناعي، فإن هذا التمييز الثنائي يبسط الواقع بشكل مخل بالتواصل العلمي، حيث تُستخدم النماذج اللغوية الكبيرة بشكل أساسي لتنقيح أو صقل أو تحسين المسودات التي ألفها البشر. علاوة على ذلك، تفتقر الدراسات الحالية غالباً إلى القياس المنهجي لكيفية تأثير هذه التحولات الأسلوبية على الإدراك الذاتي للقراء من حيث الوضوح، والموثوقية، والتفاعل. تعالج هذه الورقة الفجوة في فهم الطبيعة الدقيقة والتعاونية للكتابة المشتركة بين الإنسان والنموذج اللغوي الكبير، وآثارها القابلة للقياس على الأسلوب اللغوي وتجربة القراءة ضمن مجال معالجة اللغات الطبيعية (NLP).

المنهجية
تعتمد الدراسة نهجاً مزدوج البيانات لالتقاط الاتجاهات الطبيعية والتباينات الأسلوبية المنضبطة:

1. المتن الطبيعي (ACL Anthology): قام المؤلفون بتحديث مجموعة بيانات ACL-OCL لتشمل 99.2 ألف ورقة بحثية، مع تحديد فترتين زمنيتين متميزتين: $t_1$ (يناير 2020 – ديسمبر 2022، ما قبل ChatGPT) و $t_2$ (يوليو 2023 – ديسمبر 2024، ما بعد ChatGPT). يحتوي هذا المتن الفرعي على أكثر من 37,000 ورقة بحثية. وقد ضمن المؤلفون قابلية المقارنة الموضوعاتية من خلال تحليل BERTopic، مما أكد أنه بينما تغيرت اتجاهات بحثية محددة (مثل الاتجاه نحو النماذج اللغوية الكبيرة)، إلا أن التوزيع العام للموضوعات ظل قابلاً للمقارنة بشكل عام.
2. مجموعة البيانات الاصطناعية (التحسينات بمساعدة النماذج اللغوية الكبيرة): لعزل آثار تدخل النماذج اللغوية الكبيرة، قام المؤلفون بأخذ عينة من 3,000 فقرة من أوراق $t_1$ وتوليد نسخ محسنة بواسطة النموذج GPT-3.5-turbo باستخدام 10 مطالبات (prompts) مختلفة تعكس مهام صقل الكتابة العلمية الشائعة (مثل "تحسين التماسك"، "صقل القواعد"). نتج عن ذلك 6,000 فقرة مزدوجة (بشرية مقابل معدلة بواسطة النموذج اللغوي الكبير).

إطار التحليل
تعالج الدراسة ثلاثة أسئلة بحثية (RQs) من خلال تحليل متعدد الطبقات:

• السؤال البحثي الأول (الخيارات المعجمية): أجرى المؤلفون تحليلات معجمية تاريخية (diachronic) تقارن بين $t_1$ و $t_2$. تضمن ذلك:
  • تحليل التكرار: حساب درجات الاحتمالية اللوغاريتمية (log-likelihood) لتحديد الكلمات ذات التغيرات الملحوظة في معدل الاستخدام.
  • تضمينات مستوى النوع (Type-Level Embeddings): تدريب نماذج Word2Vec لقياس "كثافة الجوار" (التخصص الدلالي مقابل التعميم).
  • تضمينات مستوى الرمز (Token-Level Embeddings): استخدام ModernBERT لتجميع الاستخدامات السياقية لكلمات مستهدفة محددة، وتحديد التحولات في توزيع المعنى الدلالي.
• السؤال البحثي الثاني (السمات الأسلوبية): تم تطبيق نموذج انحدار لوجستي مع تنظيم (elastic net) على 145 سمة لغوية (استُخرجت عبر elfen و LFTK) تغطي الأبعاد السطحية، والنحوية، والنفسية اللغوية، والوجدانية. تم استخدام اختيار الاستقرار (Stability selection) لتحديد المتنبئات القوية التي تميز بين $t_1$ و $t_2$ وبين النص البشري والنص المعدل بواسطة النموذج اللغوي الكبير.
• السؤال البحثي الثالث (تجربة القراءة): أُجريت دراسة تعليق تجريبية مع 20 خبيراً في مجال معالجة اللغات الطبيعية (NLP). قام المشاركون بإجراء مقارنات زوجية بين النصوص المكتوبة بشرياً والنصوص المحسنة بواسطة النموذج اللغوي الكبير، وتقييمها بناءً على أربعة أبعاد: الوضوح، الأصالة، الموثوقية، والإثارة، باستخدام مقياس ليكرت الرباعي.

النتائج الرئيسية

• التحولات المعجمية: لوحظت تغييرات كبيرة في تكرار الكلمات وسياقات استخدامها.
  • التخصص مقابل التعميم: أظهرت بعض المصطلحات (مثل ensure) زيادة في كثافة الجوار، مما يشير إلى تخصص دلالي (الضيق في سياقات متعدية محددة مثل "ضمان الجودة"). بينما أظهرت مصطلحات أخرى (مثل utilize) انخفاضاً في الكثافة، مما يشير إلى تعميم دلالي (التوسع في المعنى ليشمل "الاستخدام").
  • الاستبدال الأسلوبي: انخفضت التعبيرات ذات اللغة العامة (مثل use، good) لصالح مصطلحات أكثر رسمية أو تخصصية (مثل utilize، comprehensive). كان هذا الاتجاه متسقاً عبر كل من المتن الطبيعي ومجموعة البيانات الاصطناعية، مما يشير إلى أن النماذج اللغوية الكبيرة هي التي تقود هذه التحولات الأسلوبية.
• الخصائص الأسلوبية للنصوص المعدلة بواسطة النماذج اللغوية الكبيرة: كشف تحليل الانحدار أن النصوص المعدلة بواسطة النماذج اللغوية الكبيرة تتميز بـ:
  • التعقيد: كلمات أطول، ومتوسط عمر اكتساب أعلى، وبناءات نحوية أكثر تعقيداً (مثل الجمل الظرفية، والنفي).
  • الكثافة: تنوع معجمي أقل (Simpson's D) وتنوع أقل في الأفعال، ومع ذلك فهي تمتلك كثافة دلالية أعلى (عدد أقل من كلمات التوقف).
  • البنية: تفضيل الأسماء العلم (proper nouns) وأنماط علامات ترقيم محددة (مزيد من الفواصل والشرطات، وأقل من الأقواس).
  • العاطفة: زيادة في استخدام الكلمات الحسية الحركية (مثل enhance، highlight) والكلمات المتعلقة بالغضب، رغم أن الكلمات المتعلقة بالثقة كانت أقل تكراراً في بعض السياقات.
• تجربة القراءة: كشفت دراسة التعليق أن هناك تفضيلاً ذاتياً للنصوص المحسنة بواسطة النماذج اللغوية الكبيرة:
  • التقييمات الإيجابية: قيم الخبراء النصوص المعدلة بواسطة النماذج اللغوية الكبيرة بشكل أعلى بكثير من حيث الوضوح والإثارة.
  • التقييمات المختلطة/السلبية: بينما أظهرت الموثوقية والأصالة أحجام تأثير أصغر، فضّل جزء ملحو-ظور من المقيمين النصوص البشرية الأصلية في هذه الأبعاد.
  • الذاتية: أشارت الملاحظات النوعية إلى أن الخبراء وجدوا المهمة صعبة وكان لديهم مواقف سلبية بشكل عام تجاه الكتابة بواسطة النماذج اللغوية الكبيرة، رغم التقييمات الكمية الإيجابية للوضوح. يسلط هذا الض الضوء على الانفصال بين سهولة القراءة المدركة وبين الثقة والأصالة.

الأهمية والمساهمات
تدعي الورقة أربع مساهمات رئيسية:

1. دليل تجريبي على تحول الأسلوب: تثبت أن الأوراق العلمية في مرحلة ما بعد ChatGPT تظهر أنماطاً معجمية وأسلوبية متميزة (مثل تنوع معجمي أقل، وتعقيد كلماتي أعلى) تُعزى إلى استخدام النماذج اللغوية الكبيرة، وهو ما تم التحقق منه بمقارنة البيانات الطبيعية مع التجارب الاصطناعية المنضبطة.
2. الربط بتجربة القراءة: تربط الدراسة بين هذه التغيات الأسلوبية الموضوعية وتجارب القراءة الذاتية، حيث وجدت أن النصوص المحسنة بواسطة النماذج اللغوية الكبيرة تُدرك على أنها أكثر وضوحاً وإثارة، ولكنها ليست بالضرورة أكثر أصالة أو موثوقية.
3. إتاحة الموارد: يطلق المؤلفون نسخة محدثة من مجموعة بيانات ACL-OCL (99.3 ألف ورقة) مع نص برمجي (script) لعمليات الاستيعاب المستقبلية، بالإضافة إلى مجموعة بيانات جديدة تضم 3,000 زوج من النصوص (بشرية-نموذج لغوي كبير) مع تعليقات الخبراء لـ 200 زوج منها.
4. إطار منهجي: توفر الدراسة إطاراً شاملاً لتحليل النصوص المشتركة بين الإنسان والنموذج اللغوي الكبير، متجاوزة الكشف الثنائي لتوصيف البصمات اللغوية المحددة للكتابة المدعومة بالذكاء الاصطناعي وتأثيرها على المجتمع العلمي.

يخلص المؤلفون إلى أنه بينما تبدو النماذج اللغوية الكبيرة وكأنها تعزز الوضوح والتفاعل في النصوص العلمية، فإنها تفرض في الوقت نفسه أسلوب كتابة أكثر تجانساً وتعقيداً، وهي آثار تستوجب مزيداً من الاستقصاء في المستقبل.