LLM assisted writing deserves empirical evaluation

لطالما كان العلم حواراً، حواراً يعتمد على الكتابة الواضحة لمشاركة الاكتشافات عبر الحدود واللغات. ولعقود من الزمن، اعتمد الباحثون على الموجهين، والمحررين المهنيين، وخدمات الترجمة لضمان فهم أعمالهم من قبل المجتمع العالمي. واليوم، انضم مشارك جديد إلى هذا الحوار: نماذج اللغة الكبيرة. هذه برامج حاسوبية مدربة على كميات هائلة من النصوص التي يمكنها قراءة وتلخيص وإعادة كتابة اللغة البشرية بطلاقة ملحوية. ومع تحول هذه الأدوات إلى أمور شائعة في المختبرات والمكاتب، ظهر نقاش حول دورها في العلم. ويخشى الكثيرون من أن استخدامها قد يخفي المؤلف الحقيقي للفكرة، أو يُدخل أخطاءً، أو يقلل من جودة البحث. وبناءً على ذلك، يركز معظم النقاش الحالي على كيفية اكتشاف متى ساعدت الآلة في كتابة ورقة بحثية، مما يجعل القضية مسألة مراقبة وضبط في المقام الأول. ومع ذلك، فإن هذا التركيز على الكشف قد يغفل سؤالاً أكثر أهمية: كيف يغير الاستخدام الفعلي لهذه الأدوات طريقة التواصل العلمي ومن يحق له المشاركة فيه؟

وللإجابة على ذلك، قرر فريق من الباحثين من مدرسة "ويل كورنيل" للطب وجامعة كولومبيا النظر في الأدلة بدلاً من النظريات. فقد فحصوا مجموعة ضخمة مكونة من 69,209 ورقة علمية في مجال المعلوماتية الصحية، وهو المجال الذي يعنى بكيفية استخدام البيانات والتكنولوجيا في الطب والصحة العامة. وقسم الباحثون هذه الأوراق إلى ثلاث مجموعات لمعرفة أوجه الاختلاف بينها. احتوت المجموعة الأولى على أوراق كُتبت قبل أواخر عام 2022، أي قبل الإصدار العام لأكثر برامج الدردشة تقدماً. وشملت المجموعة الثانية أوراقاً كُتبت بعد ذلك التاريخ ولم تظهر عليها علامات استخدام هذه الأدوات. أما المجموعة الثالثة، فقد تألفت من أوراق من الفترة الحديثة نفسها التي حدد الباحثون أنها تمت بمساعدة نماذج اللغة الكبيرة. ولإيجاد هذه الأوراق المساعدة، استخدموا برنامجاً حاسوبياً متخصصاً مدرباً على تمييز الفروق الدقيقة بين الكتابة البشرية والنصوص التي تمت إعادة كتابتها أو توليدها بواسطة الذكاء الاصطناعي.

وكشف التحليل أن الأوراق التي ساعدت فيها هذه الأدوات لم تكن أعمالاً منخفضة الجودة أو أقل جدية كما يخشى النقاد. بدلاً من ذلك، أشارت البيانات إلى واقع مختلف؛ إذ اتسمت هذه الأوراق بكونها أكثر تركيزاً في عرضها. فبينما قد تتشعب الورقة العلمية التقليدية عبر عدة مواضيع مختلفة، التزمت الأوراق المدعومة بالذكاء الاصطناعي بموضوع واحد واضح. وكانت عناوينها وملخصاتها متوافقة تماماً مع الموضوع الرئيسي للبحث، مما جعل من السهل على القراء فهم موضوع الدراسة بالضبط ومكانتها ضمن المجال الأوسع. ولم تعنِ هذه الوضوح أن الأفكار كانت أقل أصالة، بل أشارت إلى أن هذه الأدوات ساعدت المؤلفين على تحديد موقع عملهم بدقة أكبر ضمن الحوارات العلمية القائمة.

وظهر تغيير كبير آخر في كيفية استشهاد هذه الأوراق بالأعمال الأخرى. فقد استشهدت الأوراق المدعومة بالذكاء الاصطناعي بمصادر أكثر من الأوراق التي كُتبت دون مساعدة، وغطت تلك المصادر نطاقاً أوسع من المواضيع. ويتحدى هذا الاكتشاف الفكرة القائلة بأن الآلات تجعل الكتابة أسرع فحسب دون إضافة قيمة. فهو يشير إلى أن الباحثين يستخدمون هذه الأدوات لاستكشاف الأدبيات التي ربما لم يكونوا ليجدوها لولا ذلك، ربما عن طريق تلخيص النصوص المعقدة أو توليد مصطلحات بحث جديدة. ومع ذلك، أشار الباحثون إلى أن امتلاك قائمة مراجع أطول لا يعني تلقائياً أن البحث أعمق أو أفضل؛ إذ يمكن للمراجع أن تكون واسعة ولكن سطحية، أو يمكن أن تتضمن استشهادات مرتبطة بشكل فضفاض فقط بالحجة الرئيسية. إن هذه الأدوات تسهل جمع شبكة واسعة من المعلومات، لكن مسؤولية اختيار المصادر الأكثر صلة ودقة تظل تقع على عاتق المؤلف البشري.

ولعل الفرق الأكثر لفتاً للنظر قد وُجد في هوية من كتبوا هذه الأوراق. فقد أظهرت الدراسة أن الأوراق المدعومة بالذكاء الاصطناعي كانت أكثر عرضة لأن يكون مؤلفها الأول مقيماً في بلد لا تعد الإنجليزية لغته الأساسية. كما أظهرت مستوى أعلى من التعاون بين الباحثين في قارات مختلفة، وتضمنت عدداً أكبر من المؤلفين من الاقتصادات منخفضة ومتوسطة الدخل. ويشير هذا النمط إلى أن هذه الأدوات قد تعمل كجسر، حيث تساعد العلماء على تجاوز الحواجز اللغوية التي غالباً ما تجعل النشر في المجلات الدولية أمراً صعباً ومكلفاً. ومن خلال توفير مساعدة فورية في التحرير والترجمة، قد تعمل هذه التكنولوجيا على تسوية الملعب، مما يسمح لأصوات أكثر تنوعاً بدخول الحوار العلمي العالمي.

وعلى الرغم من هذه التحولات في التركيز، وعادات الاستشهاد، والتأليف، وجد البحث أن ظهور العمل وتأثيره ظل ثابتاً. فهناك مخاوف شائعة من أن الأوراق المكتوبة بمساعدة الذكاء الاصطناعي قد يتم تجاهلها أو الاستشهاد بها بشكل أقل، إلا أن البيانات لم تدعم ذلك. فعندما قارن الباحثون سرعة تلقي الأوراق للاستشهادات بعد النشر، أدت الأوراق المدعومة بالذكاء الاصطناعي أداءً يضاهي تلك التي كُتبت بدون مساعدة. كما نُشرت في مجلات ذات مكانة مرموقة، على غرار المجموعات الأخرى. وهذا يشير إلى أن المجتمع العلمي لا يرفض هذه الأوراق، بل يتم قراءتها والاعتراف بها بنفس المعدل الذي تُقرأ به الأعمال التقليدية.

وخلص الباحثون إلى أن الحوار حول الذكاء الاصطناعي في العلم يجب أن يتغير. فبدلاً من التركيز على كيفية ضبط الناس أثناء استخدام هذه الأدوات أو محاولة الفصل بين المنح الدراسية "الحقيقية" وتلك "المساعدة"، ينبغي للمجتمع العلمي التركيز على جودة البحث نفسه. وتشير الدراسة إلى أن هذه الأدوات ليست جيدة أو سيئة بطبيعتها، بل هي مجرد جزء جديد من عملية الكتابة، تماماً مثل برنامج التدقيق الإملائي أو حزمة البرامج الإحصائية. ويعتمد تأثيرها كلياً على كيفية استخدامها؛ فإذا ساعدت المؤلفين على التواصل بوضوح أكبر وتضمين وجهات نظر أكثر تنوعاً، يمكن أن تكون قوة دافعة للخير. أما إذا استُخدمت لاختصار الطرق أو إخفاء الأخطاء، فقد تكون ضارة. وتظهر الأدلة أن هذه الأدوات تعيد بالفعل تشكيل كيفية كتابة العلم ومن يكتبه، وأن أفضل طريق للمضي قدماً هو الحكم على العمل بناءً على دقته ونزاهته، وليس بناءً على البرنامج المستخدم في صياغته.