Unfolding Scientific Papers into Multi-Turn Generation Trajectories for Continued Pre-Training
تقدم هذه الورقة مسار معالجة يحول الأوراق العلمية المهيكلة إلى مسارات توليد متعددة الأدوار من أجل التدريب المسبق المستمر والاختبار المعياري، مما يثبت أن هذا النهج يعزز قدرات الكتابة الأكاديمية بشكل كبير مع الحفاظ على الاستدلال العام والاستيعاب للمستندات الطويلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لقد وصلت النماذج اللغوية الكبيرة، وهي البرامج الحاسوبية القوية التي يمكنها كتابة القصص وحل المشكلات والإجابة على الأسئلة، إلى نقطة بدأت فيها تنفد منها النصوص البشرية الجديدة وعالية الجودة للتعلم منها. لسنوات، قام الباحثون بتغذية هذه الأنظمة بكميات هائلة من الكتب والمواقع الإلكترونية والمقالات، والآن، مع ندرة أفضل الكتابات البشرية، يتجه العلماء نحو البيانات الاصطناعية (synthetic data)—وهي نصوص أنشأتها الحواسيب نفسها. كان أحد الأساليب الشائعة هو أخذ مقالات ويب قصيرة موجودة وإعادة كتابتها في تنسيقات أكثر نظافة تشبه الكتب المدرسية. ومع ذلك، فإن هذه الطريقة تغير المحتوى الأصلي وتتعامل مع المستندات كتدفقات بسيطة من الكلمات، متجاهلةً كيف خطط المؤلف البشري لقطعة الكتابة وهيكلها فعلياً. تقترح فكرة أحدث أنه بدلاً من مجرد إعادة كتابة النص النهائي، يجب أن نحاول إعادة بناء عملية التفكير الخفية التي أدت إليه. وقد كان التحدي يكمن في أن معظم النصوص الموجودة كانت قصيرة جداً بحيث لا تمتلك بنية معقدة، مما يترك مجالاً ضئيلاً لاستعادة المخطط الأصلي للمؤلف.
قام فريق من الباحثين الآن بتطبيق هذا المفهوم على الأوراق العلمية، والتي تُكتب ببنية واضحة وموحدة وأفكار مكثفة ومركزة. لقد طوروا طريقة لـ "فك" الورقة العلمية المكتملة والعودة بها إلى رحلة إنشائها متعددة الخطوات. تخيل منزلاً مكتملاً؛ بدلاً من مجرد النظر إلى الجدران، تقوم هذه العملية بإعادة بناء الرسم التخطيطي الأولي للمهندس المعماري، وقائمة المواد، والملاحظات التي دُونت قبل وضع كل طوبة، والفحص النهائي الذي أدى إلى المخطط. بنى الباحثون نظاماً يأخذ ورقة علمية حقيقية ويعمل بشكل عكسي لتوليد طلب الكتابة الذي بدأها، والمخطط العام لأقسامها، والأفكار المحددة التي قد تكون لدى المؤلف قبل كتابة كل فقرة. ومن الأهمية بمكان أن النص الفعلي للورقة يظل تماماً كما كتبه المؤلفون الأصليون؛ فالنظام يخترع فقط عملية التفكير المحيطة التي تفسر كيف جاء هذا النص إلى الوجود.
طبق الفريق عملية "فك" هذه على 1.8 مليون ورقة علمية من مستودع arXiv، وهو مجموعة ضخمة من الأبحاث الأولية. ومن خلال تشغيل عملية إعادة البناء هذه على أوراق من عام 2006 حتى أوائل عام 2026، حولوا 30 مليار كلمة من نصوص الأوراق الخام إلى مجموعة بيانات تدريب جديدة تحتوي على حوالي 60 مليار كلمة من "المسارات" (trajectories). كل مسار هو عبارة عن محادثة طويلة متعددة الأدوار حيث يعمل الحاسوب كمعلم، يطلب أولاً ورقة بحثية، ثم يضع مخططاً، ثم يتداول حول كيفية كتابة كل قسم، قبل أن ينتج أخيراً النص الحقيقي. لقد ضاعفت هذه العملية حجم بيانات التدريب فعلياً، كما قامت أيضاً بزيادة طول المستندات التي يتعين على النماذج معالجتها، حيث انتقل متوسط طول مستند التدريب من حوالي 11,000 كلمة إلى ما يقرب من 29,000 كلمة. ووجد الباحثون أن استخدام عملية التفكير المعاد بناؤها هذه ساعد النماذج على تعلم الكتابة بشكل أفضل بكثير من مجرد تغذيتها بنفس الأوراق كنصوص عادية.
أظهرت النتائج أن هذه الطريقة حسنت قدرات الكتابة لدى النماذج في مختلف المجالات، بما في ذلك السياقات الأكاديمية والهندسية، دون المساس بقدرتها على الاستنتاج أو حل الألغاز المنطقية. وحتى عندما تم ضبط النماذج لاحقاً باستخدام مجموعات بيانات كتابة عامة أخرى، كانت النماذج التي تعلمت أولاً من هذه "المسارات المفككة" لا تزال تؤدي بشكل أفضل من تلك التي لم تتعلم منها. كما أظهرت الدراسة أن تقنية الهندسة العكسية هذه يمكن استخدامها لإنشاء أنواع جديدة من بيانات التعليمات وحتى مجال اختبار جديد للكتابة الأكاديمية. فمن خلال أخذ ورقة لم يرها النموذج من قبل، يمكن للنظام توليد سؤال محدد حولها، جنباً إلى جنب مع قائمة مرجعية مفصلة ودليل تقييم للإجابة. وقد خلق هذا معياراً يسمى PAW-Bench، والذي يحتوي على ما يقرب من 3,000 مهمة مرتكزة على أبحاث حقيقية.
كانت إحدى النتائج الأكثر إثارة للدهشة هي أن حجم نموذج الحاسوب المستخدم لتوليد عملية التفكير كان أقل أهمية من المنهجية نفسها. استخدم الباحثون ثلاثة نماذج مختلفة لإنشاء بيانات التفكير: نموذج صغير، ونموذج متوسط، ونموذج كبير. وخلافاً للحدس بأن نموذجاً أذكى وأكبر سينتج بيانات تدريب أفضل، فإن النموذج الأصغر هو الذي حقق أفضل النتائج في الكتابة والاستنتاج. كانت البيانات الناتجة عن النماذج الأكبر أكثر نمطية وتكراراً، بينما احتوت البيانات الناتجة عن النموذج الأصغر على مزيد من التنوع و"المفاجآت" التي تجبر نموذج التعلم على العمل بجهد أكبر والتعلم بفعالية أكبر. وهذا يشير إلى أن القيمة تكمن في بنية إعادة البناء—أي فعل فك عملية الكتابة—وليس في ذكاء الآلة التي تقوم بعملية الفك.
لاحظ الباحثون أيضاً أن هذه الطريقة ساعدت النماذج على فهم المستندات الطويلة بشكل أفضل. ولأن المسارات المعاد بناؤها كانت أطول بكثير من الأوراق الأصلية، أصبحت النماذج أكثر قدرة على القراءة والاستنتاج عبر آلاف الكلمات في آن واحد. ولم يظهر هذا التحسن في القدرة على التعامل مع السياقات الطويلة في النماذج التي تم تدريبها على نفس الأوراق ولكن كصيغة نصية عادية. وتخلص الدراسة إلى أنه من خلال معاملة الكتابة البشرية الحقيقية كإجابة نهائية وإعادة بناء الخطوات التي أدت إليها، يمكن للباحثين إنشاء شكل قوي وجديد من بيانات التدريب. يتيح هذا النهج للذكاء الاصطناعي ليس فقط تعلم "ماذا" يكتب، بل "كيف" يفكر في الكتابة، مما يسد الفجوة بين المعلومات الخام والعملية الهيكلية والمتعمدة للإبداع البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.