Automating Categorization of Scientific Texts with In-Context Learning and Prompt-Chaining in Large Language Models
تقيم هذه الدراسة فعالية النماذج اللغوية الكبيرة الجاهزة في تصنيف النصوص العلمية باستخدام تصنيف ORKG الهرمي، حيث وجدت أن تسلسل الأوامر (prompt chaining) يتفوق على التعلم داخل السياق (in-context learning) والنماذج المتطورة للفئات العليا، لكنه لا يزال يعاني في تصنيف المواضيع العميقة من المستوى الثالث.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدخل أكبر مكتبة في العالم—مكتبة ضخمة لدرجة أن كتباً جديدة تُضاف إليها في كل ثانية. إنها كبيرة جداً لدرجة أن حتى أمهر المكتبيين يشعرون بالارتباك؛ فهم لا يستطيعون قراءة كل كتاب جديد لتحديد الرف الذي ينتمي إليه. وإذا لم يفعلوا، ستتحول المكتبة إلى كومة عملاقة وفوضوية من الورق حيث يصبح العثور على أي شيء أمراً مستحيلاً.
يستعرض هذا البحث كيف يمكننا استخدام "المكتبيين الرقميين" (الذين يُطلق عليهم نماذج اللغات الكبيرة أو LLMs، مثل التقنية التي تقف وراء ChatGPT) لقراءة الأوراق العلمية تلقائياً ووضعها في مكانها الصحيح.
المشكلة: "الرف اللانهائي"
ينشر العلماء ملايين الأوراق البحثية سنوياً. وهذه الأوراق ليست مجرد "علوم" فحسب؛ بل هي متخصصة بعمق. فقد تكون ورقة بحثية عن "الأحياء"، ولكن بشكل أكثر تحديداً، هي عن "الطب"، وبشكل أكثر دقة، هي عن "علم الفيروسات".
أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطناعي التعامل مع هذا التسلسل الهرمي "المتداخل"—أي الانتقال من الفئات الكبيرة والواسعة وصولاً إلى التفاصيل الدقيقة والصغيرة—دون أن يصاب بالارتباك.
الاستراتيجية: طريقتان لتعليم الذكاء الاصطناعي
اختبر الباحثون طريقتين رئيسيتين لإعطاء التعليمات لهؤلاء المكتبيين الرقميين:
- طريقة "المرة الواحدة" (التعلم في السياق): تشبه تسليم أمين مكتبة كتاباً واحداً وقول: "هل ترى هذا؟ هذا كتاب في علم الأحياء. الآن، اذهب وحدد أين تذهب هذه الكتب الألف الأخرى". أنت تعطيه القليل من السياق وتأمل أن "يفهم الأمر".
- طريقة "خطوة بخطوة" (تسلسل الأوامر): هذه الطريقة أذكى بكثير. بدلاً من مطالبة الذكاء الاصطناعي بتخمين الفئة الدقيقة الصغيرة فوراً، تقوم بتقسيم الأمر إلى لعبة "20 سؤالاً".
- الخطوة 1: "هل هذه الورقة عن العلوم الحياتية أم العلوم الفيزيائية؟"
- الخطوة 2: (بمجرد إجابته بأنها علوم حياتية) "حسناً، ضمن العلوم الحياتية، هل هي علم أحياء أم طب؟"
- الخطوة 3: (بمجرد إجابته بأنها طب) "أخيراً، هل هي علم فيروسات أم طب قلب؟"
النتائج: المساعد "الذكي ولكن ليس مثالياً تماماً"
إليك ما وجدوه:
- طريقة "خطوة بخطوة" هي الفائزة: نجحت طريقة "تسلسل الأوامر" (نهج الـ 20 سؤالاً) بشكل أفضل بكتمير من مجرد إعطاء الذكاء الاصطناعي قائمة وطلب الاختيار منها؛ فقد ساعدته على البقاء مركزاً.
- الذكاء الاصطناعي بارع في "الصورة الكبيرة": كان الذكاء الاصطناعي بارعاً للغاية في تحديد المجالات العريضة (مثل الهندسة أو العلوم الحياتية). كان الأمر أشبه بأمين مكتبة يمكنه بسهولة التمييز بين كتاب طبخ وكتاب فيزياء.
- الذكاء الاصطناعي يعاني مع "التفاصيل الدقيقة": عندما وصل الأمر إلى المواضيع الأكثر تحديداً ودقة (المستوى الثالث)، انخفضت دقة الذكاء الاصطتاعي إلى حوالي 50%. إنه يشبه أمين مكتبة يعرف أنك في قسم "الطبخ"، لكنه لا يستطيع تحديد ما إذا كانت الوصفة لـ "السوفليه" أم لـ "خبز الساوردو".
- عامل "الإبداع": وجدوا أنه إذا كان الذكاء الاصطناعي "جامداً" للغاية (درجة حرارة منخفضة)، فإنه سيكون مملاً؛ وإذا كان "جامحاً" للغاية (درجة حرارة عالية)، فإنه سيبدأ في اختلاق الأمور. كانت هناك "منطقة ذهبية" (درجة حرارة 0.8) حيث كان أداؤه هو الأفضل.
الخلاصة
لقد بنينا مساعدين رقميين ممتازين في تنظيم "أحياء" العلوم، لكنهم لا يزالون بحاجة إلى خبير بشري لمساعدتهم في فرز "المنازل" المحددة في تلك الشوارع. ومع تطور هذه النماذج الذكية، ستصبح في النهاية الأداة المثالية لمساعدتنا في التنقل عبر جبل المعرفة البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.