Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models
تُثبت هذه الورقة أن الجمع بين التلقين الذاتي والتوافق عبر النماذج مع النماذج اللغوية الكبيرة يتيح استخراج البيانات من الأدبيات العلمية بشكل قابل للتكرار والقابلية للتوسع، مع الحفاظ على الإشراف الخبير من خلال تقسيم عملي للمهام.
المؤلفون الأصليون:Valentin Romanov, Monique Bax, Steven Niederer
تعتمد العلوم على مكتبة ضخمة من الاكتشافات الماضية، لكن العثور على الحقائق المحددة الكامنة داخل تلك الأوراق البحثية القديمة مهمة بطيئة ومضنية. تخيل باحثاً يحتاج إلى معرفة كيفية سلوك بروتين في عضلة القلب تحت ظروف معينة؛ فعليه أن يقرأ عشرات المقالات، بعضها كُتب منذ عقود، بحثاً عن تفاصيل دقيقة مثل درجة الحرارة، والتركيزات الكيميائية، وطرق القياس. غالباً ما تكون هذه التفاصيل مدفونة في نصوص كثيفة أو مبعثرة عبر الجداول، وفقدان حتى تفصيل واحد منها قد يؤدي إلى أخطاء في الأبحاث الجديدة. لسنوات، أمل العلماء أن تتمكن برامج الكمبيوتر من القيام بهذا العمل الشاق، ولكن حتى وقت قريب، كانت هذه الأدوات غير موثوقة بما يكفي للوثوق بها في مثل هذا العمل الدقيق؛ إذ كانت غالباً ما تغفل عن السياق الحيوي أو تخترع حقائق لم توجد قط.
تختبر دراسة جديدة أجراها باحثون من إمبريال كوليدج لندن وجامعة كامبريدج ما إذا كان الجيل الأحدث من الذكاء الاصطناعي يمكنه أخيراً حل هذه المشكلة. لم يكتف الفريق بسؤال الكمبيوتر أن يقرأ ورقة بحثية فحسب، بل عاملوه كمساعد بحث مبتدئ يحتاج إلى تدريب وإشراف دقيقين. لقد وضعوا سلسلة من التجارب لمعرفة مدى قدرة هذه البرامج على استخراج بيانات محددة من المقالات العلمية، بدءاً من المهام البسيطة حيث يقدم الإنسان مجموعة واضحة من التعليمات، وصولاً إلى المهام المعقدة حيث يتعين على الكمبيوتر العثور على المقالات بنفسه. كان الهدف هو رسم خريطة توضح بدقة أين تنجح هذه الآلات وأين لا تزال بحاجة إلى يد بشرية لتوجيهها.
بدأ الباحثون بتحدٍ مباشر: هل يمكن للكمبيوتر استخراج أرقام دقيقة حول كيفية ارتباط الكالسيوم ببروتينات القلب من ثمانية عشر بحثاً علمياً مختلفاً؟ لقد قدموا لسبعة من أكثر برامج الكمبيوتر تقدماً مجموعة مفصلة من التعليمات التي كتبها خبراء، وطلبوا منها العثور على سبعة قطع محددة من المعلومات لكل تجربة، مثل نوع الحيوان المستخدم، ودرجة الحرارة، والقيم الكيميائية. كانت النتائج قوية بشكل مفاجئ؛ فقد أصابت أفضل البرامج الأرقام الصحيحة أكثر من 95% من المرات. في الواقع، عندما طُلب من أجهزة الكمبيوتر العثور على الأرقام الخام وحدها، كانت صحيحة بنسبة تقارب 100%. ومع ذلك، واجهت الآلات صعوبة عندما طُلب منها فهم القصة وراء هذه الأرقام؛ فغالباً ما فشلت في تحديد أي نسخة بالضبط من البروتين تم اختبارها أو الظروف المحددة التي أُجري فيها القياس. أظهر هذا أنه بينما كانت أجهزة الكمبيوتر ممتازة في العثور على الأرقام، إلا أنها كانت لا تزال تتعلم فهم السياق العلمي الذي يجعل تلك الأرقام ذات معنى.
ولرؤية ما إذا كان بإمكان أجهزة الكمبيوتر تقديم أداء أفضل دون أن يكتب البشر التعليمات، ترك الباحثون البرامج تكتب أدلتها الخاصة. فقد طلبوا من كل كمبيوتر البحث عن أفضل الطرق لطرح الأسئلة ثم إنشاء ورقة تعليمات رئيسية للمهمة. نجحت أجهزة الكمبيوتر في إنشاء أدلة مفيدة، لكن البيانات التي استخرجتها باستخدام هذه التعليمات التي كتبتها بنفسها كانت أقل دقة قليلاً مما كانت عليه عند اتباع خطة الخبير البشري الأصلية. كانت الفجوة صغيرة بالنسبة للبرامج المتفوقة، لكنها اتسعت في البرامج الأخرى، مما يشير إلى أنه بينما يمكن لأجهزة الكمبيوتر تعلم طرح أسئلة جيدة، فإن الخبير البشري يظل الأدرى بكيفية صياغة الفروق الدقيقة لمشكلة علمية معينة.
ثم دفع الفريق أجهزة الكمبيوتر إلى أبعد من ذلك، بطلب منهم أن تعمل كباحثين مستقلين. في هذا السيناريو، كان على البرامج العثور على الأوراق العلمية ذات الصلة بنفسها، وقراءتها، واستخراج البيانات دون أي مساعدة من إنسان لتوجيهها نحو الطريق الصحيح. وهنا اصطدمت الأنظمة بحائط مسدود؛ فحتى أكثر البرامج تقدماً أغفلت أكثر من نصف الأوراق الصحيحة التي كان من المفترض أن تجدها. كما قامت بعضها باختراع استشهادات لأوراق بحثية غير موجودة، وهي مشكلة تُعرف باسم "الهلوسة"، بينما فشلت أخرى ببساطة في تحديد المصادر الصحيحة. وجدت الدراسة أنه عندما يتعين على الكمبيوتر البحث عن معلوماته الخاصة، يصبح أقل موثوقية بكثير. الأمر يشبه مطالبة طالب بكتابة تقرير دون إعطائه بطاقة مكتبة؛ قد يخمن العناوين الصحيحة، لكنه مرشح أيضاً لتأليف عناوين من عنده.
اختبر الجزء الأخير من الدراسة كيفية جعل هذه العملية ناجحة في العالم الحقيقي. اختبر الباحثون طريقة استخدموا فيها عدة أجهزة كمبيوتر لمراجعة عمل بعضها البعض. ووجدوا أنه إذا ارتكب أحد أجهزة الكمبيوتر خطأً، فإن جهازاً آخر غالباً ما يكتشفه. ومن خلال تشغيل المهمة نفسها خمس مرات وأخذ الإجابة الأكثر شيوعاً، تمكن الفريق من تحسين الدقة بشكل كبير. كما اكتشفوا أن وجود أجهزة كمبيوتر مختلفة تعمل على نفس المشكلة كان أفضل من جعل جهاز كمبيوتر واحد يكرر المهمة خمس مرات. خلق هذا النهج شبكة أمان حيث يمكن للكمبيوترات تحديد الحالات الصعبة لمراجعتها من قبل البشر. خلصت الدراسة إلى أن أفضل طريقة لاستخدام هذه الأدوات ليست استبدال العلماء البشر، بل خلق شراكة. في سير العمل الجديد هذا، يتولى الكمبيوتر العمل المتكرر المتمثل في العثور على البيانات واستخراجها، بينما يتدخل الخبير البشري للتحقق من الأجزاء الصعبة وحل أي خلافات بين الآلات. يسمح هذا التقسيم للعمل للعلماء بمعالجة كميات هائلة من الأدبيات بسرعة دون فقدان الحكم الدقيق الذي لا يملكه إلا البشر.
ملخص تقني: التلقيم الذاتي وتوافق النماذج المتعددة من أجل استخراج بيانات قابل للتكرار
بيان المشكلة
يعد استخراج البيانات الدقيقة والسياقية من الأدبيات العلمية غير المهيكلة عملية شاقة تتطلب جهداً بشرياً كبيراً، وهي عرضة للخطأ البشري، وسوء الحساب، وإساءة تفسير الفروق الدقيقة في الأبحاث. وبينما توفر النماذج اللغوية الكبيرة (LLMs) إمكانات للأتمتة، لا تزال المبادئ العالمية لنشرها بفعالية غير متطورة بشكل كافٍ. وتوجد فجوة حرجة في فهم كيفية الاستفادة من النماذج اللغوية الكبيرة الرائدة التي يتم الوصول إليها عبر واجهات المتصفح (بدلاً من استدعاءات واجهة برمجة التطبيقات - API المعزولة)، والتي غالباً ما تتضمن تعليمات مخفية، وآليات استرجاع، وأدوات مراقبة تغير سلوك النموذج. علاوة على ذلك، تفشل الاختبارات المرجعية الحالية في معالجة مسألة قابلية التكرار عبر عمليات التشغيل، وموثوقية الاكتشاف الذاتي للأدبيات، والتحديات المحددة لتطبيق إرشادات التقارير التفصيلية حيث قد يختلف الخبراء البشر أنفسهم.
المنهجية
قيم المؤلفون أربعة تدفقات عمل تصاعدية مصممة لاختبار الاستقلالية والموثوقية لسبعة نماذج لغوية كبيرة رائدة (GPT-5.5، وOpus 4.7/4.8، وGemini 3.1 Pro، وQwen3.7، وKimi K2.6، وGLM-5.1/5.2، وDeepSeek v4) في بيئة تعتمد على المتصفح. استخدمت الدراسة حالتين دراسيتين رئيسيتين:
استخراج ألفة بروتين تروبونين سي (مرجع الحقيقة):
المجموعة (Corpus): 18 مقالاً بحثياً أصلياً (يعود تاريخها إلى الثمانينيات) تم تلخيصها في دراسة Niederer et al. (2006)، تحتوي على 39 حالة تجريبية.
المهمة: استخراج سبع نقاط بيانات محددة: النوع، درجة الحرارة، تحضير التروبونين، طريقة القياس، تركيز المغنيسيوم، وثوابت الألفة (Kd و K).
تدفقات العمل المختبرة:
التلقيم المُعد من قبل خبير: تلقت النماذج تلقيماً ثابتاً صممه بشر مع المقالات. تم تكرار عملية الاستخراج خمس مرات لكل نموذج لتقييم الاتساق.
التلقيمات ذاتية التأليف: طُلب من النماذج البحث في ممارسات هندسة التلقيم والمصطلحات المتخصصة لإنشاء ثلاثة تلقيمات مرشحة، والتي تم تجميعها لاحقاً في "تلقيم رئيسي" واحد. تم اختبار هذا التلقيم الرئيسي مقابل نفس المجموعة.
البحث العميق المستقل: كُلفت النماذج بتحديد مكان الأدبيات الأولية بشكل مستقل (ما يصل إلى 20 مقالاً من ما قبل عام 2005) واستخراج البيانات دون مصادر مقدمة من البشر.
إنشاء مجموعة بيانات عابرة للمجالات: باستخدام إرشادات Sandoval et al. (2024) المتعلقة بتقارير العضويات (Organoids)، قامت النماذج بإنشاء تلقيمات رئيسية لاستخراج معايير التقارير من 10 مقالات حول عضويات الدماغ. تمت مقارنة مخرجاتها بتقييمات من اثنين من المراجعين البشريين الحاملين لدرجة الدكتوراه.
مقاييس التقييم:
الدقة: المقارنة مع مجموعة بيانات الحقيقة المرجعية المصححة.
الاتساق: تحليل التباين عبر خمس عمليات تشغيل مستقلة (لقياس "الصحة الدائمة"، و"الخطأ المنهجي"، و"الخطأ العشوائي").
كشف الهلوسة: التحقق من وجود المراجع المستشهد بها ودقتها.
الاتفاق البشري: قياس التوافق بين مخرجات النماذج وإجماع الخبراء البشريين.
النتائج الرئيسية
1. التلقيمات المُعدة من قبل خبراء وأداء النماذج
دقة عالية مع التوجيه: عند تزويدها بتلقيمات الخبراء والمقالات الثابتة، حققت النماذج الرائدة دقة عالية. حققت أفضل ثلاثة نماذج (GPT-5.5، وOpus 4.7، وGemini 3.1 Pro) متوسط دقة بلغ 92.6% عبر خمس عمليات تشغيل. ووصل GPT-5.5 إلى 95.7%.
القيم العددية مقابل السياقية: كانت النماذج دقيقة للغاية في استخراج القيم العددية (وصلت دقة K و Kd إلى ~99%)، لكنها واجهت صعوبة في الحقول السياقية التي تتطلب استنتاجاً أعمق، مثل تحديد التحضير البيولوجي المحدد (دقة 80.7%).
التباين بين عمليات التشغيل: لم تكن عمليات التشغيل الفردية كافية لتمثيل قدرة النموذج. كان 76.4% فقط من المعلمات صحيحة في جميع عمليات التشغيل الخمس عبر جميع النماذج. حققت النماذج العليا اتساقاً بنسبة 87.7% في جميع عمليات التشغيل الخمس، مقارنة بـ 67.9% للنماذج الأخرى.
كشف الأخطاء: نجح إجماع عمليات تشغيل النماذج المتعددة في تحديد الأخطاء في مجموعة بيانات الحقيقة المرجعية الأصلية، بما في ذلك عوامل التحويل غير الصحيحة والارتباطات الحرارية الخاطئة.
2. التلقيمات ذاتية التأليف
توليد التلقيم: استطاعت النماذج توليد تلقيمات رئيسية تُحسن من تلقيماتها الفردية المرشحة. ومع ذلك، فإن هذه التلقيمات ذاتية التأليف لم تضاهِ أداء التلقيم الذي أعده الخبير البشري.
انخفاض الأداء: أدى استخدام التلقيمات الرئيسية ذاتية التأليف إلى انخفاض في الدقة الإجمالية (على سبيل المثال، انخفض GPT-5.5 من 95.6% إلى 90.3%). كان الانخفاض أكثر وضوحاً في تفسير طرق القياس التجريبي.
ارتباط ضعيف: لم يتنبأ جودة التلقيم ذاتي التأليف (الذي تم تقييمه مقابل معيار) بقوة بدقة الاستخراج.
3. البحث العميق المستقل
فشل اكتشاف الأدبيات: واجهت الوكلاء المستقلون صعوبة في تحديد الأدبيات الأولية الصحيحة. حتى أفضل الوكلاء أداءً (Opus 4.8) استعاد فقط 53.7% من المراجع الـ 19 للحقيقة المرجعية.
الهلوسة: أنتج وكيلان (Qwen3.7-Plus وGLM-5.2) استشهادات مهلوسة (45% و29% من الاستشهادات الفريدة، على التوالي). لم تنتج الوكلاء الآخرون أي هلوسات، لكنهم افتقروا أيضاً إلى أجزاء كبيرة من الأدبيات المستهدفة.
جودة الاستخراج: عند استخراج البيانات من هذه التقارير المستقلة، كانت الدقة الإجمالية مقابل الحقيقة المرجعية منخفضة (34–39%)، رغم أن قيم الألفة العددية المستعادة كانت غالباً ضمن عامل اثنين من الحقيقة.
4. توافق النماذج المتعددة والإنسان في الحلقة (Human-in-the-Loop)
الخلاف البشري: اختلف المراجعون البشريون في 20.9% من التقييمات، مما يسلط الضوء على أن "الحقيقة" ليست دائماً ثنائية.
توافق النماذج كمرشح:
عندما أجرت النماذج خمس عمليات تشغيل، تطابق الإجماع الموحد (5-0) مع الإجماع البشري بنسبة 93.2%.
انخفض الاتفاق إلى 65.0% عندما انقسمت النتائج (4-1)، وإلى 55.2% عندما كانت (3-2).
التصويت عبر النماذج: أدى تجميع النتائج عبر نماذج مختلفة (التصويت بالأغلبية) إلى تحقيق توافق أعلى مع المراجعين البشريين (93.3% مع خمسة نماذج) مقارنة بتكرار نفس النموذج خمس مرات (89.2%).
قابلية التكرار: كان GPT-5.5 هو النموذج الأكثر قابلية للتكرار (اتساق بنسبة 92.6%)، بينما كان Gemini 3.1 Pro هو الأقل (81.7%)، ومع ذلك ظل تصويت الأغلبية لـ Gemini متوافقاً بشكل جيد مع البشر.
الأهمية والادعاءات
يدعي البحث تحديد تقسيم قابل للتدقيق للعمل في مجال تنسيق البيانات العلمية يوازن بين الأتمتة والإشراف الخبير. ويؤكد المؤلفون ما يلي:
قابلية التكرار تتطلب التوافق: عملية تشغيل واحدة للنموذج اللغوي الكبير غير موثوقة. يتطلب الاستخراج القابل للتكرار تشغيل التلقيمات عدة مرات واستخدام توافق النماذج المتعددة لتحديد الحالات غير المؤكدة.
الإنسان في الحلقة ضروري للفروق الدقيقة: بينما يمكن للنماذج التعامل مع مهام الاستخراج الثابتة باستخدام تلقيمات الخبراء، فإنها تواجه صعوبة في البحث المستقل عن الأدبيات أو تفسير السياق العلمي المعقد دون توجيه بشري.
إطار عمل عملي: توفر الدراسة سير عمل عملي حيث يحدد الخبراء معيار الأدلة والمصادر، وتقوم النماذج بإجراء عمليات استخراج متكررة للتحقق من النتائج، ويقوم الباحثون البشريون بحل الحالات المتنازع عليها أو ذات التوافق المنخفض.
الواجهة مهمة: تسلط الدراسة الضوء على أن التفاعلات عبر المتصفح تختلف بشكل كبير عن استدعاءات واجهة برمجة التطبيقات (API)، وأن الأداء يتغير مع تحديثات الواجهة وتخصيص الحوسبة، مما يستلزم إجراء اختبارات مرجعية دقيقة في بيئة الاستخدام المحددة.
يخلص المؤلفون إلى أن هذا النهج يقدم مساراً عملياً لتوسيع نطاق تنسيق البيانات العلمية دون التخلي عن الإشراف الخبير، مما يسمح ببناء مجموعات بيانات عالية الجودة مع الحفاظ على الشفافية والقابلية للتدقيق.