Large language model-assisted discovery of cohorts from scientific literature
تقدم هذه الورقة إطار عمل قائماً على الأسئلة يسخر النماذج اللغوية الكبيرة لأتمتة استخراج أسماء المجموعات (cohorts) من الأدبيات العلمية، مما يثبت قدرته على تحديد المجموعات ذات الصلة بعلم وراثة العدوان لدى الشباب والتي غالباً ما يتم إغفالها من قبل فهارس المجموعات التقليدية.
المؤلفون الأصليون:Moritz Sturm, Lisa M. Berg, Inken Berg, Harishny Sarma, Jasmin Hartmann, Denissa Girschik, Gemma Roig, Christine M. Freitag, Andreas G. Chiocchetti
المؤلفون الأصليون: Moritz Sturm, Lisa M. Berg, Inken Berg, Harishny Sarma, Jasmin Hartmann, Denissa Girschik, Gemma Roig, Christine M. Freitag, Andreas G. Chiocchetti
في المشهد الواسع للعلوم الحديثة، غالبًا ما يواجه الباحثون مشكلة لا تكمن في العثور على بيانات جديدة، بل في العثور على البيانات القديمة الصحيحة. تخيل عالمًا يريد فهم سبب إظهار بعض الأطفال لسلوك عدواني. لكي يحصل على إجابة واضية، لا يمكنه الاعتماد على مجموعة واحدة من بضع مئات من الأشخاص؛ بل يحتاج إلى دمج بيانات من آلاف الأفراد عبر دراسات عديدة. هذه العملية، المعروفة باسم تحليل الدراسات المتعددة، تتطلب إيجاد مجموعات محددة من الناس، تسمى "الأفواج" (cohorts)، والتي تمتلك الخصائص المناسبة: العمر المناسب، والتاريخ الطبي المناسب، ونوع القياسات المناسب، مثل الشفرات الجينية أو صور الدماغ. لعقود من الزمن، كان العثور على هذه المجموعات عملية بحث بطيئة ويدوية. فقد اضطر العلماء إلى الاعتماد على ذاكرتهم الخاصة، أو سؤال زملائهم عن توصيات، أو البحث في قوائم متخصصة لمجموعات البيانات التي قد لا تغطي كل سؤال بحثي محتمل. هذه القوائم مفيدة، لكنها غالبًا ما تكون منظمة حسب نوع البيانات التي تحتويها بدلاً من الأسئلة المحددة التي يريد العلماء طرحها، مما يترك العديد من المجموعات المفيدة مخفية في وضح النهار.
لقد طور فريق من الباحثين من ألمانيا طريقة جديدة لحل هذا اللغز، محولين البحث عن مجموعات البيانات هذه إلى عملية نظامية ومؤتمتة. فبدلاً من الانتظار حتى يقرأ إنسان آلاف الأوراق العلمية واحدة تلو الأخرى، قاموا ببناء سير عمل رقمي يستخدم نموذج لغة كبير — وهو نوع من الذكاء الاصطناعي المدرب على كميات هائلة من النصوص — ليعمل كمساعد بحث دؤوب. يبدأ النظام بسؤال بسيط، مثل: "أي الدراسات تحتوي على بيانات جينية عن الأطفال العدوانيين؟". ثم يقوم الكمبيوتر بترجمة هذا السؤال إلى مئات من مصطلحات البحث المحددة ويمسح الأدبيات العلمية، مستخرجًا آلاف عناوين المقالات وملخصاتها. يقرأ الذكاء الاصطناعي هذه الملخصات، باحثًا عن أسماء المجموعات المحددة من الناس المذكورة في النص. يقوم باستخراج هذه الأسماء، وينقي التكرارات، وينظمها في قائمة ليراجعها الخبراء البشريون.
اختبر الباحثون هذا النظام على التحدي المحدد المتمثل في إيجاد الدراسات الجينية المتعلقة بالعدوانية لدى الشباب. لقد غدّوا النظام بمجموعة من مصطلحات البحث التي تغطي الأطفال، والمراهقين، والعدوانية، والوراثة. أنتج الكمبيوتر أكثر من خمسة آلاف استعلام بحث مختلف واسترجع أكثر من خمسة آلاف سجل علمي فريد. ومن هذه الكومة الضخمة من النصوص، حدد الذكاء الاصطناعي ما يقرب من مائتي مجموعة محتملة من الناس. وبعد أن قام خبراء بشريون بفحص هذه المرشحات بعناية وفق قواعد صارمة — لضمان أن المجموعات كبيرة بما يكفي، وتضم أطفالًا دون سن الثمانية عشر، وتمتلك البيانات الجينية اللازمة — استقرت القائمة النهائية على أربعة وأربعين فوجًا مؤهلًا. مثلت هذه المجموعات الأربعة والأربعون إجماليًا بلغ قرابة تسعمائة ألف مشارك، وهو حجم من البيانات كان من الصعب للغاية والمستهلك للوقت تجميعه يدويًا.
أراد الفريق أيضًا معرفة ما إذا كانت طريقتهم الجديدة تجد أشياء فاتتها القوائم الراسخة والمعروفة. قارنوا قائمتهم المكونة من أربعة وأربعين مجموعة من المجموعات المؤهلة مع نتائج أربع قواعد بيانات رئيسية مشهورة يعتمد عليها العلماء عادةً. وجدت قواعد البيانات الراسخة، عند البحث بنفس السؤال، سبع وعشرين مجموعة من أصل أربع وأربعين. ومع ذلك، فقد أغفلت تمامًا سبع عشرة مجموعة وجدها النظام الجديد القائم على الأدبيات. أظهرت هذه الفجوة أن القوائم التقليدية ليست خريطة كاملة للبيانات المتاحة. لم تكن الطريقة الجديدة بديلاً للقوائم القديمة، بل عملت كمكمل قوي، حيث كشفت عن موارد قيمة موثقة في الأوراق العلمية ولكن لم يتم فهرستها بعد في الكتالوجات المركزية.
ولضمان قيام الذكاء الاصطناعي بعمله بشكل صحيح، قارن الباحثون عمله مع الخبراء البشريين. طلبوا من مراجعين بشريين اثنين فحص عينة عشوائية من نفس الأوراق العلمية لمعرفة ما إذا كانت تحتوي على المجموعات الصحيحة. لم يتفق المراجعون دائمًا مع بعضهم البعض، وهو أمر شائع عند تفسير النصوص المعقدة، لكن أداء الذكاء الاصطناعي وقع تمامًا ضمن نطاق الاتفاق البشري. لقد كان دقيقًا للغاية في تجنب الإنذارات الكاذبة، مما يعني أنه نادرًا ما ادعى أن ورقة ما تحتوي على مجموعة بينما هي لا تحتوي عليها. وبينما فاتته بعض المجموعات التي وجدها البشر، فإن قدرته على معالجة آلاف الأوراق في جزء ضئيل من الوقت جعلت منه أداة عملية وموثوقة. ولم تكلف العملية برمتها، من البحث إلى استخراج الأسماء، سوى القليل من موارد الحوسبة مقارنة بمئات الساعات من العمل البشري التي استبدلتها.
تخلص الدراسة إلى أن هذا النهج يقدم طريقة عملية ومرنة لبناء قائمة من مجموعات البيانات لأي سؤال بحثي محدد. فمن خلال ترجمة فضول الباحث إلى بحث نظامي في السجل العلمي، تحول الطريقة عالم الأوراق المنشورة المشتت والواسع إلى مخزون قابل للاستخدام من البيانات البشرية. وهي لا تتطلب قائمة مسبقة من المجموعات لتعمل؛ بل تجدها من خلال قراءة القصص التي رواها العلماء بالفعل عن أعمالهم. وتعتبر هذه القدرة ذات قيمة خاصة في مجالات البحث المتخصصة حيث لا يوجد قاعدة بيانات مركزية، أو للأسئلة التي تشمل أنواعًا مختلفة من البيانات. لقد أتاح الباحثون أدواتهم وقائمتهم الناتجة المكونة من أربعة وأربعين فوجًا لعدوانية الشباب للجمهور، داعين الآخرين لاستخدام هذه الطريقة لاكتشاف البيانات لمجالاتهم الخاصة. ويُظهر هذا العمل أنه بينما تعد قوائم البيانات المنسقة ضرورية، فإن الأدبيات العلمية نفسها تحتوي على كنز تكميلي من المعلومات يمكن الآن الوصول إليه بمساعدة الأدوات الذكية والمؤتمتة.
ملخص تقني: اكتشاف المجموعات (Cohorts) بمساعدة النماذج اللغوية الكبيرة من الأدبيات العلمية
بيان المشكلة في علوم البيانات القائمة على السكان، يتطلب إعادة استخدام وتحليل البيانات البشرية الموجودة بشكل مشترك من قبل الباحثين تحديد مجموعات مناسبة تحتوي على بيانات على مستوى الأفراد، وأنماط ظواهر (phenotypes) ذات صلة، وأنماط بيانات محددة. حالياً، تعتمد عملية الاكتشاف هذه بشكل كبير على المعرفة المسبقة، والبحث اليدوي في الأدبيات، وفهارس المجموعات القائمة (مثل Maelstrom وdbGaP). ومع ذلك، فإن هذه الأساليب اليدوية غالباً ما تكون منحازة نحو المجموعات المعروفة جيداً، ويصعب إعادة إنتاجها، وقد تغفل عن الموارد المتخصصة أو الناشئة. علاوة على ذلك، فإن الفهارس القائمة منظمة عموماً حول موارد البيانات بدلاً من أسئلة بحثية محددة، وقد لا تغطي الطيف الكامل للمجموعات المتاحة. وبينما استخدمت أعمال سابقة النماذج اللغوية الكبيرة (LLMs) لاكتشاف مجموعات البيانات ضمن فهارس موجودة أو لاستخراج الإشارات في سياقات محددة، لم يكن هناك إطار عمل منهجي لترجمة سؤال بحثي محدد إلى بحث آلي شامل في الأدبيات لتحديد أسماء مجموعات معينة دون وجود قائمة محددة مسبقاً.
المنهجية طوّر المؤلفون سير عمل ثلاثي المراحل وقابلاً للضبط لاكتشاف المجموعات المسماة من الأدبيات العلمية بناءً على سؤال بحثي محدد. يعمل خط الإنتاج (pipeline) كما يلي:
1. استرجاع الأدبيات الخاص بالسؤال:
يقوم النظام بترجمة السؤال البحثي إلى مفردات قابلة للضبط تغطي السكان، والمجال، ونمط الظاهرة، ونمط البيانات، وتصميم الدراسة.
يتم توسيع هذه المفردات إلى قالبين مختلفين لاستعلامات PubMed:
القالب الواسع (Broad Template):population AND (domain OR phenotype) AND modality (مصمم لتقليل السجلات المفقودة بسبب تباين المصطلحات).
القالب المحدد (Specific Template):population AND domain AND phenotype AND modality AND study-design (مصمم لزيادة النوعية).
تُنفذ الاستعلامات عبر واجهة برمجة تطبيقات PubMed، حيث تسترجع أفضل 50 عنواناً وملخصاً مرتباً لكل استعلام. يتم إزالة التكرار في السجلات حسب معرف PubMed (PMID).
2. استخراج أسماء المجموعات بمساعدة النماذج اللغوية الكبيرة (LLM):
تتم معالجة العناوين والملخصات المسترجعة باستخدام نموذج GPT-4o (النسخة gpt-4o-2024-08-06) عبر واجهة برمجة تطبيقات OpenAI.
يقوم "أمر" (prompt) ثابت، مصمم خصيصاً للسؤال البحثي، بتوجيه النموذج لتصنيف السجلات أولاً كـ INCLUDE (تضمين) أو DISCARD (استبعاد).
بالنسبة للسجلات التي يتم تصنيفها كـ INCLUDE ، يقوم النموذج باستخراج أسماء قواعد البيانات أو الدراسات أو المجموعات الصريحة.
للتخفيف من التباين العشوائي، تتكرر خطوة الاستخراج ثلاث مرات. ويُستخدم اتحاد أزواج (PMID-اسم المجموعة) المستخرجة عبر جميع الجولات للمعالجة اللاحقة.
لا يحدد النموذج اللغوي الكبير الأهلية النهائية؛ بل يستخرج فقط الأسماء المرشحة.
3. حل الأسماء المستعارة والهوية للمجموعات:
تقوم خطوة شبه آلية لإزالة التكرار بتجميع الأسماء شبه المتطابقة باستخدام difflib.get_close_matches من لغة Python مع عتبة تشابه تبلغ 0.8.
يقوم المراجعون البشريون بفحص هذه المجموعات يدوياً لحل الأسماء المستعارة، والاختصارات، والدراسات الفرعية المتداخلة، وتعيين تسميات معيارية (على سبيل المثال، حل "دراسة ABCD" و"دراسة التطور المعرفي الدماغي للمراهقين ABCD" لتصبح التسمية المعيارية "ABCD").
يتم استبعاد الكيانات التي ليست مجموعات (مثل أدوات التشخيص).
دراسة حالة وتقييم طُبِّق إطار العمل لاكتشاف المجموعات الخاصة بـ وراثة العدوانية لدى الشباب.
نطاق البحث: ولّد النظام 5,400 استعلام PubMed، واسترجع 5,254 سجلاً فريداً.
الاستخراج: حدد النموذج اللغوي الكبير أسماء مجموعات صريحة في 476 سجلاً، مما نتج عنه 188 مجموعة مرشحة بعد حل الأسماء المستعارة.
الفحص اليدوي: قام مراجعان مستقلان بفحص المرشحين بناءً على خمسة معايير للأهلية: (1) إجراءات وصول متاحة للبيانات، (2) بيانات جينية على مستوى الأفراد، (3) أكثر من 1,000 مشارك، (4) المشاركون أقل من 18 عاماً، و(5) أنماط ظواهر متعلقة بالعدوانية تم التحقق من صحتها. أدت هذه العملية إلى الاحتفاظ بـ 44 مجموعة مؤهلة (تمثل حوالي 890,000 مشارك).
التحقق من الأتمتة:
تمت مقارنة أداء استخراج النموذج اللغوي الكبير مقابل معيار ذهبي لاتفاق البشر (176 ملخصاً حيث اتفق المراجعان).
حقق النموذج اللغوي دقة مثالية (1.000) ولكن استدعاءً (recall) بنسبة 0.769 مقابل المعيار الذهبي.
وقعت درجة F1 الخاصة بالنموذج (0.870) ضمن نطاق الاتفاق بين المراجعين البشر (F1 = 0.693)، مما يشير إلى أنه يعمل بشكل موثوق ضمن حدود عدم اليقين التفسيري البشري.
أظهرت اختبارات التكرار تشابهاً بنسبة 0.85 (Jaccard similarity) بين جولات الاستخراج المستقلة.
المقارنة مع الفهارس: تمت مقارنة الـ 44 مجموعة المؤهلة مع عمليات البحث في أربعة فهارس قائمة (Atlas of Longitudinal Datasets، وCatalogue of Mental Health Measures، وMaelstrom Catalogue، وdbGaP).
أعادت الفهارس مجتمعة 27 من أصل 44 مجموعة مؤهلة (61.4%).
والأهم من ذلك، أن 17 مجموعة مؤهلة حددها سير عمل الأدبيات لم تظهر في أي من عمليات البحث في الفهارس الأربعة.
كان التداخل بين الفهارس منخفضاً (93.7% من المجموعات الفريدة ظهرت في فهرس واحد فقط)، مما يسلط الض الضوء على التجزئة الكبيرة في الموارد القائمة.
المساهمات الرئيسية
تطوير إطار العمل: يقدم البحث خط إنتاج (pipeline) قابلاً للضبط ومدعوماً بالنماذج اللغوية الكبيرة، يحول المفردات الخاصة بالسؤال البحثي إلى مخزون قابل للفحص للمجموعات دون الحاجة إلى قائمة محددة مسبقاً للمجموعات.
التكامل المنهجي: يدمج استرجاع الأدبيات الآلي مع استخراج الأسماء بمساعدة النماذج اللغوية الكبيرة وحل الهوية مع تدخل بشري، متجاوزاً مجرد استخراج الإشارات إلى الاكتشاف القائم على الأسئلة.
الموارد المفتوحة: يوفر المؤلفون الكود، والأوامر (prompts)، ونماذج المخرات عبر GitLab، كما أن كتالوج الـ 44 مجموعة مؤهلة لوراثة العدوانية لدى الشباب متاح للجمهور عبر Zenodo.
فعالية التكلفة: بلغت تكلفة معالجة النموذج اللغوي الكبير حوالي 10 دولارات أمريكية، وهو جزء ضئيل من الـ 400 ساعة عمل بشرية المقدرة المطلوبة للفحص اليدوي لـ 5,254 سجلاً أولياً.
الأهمية والادعاءات يزعم المؤلفون أن سير العمل هذا يعالج تحدياً مركزياً في أبحاث البيانات السكانية: تحديد المجموعات ذات الصلة دون الاعتماد على قوائم محددة مسبقاً أو الاقتصار على نطاق الفهارس القائمة.
التكامل: تجادل الدراسة بأن الاكتشاف القائم على الأدبيات والاكتشاف القائم على الفهارس يكملان بعضهما البعض. تعتمد الفهارس على البيانات الوصفية المهيكلة والفهرسة الخاصة بالمنصات، بينما يحدد سير العمل المقترح المجموعات بناءً على استخدامها الفعلي في المنشورات ذات الصلة بسؤال محدد.
اكتشاف الموارد المفقودة: إن حقيقة أن 17 مجموعة مؤهلة قد أُغفلت من قبل جميع الفهارس الأربعة تبرز قيمة تنقيب الأدبيات كمسار مكمل للاكتشاف.
القابلية للتوسع والتكيف: بينما تم استعراض ذلك على وراثة العدوانية لدى الشباب، يذكر المؤلفون أن سير العمل قابل للضبط لمجموعات سكانية، وأنماط ظواهر، وأنماط بيانات، وتصاميم دراسة أخرى.
النطاق المتواضع: يقر البحث بوجود قيود، بما في ذلك الاقتصار على PubMed (مما قد يؤدي لتجاهل التخصصات غير الطبية الحيوية)، والاعتماد على التسمية الصريحة في العناوين/الملخصات، والفجوة الزمنية بين البحث في الأدبيات (2025) والبحث في الفهارس (2026). لا يدعي المؤلفون أن النظام يستبدل الفهارس المنسقة، بل يوسع مساحة المرشحين لأسئلة بحثية محددة ويمكنه دعم تنسيق الفهارس من خلال تحديد المرشحين للإضافة إليها.