A Benchmark for End-to-End Zero-Shot Biomedical Relation Extraction with LLMs: Experiments with OpenAI Models
تقدم هذه الورقة معياراً لتقييم استخراج العلاقات الطبية الحيوية من الطرف إلى الطرف بنمط الصفر-تلقائي باستخدام نماذج OpenAI، مظهرةً أنه بينما تقترب هذه النماذج اللغوية الكبيرة من أداء التعلم الخاضع للإشراف في مجموعات بيانات معينة، إلا أنها لا تزال تواجه صعوبة في المدخلات المعقدة التي تتضمن علاقات متعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم الأبحاث الطبية كمكتبة ضخمة، متنامية باستمرار. في كل يوم، تُضاف آلاف الكتب الجديدة (الأوراق العلمية) إلى الرفوف. وفي داخل هذه الكتب توجد حقائق حيوية: أي الأدوية تعمل معاً، أي الجينات تسبب الأمراض، وكيف تتفاعل المواد الكيميائية مع البروتينات.
المشكلة هي أن هذه المكتبة كبيرة جداً بحيث لا يمكن للبشر قراءتها وتنظيمها يدوياً. نحن بحاجة إلى طريقة لسحب هذه الحقائق تلقائياً ووضعها في قوائم منظمة (مثل جداول البيانات) حتى تتمكن الحواسيب من استخدامها. تُسمى هذه العملية استخراج العلاقات (Relation Extraction - RE).
تقليدياً، لتعليم الكمبيوتر القيام بذلك، كان علينا استئجار خبراء لقراءة آلاف الأوراق، وتحديد الحقائق، وتصنيفها. هذا يشبه استئجار فريق من المعلمين لتدريس طالب لكل مادة جديدة على حدة. إنها عملية بطيئة، مكلفة، ومجهدة.
السؤال الكبير: هل يمكننا تجاوز "المعلم"؟
مع ظهور "نماذج اللغات الكبيرة" (LLMs) — وهي روبوتات الدردشة الذكية جداً مثل تلك التي ربما استخدمتها — تساءل الباحثون: هل يمكننا فقط أن نطلب من الذكاء الاصطناعي القيام بالمهمة دون تعليمه أولاً؟ يُسمى هذا التعلم "صفر الشرح" (Zero-Shot). فبدلاً من تدريب الذكاء الاصطناعي باستخدام أمثلة، نقوم فقط بإعطائه "أمرًا" (تعليمات) ونرى ما إذا كان بإمكانه فهم الأمر فوراً.
هذه الورقة البحثية هي اختبار معياري. لقد وضع المؤلفون "صالة ألعاب رياضية" تحتوي على سبعة أنواع مختلفة من الألغاز الطبية ليروا ما إذا كانت هذه النماذج من الذكاء الاصطناعي قادرة على حلها دون أي تدريب مسبق.
التجربة: الذكاء الاصطناي في مواجهة المكتبة
اختبر الباحثون ثلاثة نماذج مختلفة من الذكاء الاصطناعي (GPT-4، و"o1" من OpenAI، ونموذج مفتوح المص المصدر يسمى GPT-OSS) على سبعة مجموعات بيانات مختلفة. فكر في مجموعات البيانات هذه كأنها مستويات صعوبة مختلفة في لعبة فيديو:
- المستويات السهلة: كانت بعض الألغاز بسيطة؛ تضمنت جملًا قصيرة تحتوي على نوع واحد أو نوعين فقط من الحقائق المراد إيجادها (مثل "الدواء (أ) يسبب العرض الجانبي (ب)").
- المستويات الصعبة: كانت ألغاز أخرى فوضوية؛ تضمنت فقرات طويلة بها عشرات الحقائق، وأسماء علمية معقدة، والعديد من أنواع العلاقات المختلفة المختلطة معاً.
كانت مهمة الذكاء الاصطناعي هي قراءة النص وإخراج قائمة منظمة من الحقائق، مثل: {الدواء: أسبرين، التأثير: يقلل الألم}.
ماذا وجدوا؟
كانت النتائج مزيجاً من "ليس سيئاً" و"يحتاج إلى عمل".
- الأشياء البسيطة: عندما كان النص قصيراً والحقائق واضحة، أدت نماذج الذكاء الاصطناعي أداءً جيداً بشكل مفاجئ. كانت تقريباً بنفس جودة الأنظمة القديمة التي تم تدريبها بكثافة. الأمر يشبه قدرة الذكاء الاصطناعي على تمييز تفاحة حمراء بسهولة وسط وعاء من الفاكهة.
- الأشياء المعقدة: عندما أصبح النص طويلاً وفوضوياً، بدأ الذكاء الاصطناعي في التعثر.
- القطع المفقودة: إذا كانت الفقرة تحتوي على 10 حقائق، فغالباً ما يجد الذكال الاصطناعي 3 أو 4 فقط. الأمر يشبه قراءة قصة طويلة وتذكر البداية والنهاية فقط، ونسيان المنتصف.
- الحدود الخاطئة: في بعض الأحيان، كان الذكاء الاصطناعي يمتلك الفكرة الصحيحة لكنه يستخدم الكلمات الخاطئة. إذا قال النص "صداع شديد"، فقد يستخرج الذكاء الاصطناعي كلمة "صداع" فقط. وفي العلوم الطبية، هذا الفرق الضئيل له أهمية بالغة.
- الارتباك: في أصعب مجموعات البيانات (التي تحتوي على 8 أنواع مختلفة من العلاقات)، أصيب الذكاء الاصطناعي بارتباك شديد، وغالباً ما خلط بين أي دواء يفعل ماذا لأي مرض.
مشكلة "المعيار الذهبي"
إحدى النقاط الأكثر إثارة للاهتمام في الورقة هي كيفية تقييمنا للذكاء الاصطناعي.
- المصحح الصارم: إذا كتب الذكاء الاصطناعي "ارتفاع ضغط الدم" بينما يقول الكتاب المدرسي "ضغط دم مرتفع"، فإن الكمبيوتر الصارم سيقول "خطأ!"، رغم أن البشر سيقولون "هذا هو المعنى نفسه".
- الواقع البشري: وجد المؤلفون أن الذكاء الاصطناعي وجد أحياناً حقائق فاتت على الخبراء البشريين في الكتاب الأصلي. وهذا يشير إلى أن الإجابات "الصحيحة" في هذه الاختبارات قد لا تكون مثالية أيضاً.
الحكم النهائي
تخلص الورقة إلى أن الذكاء الاصطناعي بنظام "صفر الشرح" يقترب من أن يكون مفيداً، لكنه ليس جاهزاً تماماً ليحل محل الخبراء البشريين بعد.
- للمهام البسيطة: هو أداة رائعة. يمكنك أن تطلب منه استخراج الحقائق من جمل قصيرة، ومن المرجح أن ينجح في ذلك.
- للمهام المعقدة: لا يزال يعاني. فهو يميل إلى تفويت الحقائق في المستندات الطويلة ويرتبك بسبب المصطلحات العلمية المعقدة.
كما حذر المؤلفون من أننا لا نعرف بالضبط نوع البيانات التي تدربت عليها هذه النماذج. فمن المحتمل أن يكون الذكاء الاصطناعي قد "حفظ" بعض الإجابات لأن هذه الأوراق موجودة على الإنترنت. ومع ذلك، بما أن الذكاء الاصطناعي قدم أداءً سيئاً للغاية في مجموعات البيانات الأكثر صعوبة، فمن غير المرجح أنه قام بمجرد حفظ الإجابات؛ بل هو يحاول فعلياً فهم النص.
باخت-صار
فكر في نماذج الذكاء الاصطناعي هذه كأنها متدربون أذكياء ولكنهم يفتقرون للخبرة.
- إذا أعطيتهم مذكرة قصيرة وواضحة، يمكنهم تلخيصها بشكل مثالي.
- أما إذا أعطيتهم تقريراً معقداً مكوناً من 50 صفحة يحتوي على تفاصيل متضاربة، فقد يفوتون أهم النقاط أو يخطئون في التفاصيل قليلاً.
لا تقول الورقة إن علينا التوقف عن استخدام هذه الأدوات، لكنها تقول إننا بحاجة إلى توخي الحذر. لا يمكننا تركهم يديرون قاعدة البيانات الطبية بأكملة بمفردهم بعد؛ فنحن لا نزال بحاجة إلى مراجعة عملهم، خاصة عندما تكون المعلومات معقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.