A Configurable LLM System for Automated Data Extraction in Meta-Analysis Using a Minimal Atomic Unit Framework

في عالم الطب الحديث، يعتمد الأطباء وصناع السياسات على عملية دقيقة تسمى "المراجعة المنهجية" لتحديد أفضل العلاجات فعالية. تخيل أنك تحاول فهم مدى فاعلية دواء جديد من خلال قراءة دراسة واحدة فقط؛ ستكون الصورة غير مكتملة ومن المحتمل أن تكون مضللة. بدلاً من ذلك، يقوم الخبراء بجمع كل الدراسات ذات الصلة بموضوع ما، واستخراج الأرقام المحددة من كل منها، ودمجها لإيجاد إجابة واضية. هذه العملية، المعروفة باسم "التحليل التلوي" (meta-analysis)، هي المعيار الذهبي لاتخاذ القرارات القائمة على الأدلة. ومع ذلك، فإن هذا العمل يتطلب جهداً شاقاً للغاية؛ إذ يتعين على الباحثين القراءة يدوياً عبر عشرات التقارب الطبية الكثيفة، بحثاً عن تفاصيل دقيقة مثل عدد المرضى الذين تحسنت حالتهم، وما كانت حالتهم الصحية عند البدء، ومتى تم أخذ القياسات بالضبط. إن خطأً صغيراً واحداً في نسخ رقم أو سوء قراءة جدول يمكن أن يشوه النتيجة النهائية بأكملها، مما يؤدي إلى استنتاجات خاطئة حول رعاية المرضى.

لسنوات، أمل العلماء أن تتمكن الذكاء الاصطناعي من التعامل مع هذه المهمة المملة لجمع البيانات. إن النماذج اللغوية الكبيرة، وهي نفس نوع التكنولوجيا التي تشغل برامج الدردشة الآلية المتقدمة، بارعة في فهم اللغة البشرية. ومع ذلك، عندما تُطلب منها استخراج أرقام محددة من تقارير طبية معقدة، فإن هذه النماذج غالالا ما تتعثر. فقد تخلط بين نتيجة مجموعة من المرضى ومجموعة أخرى، أو تغفل عن تفصيل حاسم مدفون في فقرة ما، أو والأسوأ من ذلك، قد تخترع رقماً يبدو منطقياً ولكنه لم يظهر أبداً في النص الأصلي. هذا الميل إلى "هلوسة" البيانات أمر خطير في الطب، حيث لا مجال للخطأ. وقد وضعت دراسة حديثة أجراها باحثون في جامعة شيان جياوتونغ ليفربول وزملائهم هدفاً لحل هذه المشكلة من خلال تعليم الذكاء الاصطناعي طريقة جديدة للتفكير في هذه المهمة، ليس كقارئ عام فحسب، بل كمستخرج دقيق للبيانات.

طوّر الفريق نظاماً يفكك المعلومات الفوضوية في التقرير الطبي إلى قطع صغيرة يمكن إدارتها أطلقوا عليها اسم "الوحدات الذرية الدنيا". فبدلاً من مطالبة الكمبيوتر بقراءة صفحة كاملة وتخمين الأرقام التي تنتمي إليها، يجبر النظام الكمبيوتر على الترككيز على مزيج محدد من الحقائق في كل مرة: مجموعة محددة من المرضى، ووقت محدد تم فيه فحصهم، ونتيجة صحية محددة يتم قياسها. فكر في الأمر كفرق بين طلب وصف محتويات غرفة فوضوية في جملة واحدة، وبين طلب سرد الأشياء الموجودة على الأرض، ثم الأشياء الموجودة على الطاولة، ثم الأشياء الموجودة على الرفوف، فئة تلو الأخرى. ومن خلال إجبار الذكاء الاصطناعي على معالجة عملية الاستخراج عبر هذه الخطوات الصغيرة والمنظمة، ضمن الباحثون أن كل رقم يستخرجه الكمبيوتر مرتبط مباشرة بالجملة أو الجدول المحدد الذي وجد فيه.

لاختبار ما إذا كانت هذه الطريقة ناجحة، جربها الباحثون أولاً على مجموعة صغيرة مكونة من ثلاثة تقارير طبية. وقارنوا بين النهج الجديد القائم على الخطوات المتتالية وبين منهج أكثر تقليدية يُطلب فيه من الكمبيوتر القيام بكل شيء دفعة واحدة دون تقسيم هيكلي. كانت النتائج صارخة؛ فعندما استخدم الكمبيوتر الطريقة الجديدة، حدد بشكل صحيح كل قطعة بيانات كان من المفترض أن يجدها تقريباً، ولم يخترع أي رقم لم يكن موجوداً. في المقابل، أغفلت الطريقة التقليدية أكثر من ثلاثة أرباع التفاصيل المهمة وعانت في التمييز بين مجموعات المرضى المختلفة. ومع ذلك، أشار الباحثون إلى أن هذا الاختبار الأول كان مجرد نظرة أولية، حيث استُخدمت التقارير نفسها لتعليم النظام واختباره، لذا لم يكن دليلاً نهائياً على النجاح.

وللحصول على مقي truly (حقيقي) لأداء النظام، طبق الفريق نظامهم النهائي على مجموعة أكبر ومستقلة من 88 تقريراً طبياً تغطي خمسة مجالات طبية مختلفة تماماً: جراحة سرطان الثدي، علاج الفصام، الوقاية من أمراض القلب، إدارة مرض السكري من النوع الثاني، وإعادة التأهيل العظمي. احتوت هذه التقارير على جداب معقدة، ومجموعات متعددة من المرضى، وطرق متنوعة لقياس النجاح. عالج النظام هذه الوثائق وأنتج قائمة منظمة من نقاط البيانات، مع ربط كل رقم بمصدره النصي الأصلي حتى يتمكن الإنسان من التحقق منه فوراً. كانت النتائج قوية للغاية؛ فمن بين ما يقرب من 26,000 نقطة بيانات فردية طُلب من النظام استخراجها، قدم الإجابة الصحيحة في كل مرة تقريباً. لقد أغفل القليل جداً من المعلومات، وعندما ارتكب خطأً، كان ذلك دائماً تقريباً في حالة ترك مساحة فارغة بدلاً من اختراع رقم زائف. أما معدل اختلاق البيانات فكان ضئيلاً للغاية، حيث حدث في جزء ضئيل جداً من المئة من الحالات.

كما بحثت الدراسة في كيفية أداء النظام عبر المجالات الطبية المختلفة. فقد عمل بشكل استثنائي في دراسات سرطان الثدي وأمراض القلب، حيث وجد كل رقم مطلوب تقريباً. وكان أداؤه أقل كمالاً بقليل في دراسات السكري، حيث أغفل أحياناً أرقاماً مكررة ظهرت في صفوف متعددة من الجدول، ولكن حتى في تلك الحالات، ظل دقيقاً للغاية. ووجد الباحثون أن الأخطاء الأكثر شيوعاً لم تكن تخمينات عشوائية، بل كانت حالات إغفال للمعلومات المكررة في النص أو خلطاً بين مصطلحات طبية متشابهة في النطق. والأهم من ذلك، أن النظام لم ينتج أي نتيجة دون إرفاق النص المحدد من التقرير الأصلي الذي يدعمها، مما يضمن أن المراجع البشري يمكنه دائماً التحقق من العمل.

رغم هذه النتائج المثيرة للإعجاب، يحرص المؤلفون على عدم الادعاء بأن المشكلة قد حُلت تماماً. فهم يؤكدون أن نظامهم هو أداة قوية لمساعدة الخبراء البشر، وليس بديلاً عنهم. إن المقارنة بين الطريقة الجديدة والقديمة استندت إلى مجموعة صغيرة من التقارير المستخدمة أثناء مرحلة التطوير، لذا فبينما تشير النتائج بقوة إلى تفوق الطريقة الجديدة، لم تثبت بعد في تجربة مستقلة تماماً وجهاً لوجه ضد الأنظمة الأخرى. علاوة على ذلك، لا يزال النظام يتطلب إشرافاً بشرياً لرصد الحالات النادرة التي قد يغفل فيها عن تفصيل أو يواجه صعوبة في التعامل مع التنسيقات غير المعتادة. ويخلص الباحثون إلى أن هذا النهج يوفر مساراً واعداً لتوليف الأدلة، محولاً عملية يدوية بطيئة وعرضة للخطأ إلى سير عمل سريع، قابل للتتبع، وعالي الدقة، بشرط بقاء الخبراء البشريين في الحلقة للتحقق من المخرجات النهائية.