Optimizing Data Extraction from Materials Science Literature: A Study of Tools Using Large Language Models
تقيم هذه الدراسة فعالية خمس أدوات للذكاء الاصطناًعي في استخراج بيانات فجوة النطاق من منشورات علوم المواد، وتجد أنه بينما لا يزال الأتمتة الكاملة تشكل تحدياً، فإن هذه الأدوات تعزز الدقة بشكل كبير وتعمل بكفاءة على تصفية الأوراق غير ذات الصلة لسد الفجوة بين الأدبيات غير المنظمة وقواعد البيانات المهيكلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الواسع لعلوم المواد، يبحث الباحثون باستمرار عن المزيج المثالي من الذرات لابتكار بطاريات جديدة، أو شرائح كمبيوتر أسرع، أو مواد بناء أقوى. ولإيجاد هذه التوليفات، يحتاجون إلى بيانات: أرقام محددة تصف كيفية سلوك المادة، مثل الطاقة المطلوبة لمرور الكهرباء من خلالها. هذه المعلومة، المعروفة باسم "فجوة النطاق" (bandgap)، هي المفتاح لفهم ما إذا كانت المادة موصلة أم عازلة. ومع ذلك، فإن هذه البيانات الحيوية لا تقبع في جداول بيانات منظمة ومرتبة؛ بل هي مدفونة في أعماق ملايين الأوراق العلمية، مكتوبة في جمل معقدة، ومبعثرة عبر أقسام مختلفة، وغالبًا ما تكون مخبأة داخل جداول أو أشكال توضيحية. لعقود من الزمن، اضطر العلماء لقراءة هذه الأوراق واحدة تلو الأخرى، والبحث يدويًا عن هذه الأرقام وكتابتها في قواعد البيانات. هذه العملية بطيئة، ومملة، وعرضة للخطأ البشري، مما يترك فجوة هائلة بين المعرفة الموجودة والمعرفة القابلة للاستخدام فعليًا في الاكتشاف.
ولسد هذه الفجوة، شرع فريق من الباحثين في اختبار ما إذا كان بإمكان الذكاء الاصطناعي الحديث القيام بالعمل الشاق. لقد توجهوا نحو النماذج اللغوية الكبيرة، وهي برامج حاسوبية قوية مدربة على كميات هائلة من النصوص ويمكنها فهم وتوليد اللغة البشرية. كانت الفكرة بسيطة: إذا كان بإمكان الآلة قراءة جملة وفهم معناها، فيجب أن تكون قادرة على إيجاد رقم محدد مخفي داخل تلك الجملة واستخراجه تلقائيًا. جمع الباحثون 200 ورقة علمية عشوائية من مجال علوم المواد وطلبوا من خمس أدوات ذكاء اصطناعي مختلفة أن تعمل كأمين مكتبة رقمي، للبحث في النص للعثور على كل ذكر لقيمة فجوة النطاق. ثم قارنوا نتائج هذه الآلات مقابل مجموعة من البيانات التي استخرجها خبراء بشريون بعناية، مما سمح لهم برؤية مدى كفاءة الذكاء الاصطناعي في الأداء.
كشفت الدراسة أنه بينما لا تُعد أدوات الذكاء الاصطنا هذه جاهزة لاستبدال الباحثين البشر تمامًا بعد، إلا أنها أكثر قدرة مما كان يُعتقد سابقًا، خاصة في مهمة واحدة محددة: معرفة متى تتوقف. وجد الباحثون أن هذه الأدوات كانت بارعة بشكل ملحوء في تحديد الأوراق التي لا تحتوي على البيانات التي يبحثون عنها. في الواقع، تجاهلت معظم الأدوات بشكل صحيح ما يتراوح بين 94 إلى 99 بالمائة من الأوراق التي لا تحتوي على معلومات ذات صلة. وهذه "دقة العدم" (null precision) هي ميزة حاسمة لأنها تعني أن الباحث البشري يمكنه استخدام هذه الأدوات لتصفية آلاف المستندات غير ذات الصلة، تاركةً قائمة صغيرة يمكن إدارتها من الأوراق التي تحتوي بالفعل على البيانات. هذا وحده من شأنه أن يوفر وقتًا هائلًا، حتى لو كانت الأدوات لا تزال بحاجة إلى مساعدة بشرية للتحقق من الأرقام النهائية.
ومع ذلك، عندما تعلق الأمر بالعثور على الأرقام الصحيحة وتسجيلها، واجهت الأدوات تحديات كبيرة. فقد تمكنت أفضل أداة في الأداء من العثود إلى حوالي 20 بالمائة فقط من قيم فجوة النطاق التي حددها الخبراء البشريون. وبينما كانت الأرقام التي وجدتها غالبًا ما تكون صحيحة، إلا أنها أغفلت الغالبية العظمى من البيانات. واكتشف الباحثون أن الصعوبة لم تكن في الرياضيات، بل في اللغة. فغالبًا ما تصف الأوراق العلمية المواد بطرق يصعب على الحواسيب تتبعها. قد يُشار إلى مادة ما باسمها الكامل في جملة ما، ثم يُستخدم لها اختصار في الجملة التالية، أو قد تكون القيمة منفصلة عن اسم المادة بعد عدة فقرات من النص الآخر. واجهت أدوات الذكاء الاصطناعي صعوبة في ربط هذه القطع المتباعدة من المعلومات، حيث فشلت غالبًا في إدراك أن الضمير مثل "إنها" أو "هو" يعود إلى مادة محددة ذُكرت سابقًا.
كما سلطت الدراسة الضوء على أن تنسيق المستند يهم أكثر مما قد يتوقعه المرء. اختبر الباحثون الأدوات على نسختين من نفس الأوراق: المسودات الأصلية التي رفعها المؤلفون، والنسخ النهائية المنشورة احترافيًا من قبل المجلات. ووجدوا أن الأدوات أدت بشكل مختلف اعتمادًا على النسخة التي تقرأها. فالنسخ النهائية المنشورة، بتنسيقاتها المعقدة ومعلوماتها الإضافية، أربكت الذكاء الاصطناعي أحيانًا، مما أدى إلى نتائج مختلفة عن نسخ المسودة الأبسط. وهذا يشير إلى أن الطريقة التي يُعرض بها المستند بصريًا يمكن أن تغير كيفية فهم الكمبيوتر لمحتواه، وهو تفصيل دقيق ولكن مهم لأي شخص يعتمد على هذه الأدوات.
ومن بين الأدوات الخمس التي تم اختبارها، وجد الباحثون أن النهج الأكثر نجاحًا تضمن طريقة تسمى "هندسة الأوامر" (prompt engineering)، حيث يقوم المستخدم البشري بصياغة تعليمات بعناية لتوجيه الذكاء الاصطناعي، وطريقة أخرى تقوم بتقسيم المستند إلى قطع أصغر لمساعدة الذكاء الاصطناعي على التركيز على الأجزاء ذات الصلة. ومن المثير للاهتمام أن الأدوات التي اعتمدت على الأنظمة القديمة القائمة على القواعد أدت بشكل أسوأ من نماذج الذكاء الاصطناعي الأحدث والأكثر مرونة. كانت النماذج الأحدث أفضل في التفكير المنطقي عبر النص، حتى لو كانت لا تزال تفقد الكثير من البيانات. وأشار الباحثون إلى أن أكبر الإخفاقات حدثت عندما حاول الذكاء الاصطناعي تخمين معلومات غير موجودة، وهي ظاهرة تُعرف باسم "الهلوسة" (hallucination)، أو عندما فشل في التقاط الظروف المحددة التي تم فيها إجراء القياس، مثل درجة الحرارة أو نوع طور المادة.
في الختام، تخلص الدراسة إلى أننا لسنا بعد في نقطة تسمح للآلة ببناء قاعدة بيانات مثالية لبيانات علوم المواد تلقائيًا. فالأدوات حاليًا غير مكتملة بما يكفي لاستخدامها بمفردها. ومع ذلك، فهي قوية بما يكفي لتعمل كمرشح أول فعال للغاية. فمن خلال استخدام أدوات الذكاء الاصطناعي هذه لمسح آلاف الأوراق بسرعة واستبعاد الأوراق غير ذات الصلة، يمكن للباحثين تركيز انتباههم البشري على الأوراق القليلة التي تحتوي بالفعل على البيانات التي يحتاجونها. إن الطريق إلى الأمام، كما يقترح الباحثون، يكمن في الجمع بين سرعة هذه الآلات والتقدير الدقيق للخبراء البشريين، ربما من خلال استخدام أدوات متعددة معًا أو من خلال تعليم الذكاء الاصطناعي كيفية فهم سياق الكتابة العلمية بشكل أفضل. وبينما لا يزال الحلم بإنشاء قاعدة بيانات علمية مؤتمتة بالكامل بعيد المنال، فإن هذا العمل يظهر أننا نمتلك الأدوات الصحيحة للبدء في جعل هذه العملية أسرع وأكثر كفاءة بشكل كبير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.