No Value Is Better Than a Wrong Value: Finding and Handling Erroneous Data in Literature-Mined Datasets for AI
تتناول هذه الورقة التحدي الحرج المتمثل في البيانات الخاطئة في مجموعات بيانات الذكاء الاصطناعي المستخرجة من الأدبيات العلمية عبر اقتراح تصنيف لأخطاء الاستخراج وإطار عمل للتحقق متعدد الطبقات يجمع بين القوانين الفيزيائية، والتوافق الإحصائي، وفحوصات المصدر لتحسين دقة النماذج بشكل كبير ومنع الاكتشافات الزائفة في علوم المواد والمجالات ذات الصلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
للكشف عن مواد جديدة لحواسيب أسرع، أو بطاريات تدوم لفترة أطول، أو أدوية أكثر فعالية، يتجه العلماء بشكل متزايد نحو الذكاء الاصطناعي. تتعلم هذه المساعدات الرقمية من خلال دراسة مجموعات هائلة من البيانات، آملة في العثور على أنماط تكشف عن التوليفات الكيميائية التي ستعمل بشكل أفضل. وبالنسبة للعديد من الخصائص، مثل الطاقة التي يمكن أن تحتفظ بها البطارية أو كيفية انحناء البلورة للضوء، فإن المكان الوحيد الذي توجد فيه هذه الأرقام هو عبر آلاف الأوراق العلمية المنشورة. وقد بنى الباحثون أدوات لقراءة هذه الأوراق تلقائيًا، واستخراج الأرقام وتحويلها إلى قواعد بيانات يمكن للآلات فهمها. ومع ذلك، فإن عملية قراءة صفحة مطبوعة وتحويلها إلى قائمة نظيفة من الأرقام ليست مثالية على الإطلاق؛ فقد تختفي فاصلة عشرية، أو يختلط وحدة قياس بأخرى، أو قد يُلحق رقم بمادة خاطئة تمامًا. وإذا تعلم الكمبيوتر من هذه الأخطاء، فلن يكتفي بارتكاب أخطاء صغيرة، بل سيشير بثقة إلى الباحثين نحو اكتشافات خاطئة، وغالبًا ما يختار القيم الأكثر تطرفًا وغير الصحيحة باعتبارها أفضل المرشحين.
وضع فريق من الباحثين في مختبر "ديباكر داتا" (Dibakar Datta Laboratory) هدفًا لحل هذه المشكلة من خلال التعامل مع أخطاء البيانات ليس كخلل نادر، بل كجزء متوقع من العملية. وقد ركزوا على المواد الكهرو-بصرية، وهي بلورات تغير طريقة انحنائها للضوء عند تطبيق جهد كهربائي. وتعد هذه المواد حيوية لشبكات الألياف الضوئية التي تنقل البيانات عبر العالم ولأجهزة الكمبيوتر الكمومية المستقبلية. قام الفريق ببناء نظام لاستخراج القيم لهذه المواد من الأدبيات العلمية، لكنهم صمموه بفلسفة محددة: لا قيمة أفضل من القيمة الخاطئة. وبدلاً من محاولة استخراج كل رقم بدقة، وهو ما وجدوا أنه مستحيل، بنوا شبكة أمان متعددة الطبقات للإمساك بالأخطاء قبل أن تسمم نماذج الذكاء الاصطناعي.
حدد الباحثون أن الأخطاء تدخل قاعدة البيانات في عدة مراحل متميزة. فأحيانًا يكون الخطأ في الورقة الأصلية، حيث تكون القيمة مطبوعة بشكل خاطئ أو منسوخة بشكل غير صحيح من دراسة أقدم. وفي أحيان أخرى، يحدث الخطأ عندما يحاول برنامج كمبيوتر قراءة مستند ممسوح ضوئيًا، فيخلط بين الصفر وحرف الـ (O)، أو يفقد إشارة السالب. وحتى عندما تُقرأ النصوص بشكل صحيح، قد يربط الكمبيوتر رقمًا بتسمية خاطئة، فيخلط بين قياس مادة وأخرى، أو قد يغفل عن الظروف المحددة التي تم فيها القياس، مثل درجة الحرارة أو الضغط. وللتعامل مع ذلك، أنشأ الفريق عملية تصفية مكونة من خمس خطوات. تتحقق الخطوة الأولى مما إذا كانت البيانات تبدو صحيحة من الناحية السطحية، مما يضمن صحة الوحدات ووجود الرقم بالفعل في النص المصدر. وتطبق الخطوة الثانية قوانين الفيزياء، للتحقق مما إذا كانت القيمة ممكنة فيزيائيًا، مثل التأكد من عدم انتهاك قواعد تناظر البلورة أو عدم تجاوز سعة البطارية لحدها النظري.
أما الخطوة الثالثة فتبحث عن الاتفاق بين الدراسات المختلفة؛ فإذا أبلغت عشر أوراق عن قيمة لنفس المادة، يجب أن تتجمع الأرقام الصحيحة معًا، بينما ستبرز الأخطاء العشوائية كقيم شاذة. وتستخدم الخطوة الرابعة نموذج ذكاء اصطناعي مدرب على بقية البيانات لرصد القيم التي تبدو غريبة مقارنة بالمواد المماثلة. والخطوة الأخيرة هي مراجعة مستهدفة من قبل خبير بشري، الذي ينظر فقط في القيم التي صنفتها الخطوات السابقة كقيم مشبوهة. يسمح هذا النهج للفريق بالتعامل مع الأخطاء بكفاءة دون الحاجة إلى مراجعة البشر لكل رقم على حدًا. وفي آخر جولة لهم، أوقف هذا النظام 402 من أصل 816 قيمة مرشحة، مع تسجيل سبب محدد لكل حالة تم رفضها أو تعليقها للمراجعة.
وعلى الرغم من هذه الفلاتر الصارمة، وجد الباحثون أن الأخطاء لا تزال تتسلل. فعندما قارنوا القيم التي قبلها نظامهم مقابل مجموعة مرجعية منسقة بعناً، اكتشفوا أن حوالي 27 بالمائة من القيم المقبولة كانت لا تزال معيبة. وقد نجحت عمليات التحقق البسيطة التي لا تتطلب قاعدة بيانات مرجعية، مثل التحقق من اتباع قواعد تناظر البلورة، في كشف 70 بالمائة من هذه الأخطاء المتبقية. وفي اختبار محكوم حيث عرفوا بالضبط الأرقام الخاطئة، وجد نظامهم متعدد الطبقات 81 بالمائة من الأخطاء بدقة عالية. والأهم من ذلك، أظهروا أنه بدون عملية التنظيف هذه، كانت نماذج الذكاء الاصطناعي ستُضلل تمامًا؛ ففي بياناتهم غير المنظفة، كانت 89 بالمائة من أكبر عشرين قيمة عبارة عن أخطاء. وبما أن نماذج الذكاء الاصطناعي المصممة للعثور على أفضل المواد تبحث طبيعيًا عن أكبر القيم، فإن قاعدة بيانات غير منظفة ستؤدي بالباحثين إلى أسوأ المرشحين الممكنين، حيث تخلط بين خطأ فادح واكتشاف رائد.
كما كشفت الدراسة عن مشكلة ثانية أكثر دقة. فحتى بعد إزالة الأرقام الخاطئة، وجد الباحثون أن العديد من السجلات لا تزال تفتقر إلى السياق اللازم لجعلها مفيدة. فعلى سبيل المثال، قد تسرد سجلان نفس المادة ونفس القيمة، ولكن أحدهما تم قياسه تحت ضغط عالٍ والآخر في درجة حرارة الغرفة، ولم يستطع النظام التمييز بينهما لأن معلومات الضغط كانت مفقودة من النص. هذا النقص في السياق، الذي قاسه الباحثون كنسبة من السجلات غير القابلة للتمييز، أصبح الحد الرئيسي الذي يمنع الذكاء الاصطناعي من التعلم بشكل جيد. وخلص الفريق إلى أن مستقبل العلم القائم على البيانات لا يعتمد فقط على إيجاد المزيد من الأرقام، بل على بناء قواعد بيانات تتبع جودتها الخاصة، وتبلغ عن أخطائها الخاصة، وتخزن الظروف المحددة التي تم فيها كل قياس. ومن خلال الاعتراف بأن الأخطاء أمر لا مفر منه وبناء أنظمة للإمساك بها، يمكن للعلماء ضمان أن الذكاء الاصطناعي الذي يعتمدون عليه يتعلم من الواقع، وليس من مجموعة من الأخطاء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.