MolSanity: A Reliability Audit for Feature Attributions on Molecular Graph Neural Networks
تقدم MolSanity إطار عمل شامل لتدقيق الموثوقية لعمليات عزو السمات في الشبكات العصبية الرسومية الجزيئية، كاشفةً أن الأمانة تجاه النموذج لا ترتبط بالصحة الكيميائية أو التوطين المرجعي للحقيقة، لا سيما في ظل تحولات الهياكل الأساسية، مما يثبت أن موثوقية التفسير يجب تقييمها على أساس كل حالة على حدة بدلاً من افتراضها من مقاييس الأمانة وحدها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
في عالم اكتشاف الأدوية عالي المخاطر، يعتمد العلماء غالبًا على الذكاء الاصطناعي للتنبؤ بكيفية سلوك مركب كيميائي جديد في جسم الإنسان. هذه الأنظمة، المعروفة باسم الشبكات العصبية الرسومية، تعامل الجزيئات كمجموعات من الذرات المتصلة بروابط، تمامًا مثل خريطة للمدن والطرق. وعندما يقوم الذكاء الاصطناعي بإجراء تنبؤ، مثل الإشارة إلى مركب ما كونه قد يكون سامًا، فمن الممارسات القياسية أن تطلب من النظام شرح منطقه. يستجيب الذكاء الاصطناعي عبر تسليط الضوء على ذرات محددة في الجزيء، مما ينشئ خريطة حرارية تشير إلى الأجزاء التي كانت الأكثر أهمية في اتخاذ القرار. يثق الكيميائيون في هذه الخرائط لتوجيه عملهم، بافتراض أن الذرات المظللة هي المحركات الكيميائية الحقيقية للنتيجة.
ومع ذلك، تكشف دراسة جديدة عن انفصال مقلق بين ما تقوله هذه الأنظمة عما فعلته وما فعلته بالفعل. يقدم البحث تدقيقًا صارمًا يسمى MolSanity، صُمم لاختبار ما إذا كانت هذه التفسيرات موثوقة. النتيجة المركزية هي أن التفسير يمكن أن يكون متسقًا تمامًا مع المنطق الداخلي للذكاء الاصطناعي بينما يكون خاطئًا تمامًا بشأن الكيمياء. بعبارة أخرى، يمكن للنظام أن يكون صادقًا بشأن عملية تفكيره الخاصة، ومع ذلك قد تكون تلك العملية قائمة على سوء فهم للجزيء. هذا التمييز مهم لأن اعتماد عالم على خريطة حرارية مضللة قد يجعله يستبعد دواءً واعدًا أو، والأسوأ من ذلك، يسعى وراء دواء خطير، معتقدًا أن الذكاء الاصطناعي قد حدد المسبب الكيميائي الصحيح بينما لم يفعل ذلك.
وضع الباحثون هدفهم لاستقصاء هذه الفجوة من خلال تغليف مجموعة واسعة من أدوات الذكاء الاصطناعي الحالية واختبارها مقابل مجموعة ضخمة من البيانات الجزيئية. لم يخترعوا طريقة جديدة لإنشاء التفسيرات؛ بل أخذوا الأدوات القياسية المستخدمة في المجتمع العلمي وأخضعوها لتدقيق صارم في الموثوقية. نظر هذا التدقيق في كل توليفة ممكنة من مجموعة البيانات، وبنية الذكاء الاصطناعي، وطريقة التفسير، وتقسيم البيانات. وقاسوا شيئين متميزين: الأمانة (faithfulness) والصحة (correctness). تسأل "الأمانة" عما إذا كان التفسير يعكس بدقة الحسابات الداخلية للنموذج. إذا قال النموذج "لقد نظرتُ إلى هذه الذرة"، فهل يشير التفسير إلى تلك الذرة؟ أما "الصحة" فتسأل عما إذا كان التفسير يحدد الميزة الكيميائية الفعلية التي تحدد الخاصية. إذا كان النموذج يتنبأ بالسمية، فهل يشير التفسير إلى الجزء السام في الجزيء؟
وجدت الدراسة أن هاتين الصفتين غير مرتبطتين. يمكن للطريقة أن تكون أمينة للغاية، بمعنى أنها تصف سلوك النموذج بدقة، ومع ذلك تكون غير صحيحة تمامًا، حيث تشير إلى ميزات كيميائية خاطئة. في الواقع، عبر ثلاثين اختبارًا مختلفًا، اختار نظام ترتيب اعتمد حصريًا على "الأمانة" أفضل طريقة تفسير، لكنه اختار الطريقة الخاطئة في ستة وعشرين مرة من أصل ثلاثين. اختبر الباحثون ذلك تحت شرطين: عندما يتم اختبار الذكاء الاصطناعي على جزيئات مشابهة لتلك التي تدرب عليها، وعندما يتم اختباره على هياكل كيميائية جديدة تمامًا، وهو سيناريو يُعرف باسم "انزياح الهيكل" (scaffold shift) الذي يحاكي الواقع في اكتشاف الأدوية. لم يقتصر الفشل على الحالات الجديدة الصعبة فحسب، بل حدث في الحالات المألوفة بنفس القدر. وفي حالة محددة تتعلق بمجموعة بيانات معروفة جيدًا، أشارت الطريقة الأكثر أمانة إلى ذرات كانت عكس المجموعة السامة الحقيقية تمامًا، بينما تم تصنيف الطريقة التي حددت المجموعة السامية بشكل صحيح على أنها أقل أمانة.
هذا الافتقار للارتباط يعني أنه لا توجد طريقة تفسير واحدة "مثلى" تعمل لكل موقف. تعتمد موثوقية التفسير على التوليفة المحددة من مجموعة البيانات، ونموذج الذكاء الاصطناعي، والطريقة المستخدمة لإنشاء التفسير. اكتشف الباحثون أنه بينما ظل ترتيب طرق التفسير مستقرًا نسبيًا عبر أنواع مختلفة من الجزيئات، فإن العلاقة بين الأمانة والصحة تباينت بشكل كبير. ففي بعض مجموعات البيانات، كانا مرتبطين إيجابيًا؛ وفي أخرى، كانا مرتبطين سلبيًا. هذا التضارب يعني أن العالم لا يمكنه ببساال اختيار الطريقة التي تسجل أعلى درجة في "الأمانة" ويتوقع أن تكون "صحيحة". لقد استبعدت الدراسة صراحةً فكرة أن الأمانة هي بديل موثوق للصحة، موضحة أن الدرجة العالية في أحدهما لا تضمن درجة عالية في الآخر.
نظر التدقيق أيضًا في كيفية سلوك هذه التفسيرات عندما يكون الذكاء الاصطناعي واثقًا أو عندما يكون مخطئًا. وجد الباحثون أنه عندما يقدم الذكاء الاصطناعي تنبؤًا واثقًا ولكنه خاطئ، فإن التفسير غالبًا ما يصبح أكثر أمانة لمنطق النموذج الداخلي، حتى مع كونه أقل دقة فيما يتعلق بالكيمياء. وهذا يخلق فخًا خطيرًا: كلما زاد ثقة الذكاء الاصطناعي في إجابة خاطئة، قد يبدو تفسيره أكثر إقناعًا، رغم أن التفسير يقود العالم إلى الطريق الخطأ. علاوة على ذلك، أظهرت الدراسة أن اختيار بنية الذكاء الاصطناعي الأساسية يؤثر بشكل كبير على مدى قدرة التفسير على تحديد الميزات الكيميائية الحقيقية، بغض النظر عن طريقة التفسير المستخدمة. وهذا يشير إلى أن موثوقية التفسير هي خاصية للنظام بأكمله، وليس مجرد الأداة المستخدمة لإنشاء الخريطة الحرارية.
في نهاية المطاف، يعد هذا العمل بمثابة "إعادة ضبط للواقع" ضرورية لمجال الذكاء الاصطناعي في الكيمياء. فهو يوضح أن الممارسة الحالية المتمثلة في الوثوق بتفسيرات الذكاء الاصطناعي دون التحقق منها مقابل الحقائق الكيميائية المعروفة هي ممارسة محفوفة بالمخاطر. يقدم الباحثون إطارًا لتدقيق هذه الأنظمة، لكن استنتاجهم الأساسي هو استنتاج سلبي: لا يوجد قانون عالمي يضمن أن التفسير الأمين هو تفسير صحيح. بالنسبة للكيميائي الدوائي الذي ينظر إلى خريطة حرارية، تشير الدراسة إلى أن الذرات المظللة ليست بالضرورة هي الذرات المهمة. والطريقة الوحيدة لمعرفة ما إذا كان التفسير موثوقًا هي اختباره مقابل الحقيقة المطلقة، وهي رفاهية نادرًا ما تتوفر في اكتشاف الأدوية في العالم الحقيقي. وإلى أن تُغلق هذه الفجوة، فإن النهج الأكثر موثوقية هو التعامل مع هذه التفسيرات كفرضيات يجب اختبارها، وليس كحقائق يجب قبولها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.