🤖 machine learning

ISAAC: Auditing Causal Reasoning in Deep Models for Drug-Target Interaction

تقدم الورقة البحثية ISAAC، وهو إطار عمل للتدقيق البعدي يقيم قدرات الاستدلال السببي لنماذج التعلم العميق للتفاعل بين العقاقير والأهداف من خلال قياس حساسيتها للتدخلات الميكانيكية مقابل التدخلات الزائفة، مما يكشف عن تباينات هيكلية كبيرة في الاستدلال تظل غير مكتشفة بواسطة مقاييس الدقة القياسية رغم الأداء التنبؤي المتماثل.

المؤلفون الأصليون: Barbara Tarantino, Sun Kim, Yijingxiu Lu, Paolo Giudici

نُشر 2026-05-06

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Barbara Tarantino, Sun Kim, Yijingxiu Lu, Paolo Giudici

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف طباخاً لإعداد طبق معين. تقدم له اختبار تذوق، فيحصل على درجة مثالية في كل مرة. تفترض حينها أنه عبقري يفهم الوصفة والمكونات وكيمياء الطهي حقاً.

ولكن ماذا لو لم يكن يتذوق الطعام في الواقع؟ ماذا لو كان مجرد يحفظ أن "كلما كان الطبق أزرق اللون، كان الطعام لذيذاً"، رغم أن لون الطبق لا علاقة له بالمذاق؟ إنه يحصل على الإجابة الصحيحة (دقة عالية)، ولكن لأسباب خاطئة (ارتباط زائف).

هذه هي المشكلة التي يعالجها بحث ISAAC، وتحديداً في عالم اكتشاف الأدوية.

المشكلة: الذكاء الاصطناعي "الذكي" ولكن "الجاهل"

في المجالات العلمية مثل الطب، نستخدم الذكاء الاصطناعي للتنبؤ بما إذا كان الدواء سيلتصق ببروتين معين (مثل مفتاح يناسب قفلاً). عادة ما نحكم على نماذج الذكاء الاصطناعي هذه من خلال دقتها: "هل حصلت على الإجابة الصحيحة؟"

يرى المؤلفون أن الدقة العالية هي فخ. فقد يلاحظ الذكاء الاصطناعي نمطاً غريباً في البيانات (مثل "جميع الأدوية الناجحة في قاعدة بياناتنا كانت تحتوي على حرف معين في اسمها") بدلاً من فهم البيولوجيا الفعلية (شكل القفل). وإذا قمت بتغيير شكل القفل، فقد يفشل هذا الذكاء الاصطناعي "الذكي"، رغم أنه كان مثالياً في الاختبار.

الحل: ISAAC (المحقق عبر "التدخل")

ابتكر المؤلفون أداة تسمى ISAAC. فكر في ISAAC ليس كاختبار لما يعرفه الذكاء الاصطناعي، بل كاختبار لكيفية تفكيره.

بدلاً من مجرد سؤال الذكاء الاصطناعي: "ما هي الإجابة؟"، يلعب ISAAC لعبة "ماذا لو؟"

الإعداد: تخيل أن الذكﺎ الاصطناعي ينظر إلى بروتين (القفل).
التدخل الميكانيكي (الاختبار الحقيقي): يأخذ ISAAC جزءاً صغيراً وحرجاً من القفل (الجزء الذي يحمل المفتاح فعلياً) ويغيره بشكل طفيف.
- التوقع: إذا كان الذكاء الاصطناعي يفهم البيولوجيا حقاً، فإن تغيير فتحة القفل سيجعله يقول: "مهلاً، هذا لن يتناسب بعد الآن!" يجب أن يتغير التنبؤ بشكل كبير.
التدخل الزائف (الاختبار الوهمي): يأخذ ISAAC جزءاً عشوائياً وغير مهم من القفل (مثل مسمار زينة في الخارج) ويغير ذلك الجزء بدلاً من ذلك.
- التوقع: إذا كان الذكاء الاصطناعي ذكياً، فلن يهتم بالمسمار. يجب أن يظل تنبؤه كما هو.

بطاقة التقييم: درجة الاستنتاج (RS)

يقارن ISAAC بين رد فعل الذكاء الاصطناعي تجاه هذين التغييرين.

درجة استنتاج عالية: تفاعل الذكاء الاصطناعي بقوة مع تغيير القفل الحقيقي وتجاهل تغيير المسمار الوهمي. الحكم: هذا الذكاء الاصطناعي يستنتج فعلياً بناءً على البيولوجيا.
درجة استنتاج منخفضة: تفاعل الذكاء الاصطناعي مع المسمار، أو لم يتفاعل مع القفل، أو تفاعل مع كليهما بالتساوي. الحكم: من المرجح أن هذا الذكاء الاصطناعي يخمن فقط بناءً على أنماط سطحية.

التجربة: ثلاثة طهاة، وصفة واحدة

اختبر الباحثون ثلاثة نماذج مختلفة من الذكاء الاصطناعي (DeepDTA، وDeepConvDTI، وTAPB) على نفس بيانات الدواء والهدف.

النتيجة: حصلت النماذج الثلاثة على نفس درجة "اختبار التذوق" (الدقة) تقريباً. وفقاً للمعايير التقليدية، كانت جميعها جيدة بنفس القدر.
التحول المفاجئ: عندما لعب ISAAC لعبة "ماذا لو؟"، تصرفت النماذج بشكل مختلف تماماً.
- أظهر أحد النماذج (TAPB) أنه ينتبه بالفعل للأجزاء الصحيحة من البروتين، حيث سجل "درجة استنتاج" عالية.
- أما النماذج الأخرى فقد ارتبكت بسبب التغييرات الوهمية أو لم تتفاعل مع التغييرات الحقيقية، وسجلت "درجات استنتاج" منخفضة.

الخلاصة الكبرى

يخلص البحث إلى أن الدقة ليست كافية. يمكن لنموذجين أن يبدوا متطابقين في التقرير المدرسي، لكنهما يمتلكان "عقولاً" مختلفة تماماً. أحدهما قد يكون عالماً حقيقياً، والآخر قد يكون مجرد محظوظ في التخمين.

يوفر ISAAC طريقة للنظر خلف الستار. فهو لا يسأل فقط: "هل حصلت على الإجابة الصحيحة؟"، بل يسأل: "هل حصلت على الإجابة الصحيحة للسبب الصحيح؟"

في عالم اكتشاف الأدوية، معرفة لماذا يتخذ الذكاء الاصطناعي تنبؤاً لا تقل أهمية عن التنبؤ نفسه، لأنه إذا كان الذكاء الاصطناعي يعتمد على أنماط زائفة، فقد يقود العلماء إلى مسارات خاطئة في الواقع. يساعدنا ISAAC على رصد تلك الأنماط الزائفة قبل أن تسبب المشاكل.

ملخص تقني: ISAAC – تدقيق الاستدلال السببي في النماذج العميقة للتنبؤ بالتفاعل بين العقاقير والأهداف

1. بيان المشكلة

تحقق نماذج التعلم العميق غالبًا دقة تنبؤية عالية في المعايير العلمية، ومع ذلك، فإن هذا الأداء لا يعني بالضرورة أن النماذج قد تعلمت استدلالًا قائمًا على أسس ميكانيكية. بدلاً من ذلك، قد تعتمد النماذج على ارتباطات زائفة، أو سمات خاصة بمجموعات البيانات، أو "ميزات مختصرة" (shortcut features) ترتبط بالهدف ضمن التوزيع ولكنها تفتقر إلى الصلاحية السببية. وتعد هذه المسألة بالغة الأهمية بشكل خاص في المجالات العلمية مثل التنبؤ بالتفاعل بين العقاقير والأهداف (DTI)، حيث يجب أن تعتمد المخرات الصالحة على آليات جزيئية كامنة (مثل التفاعلات الموضعية بين البروتين والربيطة) بدلاً من الأنماط الإحصائية السطحية.

تعتمد نماذج التقييم الحالية بشكل كبير على دقة التنبؤ، وهي مقياس رصدي يقيم الاتفاق مع الملصقات (labels) على توزيع بيانات ثابت. لا يمكن للدقة وحدها التمييز بين التبعية السببية والارتباط الزائف. وبينما توفر طرق التفسير الموجودة (مثل خرائط البروز/saliency maps) تفسيرات ارتباطية، إلا أنها لا تضمن الصلاحية السببية، كما أن النهج القائمة على المتانة (robustness) غالبًا ما تركز على أهداف التدريب بدلاً من تدقيق سلوك الاستدلال للنماذج المدربة والمجمدة. وبناءً على ذلك، هناك نقص في إطار عمل قياسي لاختبار ما إذا كانت التنبؤات مدفوعة بمكونات مدخلات ذات معنى بنيوي بشكل صريح.

2. المنهجية: إطار عمل ISAAC

لمعالجة هذه الفجوة، قدم المؤلفون ISAAC (نهج التدقيق البنيوي القائم على التدخل للاستدلال السببي). ISAAC هو إطار عمل للتدقيق البنيوي اللاحق (post-hoc) يقيم استدلال النموذج كخاصية سلوكية مشروطة بنظامه التنبئي، وذلك باستخدام تدخلات محكومة على مستوى المدخلات.

المفاهيم الأساسية:

السلوك التدخلي (Interventional Behavior): يتم فحص الاستدلال عن طريق تطبيق مؤثرات حتمية $I$ على المدخلات $x$ ، مما يؤدي إلى إنشاء مدخلات متدخلة $x^I$ . يتم التعامل مع النموذج $f_\theta$ كنظام ثابت؛ حيث تُحدث التغيرات في المخرجات فقط بسبب التدخل.
المدخلات المهيكلة (Structured Inputs): يتم تفكيك المدخلات إلى مكونات يمكن تحديدها (مثل بقايا الأحماض الأمينية في تسلسل البروتين).
فئات التدخل المتطابقة (Matched Intervention Classes): يحدد إطار العمل فئتين من التدخلات بناءً على أولوية بنيوية محددة خارجيًا (مثل جيوب الارتباط المعروفة):
- التدخلات الميكانيكية ( $I_{mech}$ ): اضطرابات تُطبق على المكونات التي حددها الأولو البنيوي كعناصر ذات صلة ( $S \subseteq S_{prior}$ ).
- التدخلات الزائفة ( $I_{spur}$ ): اضطرابات تُطبق على المكونات خارج المنطقة المحددة بالأولوية ( $S' \subseteq S_{comp}$ )، وتكون متطابقة في العدد (cardinality) والمؤثر مع المجموعة الميكانيكية.
فرق الاستجابة التدخلية (Interventional Response Difference): يُعرف بـ $\delta_\theta(x, I) = f_\theta(x^I) - f_\theta(x)$ ، وهو يلتقط التغير النسبي في مخرجات النموذج.

المقاييس:
يقيس ISAAC اتساق الاستدلال من خلال ثلاثة مقاييس:

درجة الاستدلال (RS): مقياس لكل مدخل يُعرف بـ $RS(x) = \frac{|m_{mech}(x)|}{|m_{mech}(x)| + |m_{spur}(x)|}$ ، حيث يمثل $m$ الوسيط للاستجابات التدخلية الموقعة. تقيس RS التفضيل النسبي للاضطرابات المتوافقة ميكانيكيًا على تلك غير المتوافقة.
معامل الفصل ( $C_{sep}$ ): يقيس الفصل الهندسي بين توزيعات الاستجابات الميكانيكية والزائفة، مع تطبيعها (normalization) بناءً على التباين الجوهري للتأثيرات الميكانيكية.
معدل التداخل (Overlap Rate): نسبة الاستجابات الزائفة التي تقع ضمن النطاق الربيعي للاستجابات الميكانيكية.

3. الإعداد التجريبي

تم تطبيق إطار العمل في سياق التنبؤ بالتفاعل بين العقاقير والأهداف (DTI) باستخدام معيار Davis (تفاعلات مثبطات الكيناز).

النماذج: تم تدقيق ثلاثة معماريات قائمة على التسلسل ذات انحيازات استقرائية متفاوتة: DeepDTA، وDeepConvDTI، وTAPB (معيار التنبؤ الواعي بالهدف).
تصميم التدخل: طُبقت التدخلات حصريًا على تسلسل البروتين المستهدف ( $t$ $t$ ) بينما ظل العقار ( $d$ $d$ ) ثابتًا.
- الأولو البنيوي (Structural Prior): مستمد من تعليقات جيب الارتباط KLIFS لتحديد البقايا ذات الصلة ميكانيكيًا.
- التدخلات: شملت الحجب (masking) والاستبدالات المقيدة فيزيوكيميائيًا. تم أخذ النطاقات الميكانيكية من جيوب KLIFS؛ بينما تم أخذ النطاقات الزائفة من بقايا غير الجيب مع مطابقتها في العدد والمؤثر.
البروتوكول: تم تدريب النماذج والتحقق من صحتها باستخدام إجراءات قياسية. تم التحقق من الأداء التنبئي (AUROC) لضمان عمل جميع النماذج ضمن نظام مقارن. تم إجراء التدقيق لاحقًا (post-hoc) على مجموعة فرعية صالحة بنيويًا من بيانات الاختبار (208 هدفًا) دون إعادة تدريب.

4. النتائج الرئيسية

كشفت التجارب عن انفصال كبير بين الدقة التنبؤية وسلوك الاستدلال:

الأداء التنبئي: حققت النماذج الثلاثة درجات AUROC متقاربة جدًا (تتراوح بين 0.876 و0.907)، مما أكد عملها ضمن نظام تنبئي مماثل.
درجات الاستدلال (RS): على الرغم من تشابه الدقة، أظهرت النماذج اختلافات جوهرية ومتكررة في درجات الاستدلال الخاصة بها:
- TAPB: حقق أعلى RS (0.521) ومعامل فصل مرتفع (0.458)، مما يشير إلى فصل متماسك بين الاستجابات الميكانيكية والزائفة.
- DeepDTA: أظهر RS متوسطًا (0.441) ولكن بفصل منخفض.
- DeepConvDTI: أظهر أدنى RS (0.414) وفصلًا قريبًا من الصفر (0.061)، مما يشير إلى حساسية ضعيفة للاضطرابات الميكانيكية وافتقار إلى التفضيل المتماسك للهياكل المتوافقة.
الاستنتاج بشأن الدقة: لم ترتبط الفجوة البالغة ~3% في AUROC بحجم الاختلافات في درجات الاستدلال (التي تراوحت بين 0.414 و0.521). وهذا يثبت أن التقييم القائم على الدقة يفشل في اكتشاف الاختلافات في التنظيم البنيوي لاستجابات النماذج.

5. الأهمية والادعاءات

يزعم البحث أن الدقة التنبؤية وحدها غير كافية لتوصيف استدلال النماذج في التعلم الآلي العلمي. وتتمثل المساهمات الرئيسية في:

إطار عمل ISAAC: بروتوكول تدقيق قائم على التدخل ومنهجي يقيم الحساسية البنيوية بالنسبة للأولوية بشكل مستقل عن الدقة التنبؤية.
التمييز السلوكي: القدرة على كشف الاختلافات المنهجية في سلوك الاستدلال (على سبيل المثال، الاعتماد على مواقع الارتباط الموضعية مقابل إحصاءات التسلسل العالمية) التي تظل غير مرئية تحت التقييم القياسي القائم على الدقة.
تدقيق مستقل عن النموذج (Model-Agnostic): يعمل الإطار لاحقًا (post-hoc) على نماذج مجمدة، ولا يتطلب إعادة تدريب، أو وصولًا إلى البنية الداخلية للنموذج، أو إشرافًا على مستوى التدخل، مما يجعله قابلًا للتطبيق عبر المعماريات المختلفة والمجالات ذات المدخلات المهيكلة.

يؤكد المؤلفون أن نتائجهم تسلط الضوء على التمييز بين "النجاح التنبئي" و"تنظيم الاستدلال". ومن خلال مقارنة الاستجابات للاضطرابات المتوافقة بنيويًا مقابل غير المتوافقة، يوفر ISAAC أساسًا للتمييز بين النماذج التي تبدو غير متمايزة تحت المعايير التقليدية، مما يقدم تقييمًا أكثر شفافية للتطبيقات العلمية حيث تكون الصلاحية الميكانيكية أمرًا بالغ الأهمية.

القيود المعترف بها:

قد لا يلتقط الأولو البنيوي (KLIFS) جميع البقايا المحددة للألفة؛ وبالتالي، تعكس المقاييس الحساسية بالنسبة للأولو وليس الصلاحية السببية المطلقة.
النطاقات الزائفة (spurious controls) متطابقة في العدد ولكن ليس في الاستمرارية المكانية، مما يؤدي إلى عدم تماثل هندسي.
الدراسة الحالية مقتصرة على التدخلات في جانب الهدف على مجموعة بيانات واحدة وثلاث معماريات محددة.