💻 computer science

I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models

تقدم الورقة البحثية I-SAFE، وهو إطار عمل للتدقيق البعدي يستخدم مقاييس تماسك واسرستاينين (Wasserstein Coherence Metrics) لتقييم التوافق الهيكلي لنماذج الذكاء الاصطناعي العلمية مع المعرفة المتخصصة من خلال اضطرابات المدخلات، مما يكشف عن عدم الاتساق التوزيعي الذي تفشل المعايير القياسية القائمة على الدقة في اكتشافه.

المؤلفون الأصليون: Barbara Tarantino, Gennaro Auricchio, Paolo Giudici

نُشر 2026-05-22

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Barbara Tarantino, Gennaro Auricchio, Paolo Giudici

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف طباخاً لطهي طبق معقد. تذوقت الوجبة النهائية، وكانت لذيذة. أعطيته درجة عالية. ولكن هنا تكمن المشكلة: هل قام حقاً بطهي الطبق باستخدام المكونات والتقنيات الصحيحة، أم أنه مجرد حفظ وصفة محددة تصادف أنها مذاقها جيد في هذه الليلة الواحدة؟

في عالم "الذكاء الاصطناعي العلمي" (الحواسيب التي تحاول حل مشكلات علمية حقيقية مثل اكتشاف الأدوية)، غالباً ما نرتكب الخطأ نفسه. ننظر إلى درجة اختبار النموذج (مدى جودة تنبؤاته) ونفترض أنه يفهم العلم. لكن الورقة البحثية تجادل بأن الدرجة العالية هي أمر هش. قد يكون الذكاء الاصطناعي "يغش" عبر ملاحظة أنماط ضئيلة وغير ذات صلة في البيانات (مثل حجم خط النص أو ضوضاء خلفية معينة) بدلاً من فهم البنية البيولوجية الفعلية.

يقدم مؤلفو هذه الورقة، باربرا تارانتينو، جينارو أوريكيو، وباولو جوديتشي، طريقة جديدة لتدقيق نماذج الذكاء الاصطناعي هذه تسمى I-SAFE.

إليك كيف يعمل I-SAFE، مشروحاً من خلال تشبيهات بسيطة:

1. المشكلة: "المجيب الآلي (Magic 8-Ball)" مقابل "الطباخ الفاهم"

نماذج الذكاء الاصطناعي الحالية تشبه "المجيب الآلي". تهزها (تعطيها بيانات)، فتعطيك إجابة. إذا كانت الإجابة صحيحة بنسبة 90% من الوقت، فنحن نكون سعداء. لكننا لا نعرف لماذا هي صحيحة.

الخطر: قد يكون الذكاء الاصطناعي محقاً لأنه حفظ أسئلة الاختبار، وليس لأنه يفهم الكيمياء. إذا غيرت السؤال قليلاً (مثل تغيير مكون معين في دواء)، فإن النموذج "الذكي" يجب أن يتفاعل بشكل منطقي. أما النموذج "الغشاش" فقد يتفاعل بشكل عشوائي أو لا يتفاعل على الإطلاق.

2. الحل: "التدقيق التدخلي"

بدلاً من مجرد سؤال الذكاء الاصطناعي: "ما هي الإجابة؟"، يسأل I-SAFE: "ماذا يحدث إذا وخزنا المدخلات؟"

فكر في نموذج الذكاء الاصطناعي كصندوق أسود. لدى العلماء خريطة لما يجب أن يكون مهماً (تسمى الأولوية الهيكلية - Structural Prior). في تجربتهم، كانت هذه الخريطة قائمة بـ "جيوب الارتباط" (binding pockets) المحددة على البروتين حيث تلتصق الأدوية فعلياً.

الاختبار: يأخذون دواءً وبروتيناً. ويصنعون نسختين من البروتين:
1. "الوخزة الحقيقية": يعبثون بالأجزاء التي تقول الخريطة إنها مهمة (جيوب الارتباط).
2. "الوخزة المزيفة": يعبثون بالأجزاء التي تقول الخريطة إنها غير مهمة (أجزاء عشوائية من البروتين).
الهدف: يريدون معرفة ما إذا كان الذكاء الاصطناعي سيتفاعل بشكل مختلف مع "الوخزة الحقيقية" مقارنة بـ "الوخمة المزيفة". إذا كان الذكاء الاصطناعي علمياً حقاً، فإن تغيير الأجزاء المهمة يجب أن يؤدي إلى تغيير منطقي ومنظم في تنبؤاته. أما تغيير الأجزاء غير المهمة فيجب أن يؤدي إلى تغيير أكثر فوضوية وأقل تنظيماً.

3. "المساطر الثلاثة" (المقاييس)

تقدم الورقة ثلاثة طرق محددة لقياس مدى "تنظيم" رد فعل الذكاء الاصطناعي. يستخدمون أسماء رياضية معقدة، لكن فكروا فيها كأنها ثلاث مساطر مختلفة:

المسطرة 1: مسطرة "الموقع" (QBM)
- التشبيه: تخيل صفاً من الناس مرتبين حسب الطول. إذا غيرت الأشخاص المهمين، هل يتحرك الصف بأكمله للأعلى أو للأسفل بطريقة سلسة ومتوقعة؟
- ماذا تفحص: هل تحرك المتوسط التنبئي في اتجاه منطقي؟
المسطرة 2: مسطرة "النظام" (WCM)
- التشبيه: تخيل سباقاً. إذا غيرت أحذية العدائين، هل تتغير أوقات النهاية بطريقة منطقية؟ أم أن الفائز يصبح فجأة خاسراً دون سبب؟
- ماذا تفحص: هل حافظ الذكاء الاصطناعي على اتساق الترتيب في تنبؤاته؟ (مثلاً: إذا كان الدواء (أ) أفضل من الدواء (ب) قبل التغيير، فهل يظل كذلك بعد التغيير؟)
المسطرة 3: مسطرة "الشكل" (TI-WCM)
- التشبيه: تخيل بالوناً. إذا ضغطته، هل يصغر حجمه فقط (إزاحة)، أم يتغير شكله الغريب والمتعرج؟
- ماذا تفحص: هل تغير نمط الإجابات، أم تغيرت الأرقام فقط؟ هذه المسطرة تتجاهل الإزاحات البسيطة لترى ما إذا كان "شكل" البيانات الأساسي قد ظل متماسكاً.

4. التجربة: اختبار ثلاثة "طباخين"

اختبر المؤلفون هذا على ثلاثة نماذج ذكاء اصطناعي مصممة للتنبؤ بكيفية تفاعل الأدوية مع البروتينات (تحديداً الكينازات - kinases).

الإعداد: استخدموا مجموعة بيانات قياسية (Davis) وخريطة "جيب الارتباط" (KLIFS) كدليل لهم.
المفاجأة: امتلكت النماذج الثلاثة "درجات تذوق" (دقة) متشابهة في الاختبار. بدا أن جميعها طباخون جيدون.
نتيجة التدقيق:
- النموذج (أ) و (ب) (DeepDTA, DeepConvDTI): عندما وخز العلماء الأجزاء "المهمة"، تفاعلت هذه النماذج تقريباً بنفس الطريقة التي تفاعلت بها عند وخز الأجزاء "غير المهمة". لم تكن منظمة. كانت تعتمد على التخمين أو الاعتماد على طرق مختصرة.
- النموذج (ج) (TAPB): تفاعل هذا النموذج بشكل مختلف! عندما تم تغيير الأجزاء "المهمة"، تحركت إجاباته بطريقة منظمة ومنطقية للغاية. وعندما تم تغيير الأجزاء "غير المهمة"، كانت الإجابات فوضوية.
- الاستنتاج: على الرغم من أن جميع النماذج الثلاثة حصلت على درجات متشابهة في الامتحان النهائي، إلا أن نموذج TAPB وحده هو من بدا وكأنه يفهم بنية المشكلة حقاً.

5. لماذا هذا مهم؟

تخلص الورقة إلى أن الدقة ليست كافية. يمكنك الحصول على نموذج يحقق دقة 90% ولكنه عديم الفائدة علمياً لأنه "يغش".

I-SAFE هو بمثبه جهاز كشف الكذب للذكاء الاصطناعي. فهو لا يهتم بما إذا كان النموذج محقاً أم مخطئاً في تخمين واحد؛ بل يهتم بما إذا كان "عقل" النموذج موصولاً بشكل صحيح. إنه يتحقق مما إذا كان منطق النموذج يصمد عندما "توخزه" في الأماكن التي يقول العلم إنها مهمة.

باخت-القول:

الطريقة القديمة: "هل حصلت على الإجابة الصحيحة؟" (نعم/لا)
طريقة I-SAFE: "إذا غيرت هذا الجزء المحدد من المشكلة، هل تتغير إجابتك بطريقة منطقية من الناحية العلمية؟" (متماسكة/غير متماسكة)

يسمح هذا الإطار للعلماء بتدقيق نماذج الذكاء الاصطناعي "الصندوق الأسود" دون الحاجة إلى رؤية الكود الداخلي الخاص بها، مما يضمن أن الذكاء الاصطناعي يتعلم العلم بالفعل وليس مجرد حفظ الاختبار.

ملخص تقني: I-SAFE – التدخل الآمن، الدقيق، العادل والمفسر

1. بيان المشكلة

في تعلم الآلة العلمي، غالبًا ما يتم تقييم نماذج التعلم العميق بناءً على الأداء التنبؤي في مجموعات البيانات المحجوزة (مثل الدقة أو AUROC). ومع ذلك، فإن الأداء المرجعي العالي هو مؤشر هش للسلوك ذي المعنى العلمي. قد تحقق النماذج درجات تنبؤية قوية من خلال استغلال "ميزات الاختصار" (shortcut features)، أو الانتظامات الخاصة بمجموعة البيانات، أو الانحيازات التوزيعية (مثل انحياز الهدف أو تأثيرات السقالات/scaffold effects)، بدلاً من تعلم الخصائص الهيكلية الأساسية للمجال.

تفشل طرق التقييم القياسية في التمييز بين النموذج الذي تعلم البنية العلمية ذات الصلة والنموذج الذي اكتفى بمجرد حفظ الارتباطات الإحصائية. علاوة على ذلك، تعتمد طرق التدقيق اللاحقة (post-hoc auditing) الحالية غالبًا على ملخصات عددية (مثل متوسط الحساسية أو الإسناد عند نقطة واحدة)، والتي قد تغفل كيفية إعادة تنظيم التوزيع الكامل للمخرجات عند إحداث اضطرابات في الهياكل المدخلة ذات الصلة علميًا. هناك حاجة لإطار عمل ينتقل من التقييم الرصدي إلى التقييم التدخلي، الذي لا يقيم فقط ما إذا كان النموذج يتنبأ بشكل صحيح، بل كيف تتغير تنبؤاته تحت اضطرابات موجهة هيكليًا ومتحكم بها.

2. المنهجية: إطار عمل I-SAFE

يقدم المؤلفون I-SAFE (التدخل الآمن، الدقيق، العادل والمفسر)، وهو إطار عمل للتدقيق اللاحق، غير مرتبط بنوع النموذج (model-agnostic)، مخصص للمتنبئات العلمية "الصندوق الأسود". يقيم إطار العمل اتساق توزيع مخرجات النموذج تحت تدخلات موجهة بواسطة أولوية هيكلية (structural prior) خارجية.

المكونات الأساسية:

المتنبئ الصندوق الأسود ( $f_{BB}$ ): نموذج مدرب يتم الوصول إليه فقط عبر خريطة المدخلات والمخرجات الخاصة به.
الأولوية الهيكلية ( $P$ ): خريطة خارجية مشتقة من المعرفة بالمجال (مستقلة عن النموذج) تحدد أي مكونات المدخلات ذات صلة علميًا لمهمة معينة. على سبيل المثال، في تفاعل "الدواء-الهدف" (DTI)، تحدد هذه الأولوية بقايا أحماض أمينية محددة في جيب الارتباط بالبروتين.
تصميم التدخل: يقوم إطار العمل ببناء أزواج اضطراب متطابقة:
- الاضطرابات الميكانيكية ( $\phi_{mech}$ ): تعديلات تُطبق على المكونات المختارة بواسطة الأولوية الهيكلية ( $P(x)$ ).
- الاضطرابات الزائفة ( $\phi_{spur}$ ): تعديلات تُطبق على المكونات خارج نطاق الأولوية ( $S_{spur} \subset P(x)^c$ )، باستخدام نفس عامل الاضطراب وعدد العناصر (cardinality).
ملف الاستجابة التدخلية: يقارن إطار العمل توزيعات المخرجات الخام قبل وبعد هذه الاضطرابات على مجموعة تدقيق ثابتة.

مقاييس الاتساق الثلاثة:
يقيس I-SAFE "اتساق الترتيب" (ranking coherence) لتوزيع المخرجات باستخدام ثلاثة مقاييس متكاملة. وخلافًا للملخصات العددية، تلتقط هذه المقاييس هندسة التحول التوزيعي.

المقياس القائم على الكميات (QBM): يقيس اتساق مستوى الموقع. يقارن الإزاحة في الكميات التجريبية (مثل الربيعات) بين المخرات الأصلية والمضطربة مقابل إجمالي متوسط مربع الخطأ. تشير القيم المنخفضة إلى تحول أكبر في موقع التوزيع.
مقياس اتساق واسرتاين (WCM): يقيس الاتساق الترتيبي. يعتمد على نظرية النقل الأمثل، ويقيم مدى الحفاظ على الاقتران الطبيعي بين المدخلات والمخرجات بعد الاضطراب. وهو مقياس مستقل عن المقياس (scale-invariant) ومعاير.
مقياس WCM المستقل عن الإزاحة (TI-WCM): يقيس اتساق الشكل. يعمل هذا المتغير على إزالة تأثير التحولات المتوسطة العالمية (translation)، مما يعزل التغييرات في شكل التوزيع (التباين والعزوم العليا).

منطق التدقيق:
يحسب التدقيق التباين النسبي للأولوية ( $\Delta M = M_{spurious} - M_{mech}$ ) لكل مقياس. يشير التباين الإيجابي إلى أن الاضطرابات في المكونات المختارة من قبل الأولوية تسبب إعادة تنظيم أكثر اتساقًا (أي أكثر هيكلية وقابلية للتنبؤ) لتوزيع المخرجات مقارنة بالاضطرابات في المكونات غير التابعة للأولوية.

3. المساهمات الرئيسية

تقديم إطار العمل: اقتراح I-SAFE كأداة تدقيق لاحقة، تنقل موضوع التقييم من الملخصات العددية إلى التغيرات التوزيعية الكاملة تحت التدخل.
تعريف المقاييس: صياغة ثلاثة مقايب محددة (QBM، WCM، TI-WCM) تعمل على تفكيك الاستجابة التوزيعية إلى الموقع، والبنية الترتيبية، والشكل. هذه المقاييس مستندة إلى نظرية النقل الأمثل ومصممة لتكون غير مرتبطة بنوع النموذج.
التباين النسبي للأولوية: تقديم استراتيجية تقييم تباينية تعزل تأثير الأولويات الهيكلية من خلال مقارنة الاضطرابات الميكانيكية مع ضوابط زائفة متطابقة، مع التحكم في قواعد الاضطراب وعدد العناصر.
الخصائص النظرية: إثباتات تؤكد أن المقاييس محصورة ضمن النطاق $[0, 1]$ ، ومستقلة عن المقياس (بالنسبة لـ WCM)، وقادرة على التمييز بين أنواع مختلفة من إعادة التنظيم التوزيعي.

4. النتائج التجريبية

تم تطبيق إطار العمل على معيار ديفيس لكيناز (Davis kinase benchmark) للتنبؤ بتفاعل "الدواء-الهدف" (DTI).

الإعداد: تم تدقيق ثلاثة نماذج قائمة على التسلسل للتنبؤ بـ DTI وهي: DeepDTA و DeepConvDTI و TAPB. تم اشتقاق الأولوية الهيكلية من تعليقات جيب الارتباط KLIFS (بصمات وهياكل تفاعل الكيناز-الليغاند).
النطاق التنبؤي: أظهرت جميع النماذج الثلاثة أداءً تنبؤيًا (AUROC) متماثلاً في مجموعة اختبار Davis، حيث تعمل ضمن نطاق تنبؤي متشابه.
النتائج:
- نموذج TAPB: أظهر تباينات إيجابية واضحة للأولوية لكل من QBM و WCM ( $\Delta QBM \approx +0.093$ ، $\Delta WCM \approx +0.063$ ). يشير هذا إلى أنه عندما تم اضطراب بقايا جيب الارتباط (حسب KLIFS)، أعادت مخرجات TAPB تنظيم نفسها بطريقة متسقة للغاية (محافظة على الموقع والترتيب) مقارنة باضطراب البقايا غير التابعة للجيب.
- نماذج DeepDTA و DeepConvDTI: أظهرت تباينات ضئيلة أو سالبة. لم يظهر DeepDTA أي ميزة مرتبطة بالأولوية، بينما أظهر DeepConvDTI تباينًا ترتيبيًا سالبًا، مما يشير إلى أن استجاباته المتسقة لم تكن مرتبطة تحديدًا بهيكل جيب الارتباط.
- تحليل الشكل: كانت تباينات TI-WCM سالبة أو قريبة من الصفر لجميع النماذج، مما يشير إلى أن الإشارات المتسقة التي تم رصدها في TAPB كانت مدفوعة بتحولات الموقع والترتيب وليس بالحفاظ على الشكل المتبقي.

خلاصة التجارب: على الرغم من تشابه الدقة، أظهرت النماذج سلوكيات تدخلية مختلفة جذريًا. أظهر نموذج TAPB وحده أن تنبؤاته منظمة حول بنية جيب الارتباط ذات الصلة علميًا، وهو تمييز غير مرئي في التقييمات القياسية القائمة على الدقة.

5. الأهمية والادعاءات

يدعي البحث أن I-SAFE يوفر اختبارًا ذا أساس إحصائي ونسب للأولوية لتقييم كيفية عمل المتنبئات العلمية المدربة تحت اضطرابات ذات معنى هيكلي.

التمييز عن الادعاءات السببية: يذكر المؤلفون صراحةً أن I-SAFE لا يثبت الصلاحية السببية للنموذج ولا يثبت أن النموذج قد استعاد الآلية السببية الحقيقية. بدلاً من ذلك، يوفر مقاييس قابلة لإعادة الاستخدام لتقييم ما إذا كان توزيع مخرجات النموذج منظمًا بشكل متسق مع أولوية خارجية محددة بالمجال.
ما وراء التدقيق العددي: يعالج إطار العمل قصور التدقيق العددي من خلال التقاط هندسة التحولات التوزيعية (الموقع، الترتيب، الشكل) التي تغيب عن مقاييس الأداء الإجمالية.
المنفعة العامة للنماذج: الطريقة قابلة للتطبيق في أي مجال تسمح مدخلاته بتفكيك هيكلي وتتوفر فيه أولوية هيكلية خارجية، مما يجعلها أداة عامة للتدقيق الهيكلي للذكاء الاصطناعي "الصندوق الأسود" العلمي.
النطاق المحدود: يؤكد المؤلفون أن التدقيق هو أداة تشخيصية للنماذج الموجودة، وليس إجراءً للتدريب. فهو يساعد في تحديد ما إذا كان نجاح النموذج مدفوعًا بميزات هيكلية ذات صلة أو بارتباطات زائفة، مما يدعم ادعاءات تقييمية أكثر دقة في الذكاء الاصط์ناعي العلمي.