🤖 AI

The Confusion is Real: GRAPHIC -- A Network Science Approach to Confusion Matrices in Deep Learning

تقدم هذه الورقة GRAPHIC، وهي طريقة غير مرتبطة ببنية معينة تطبق علم الشبكات على مصفوفات الارتباك المستمدة من طبقات الشبكة العصبية المتوسطة لتصور وقياس ديناميكيات ارتباك الفئات، والقدرة على الفصل الخطي، ومشكلات مجموعة البيانات بشكل منهجي طوال عملية التدريب.

المؤلفون الأصليون: Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم كيف يتعلم طالب التمييز بين الحيوانات المختلفة في ألبوم صور. عادةً، أنت تكتفي بالنظر إلى درجته النهائية في الاختبار: "لقد أصاب بنسبة 90%!"، لكن هذا لا يخبرك لماذا أخطأ في الـ 10% المتبقية، أو ما إذا كان يخلط بين القطة والكلب لأن شكلهما متشابه، أو لأنه مجرد يخمن.

تقدم هذه الورقة أداة جديدة تسمى GRAPHIC (وهي اختصار لاسم طويل ومعقد يتعلق بالرسوم البيانية والارتباك). فكر في GRAPHIC كـ "خريطة ارتباك" تتيح لك التلصص على ما يدور داخل عقل الطالب أثناء دراسته، وليس فقط في النهاية.

إليك كيف تعمل، باستخدام تشبيهات بسيية:

1. "الاختبار السري" (المصنف الخطي - The Linear Classifier)

تحتوي نماذج التعلم العميق (التي تمثل "الطلاب") على العديد من الطبقات المخفية حيث تعالج المعلومات. لا يمكننا بسهولة رؤية ما يفكرون فيه في هذه الطبقات الوسطى.

الحيلة: يأخذ الباحثون "الملاحظات" التي يكتبها النموذج في هذه الطبقات الوسطى ويقدمونها لمعلم بسيط وصادق (يسمى المصنف الخطي).
الاختبار: يسأل هذا المعلم: "إذا رأيت هذه الملاحظات فقط، هل يمكنني التمييز بين 'السمكة المفلطحة' و'الرجل'؟"
النتيجة: هذا ينشئ مصفوفة ارتباك (Confusion Matrix). وهي عبارة عن شبكة توضح بالضبط كم مرة يخطئ النموذج في تمييز شيء عن آخر. على سبيل المثال، قد تظهر أن النموذج يخلط بين "السمكة المفلطحة" و"الرجل" بنسبة 20% من الوقت.

2. تحويل الشبكة إلى "شبكة اجتماعية"

بدلاً من مجرد النظر إلى جدول بيانات ممل من الأرقام، تقوم GRAPHIC بتحويل هذه الشبكة إلى خريطة شبكة اجتماعية.

العُقد (النقاط): كل فئة (مثل "تفاحة"، "دب"، أو "سيارة") هي نقطة على الخريطة.
الحواف (الخطوط): إذا كان النموذج يخلط كثيراً بين شيئين، فسيتم توصيلهما بخط.
- خط سميك يعني أنهما مرتبطان بارتباك شديد (مثلاً، النموذج يظن أن "السمكة المفلطحة" هي "رجل" كثيراً).
- خط رفيع يعني أنهما نادراً ما يُخلط بينهما.
- الأسهم توضح اتجاه الخطأ (مثلاً، "الرجل" نادراً ما يُسمى "سمكة مفلطحة"، ولكن "السمكة المفلطحة" غالباً ما تُسمى "رجلاً").

3. ماذا اكتشفوا؟

من خلال مراقبة تغير هذه "الشبكة الاجتماعية" أثناء تعلم النموذج، وجد الباحثون بعض الأشياء المفاجئة:

"الطلاب المشهورون" في اليوم الأول: في الثانية الأولى من التدريب، أصبحت بعض الفئات العشوائية (مثل "لوحة مفاتيح الكمبيوتر" أو "البحر") بمثابة "مراكز جذب". لقد خمن النموذج هذه الأسماء لكل شيء تقريباً. لم يكن هذا لأن النموذج ذكي؛ بل كان بسبب ترتيب عرض الصور. الأمر يشبه لو عرض عليك معلم صورة لوحة مفاتيح أولاً، فقد تخمن "لوحة مفاتيح" للصور العشر التالية فقط لأنك عالق في تلك الفكرة.
تكوين "الشلل": مع استمرار التدريب، بدأت النقاط تتجمع في "شلل" بناءً على المعنى الحقيقي. بدأت "الحيوانات" تتجمع معاً، و"الأشجار" تتجمع معاً. كان النموذج يتعلم المفاهيم، وليس مجرد حفظ البكسلات.
لغز "السمكة المفلطحة" مقابل "الرجل": أظهرت الخريطة خطاً قوياً يربط بين "السمكة المفلطحة" و"الرجل". لماذا؟ نظر الباحثون في الصور وأدركوا أن مجموعة البيانات كانت متحيزة. الكثير من صور "السمكة المفلطحة" أظهرت صيادي أسماك وهم يمسكون بصيدهم. تعلم النموذج: "إذا رأيت بشراً يمسك سمكة، فهي سمكة مفلطحة". لم يكن تشابهاً بصرياً؛ بل كان دليلاً سياقياً من بيانات سيئة.
غموض "الطفل" مقابل "الولد" مقابل "البنت": خلط النموذج كثيراً بين الأطفال والولدان والبنات. طلب الباحثون من 31 بشرياً تصنيف نفس هذه الصور، والبشر أيضاً ارتبكوا! كانت الصور ببساطة ضبابية جداً أو كانت الأعمار فيها غير واضحة. لم يكن النموذج "غبياً"؛ بل كانت التصنيفات في مجموعة البيانات هي التي تعاني من الفوضى.
تحيز "لون الأوراق": خلط النموذج بين "أشجار القيقب" و"أشجار البلوط". لماذا؟ معظم صور القيقب التُقطت في فصل الخريف (أوراق حمراء/صفراء)، بينما كانت أشجار البلوط خضراء. تعلم النموذج تحديد الأشجار من خلال الفصل، وليس نوع الشجرة.

4. مفاجأة "المحول" (The Transformer Surprise)

اختبر الباحثون نوعين من النماذج: نموذج قياسي (ResNet) ونموذج أكثر تعقيداً وحداثة (Vision Transformer).

النموذج القياسي: بينما يتعلم، يصبح أفضل في الفصل بين الأشياء خطياً (مثل فرز التفاح عن البرتقال) طوال الوقت.
المحول (Transformer): بدأ في التحسن في الفصل بين الأشياء، ولكن في مراحله الأولى، أصبح في الواقع أسوأ في الفصل بينها قبل أن يتحسن مجدداً. الأمر يشبه أن على "المحول" أن "يتعلم نسيان" بعض القواعد البسيطة ليتعلم قواعد أكثر تعقيداً، بينما النموذج القياسي يستمر فقط في تراكم القواعد فوق بعضها البعض.

الملخص

GRAPHIC هي بمثابة مجهر للأخطاء التي يرتكبها الشبكة العصبية. بدلاً من مجرد قول "النموذج دقيق بنسبة 90%"، فهي ترسم خريطة توضح من يخلط بين من. وهذا يساعد الباحثين على معرفة ما إذا كان النموذج يتعلم الأشياء الصحيحة، أم أنه يلتقط فقط عادات سيئة (مثل الخلط بين سمكة ورجل بسبب وجود صياد في الخلفية) أو إذا كانت مجموعة البيانات نفسها معطلة (مثل الصور الضبابية للأطفال أو التصنيفات غير الواضحة).

إنها تحول "الصندوق الأسود" للذكاء الاصطناعي إلى شبكة اجتماعية مرئية من الارتباكات، وتكشف أن الارتباك أحياناً يكون حقيقياً، وأحياناً أخرى يكون خطأ البيانات.

ملخص تقني: GRAPHIC – نهج علم الشبكات لمصفوفات الارتباك في التعلم العميق

تعريف المشكلة

أصبح الذكاء الاصطını القابل للتفسير (XAI) أمراً بالغ الأهمية لمعال معالجة مخاوف الموثوقية في التعلم العميق، لا سيما في المجالات عالية الخطورة مثل التشخيص الطبي والقيادة الذاتية. ومع ذلك، تواجه طرق التفسير اللاحقة (post-hoc) الحالية قيوداً كبيرة:

الطرق المحلية (مثل Grad-CAM وLIME) تركز على عينات فردية، مما يجعلها عرضة لضجيج التسمية وتحيز العينات، وتفشل في تقديم رؤية شاملة لسلوك النموذج.
الطرق القائمة على المفاهيم (مثل TCAV) تعتمد على مفاهيم محددة بشرياً، والتي قد لا تتوافق مع التمثيلات المجردة التي تعلمتها الشبكة بالفعل.
الطلايب الهيكلية العالمية غالباً ما تركز على تنظيم فضاء السمات ولكنها تفتقر إلى طريقة منهجية لتصور ديناميكيات الارتباك على مستوى الفئات عبر الزمن.
تصورات مصفوفة الارتباك الحالية (مثل ConfusionFlow) غالباً ما تكون محدودة بالطبقة النهائية والنموذج المتقارب، مما يفقدنا ديناميكيات تطور التعلم وسلوك الطبقات المتوسطة.

هناك فجوة محددة في بناء وتحليل مصفوفات الارتباك (CMs) للطبقات الخفية في الشبكات العصبية (NNs) لفهم كيفية تطور قابلية الفصل بين الفئات والارتباك أثناء التدريب.

المنهجية: GRAPHIC

يقترح المؤلفون إطار عمل GRAPHIC (التمثيل والتحليل القائم على الرسم البياني للتنبؤات وتفسير الطبقة الخفية عبر الارتباك)، وهو إطار عمل غير مرتبط بهندسة معمارية معينة يعامل الارتباك على مستوى الفئة كمسألة من مسائل علم الشبكات.

1. توليد مصفوفات الارتباك للطبقات الخفية

بما أن الطبقات الخفية لا تنتج تنبؤات بالفئات مباشرة، يستخدم GRAPHIC مصنفات خطية (LCs) يتم تدريبها على متجهات السمات من الطبقات المتوسطة.

استراتيجية التدريب: يتم تدريب المصنفات الخطية باستخدام دالة فقدان "الاعتراض المتقاطع" (cross-entropy) مخصصة تدمج كلاً من التسميات الحقيقية ( $y$ $y$ ) وتنبؤات الشبكة العصبية قيد التحليل ( $\tilde{y}$ $\tilde{y}$ ):
$L(z^{(k)}, y, \tilde{y}) = \lambda L_{CE}(z^{(k)}, y) + (1 - \lambda) L_{CE}(z^{(k)}, \tilde{y})$
- عندما $\lambda = 1$ (التسميات الحقيقية): يقيس القابلية الخطية للفصل الجوهرية للسمات في تلك الطبقة.
- عندما $\lambda = 0$ (التنبؤات): يقيس "الفهم" الحالي للنموذج وديناميكيات التدريب. يتم تدريب المصنف الخطي لإعادة إنتاج تنبؤات الشبكة العصبية، مما يوفر رؤى حول تعلم الفئات دون الاعتماد على الحقيقة الأرضية (ground truth).
بناء مصفوفة الارتباك (CM): يتم تطبيق المصنفات الخطية المدربة على متجهات سمات غير مرئية (من جزء محجوب من مجموعة التدريب أو مجموعة التحقق) لتوليد مصفوفات ارتباك مُطبعة $C$ .

2. التمثيل البياني (Graph Representation)

يتم تفسير مصفوفات الارتباك كـ مصفوفات مجاورة لرسوم بيانية موجهة:

العقد (Nodes): تمثل الفئات في مجموعة البيانات.
الحواف (Edges): تمثل احتمال أن يتم تصنيف عينة من الفئة $i$ على أنها الفئة $j$ .
الأوزان (Weighting): تُعرف مصفوفة المجاورة بـ $C_{ad} = C - C \odot I_N$ ، وذلك لعزل التنبؤات الخاطئة (العناصر خارج القطر الرئيسي) للتركيز على الارتباك.

3. تحليل علم الشبكات

يطبق المؤلفون أدوات علم الشبكات القياسية على هذه الرسوم البيانية:

كشف المجتمعات (Community Detection): باستخدام تعظيم النمطية ( $Q$ ) (عبر خوارزمية Louvain الموجهة) لتحديد "مجتمعات الارتباك" (CCs) — وهي مجموعات من الفئات التي يختلط الأمر فيها بشكل متكرر. يكشف هذا عن هياكل دلالية ناشئة دون تسميات محددة مسبقاً.
الارتباط (Assortativity): حساب معامل الارتباط لقياس مدى توافق هيكل الارتباك المتعلم مع المجموعات المحددة مسبقاً (مثل "طبيعي" مقابل "صنع الإنسان" أو الفئات العليا لمجموعة البيانات).
التطور الزمني: تحليل هذه الرسوم البيانية عبر حقب التدريب (epochs) وطبقات الشبكة لتتبع تطور ديناميكيات التعلم.

المساهمات الرئيسية

نهج تحليل مبتكر: يعد GRAPHIC أول طريقة غير مرتبطة بالهندسة المعمارية لتوليد وتحليل مصفوفات الارتباح للطبقات المتوسطة باستخدام مصنفات خطية مدربة على كل من التسميات الحقيقية والمتوقعة. وهو يفسر هذه المصفوفات كرسوم بيانية موجهة للاستفادة من أدوات علم الشبكات.
تشخيصات مجموعة البيانات والتسميات: تحدد الطريقة مشكلات مجموعة البيانات الخفية، والغموض في التسميات، والتحيزات التي تحجبها كثرة الفئات. وقد تم التحقق من هذه النتائج من خلال دراسة بشرية.
ملاحظة اتجاهات القابلية الخطية للفصل: تقدم الدراسة أدلة تجريبية على القابلية الخطية للفصل في الطبقات المتوسطة، ولا سيما ملاحظة انخفاض القابلية للفصل في أجهزة فك التشفير (decoders) المبكرة في المحولات البصرية (Visual Transformers)، على عكس الزيادة الرتيبة المشهودة في الشبكات التلافيفية (CNNs).

النتائج التجريبية

أُجريت التجارب على ResNet-50 (CNN) و EffVit (Vision Transformer) باستخدام CIFAR-100 و Tiny ImageNet.

1. تطور مجتمعات الارتباك

التدريب المبكر: تعمل فئات مهيمنة قليلة كـ "محاور للارتباك" (على سبيل المثال، "لوحة مفاتيح كمبيوتر"، "بحر"، "حيوان البوسوم" في ResNet-50). يعتمد تحديد هذه المحاور بشكل كبير على ترتيب بيانات التدريب، وليس فقط على تهيئة النموذج.
التقارب: مع تقدم التدريب، تظهر مجتمعات ذات معنى دلالي (مثل الحيوانات، الأشجار، البشر). ينخفض الارتباك بين المجموعات، وتزدل النمطية.
الاختلافات بين الطبقات: في ResNet-50، تظهر الطبقات الأعمق تجمعات أوضح ونمطية أعلى. أما في EffVit، فإن أجهزة فك التشفير المبكرة تكتسب في البداية قابلية خطية للفصل، ولكنها تفقدها مع تقدم التدريب، مما يشير إلى ديناميكية تعلم مختلفة مقارنة بالشبكات التلافيفية.

2. مشكلات مجموعة البيانات والتحيزات

نجح GRAPHIC في تصور آثار محددة لمجموعة البيانات:

تحيز لون الأوراق: كان يتم الخلط بشكل متكرر بين أشجار القيقب وأشجار البلوط. كشف التحليل أن النموذج اعتمد على ألوان الأوراق الموسمية (الأحمر/الأصفر للقيقب، الأخضر للبلوط) بدلاً من السمات الهيكلية. تعديل ألوان الأوراق في صور الاختبار صحح التنبؤات.
التحيز السياقي: وُجد ارتباك قوي وغير متبادل بين "السمكة المفلطحة" (flatfish) و"الإنسان". تم تتبع ذلك إلى صور في مجموعة البيانات حيث يمسك الصيادون بالسمكة، مما جعل النموذج يربط السياق (إمساك السمكة) بفئة "الإنسان".
غموض التسميات: شكلت فئات مثل "ولد"، "بنت"، و"طفل رضيع" مجتمع ارتباك ضيقاً. أكدت دراسة بشرية (31 مشاركاً) أن هذه الفئات غامضة بطبيعتها حتى بالنسبة للبشر بسبب جودة الصور وحدود تعريف العمر والجنس.
مشكلات Tiny ImageNet: تم تحديد الارتباكات بين "سيارة مكشوفة" و"سيارة رياضية"، وبين "قط من نوع تابي" و"قط مصري"، مما كشف عن تداخل في التسميات وعدم اتساق في التعريفات في مجموعة البيانات.

3. القابلية الخطية للفصل

ResNet-50: زادت القابلية الخطية للفصل (المقاسة بدقة المصنف الخطي على التسميات الحقيقية) بشكل رتيب مع العمق وحقب التدريب، وهو ما يتوافق مع الأدبيات السابقة.
EffVit: بينما أظهرت أجهزة فك التشفير المتأخرة زيادة في القابلية للفصل، أظهرت أجهزة فك التشفير المبكرة انخفاضاً في القابلية الخطية للفصل بعد ارتفاع أولي. يشير هذا إلى أن المحولات البصرية قد تتعلم الموضع (locality) والسياق العالمي بشكل مختلف عن الشبكات التلافيفية، وربما "تتخلى" عن القابلية الخطية للفصل في المراحل المبكرة لتشكيل تمثيلات أكثر تعقيداً.

الأهمية والادعاءات

يدعي البحث أن GRAPHIC يقدم منظوراً جديداً لكيفية تعلم الشبكات العصبية من خلال الكشف عن "الارتباكات الحقيقية" عبر نهج هيكلي قائم على البيانات.

رؤى قابلة للتنفيذ: من خلال تصور الارتباك على مستوى الفئة، يساعد GRAPHIC في تحديد تحيزات مجموعة البيانات وأخطاء التسمية التي تخفيها مقاييس الدقة القياسية.
الفهم المعماري: يكشف عن اختلافات جوهرية في ديناميكيات التعلم بين الشبكات التلافيفية والمحولات، خاصة فيما يتعلق باستقرار القابلية الخطية للفصل في الطبقات المتوسطة.
الثقة والموثوقية: توفر الطريقة تصورات قابلة للتفسير يمكن أن توجه تصميم مجموعة البيانات وتحسن موثوقية النموذج، وهو أمر حيوي في التطبيقات عالية الخطورة مثل التصوير الطبي.
القيود: يقر المؤلفون بالتكاليف الحسابية الإضافية لتدريب المصنفات الخطية عند طبقات وحقب تدريب متعددة، رغم اقتراحهم استراتيجيات مثل التوقف المبكر وإعادة استخدام المصنفات لتخفيف ذلك. كما يشيرون إلى أن تفسير المعنى الدلالي للارتباكات المرصودة لا يزال يتطلب تحليلاً يدوياً.

باختصار، يسد GRAPHIC الفجوة بين التفسير المحلي والتحليل الهيكلي العالمي، مستخدماً علم الشبكات لتوفيد رؤية منهجية على مستوى الفئة لعملية التدريب وسلامة مجموعة البيانات.