💻 computer science

Effect of Patch Size on Fine-Tuning Vision Transformers in Two-Dimensional and Three-Dimensional Medical Image Classification

تُظهر هذه الدراسة أن الضبط الدقيق لنماذج "Vision Transformers" باستخدام أحجام رقع أصغر (1، 2، و4) يحسن بشكل كبير أداء التصنيف على مجموعات بيانات متنوعة من الصور الطبية ثنائية وثلاثية الأبعاد مقارنة بالرقع الأكبر، مع تحقيق مكاسب إضافية من خلال استراتيجية التجميع، وإن كان ذلك على حساب زيادة التكلفة الحسابية.

المؤلفون الأصليون: Massoud Dehghan, Ramona Woitek, Amirreza Mahbod

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Massoud Dehghan, Ramona Woitek, Amirreza Mahbod

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تحديد حيوان معين في صورة ضبابية وبعيدة. الطريقة التي تنظر بها إلى تلك الصورة تغير كل شيء. هل تضيق عينيك وتنظر إلى الصورة ككل ككتلة واحدة كبيرة؟ أم تقوم بالتكبير، قطعة قطعة، لترى ملمس الفراء، وشكل الأذن، وانحناء الذيل؟

هذا هو بالضبط موضوع هذا البحث العلمي، ولكن بدلاً من الحيوانات، هم ينظرون إلى الصور الطبية (مثل الأشعة السينية، والأشعة المقطعية، والرنين المغناطيسي) باستخدام نوع من الذكاء الاصطناعي يسمى محول الرؤية (Vision Transformer - ViT).

إليك تفصيل لاكتشافهم بكلمات بسيية:

المشكلة: معضلة "مستوى التكبير"

في عالم الذكاء الاصطناعي، يعمل "محول الرؤية" عن طريق تقسيم الصورة إلى مربعات صغيرة تسمى "الرقع" (patches). فكر في هذه الرقع كأنها بلاطات في لوحة فسيفساء.

الرقع الكبيرة: تخيل أنك تنظر إلى شبكة مكونة من 14×14 بلاطة. كل بلاطة ضخمة جداً. أنت ترى الشكل العام للجسم، لكنك تفقد التفاصيل الدقيقة.
الرقع الصغيرة: تخيل أنك تنظر إلى شبكة 1×1 حيث كل بكسل هو بلاطة مستقلة. أنت ترى كل التفاصيل الدقيقة، ولكن هناك آلاف البلاطات التي يجب معالجتها.

لفترة طويلة، اكتفى معظم الباحثين باختيار حجم "بلاطة قياسي" (غالباً 14×14) ولم يتساءلوا: "ماذا لو استخدمنا بلاطات أصغر؟ هل سيساعد ذلك الذكاء الاصطناعي على رؤية المرض بشكل أفضل؟"

التجربة: قصة محقق طبي

قرر الباحثون لعب دور المحقق. أخذوا 12 مجموعة بيانات طبية مختلفة (بعضها صور ثنائية الأبعاد مثل الأشعة السينية، والبعض الآخر مجلدات ثلاثية الأبعاد مثل الأشعة المقطعية) واختبروا الذكاء الاصطناعي بمستويات "تكبير" مختلفة (أحجام رقع مختلفة).

اختبروا أحجام رقع تتراوح من 28 (بعيد جداً، حيث يرى الصورة ككتلة واحدة كبيرة) وصولاً إلى 1 (مقرب جداً لدرجة أنك ترى كل بكسل بمفرده).

التشبيه:
فكر في الذكاء الاصطناعي كطالب يؤدي اختباراً.

حجم الرقعة 28: يُعطى الطالب صورة ضبابية لورم ويُطلب منه: "هل هذا سرطان؟" فيخمن بناءً على الشكل العام.
حجم الرقعة 1: يُعطى الطالب عرضاً مجهرياً عالي الدقة. يمكنه رؤية الخلايا الفردية. يمكنه القول: "نعم، هذا سرطان لأنني أرى هذه الهياكل الخلوية المحددة".

الاكتشاف الكبير: "كلما صغرت، كان أفضل"

كانت النتائج مفاجئة ولكنها واضحة: أصبح الذكاء الاصطناعي أفضل بكثير في تشخيص الأمراض عندما نظر إلى رقع أصغر.

للصور ثنائية الأبعاد (مثل الأشعة السينية): أدى استخدام الرقع الصغيرة جداً إلى تحسين الدقة بنسبة تصل إلى 12.8%.
للصور ثلاثية الأبعاد (مثل الأشعة المقطعية): كان التحسن هائلاً، حيث وصل إلى 23.8%.

لماذا؟
الأمراض الطبية غالباً ما تختبئ في التفاصيل الصغيرة. قد تفوت الرقعة الكبيرة كسرًا صغيرًا في العظم أو عقيدة صغيرة في الرئة لأنها "ضبابية" للغاية عند ذلك المقياس. باستخدام رقع أصغر، يمكن للذكاء الاصطناعي التركيز على التفاصيل الدقيقة التي تهم فعلياً للتشخيص.

العقبة: تكلفة "الوقود"

هناك مقايضة.

الرقع الكبيرة: الذكاء الاصطناعي يكون "كسولاً". يعالج الصورة بسرعة ويستهلك القليل جداً من قوة الكمبيوتر (الوقود).
الرقع الصغيرة: الذكاء الاصطناعي "عامل مجد". عليه النظر في آلاف البلاطات الصغيرة بدلاً من بضع بلاطات كبيرة. وهذا يتطلب قوة حوسبة أكبر بكثير.

التشبيه:
تخيل أنك تقود سيارة.

الرقع الكبيرة تشبه القيادة على طريق سريع بسرعة 60 ميلاً في الساعة. إنها سريعة وتستهلك القليل من الوقود.
الرقع الصغيرة تشبه القيادة عبر مدينة مزدحمة، حيث تتوقف عند كل تقاطع لتفحص إشارات المرور. تصل بدقة أكبر، لكنك تحرق الكثير من الوقود وتستغرق وقتاً أطول.

وجد الباحثون أنه بالنسبة للمسحات ثلاثية الأبعاد، جعل تقليل حجم الرقع إلى النصف يجعل الكمبيوتر يعمل بقوة أكبر بـ 64 مرة. هذا ثمن باهظ جداً!

حل "الفريق الخارق"

للحصول على أفضل ما في العالمين، جرب الباحثون حيلة تسمى "التجميع" (Ensembling).
تخيل أن لديك ثلاثة أطباء:

الطبيب (أ) ينظر إلى الصورة بتكبير متوسط.
الطبيب (ب) ينظر بتكبير عالٍ.
الطبيب (ج) ينظر بتكبير شديد.

بدلاً من اختيار طبيب واحد فقط، طلبوا من الثلاثة إعطاء رأيهم وقاموا بمتوسط النت actually. هذا النهج الذي يسمى "الفريق الخارق" غالباً ما أعطى أعلى دقة من بين الجميع، حيث جمع بين سرعة الرقع الكبيرة وتفاصيل الرقع الصغيرة.

الخلاصة

يخبرنا هذا البحث أمرين مهمين لمستقبل الذكاء الاصطناعي الطبي:

لا ترضَ بالإعدادات القياسية. إذا كنت تريد للذكاء الاصطناعي تشخيص الأمراض بدقة، فيجب عليك تجربة "التكبير" (استخدام رقع أصغر) لالتقاط التفاصيل الدقيقة.
إنها عملية توازن. عليك أن تقرر ما إذا كان لديك قوة حوسبة كافية للتعامل مع العرض "المكبر". إذا كان لديك ذلك، فسيكون الذكاء الاصطناعي طبيباً أفضل بكثير.

لقد جعل الباحثون كود البرمجة الخاص بهم متاحاً للعامة، حتى يتمكن العلماء الآخرون من تجربة استراتيجية "التكبير" هذه في مشاريعهم الطبية الخاصة دون الحاجة إلى كمبيوتر خارق (لقد تمكنوا من القيام بذلك كله على بطاقة رسوميات واحدة قياسية).

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تأثير حجم الرقعة (Patch Size) على الضبط الدقيق لنماذج المحولات الرؤية (Vision Transformers) في تصنيف الصور الطبية ثنائية وثلاثية الأبعاد."

1. بيان المشكلة

أصبحت نماذج "المحولات الرؤية" (ViTs) هي المعيار السائد في الرؤية الحاسوبية، حيث تُستخدم غالبًا كنماذج أساسية (backbones) للنماذج التأسيسية واسعة النطاق. ومع ذلك، يظل أحد الخيارات التصميمية الحرجة في هذه النماذج — وهو حجم الرقعة (الدقة التي يتم عندها تقسيم الصورة إلى رموز/tokens) — غير مستكشف بشكل كافٍ، لا سيما في المجال الطبي.

الفجوة: تعتمد معظم دراسات ViT الحالية على أحجام رقع ثابتة وكبيرة (مثل $14\times14$ أو $16\times16$ ) مشتقة من مجموعات الصور الطبيعية. ومن غير الواضح كيف يؤثر تغيير أحجام الرقع على الأداء في الصور الطبية، التي تختلف بنيويًا عن الصور الطبيعية وتتضمن كلًا من الأبعاد الثنائية (مثل الأشعة السينية، وفحص الجلد) والثلاثية الأبعاد (مثل الأشعة المقطعية، والرنين المغناطيسي).
المقايضة: بينما تلتقط الرقع الأصغر نظريًا التفاصيل المكانية الدقيقة، إلا أنها تزيد من التعقيد الحسابي بشكل أسي بسبب التوسع التربيعي لآلية الانتباه الذاتي مع عدد الرموز. وغالبًا ما كانت الدراسات السابقة تتطلب مجموعات حوسبة ضخمة (مئات من وحدات معالجة الرسومات) لاختبار هذه الاختلافات، مما جعلها بعيدة عن متناول العديد من المجموعات البحثية.
الهدف: تهدف هذه الدراسة إلى التقييم المنهجي لتأثير أحجام الرقع الأصغر تدريجيًا على أداء تصنيف ViT عبر مجموعات بيانات طبية متنوعة ثنائية وثلاثية الأبعاد، مع التركيز تحديدًا على الضبط الدقيق (النهج القياسي للذكاء الاصطناံ الطبي) بدلاً من التدريب من الصفر.

2. المنهجية

مجموعات البيانات

استخدم المؤلفون مجموعة فرعية من مجموعة MedMNIST V2، والتي تضم 12 مجموعة بيانات:

7 مجموعات بيانات ثنائية الأبعاد: تشمل BloodMNIST، وBreastMNIST، وDermaMNIST، وOCTMNIST، وOrganSMNIST، وPneumoniaMNIST، وRetinaMNIST.
5 مجموعات بيانات ثلاثية الأبعاد: تشمل AdrenalMNIST3D، وFractureMNIST3D، وNoduleMNIST3D، وSynapseMNIST3D، وVesselMNIST3D.
قيد الدقة: لضمان الجدوى على وحدة معالجة رسومات واحدة، تم تغيير حجم جميع الصور إلى $28\times28$ (للثنائية) و $28\times28\times28$ (للثلاثية).

بنية النموذج والضبط الدقيق

النموذج الأساسي: ViT-Small (12 طبقة، بُعد تضمين 384، 6 رؤوس انتباه، ~22 مليون معلمة).
التدريب المسبق: تم تهيئة النماذج باستخدام أوزان مدربة مسبقًا على ImageNet.
التكيف ثنائي الأبعاد: تم استبدال رأس التصنيف ليتناسب مع الفئات المستهدفة؛ وتم إجراء الضبط الدقيق للمُشفر (encoder).
التكيف ثلاثي الأبعاد: استُخدمت طريقة تضخم الأوزان (weight inflation) لتحويل أوزان الـ 2D المدربة مسبقًا إلى نوى (kernels) ثلاثية الأبعاد عن طريق تكرار الأوزان على طول محور العمق. كما تم استكمال التضمينات الموضعية (positional embeddings) باستخدام الاستيفاء ثلاثي الخطوط (trilinear interpolation) لتناسب الشبكة ثلاثية الأبعاد.

الإعداد التجريبي

أحجام الرقع التي تم تقييمها: $P \in \{1, 2, 4, 7, 14, 28\}$ $P \in {1, 2, 4, 7, 14, 28}$ . وهي عوامل للدقة المدخلة ($28$)، مما يضمن عدم تداخل الرقع وعدم الحاجة للحشو (padding).
- $P=28$ : تقسيم الصورة عالميًا إلى رمز واحد (1 token).
- $P=1$ : أقصى درجات التفصيل (28 رمزًا لكل بُعد).
الأجهزة: وحدة معالجة رسومات واحدة من نوع NVIDIA RTX 4090.
التدريب: 80 حقبة (epochs)، مُحسن AdamW ( $lr=10^{-4}$ )، وفقدان الإنتروبيا المتقاطعة (cross-entropy loss).
استراتيجية التجميع (Ensemble): دمج متوسط التنبؤات من النماذج المدربة بأحجام الرقع 1 و2 و4.
المقاييس: الدقة (Acc.)، الدقة المتوازنة (Bal. Acc.)، المساحة تحت المنحنى (AUC)، والتكلفة الحسابية (GFLOPs).

3. المساهمات الرئيسية

تحليل منهجي لحجم الرقعة: أول تقييم شامل لتأثير حجم الرقعة على أداء ViT عبر كل من الوسائط التصويرية الطبية ثنائية وثلاثية الأبعاد.
إثبات الجدوى: إثبات أنه يمكن إجراء دراسات تفصيلية للرموز (tokenization) باستخدام وحدة معالجة رسومات واحدة متواضعة من خلال إدارة حجم مجموعات البيانات بشكل مناسب، مما يخفض الحاجز أمام الأبحاث المماثلة.
تكييف ViT ثلاثي الأبعاد: توضيح منهجية ضبط النماذج ثنائية الأبعاد المدربة مسبقًا على بيانات ثلاثية الأبعاد عبر تضخم الأوزان والاستكمال الموضعي.
المصدر المفتوح: الكود والتنفيذ متاحان للجمهور على GitHub لضمان قابلية إعادة الإنتاج.

4. النتائج الرئيسية

اتجاهات الأداء

النتيجة العامة: أحجام الرقع الأصغر تحقق باستمرار أداء تصنيف أفضل عبر جميع مجموعات البيانات تقريبًا.
مجموعات البيانات ثنائية الأبعاد:
- حققت أحجام الرقع 1 و2 و4 أفضل النتائج.
- قدم حجم الرقعة 2 عمومًا أفضل توازن، حيث تفوق على حجم الرقعة القياسي 28 بشكل ملحوظ.
- التحسن: زيادة تصل إلى 12.78% في الدقة المتوازنة (مثال: OrganSMNIST: الرقعة 2 مقابل الرقعة 28).
مجموعات البيانات ثلاثية الأبعاد:
- حقق حجم الرقعة 1 أفضل أو ثاني أفضل أداء عبر معظم مجموعات البيانات ثلاثية الأبعاد.
- التحسن: زيادة تصل إلى 23.78% في الدقة المتوازنة (مثال: VesselMNIST3D: الرقعة 1 مقابل الرقعة 14).
- الرقع الكبيرة (14، 28) سجلت أسوأ أداء، ويرجع ذلك على الأرجب إلى فقدان التفاصيل الحجمية الحرجة.
استراتيجية التجميع: وفر دمج النماذج ذات أحجام الرقع 1 و2 و4 زيادات إضافية في الأداء، خاصة في مجموعات البيانات ثنائية الأبعاد، مما يشير إلى أن دمج الرموز متعدد المقاييس مفيد.

التكلفة الحسابية مقابل الأداء

قانون القياس: تزدزد التكلفة الحسابية (GFLOPs) بشكل هائل مع تناقص حجم الرقعة.
- في 2D: تقليل حجم الرقعة إلى النصف يزيد التكلفة بمقدار $\approx 4\times$ (بسبب مقياس $N^4$ للانتباه).
- في 3D: تقليل حجم الرقعة إلى النصف يزيد التكلفة بمقدار $\approx 64\times$ (بسبب مقياس $N^6$ للانتباه).
- مثال: تقليل حجم الرقعة ثلاثية الأبعاد من 28 إلى 1 رفع GFLOPs من ~0.4 إلى >800 لكل حجم (volume).
المقايضة: بينما توفر الرقع الأصغر دقة فائقة، إلا أنها تفرض عبئًا حسابيًا ثقيلًا، مما قد يعيق النشر السريري في الوقت الفعلي على الأجهزة المحدودة.

تحليل الانتباه (Attention Analysis)

كشف الفحص البصري لخرائط الانتباه أن النماذج ذات الرقع الأصغر (مثل $P=2$ ) أظهرت انتباهاً مركزاً على المناطق ذات الصلة تشخيصياً.
النماذج ذات الرقع الكبيرة (مثل $P=28$ ) أظهرت أنماط انتباه موحدة ومشتتة، وفشلت في تحديد الميزات بدقة، مما أدى إلى أخطاء في التصنيف.

5. الأهمية والقيود

الأهمية

توجيه التصميم: تقدم الدراسة أدلة ملموسة على أن الترميز الأكثر دقة (الرقع الأصغر) هو الأفضل عمومًا لمهام التصنيف الطبي مقارنة بنهج الرقع الكبيرة المستخدم في نماذج ViT للصور الطبيعية.
الأهمية السريرية: تحتوي الصور الطبية غالبًا على أنسجة دقيقة وحساسة (مثل العقد أو التكلسات الدقيقة) التي تُفقد عند استخدام رقع كبيرة.
سهولة الوصول: تثبت الدراسة أن تحليل الترميز عالي الدقة لا يتطلب بالضرورة موارد حوسبة فائقة إذا تمت إدارة دقة مجموعة البيانات بشكل مناسب.

القيود

سعة النموذج: اقتصرت التجارب على ViT-Small بسبب قيود ذاكرة وحدة معالجة الرسومات. قد تُظهر النماذج الأكبر (ViT-Large/Huge) سلوكيات قياس مختلفة.
دقة مجموعة البيانات: استخدمت الدراسة مدخلات منخفضة الدقة ( $28\times28$ ) من MedMNIST. ولا يزال من غير الواكد ما إذا كانت هذه الاتجاهات ستصمد أمام الصور السريرية عالية الدقة (مثل $512\times512$ أو أعلى).
التكلفة الحسابية: الزيادة الهائلة في GFLOPs للنماذج ثلاثية الأبعاد مع الرقع الصغيرة تشكل حاجزًا كبيرًا أمام النشر في بيئات المستشفيات محدودة الموارد.

الخاتمة

تخلص الورقة إلى أنه بينما تفرض أحجام الرقع الأصغر عقوبة حسابية باهظة، إلا أنها تعزز بشكل كبير القدرة على التقاط الميزات الدقيقة وذات الصلة سريريًا في كل من الصور الطبية ثنائية وثلاثية الأبعاد. وتوصي الدراسة باستخدام رقع أصغر (تحديدًا 1 أو 2 أو 4) لمهام التصنيف الطبي، مع إمكانية الجمع بين استراتيجيات التجميع، بشرط توفر الموارد الحسابية اللازمة.