🤖 AI

I Can't Believe TTA Is Not Better: When Test-Time Augmentation Hurts Medical Image Classification

تتحدى هذه الورقة الافتراض الشائع بأن تعزيز وقت الاختبار (TTA) يحسن تصنيف الصور الطبية من خلال إثبات أن مسارات تعزيز وقت الاختبار القياسية غالباً ما تؤدي إلى تدهور الدقة عبر مختلف البنيات ومجموعات البيانات بسبب انزياحات التوزيع وعدم توافق المعايير الطبيعية، مما يحث الممارسين على التحقق من استخدامه في تركيبات محددة من النماذج ومجموعات البيانات بدلاً من تطبيقه كاستراتيجية افتراضية.

المؤلفون الأصليون: Daniel Nobrega Medeiros

نُشر 2026-04-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Daniel Nobrega Medeiros

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: "عيون أكثر، رؤية أسوأ"

تخيل أنك تؤدي اختباراً صعباً. أنت واثق من إجابتك. ثم يقترح عليك صديق استراتيجية: "لا تجب مرة واحدة فقط! خذ نفس الاختبار، ولكن انظر إلى الأسئلة من خلال مرآة ملاهي (مرآة مشوهة)، وعدسة عين السمكة، وفلتر ضبابي قليلاً. ثم اطلب من عقلك تخمين الإجابة لكل تلك النسخ الغريبة وخذ المتوسط. سيجعلك ذلك أكثر ذكاءً!"

تسمى هذه الاستراتيجية تعزيز وقت الاختبار (Test-Time Augmentation - TTA). في عالم الذكاء الاصطناعي، تعد هذه خدعة شائعة جداً. يفترض الناس أنه إذا عرضت على الكمبيوتر نسخاً مختلفة قليلاً من نفس الصورة (مقلوبة، أو مدورة، أو متغيرة الألوان) وجعلته يصوت على الإجابة، فإن الذكاء الاصطناعي سيكون أكثر دقة. ويُعتبر ذلك بمثابة "غداء مجاني" — طريقة لتعزيز الأداء دون بذل أي مجهود إضافي.

تقول هذه الورقة البحثية: "توقف. هذا الغداء المجاني هو في الواقع سمّ."

وجد الباحثون أنه بالنسبة لتصنيف الصور الطبية (مثل تشخيص سرطان الجلد أو خلايا الدم)، فإن خدعة "الغداء المجاني" هذه تجعل الذكاء الاصطناعي أسوأ بكثير في أداء مهمته. في بعض الحالات، تسببت في خفض دقة الذكاء الاصطعي بنسبة تتجاوز 30%، محولةً طبيباً بارعاً إلى هاوٍ مرتبك.

التجربة: "المختبر الطبي"

أعد الباحثون تجربة منضبطة باستخدام ثلاثة أنواع مختلفة من الصور الطبية (الجلد، والدم، والأنسجة) وأربعة نماذج مختلفة من الذكاء الاصطناعي (تتراوح من البسيطة إلى المعقدة جداً).

طلبوا من الذكاء الاصطناعي تشخيص هذه الصور بطريقتين:

الطريقة العادية: النظر إلى الصورة مرة واحدة وإعطاء إجابة.
طريقة TTA: النظر إلى الصورة 50 مرة، ولكن في كل مرة تكون الصورة فيها ملتوية أو مقلوبة أو متغيرة الألوان قليلاً. ثم حساب متوسط الإجابات.

النتيجة؟
في 11 حالة من أصل 12 سيناريو، كانت "طريقة TTA" كارثية.

نموذج "ResNet-18" (نموذج ذكاء اصطناعي متطور): عند النظر إلى عينات الأنسجة، انخفضت دقته من 87% إلى 55% فقط. هذا يشبه جراحاً ينسى فجأة كيفية إمساك المشرط لمجرد أنه طُلب منه النظر إلى المريض من خلال منظار (كاليدوسكوب).
الاستثناء الوحيد: الحالة الوحيدة التي ساعدت فيها هذه الطريقة كانت في صور الجلد، وحتى في تلك الحالة، كان التحسن ضئيلاً جداً.

لماذا فشلت؟ فخ "التطبيع الدفعي" (Batch Normalization)

لفهم سبب حدوث ذلك، نحتاج إلى استعارة لكيفية تعلم الذكاء الاصطناعي.

الاستعارة: الطاهي والوصفة
تخيل أن نموذج الذكاء الاصطناعي هو طاهٍ قضى شهوراً في طبخ طبق معين (التدريب). خلال هذا الوقت، يتعلم الطاهي "درجة الحرارة" و"التتبيل" الدقيقة للمطبخ. يعتاد الطاهي على حرارة الموقد المحددة وسطوع أضواء المطبخ. هذا ما يسمى التطبيع الدفعي (Batch Normalization). يقوم عقل الطاهي بضبط إعداداته الداخلية بناءً على هذه الظروف المستقرة لطبخ الوجبة المثالية.

المشكلة:
عندما تستخدم TTA، فأنت تطلب فجأة من الطاهي طبخ نفس الطبق، ولكنك تقوم بـ:

رفع وخفض حرارة الموقد بشكل عشوائي.
تغيير لون الأضواء.
تدوير الطبق.

لا يزال الطاهي (الذكاء الاصطناعي) يستخدم الإعدادات القديمة (إحصائيات التدريب) التي تمت معايرتها للمطبخ الأصلي. ولأن المدخلات (الصورة) قد تغيرت، لكن إعدادات الطاهي الداخلية لم تتغير، يصاب الطاهي بالارتباك. فالصورة "المقلوبة" أو "المدورة" لا تبدو مثل البيانات التي حفظها الطاه.

"انزياح التوزيع" (Distribution Shift):
تسمي الورقة البحثية هذا انزياح التوزيع. إنه يشبه طلب قيادة سيارة من شخص اعتاد فقط على القيادة في طرق سريعة جافة ومشمسة، ليجد نفسه فجأة يقود على طريق ثلجي جليدي، مع توقع أن يقود بنفس الطريقة تماماً. فيزياء الطريق تغيرت، لكن عادات السائق لم تتغير. والنتي نتيجة ذلك؟ حادث.

المفاجأة الصادمة: الأكبر ليس الأفضل

قد تعتقد: "ربما ارتبك الذكاء الاصطناعي البسيط، لكن الذكاء الاصطناعي الفائق الذكاء يجب أن يكون بخير".
خطأ.

وجدت الدراسة أن كلما زاد تعقيد الذكاء الاصطناعي، كان أسوأ في التعامل مع TTA.

الذكاء الاصطناعي البسيط: أصيب بارتباك طفيف.
الذكاء الاصطناعي المعقد (مع التطبيع الدفعي): فقد السيطرة تماماً.

لماذا؟ لأن الذكاء الاصطناعي المعقد تعلم قواعد محددة وصارمة جداً حول كيفية ظهور الصور "النظيفة". عندما قمت بتشويه الصورة، انتهك ذلك تلك القواعد الصارمة بشدة لدرجة أن ثقة الذكاء الاصطناعي انهارت. الأمر يشبه عازف بيانو ماهر حفظ مقطوعة موسيقية بدقة؛ إذا غيرت المفتاح والسرعة فجأة، فقد يتجمد في مكانه، بينما قد يستمر المبتدئ في العزف بشكل عادي أكثر.

ما الذي ينجح فعلياً؟ (التعديلات "الآمنة")

اختبر الباحثون طرقاً مختلفة لـ "تشويه" الصور لمعرفة ما إذا كانت بعضها أكثر أماناً من غيرها.

التغييرات الهندسية (الأشرار): قلب الصورة رأساً على عقب، أو تدويرها، أو قصها.
- الاستعارة: هذا يشبه أخذ صورة لوجه وتدويرها 90 درجة. بالنسبة للصور الطبية (مثل خلية دم أو ورم)، فإن الشكل والاتجاه هما أدلة حاسمة. تغييرها يدمر الأدلة.
- النتيجة: انخفاض هائل في الدقة.
تغييرات الكثافة (الأخيار): جعل الصورة أكثر سطوعاً، أو أكثر عتمة، أو أكثر ضبابية قليلاً.
- الاستعارة: هذا يشبه أخذ صورة لوجه وتخفيف الإضاءة. الوجه لا يزال هو نفس الوجه؛ الشكل لم يتغير.
- النتيجة: ضرر أقل بكثير. كان بإمكان الذكاء الاصطناعي التعرف على الشيء، حتى لو كانت الإضاءة غريبة.

الخلاصة للحياة الواقعية

تنتهي الورقة البحثية بتحذير قوي للغاية لأي شخص يبني أنظمة ذكاء اصطناعي، خاصة في الطب:

"لا تقم بتشغيل TTA لمجرد أنك تعتقد أنها دفعة سحرية."

القاعدة القديمة: "مشاهد أكثر = إجابة أفضل."
القاعدة الجديدة: "مشاهد أكثر = كارثة محتملة."

إذا كنت طبيباً أو مطوراً يستخدم الذكاء الاصطناعي لتشخيص الأمراض، فلا يمكنك افتراض أن طلب "النظر مرتين" من الذكاء الاصطناعي سيساعد. في الواقع، بالنسبة للصور الطبية عالية الدقة، قد يجعل ذلك الذكاء الاصطناعي يتخيل أشياء غير موجودة (هلوسة) أو يخطئ في التشخيص تماماً.

النصيحة الذهبية:

اختبرها أولاً: قبل استخدام TTA في مستشفى حقيقي، اختبرها على مجموعة صغيرة من البيانات لترى ما إذا كانت تساعد حقاً.
حافظ على الأصل: إذا كان لابد من استخدام TTA، فقم دائماً بتضمين الصورة الأصلية غير المشوهة ضمن المجموعة.
كن حذراً مع الأشكال: لا تقلب أو تدوّر الصور الطبية ما لم تكن متأكداً بنسبة 100% أن المرض لا يهتم بالاتجاه أو الوضعية.

باختصار: أحياناً، النظر إلى المشكلة من زاوية مختلفة لا يعطيك منظوراً جديداً؛ بل يجعلك فقط تشعر بالدوار. بالنسبة للذكاء الاصطناعي الطبي، غالباً ما يكون النظر مباشرة إلى المشكلة أفضل من تدويرها حول نفسك.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "لا أستطيع أن أصدق أن تعزيز وقت الاختبار (TTA) ليس أفضل حالاً: عندما يضر تعزيز وقت الاختبار بتصنيف الصور الطبية."

1. بيان المشكلة

تعزيز وقت الاختبار (Test-Time Augmentation - TTA) هو تقنية معتمدة على نطاق واسع في التعلم العميق، لا سيما في التصوير الطبي وعلوم البيانات التنافسية. يتضمن الإجراء القياسي إنشاء نسخ متعددة ومعززة من مدخلات الاختبار، وتمريرها عبر نموذج مدرب، ثم تجميع التنبؤات (على سبيل المثال، عبر المتوسط). ويُفترض عموماً أنها "وجبة مجانية" (Free Lunch)—أي طريقة لاحقة (post-hoc) تعمل على تحسين الدقة دون الحاجة لإعادة التدريب.

السؤال الجوهري: يتحدى المؤلفون الافتراض الضمني بأن تقنيات TTA تحسن دقة التصنيف بشكل عالمي. هم يستقصون ما إذا كانت مسارات TTA القياسية تؤدي في الواقع إلى تدهور الأداء في تصنيف الصور الطبية، وتحديداً في المعايير ذات الدقة المنخفضة والنمطية، ويسعون لفهم الآليات الكامنة وراء هذا الفشل.

2. المنهجية

تستخدم الدراسة نهجاً تجريبياً منهجياً عبر ثلاثة معايير، وأربعة بنيات هندسية، ومختلف إعدادات TTA.

مجموعات البيانات: ثلاث مجموعات فرعية من MedMNIST v2، تتكون جميعها من صور RGB بدقة $28 \times 28$ $28 \times 28$ :
- PathMNIST: تصنيف الأنسجة لسرطان القولون والمستقيم (9 فئات).
- DermaMNIST: آفات الجلد الجلدية (7 فئات).
- BloodMNIST: خلايا الدم المجهرية (8 فئات).
النماذج: أربع بنيات هندسية تغطي ثلاثة أوامر مقدار في عدد المعلمات ( $\sim$ $\sim$ 21 ألف إلى $\sim$ $\sim$ 11 مليون):
- الانحدار اللوجستي (LogReg).
- الإدراك متعدد الطبقات (MLP).
- شبكة CNN صغيرة (CNN بـ 3 طبقات مع Batch Normalization).
- ResNet-18 (مكيفة لـ $28 \times 28$ ).
بروتوكول TTA:
- المشاهد (Views): تم الاختبار باستخدام $N \in \{1, 2, 5, 10, 25, 50, 100\}$ من المشاهد المعززة.
- استراتيجيات التعزيز:
  - الهندسي (Geometric): الانقلابات، الدوران ( $\pm 15^\circ$ )، والقص العشوائي مع تغيير الحجم.
  - الشدة (Intensity): تذبذب اللون (السطوع/التباين)، وتمويه غاوس (Gaussian blur).
  - المختلط (Mixed): مزيج من كليهما.
- التجميع (Aggregation): متوسط الاحتمالية، التصويت بالأغلبية، والمتوسط المرجح بالثقة.
المقاييس: المقياس الأساسي هو الدقة (Accuracy). المقياس الثانوي هو خطأ المعايرة المتوقع (ECE) لتقييم موثوقية ثقة النموذج.

3. النتائج الرئيسية

أ. TTA يقلل الدقة باستمرار

خلافاً لافتراض "الوجبة المجانية"، أدت مسارات TTA القياسية إلى تقليل الدقة باستمرار في 11 من أصل 12 مزيجاً من النماذج ومجموعات البيانات.

حجم الانخفاض: كان التدهور شديداً. على سبيل المثال، انخفضت دقة ResNet-18 على PathMNIST من 87.0% إلى 55.4% (خسارة قدرها 31.6 نقطة مئوية) مع 50 مشهداً معززاً.
سلوك القياس (Scaling Behavior): لم يؤدِ زيادة عدد المشاهد المعززة ( $N$ ) إلى استعادة الأداء؛ بل غالباً ما انخفضت الدقة بشكل رتيب أو أظهرت تعافياً جزئياً فقط، مما يشير إلى وجود انحياز منهجي وليس مجرد تباين عشوائي.
الاستثناء: الحالة الوحيدة التي أظهرت تحسناً كانت ResNet-18 على DermaMNIST، حيث حققت زيادة قدرها +1.6%.

ب. الآلية: انزياح التوزيع وتطبيع الدفعات (Batch Normalization)

حدد المؤلفون عدم تطابق إحصائيات تطبيع الدفعات (BN) كسبب رئيسي للفشل.

التدريب مقابل الاستنتاج: أثناء التدريب، تقوم طبقات BN بتجميع إحصائيات المتوسط والتباين الجارية بناءً على البيانات غير المعززة.
عدم التطابق: في وقت الاختبار، يقدم TTA مدخلات معززة تؤدي إلى إزاحة إحصائيات التنشيط. ولأن طبقة BN تقوم بالتطبيع بناءً على إحصائيات التدريب (التي لم تعد تتطابق مع المدخلات المعززة في وقت الاختبار)، فإنها تسبب أخطاءً منهجية تنتشر عبر الشبكة.
حساسية النموذج: للمفارقة، عانت النماذج الأكثر تعقيداً (ResNet-18, SmallCNN) أكثر من النماذج البسيطة (LogReg, MLP) لأنها تعتمد بشدة على BN واستخراج الميزات المكانية، والتي تتعرض للاضطراب بسبب انزياح التوزيع الناتج عن التعزيز.

ج. دراسات الاستبعاد (Ablation Studies)

نوع التعزيز: كانت تعزيزات الشدة فقط (السطوع/التباين) أقل ضرراً بكثير من التحويلات الهندسية (الدوران/القص). التحويلات الهندسية تغير الإحصائيات المكانية التي تعتمد عليها نماذج الـ CNN والـ BN، وهو أمر كارثي عند الدقة المنخفضة ( $28 \times 28$ ).
طريقة التجميع: كان اختيار التجميع (المتوسط مقابل التصويت) له تأثير ضئيل. الفشل متجذر في انزياح توزيع المدخلات، وليس في منطق التجميع.
المعايرة: أدى TTA عموماً إلى سوء المعايرة (زيادة ECE) للنماذج التي كانت معايرة جيداً. الحالة الوحيدة التي ساعد فيها TTA (DermaMNIST) تزامنت مع تحسن هائل في المعايرة (انخفض EFA من 0.196 إلى 0.039)، مما يشير إلى أن TTA قد يساعد فقط عندما يكون النموذج غير معاير جيداً في البداية وتتوافق التعزيزات مع الثوابت الطبيعية للبيانات.

4. المساهمات الرئيسية

الدليل التجريبي على الفشل: إثبات أن TLA القياسية تقلل الدقة في 11/12 سيناريو لتصنيف الصور الطبية، مع انخفاضات تصل إلى 31.6%.
تحديد الآلية: تحديد التفاعل بين انزياح التوزيع الناتج عن التعزيز وإحصائيات تطبيع الدفعات (Batch Normalization) كسبب للأخطاء التنبؤية المنهجية.
تحليل الاستراتيجية: إظهار أن تعزيزات الشدة فقط هي الأكثر أماناً من التحويلات الهندسية، وأن تضمين الصورة الأصلية غير المعززة يخفف (لكنه لا يلغي) الضرر.
إرشادات عملية: تقديم أدلة على أن TTA لا ينبغي أن يكون تحسيناً افتراضياً لاحقاً (post-hoc)، بل فرضية يجب التحقق منها لكل نموذج ومجموعة بيانات على حدة.

5. الأهمية والآثار المترتبة

تحذير للممارسين: تعمل الورقة كتحذير حرج لمجتمع الذكاء الاصطناعي الطبي. إن نشر TTA كـ "أفضل ممارسة" قياسية في المسارات السريرية أو المسابقات قد يضر فعلياً بدقة التشخيص، خاصة بالنسبة لنماذج الـ Convolutional عالية السعة على البيانات منخفضة الدقة.
إعادة تقييم "حوسبة وقت الاختبار": تتحدى الدراسة فكرة أن توسيع حوسبة وقت الاختبار (عبر TTA) يؤدي دائماً إلى نتائج أفضل، وتظهر أنه في مهام رؤية محددة، يمكن أن تؤدي زيادة الحوسبة إلى نتائج أسوأ بسبب انزياح التوزيع.
الاتجاهات المستقبلية: يقترح المؤلفون أن TTA قد يكون أكثر أماناً في الصور ذات الدقة الأعلى (حيث تسبب التعزيزات تغييرات نسبية أصغر في البكسلات) أو للنماذج التي لا تستخدم تطبيع الدفعات (Batch Normalization). كما يوصون بالتحقق من صحة TTA على مجموعة بيانات محجوزة قبل النشر، وإعطاء الأولوية لتعزيزات الشدة على التعزيزات الهندسية للصور الصغيرة.

الخلاصة: تخلص الورقة إلى أن TTA ليس "وجبة مجانية" عالمية. في سياق تصنيف الصور الطبية ذات الدقة المنخفضة، غالباً ما يكون "عقوبة مجانية" بسبب عدم التطابق بين إحصائيات وقت التدريب ومدخلات الاختبار المعززة.