Cheap Probes Predict Expensive Training in 3D-CT Vision--Language Models

تخيل أنك تحاول بناء طبيب آلي مثالي، وهو آلة يمكنها النظر إلى مسح ثلاثي الأبعاد لصدر بشري وكتابة تقرير طبي مثالي. للقيام بذلك، تحتاج إلى جزأين رئيسيين: زوج من "العيون" (نموذج رؤية حاسوبية) ليرى المسح، و"دماغ" (نموذج لغوي كبير) ليكتب القصة. الجزء الصعب هو أن هناك العشرات من أنواع "العيون" المختلفة المتاحة، وكل منها يرى الصورة بطريقة مختلفة قليلاً. وعليك أيضاً أن تقرر كيف ستصغر كمية البيانات الضخمة التي تنتجها هذه العيون حتى يستطيع الدماغ فهمها دون أن يشعر بالارتباك.

في الماضي، كان تحديد أفضل مزيج يشبه محاولة العثين على الحذاء المثالي عبر شراء كل زوج في المتجر، وارتدائه جميعاً، ثم الجري بماراثون بكل واحد منها. كان الأمر بطيئاً، ومكلفاً، ويتطلب قدرًا هائلاً من قوة الحاسوب (والمال) لم تكن تمتلكه معظم الفرق البحثية ببساطة. كان عليهم تدريب الطبيب الآلي بالكامل من الصفر لكل خيار لتحديد أيها يعمل بشكل أفضل. ولكن ماذا لو كان هناك طريق مختصر؟ ماذا لو استطعت وضع مستشعر صغير ورخيص على قدمك لتخمين مدى راحة الحذاء دون أن تضطر أبداً للجري في ماراثون؟ هذا هو السؤال الكبير الذي يطرحه هذا البحث: هل يمكننا استخدام اختبار صغير ورخيص للتنبؤ بأي إعداد حاسوبي مكلف سيعمل بشكل أفضل، مما يوفر علينا القيام بالعمل الشاق حتى نتأكد من أننا وجدنا الفائزين؟

الباحثون وراء هذه الدراسة، بقيادة رينجي ليانغ، يقولون "نعم، ولكن مع بعض القواعد الهامة". لقد بنوا ساحة اختبار ذكية ليروا ما إذا كان "المسبار الرخيص" يمكنه التنبؤ بنجاح جلسة "تدريب مكلفة". فكر في التدريب المكلف كمسابقة طبخ واسعة النطاق وعالية المخاطر حيث تخبز كعكة كاملة لترى ما إذا كانت الوصفة ستنجح. المسبار الرخيص يشبه تذوق ملعقة واحدة من الخليط. عادةً، لا يكفي تذوق الخليط لضمان ارتفاع الكعكة، لكن هؤلاء الباحثين أرادوا معرفة ما إذا كان تذوق الخليط لهذا النوع المحدد من كعكة "الأشعة المقطعية ثلاثية الأبعاد" (3D CT) هو في الواقع مؤشر قوي على النتيجة النهائية.

لاختبار ذلك، أنشأوا شبكة ضخمة من التوليفات المختلفة. أخذوا "عيوناً" متنوعة (مشفرات/encoders) تنظر إلى مسوحات الأشعة المقطعية ثلاثية الأبعاد وربنوها بطرق مختلفة لتقليص البيانات (مخططات ضغط/compression schemes). لكل توليفة، لم يكتفوا بالتخمين؛ بل سلكوا مسارين. المسار "المكلف" تضمن تدريب الطبيب الآلي الكامل، وهو ما استغرق حوالي يوم كامل من وقت الحواسيب الفائقة لإعداد واحد فقط. المسار "الرخيص" تضمن إرفاق أداة قراءة بسيطة وصغيرة (مسبار/probe) بالبيانات المجمدة من العيون لمعرفة ما إذا كان بإمكانها رصد تفاصيل طبية محددة، مثل حجم القلب أو وجود مرض ما.

كان الفريق حريصاً جداً في التأكد من أن "ملعقة التذوق" الخاصة بهم عادلة. لقد بنوا معياراً مرجعياً يتكون من 15 قياساً طبياً مختلفاً (مثل عرض الشريان الأورطي أو كثافة الرئتين) و18 نتيجة مرضية. وقبل أن يبدأوا، أخضعوا كل قياس لـ "بوابتين" صارمتين. البوابة الأولى، المسماة "سلامة المقياس" (scale sanity)، تأكدت من أن القياسات ليست معطلة (على سبيل المثال، التأكد من أن الاختبار لم يقل بالخطأ إن 99% من الناس يعانون من المرض بينما هم لا يعانون منه). البوابة الثانية، "قابلية الفصل بالمسبار" (probe-separability)، تأكدت من أن المسبر الرخيص ذكي بما يكفي للتمييز بين الحالات المختلفة. إذا كان القياس غامضاً للغاية أو كان المسبر ضعيفاً للغاية، فإنهم يستبعدونه. ضمن هذا أنهم يختبرون فقط الأشياء التي هي في الأصل قابلة للحل.

بمجرد أن تصبح ساحة الاختبار جاهزة، قارنوا النتائج. وسألوا: هل تتطابق درجة المسبر الرخيص مع درجة التدريب الكامل المكلف؟ كانت الإجابة قوية بشكل مفاجئ. بالنسبة للتوليفات التي اختبروها حتى الآن، رتب المسبر الرخص الخيارات باتفاق وثيق مع التدريب المكلف. لقد وجدوا ارتباطاً يبلغ حوالي 0.95، وهو رقم مرتفع جداً في العلم، مما يعني أن الاختبار الرخيص كان متنبئاً دقيقاً جداً للاختبار المكلف.

ومع ذلك، فإن المؤلفين صادقون جداً بشأن ما يعنيه هذا. هم لا يدعون أن المسبر الرخيص يعطيك الدرجة النهائية الدقيقة للتدريب المكلف. بدلاً من ذلك، إنه "ادعاء رتبي" (ordinal claim)، وهو مصطلح معقد يعني أنه بارع في الترتيب. يمكنه إخبارك أي الخيارات هو رقم 1، وأيها رقم 2، وأيها رقم 10، لكنه قد لا يخبرك بالضبط بمدى تفوق رقم 1 على رقم 2. في الواقع، تشير الورقة صراحة إلى أنه بينما الترتيب العام قوي، إلا أن هناك حالات محددة تختلف فيها التصنيفات ضمن مشفرات معينة. كما اعترفوا بأن هذه دراسة "أولية". لم يثبتوا بعد أنها تعمل لكل مهمة طبية ممكنة، ولكن بالنسبة للمهام التي فحصوها، فإن الإشارة مشجعة.

كما استبعدت الورقة بعض الأمور الأخرى. فقد وجدوا أنه إذا لم يتم تطبيع البيانات (normalization) (أي ضبط حجم الإشارة بحيث لا تكون هادئة جداً أو صاخبة جداً)، فإن المسبر الرخيص يصاب بالارتباك ويختار الفائزين الخطأ. كما أظهروا أن بعض المسابير المعقدة والضخمة جداً تجعل الأمور أسوأ، حيث تعمل مثل ميزان حرارة مكسور يعطي قراءات عشوائية.

في النهاية، تقترح هذه الورقة طريقة جديدة للبحث. بدلاً من قضاء أسابيع وآلاف الدولارات في تدريب طبيب آلي كامل لكل إعداد ممكن، يمكن للعلماء قضاء دقائق معدودة فقط في تشغيل مسبار رخيص. يمكنهم استخدام هذا لاستبعاد الخيارات السيئة وإنفاق الوقت والمال المكلف فقط على المرشحين النهائيين القلائل الذين يقول المسبر إنهم الأفضل. إنه يشبه استخدام كاشف المعادن للعثور على الذهب قبل البدء في حفر الجبل بأكه. وبينما يحرص المؤلفون على القول بأن هذا لا يزال مجرد "علامة لادعاء" (stake-a-claim marker) ويحتاج إلى مزيد من الاختبار، فإن النتائج المبكرة تشير إلى أنه بالنسبة لمسوحات الأشعة المقطعية ثلاثية الأبعاد، فإن ملعقة تذوق الخليط الصغيرة تخبرك حقاً أي وصفة ستصنع أفضل كعكة.