Doomed to Re-Annotate, Forever: The ImageNet Story

تخيل أنك تحاول تعليم روبوت كيف يرى العالم، تماماً مثل طفل يتعلم التعرف على الحيوانات في حديقة الحيوان. للقيام بذلك، تحتاج إلى كتاب صور ضخم حيث يتم وضع تسمية (اسم) لكل صورة توضح ما بداخلها. في عالم الرؤية الحاسوبية، يُطلق على هذا "كتاب الصور" اسم ImageNet. لأكثر من عقد من الزمان، كان هذا الكتاب هو المعيار الذهبي، والاختبار النهائي لمعرفة ما إذا كانت عيون الروبوت تزداد حدة. الاختبار بسيط: أرِ الروبوت صورة، واسأله: "ما هو الشيء الرئيسي في هذه الصورة؟". إذا خمن الروبوت الكلمة الصحيحة، يحصل على نقطة. هذا السكور، الذي يسمى "دقة Top-1"، كان لوحة النتائج لكل طفرة كبرى في الذكاء الاصطناعي.

ومع ذلك، هناك عقبة. تخيل لو أن كتاب الصور الخاص بك قد كتبه حشد من الناس المتسرعين الذين لا يعرفون الكثير عن الحيوانات، وكانوا يتقاضون أجرهم بالساعة. قد يغفلون عن حيوان ثانٍ مختبئ في الشجيرات، أو يسمون كلباً لعبة كلباً حقيقياً، أو يصنفون صورة لانعكاس في مرآة على أنها الشيء الأصلي. بمرور الوقت، تتراكم هذه الأخطاء الصغيرة. إذا كان كتاب الاختبار فوضوياً، فلا يمكنك حقاً معرفة ما إذا كان الروبوت ذكياً أم أنه حالفه الحظ فقط في تخمين الإجابات الفوضوية. تغوص هذه الورقة البحثية في هذا الكتاب الفوضوي لترى مدى سوء هذا الترتيب حقاً، وما إذا كان بإمكاننا تنظيفه دون كسر لوحة النتائج.

عملية تنظيف ImageNet الكبرى: قصة الملصقات الفوضوية والروبوتات الذكية

اعتبر مجموعة بيانات ImageNet-1k كألبوم صور ضخم مكون من 50,000 صفحة استخدمه عالم الذكاء الاصطناعي بأكه لتدريب عينيه. لسنوات، تعامل الباحثون مع هذا الألبوم كنص مقدس، مفترضين أن كل تسمية كانت مثالية. لكن مؤلفي هذه الورقة، وهم فريق من الجامعة التقنية التشيكية في براغ، قرروا فحص الأمر بالعدسة المكبرة. طرحوا سؤالاً بسيطاً ومرعباً: ماذا لو كانت الإجابات في كتاب الاختبار الخاص بنا خاطئة؟

لم يكتفوا بإلقاء نظرة على صفحات قليلة؛ بل أعادوا تصنيف مجموعة التحقق (validation set) بأكملها من الصفر. وهذا يعني أنهم نظروا في كل صورة من الـ 50,000 صورة مرة أخرى، ولكن هذه المرة بأسلوب أكثر ذكاءً ودقة. أدركوا أن الطريقة القديمة في التسمية — حيث كان على الإنسان اختيار كلمة واحدة فقط للصورة — كانت تشبه محاولة وصف حفلة صاخبة عبر تسمية الشخص الوحيد الواقف بالقرب من الباب فقط. قد تغفل عن منسق الموسيقى (DJ)، أو الكعكة، أو القطة الموجودة على الطاولة.

الكشف الكبير: الألبوم كان فوضوياً
عندما أنهوا عملهم، وجدوا أن الملصقات الأصلية كانت بعيدة كل البعد عن المثالية.

• معدل "الإجابة الخاطئة": حوالي 12% من الصور كانت تحمل تسمية خاطئة تماماً. الأمر يشبه صورة قطة تم تسميتها كلب.
• معدل "العناصر المفقودة": نسبة هائلة بلغت 33.3% من الصور احتوت في الواقع على أشياء مهمة متعددة، لكن الملصقات القديمة اختارت واحداً فقط. إذا كانت الصورة تحتوي على كلب، وكرة، وسياج، فقد يكتفي الملصق القديم بقول "كلب"، متجاهلاً البقية.
• معدل "عدم المطابقة": للمفاجأة، 3.8% من الصور لم تكن تحتوي حتى على أي شيء من قائمة الفئات الـ 1,000 التي كان من المفترض اختبارها. كانت هذه مجرد صفحات بيضاء أو أشياء لا تتوافق مع القواعد.

لإصلاح ذلك، أنشأ الفريق ReImageNet. بدلاً من إجبار البشر على اختيار فائز واحد، سمحوا بالتسميات متعددة الملصقات (multilabel). لقد سمحوا للمُصنفين بالقول: "حسناً، هناك كلب، وكرة، وسياج". كما أضافوا "سمات" خاصة للتعامل مع المواقف الصعبة:

• الانعكاس (Reflection): إذا رأيت وجهاً في مرآة، هل هو وجه؟ نعم، لكنه انعكاس.
• المحاكاة/التمثيل (Rendition): هل هذا مسدس حقيقي أم لعبة؟ يجب أن يعرف الملصق الفرق.
• الحشد (Crowd): إذا كان هناك خمسون شخصاً في صورة، هل نعدهم جميعاً؟ لقد أنشأوا علامة خاصة للمجموعات حتى لا يضطر المصنفون لرسم خمسين صندوقاً صغيراً.

فريق "الإنسان + الروبوت"
أحد أكثر الأجزاء إثارة للاهتمام في قصتهم هو كيف فعلوا ذلك. لم يقوموا فقط بتوظيف حشد من الغرباء عبر الإنترنت (وهي طريقة تسمى Crowdsourcing) والأمل في الحصول على نتيجة جيدة. وجدوا أن التعهيد الجماعي غالباً ما يؤدي إلى الارتباك لأن القواعد صعبة جداً بحيث لا يمكن شرحها في دليل قصير.

بدلاً من ذلك، بنوا "فريق الأحلام". قاموا بتوظيف مجموعة صغيرة من الخبراء المدربين ومنحوهم قوة خارقة: مساعدون يعملون بالذكاء الاصطناعي. استخدموا نماذج ذكاء اصطناعي قوية (مثل GPT-4o وغيرها) للنظر في الصور أولاً واقتراح ما يوجد بها. ثم يقوم الخبراء البشريون بمراجعة تلك الاقتراحات. لقد كان تعاوناً: الذكاء الاصطناعي كان الكشاف السريع الذي لا يتعب، والإنسان كان المحرر الدقيق. وجدت الورقة أن هذا المزيج كان أفضل طريقة للحصول على ملصقات عالية الجودة. الذكاء الاصطناعي وحده لم يكن مثالياً، والبشر وحدهم كانوا بطيئين للغاية، ولكن معاً، وصلوا إلى مستوى جديد من الدقة.

ماذا حدث عندما اختبروا الروبوتات؟
بمجرد حصولهم على الملصقات الجديدة والنظيفة، مرروا نماذج الذكاء الاصطناعي القديمة عبر الاختبار مرة أخرى. كانت النتائج مزيجاً من "يا للخطأ" و"يا للروعة".

• الحرس القديم (النماذج الخاضعة للإشراف - Supervised Models): نماذج الذكاء الاصطناعي التقليدية، التي تدربت على الملصقات القديمة الفوضوية، لم تتحسن كثيراً. ارتفعت درجاتها بنسبة ضئيلة تراوحت بين 0.05% و1.2%. يبدو أنها تعلمت بالفعل كيفية تخمين الإجابات الفوضوية بشكل جيد.
• الجيل الجديد (نماذج MLLMs): النماذج الأحدث والأكثر تقدماً (نماذج اللغات الكبيرة متعددة الوسائط) شهدت قفزة هائلة. زادت درجاتها بنسبة 5% إلى 6%. يشير هذا إلى أن هذه النماذج الأذكى كانت في الواقع مرتبكة من الملصقات القديمة الفوضوية. وعندما تم تنظيف الملصقات، أظهرت أخيراً مدى ذكائها الحقيقي.

مفاجأة "التكبير" (Zoom-In)
قام الفريق أيضاً بشيء ذكي: قاموا بقص الأجسام المحددة من الصور (مثل قص صورة للكلب فقط) واختبروا الروبوتات على هذه القطع الصغيرة. وجدوا أن الروبوتات من الطراز القديم أصبحت سيئة جداً في التعرف على الأشياء عندما تختفي الخلفية. انخفضت دقتها بنسبة تصل إلى 33%. هذا يعني أن تلك الروبوتات كانت تعتمد على الخلفية (مثل معرفة أن الكلب يتواجد عادة على العشب) بدلاً من التعرف الفعلي على الكلب. أما النماذج الجديدة الأكثر ذكاءً فكانت أفضل بكثير في هذا الأمر، مما أثبت أنها "رأت" الجسم بالفعل.

تأثير الدومينو (الآثار المتتابعة)
تحذر الورقة أيضاً من أن هذه الفوضى ليست موجودة في ImageNet فحسب. ولأن العديد من الاختبارات الأخرى بُنيت باستخدام ImageNet كنموذج، فقد انتشرت الأخطاء مثل الفيروس. يقدر المؤلفون أن هذه الاختبارات المشتقة تحتوي على أخطاء أكثر من الأصل بنسبة تتراوح بين 1.7 إلى 5.8 ضعفاً. إنه يشبه بناء منزل جديد باستخدام مخطط يحتوي على قياسات خاطئة؛ سيكون المنزل الجديد مائلاً أيضاً.

الخلاصة
يخلص المؤلفون إلى أننا لا نستطيع بناء اختبار مثالي في خطوة واحدة. إنها ليست مهمة تُنجز لمرة واحدة؛ بل هي عملية مستمرة. يجب عليك الاستمرار في الفحص، والاستمرار في التحسين، والاستمرار في استخدام أفضل الأدوات المتاحة. يجادلون بأن أيام التسمية "من المرة الأولى" قد انتهت. لبناء مستقبل الذكاء الاصطناعي، نحتاج إلى شراكة بين البشر الدقيقين والذكاء الاصطناعي القوي، بحيث يراجع كل منهما عمل الآخر باستمرار.

باخت اختصار، تخبرنا الورقة أننا لفترة طويلة، كنا نقيم الذكاء الاصطناعي بناءً على اختبار مليء بالأخطاء المطبعية. الآن بعد أن أصلحنا هذه الأخطاء، نرى أن بعض الذكاء الاصطناعي هو في الواقع أذكى بكثير مما ظننا، بينما كان البعض الآخر بارعاً فقط في تخمين الإجابات الخاطئة. والدرس للجميع؟ لا تثق في كتاب اختبار لمجرد أنه قديم؛ فأحياناً، يتعين عليك إعادة كتابته.