AlbumentationsX: One Augmentation Pipeline for Images and Related Annotations

رقصة البيانات العظيمة: لماذا يجب على الذكاء الاصطناعي أن يبقي قدميه معاً

تخيل أنك تعلم روبوتاً التعرف على القطط. تُريه صورة لقطة مخططة وذات فراء، وتقول للروبوت: "هذه قطة". ولكن لجعل الروبوت أكثر ذكاءً، تقرر أن تريه نفس القطة في مواقف مختلفة: مقلوبة رأساً على عقب، أو مكبرة، أو مع مرشح (فلتر) مضحك. تسمى هذه العملية تعزيز البيانات (data augmentation). إنها تشبه إعطاء الروبوت ألف زوج مختلف من النظارات ليتعلم أن القطة تظل قطة، سواء رآها من خلال عدسة عين السمكة أو من خلال منظار متحرك (كاليدوسكوب).

ومع ذلك، هناك جزء مخادع. مثال التدريب ليس مجرد صورة؛ بل هو صورة بالإضافة إلى خريطة توضح مكان القطة (تسمى التوسيم أو annotation). إذا قمت بتدوير صورة القطة ولكن نسيت تدوير الخريطة، فسيصاب الروبوت بالارتباك. سيرى رأس قطة يشير إلى اليسار بينما تقول الخريطة إن الجسم موجود على اليمين. هذا عدم التطابق يفسد الدرس. الورقة البحثية التي أوشكت على قراءتها تتناول هذه المشكلة تحديداً: كيف تضمن أنه عندما تقوم بتدوير، أو قلب، أو قص، أو تغيير لون صورة ما، فإن كل قطعة من المعلومات الملحقة بها تتحرك في تناغم تام.

---

تعرف على AlbumentationsX: قائد الفوضى

إليك AlbumentationsX، وهي أداة جديدة صُممت لتكون القائد الأمثل لهذه الرقصة الفوضوية من البيانات. فكر في مثال التدريب كأنه أوركسترا معقدة. لديك الآلة الرئيسية (الصورة)، والنوتة الموسيقية (القناع أو تحديد معالم الأشياء)، والنوتات الخاصة بآلات معينة (صناديق الإحاطة/bounding boxes)، وحتى مواقع الراقصين (النقاط المفتاحية/keypoints). في الماضي، إذا أردت تغيير الموسيقى، فقد تطلب من شخص واحد تدوير النوتة الموسيقية ومن شخص آخر تدوير الصورة. وإذا لم يتواصلا مع بعضهما البعض، كانت النتيجة كارثية.

تحل AlbumentationsX هذه المشكلة بوضع الأوركسترا بأكملها في صندوق واحد ضخم وسحري يسمى كائن التكوين (Compose object). بدلاً من طلب أشياء مختلفة من أشخاص مختلفين، فأنت تسلم الصندوق بأكمله إلى قائد واحد. عندما يقول القائد: "دوروا!" أو "قصوا!"، فإنه يحدد الإحداثيات الدقيقة مرة واحدة فقط ويطبقها على الصورة، والقناع، والصناديق، والنقاط المفتاحية في آن واحد. هذا يضمن أنه إذا تم قص جزء من القطة خارج الصورة، فسيتم قص محيطها من الخريطة في اللحظة ذاتها تماماً. لا مزيد من البيانات غير المتطابقة!

سحر "النداء الواحد"

توضح الورقة البحثية أن AlbumentationsX تتبع قائمة صارمة من القواعد (السياسة) وبذرة عشوائية واحدة (نقطة البداية للسحر). عندما تطلب من الأداة معالجة عينة، فإنها ترمي النرد مرة واحدة فقط. تقرر: "حسناً، سأقلب هذه الصورة، وسأقلب أيضاً القناع والصناديق". هي لا تقلب الصورة، ثم ترمي النرد مرة أخرى لتقرر ما إذا كانت ستقلب القناع أم لا. لحظة اتخاذ القرار الواحدة هذه تضمن بقاء كل شيء متوافقاً.

الأداة مرنة للغاية، ويمكنها التعامل مع:

• الرؤية المجسمة (Stereo Vision): تخيل التقاط صورة بكاميرتين (يسرى ويمنى). تعامل AlbumentceonsX هاتين الصورتين كزوج، مما يضمن أنه إذا تم قص العرض الأيسر، فسيحصل العرض الأيمن على نفس القص تماماً.
• خرائط العمق (Depth Maps): هذه تشبه الخرائط ثلاثية الأبعاد التي توضح مدى بعد الأشياء. تعرف الأداة أنه بينما يمكنك تغيير سطوع صورة ملونة، لا ينبغي لك العبث بهندسة خريطة العمق. فهي تحافظ على اتساق تغيرات الشكل ولكنها تتخطى تغيرات الألوان بالنسبة لخريطة العمق.
• مقاطع الفيديو: إذا كان لديك مقطع فيديو، فأنت لا تريد أن تتحرك الكاميرا بشكل عشوائي. تعامل AlbumentationsX المقطع بأكمله كوحدة واحدة، فإذا تم قص الفيديو، فسيتم قص كل إطار فيه في نفس المكان، مما يخلق زوماً (تكبيراً) سلساً وطبيعياً بدلاً من حركة مهتزة ومضطربة.

بناء قواعدك الخاصة

أحد أروع الميزات هو أنه يمكنك بناء حركاتك الخاصة. ربما يحتاج مشروعك إلى محاكاة نوع معين من أعطال الكاميرا أو خطأ في المستشعر. توضح الورقة البحثية كيف يمكنك كتابة "تحويل" (transform) مخصص وإدراجه مباشرة في خط المعالجة. ولأنه داخل نفس الصندوق، فإنه يتبع نفس القواعد والاحتمالات الخاصة بالتحويلات المدمجة. إنه يشبه إضافة خطوة رقص جديدة إلى تصميم الرقصات؛ طالما أنها ضمن الروتين، فسيقوم الجميع بها معاً.

شبكة الأمان: إعادة تشغيل السحر

ماذا لو تعلم الروبوت شيئاً غريباً وأردت أن تعرف بالضبط ما الذي حدث؟ تقترح الورقة البحثية حيلة ذكية: ReplayCompose. يمكنك حفظ سجل دقيق للخيارات العشوائية التي تم اتخاذها خلال استدعاء معين. لاحقاً، يمكنك تغذية هذا السجل مرة أخرى، وستعيد الأداة إنشاء نفس التحويل بالضبط. إنه يشبه الضغط على زر "التراجع" في مستوى لعبة فيديو، ولكن بدلاً من العودة بالزمن، أنت تعيد تشغيل نفس تسلسل الأحداث لترى أين وقع الخطأ.

ما تفعله هذه الأداة (وما لا تفعله)

المؤلف واضح جداً بشأن ما هي AlbumentationsX وما ليست عليه. إنها أداة للمحاذاة، وليست قارئة للأفكار. ستوافق بكل سرور على تدوير صورة قطة رأساً على عقب، لكنها لن تخبرك ما إذا كان ذلك فكرة جيدة لمهمتك المحددة. إذا كنت تدرب روبوتاً على قراءة لافتات الشوارع، فقد يجعل قلب الصورة رأساً على عقب اللافتة غير قابلة للقراءة، والأداة لن تمنعك من ذلك. لا يزال على الخبير البشري أن يقرر أي الحركات منطقية لمشكلته الخاصة.

تشير الورقة أيضاً إلى أنه بينما توجد أدوات أخرى (مثل TorchVision أو Kornia)، فإن AlbumentationsX تتميز بامتلاكها مكتبة ضخمة تضم 121 تحويلاً ثنائي الأبعاد مختلفاً، وهي مصممة خصيصاً للحفاظ على تزامن جميع أنواع البيانات المختلفة هذه (الصور، الأقنعة، الصناديق، الفيديوهات) بشكل مثالي. هي لا تدعي أنها الأسرع أو الطريقة الوحيدة للقيام بذلك، لكنها تقدم حلاً موثوقاً في حزمة واحدة يحافظ على البيانات من أن تصبح "فاسدة" بسبب التغييرات غير المتطابقة.

باختالاختصار، AlbumentationsX هي حارسة الاتساق. إنها تضمن أنه عندما تتلاعب ببياناتك لتعليم نموذج رؤية حاسوبية، فإنك لا تفسد الدرس عن طريق تحريك الصورة وترك الخريطة خلفها. إنها الفرق بين ساحة رقص فوضوية حيث يتعثر الجميع في أقدامهم، وبين أداء مصمم بدقة حيث تكون كل حركة متناغمة مع الأخرى.