$\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning

تخيل أنك تقوم ببناء مكتبة ضخمة وعالية التقنية، حيث يتم تمثيل كل كتاب ليس بغلافه، بل بـ "بصمة" فريدة وغير مرئية مكونة من أرقام. هكذا تعمل الرؤية الحاسوبية الحديثة: بدلاً من عرض صورة قطة لمحرك البحث، يقوم الكمبيوتر بتحويل تلك الصورة إلى قائمة طويلة من الأرقام (متجه - vector) تلتقط جوهرها. عندما تبحث عن كلمة "قطة"، يقارن النظام قائمة أرقام استعلامك بملايين القوائم المخزنة في المكتبة للعثور على أقرب المطابقات.

تنشأ المشكلة عندما تأتي مكتبة جديدة، أمين مكتبة أكثر ذكاءً. هذا الأمين الجديد تم تدريبه على بيانات أكثر واستخدم دماغاً أفضل (شبكة عصبية أكثر قوة) لإنشاء البصمات. وبطبيعة الحال، تكون البصمات الجديدة أكثر دقة. لكن هناك عقبة: الأمين الجديد يتحدث "لهجة رياضية" مختلفة قلياً. فالبصمة التي أنشأها الأمين القديم لقطة معينة قد تبدو مختلفة تماماً لنظام الأمين الجديد، رغم أن كلاهما يصف نفس الحيوان. إذا حاولت دمج بصمات المكتبة القديمة مع استعلامات الأمين الجديد، فسيصاب النظام بالارتباك، وتصبح نتائج البحث سيئة للغاية. ولحل هذه المشكلة، سيتعين عليك عادةً إعادة إنشاء بصمات كل كتاب في المكتبة — وهي عملية مكلفة وبطيئة لدرجة أنها غالباً ما تكون مستحيلة. تعالج هذه الورقة البحثية تحدي تعليم الأمين الجديد فهم بصمات المكتبة القديمة دون الحاجة إلى إعادة كتابة الفهرس بأكل، مما يضمن أن النظام الجديد الأكثر ذكاءً لا يزال قادراً على التواصل مع النظام القديم بسلاسة.

---

المشكلة: أمينان، لغتان

في عالم استرجاع الصور، غالباً ما يكون لدينا نموذج "قديم" يقوم بفهرسة معرض من الصور منذ سنوات. ثم، نريد الترقية إلى نموذج "جديد" أكثر ذكاءً وقوة. تكمن المشكلة في أنه حتى لو نظر كلا النموذجين إلى نفس صورة الكلب، فإنهما يحولانها إلى مجموعتين مختلفتين من الأرقام. إنهما يشبهان شخصين نشآ في بلدين مختلفين؛ كلاهما يعرف ما هو "الكلب"، لكنهما يصفانه باستخدام كلمات وتراكيب جمل مختلفة.

إذا حاولت استخدام النموذج الجديد للبحث في المكتبة القديمة، فالأمر يشبه طلب شخص يتحدث الفرنسية للعثور على كتاب في فهرس مكتبة مكتوب بالكامل باليابانية. تفشل عملية البحث. الحل المعتاد هو "الاستكمال الخلفي" (backfilling): أي أخذ كل صورة في المكتبة، وتمريرها عبر النموذج الجديد للحصول على بصمات جديدة، واستبدال القديمة. ولكن إذا كانت مكتبتك تحتوي على ملايين الصور، فهذا كابوس حاسوبي يكلف ثروة من الوقت والطاقة.

حل الورقة البحثية: مترجم "λ-متعامد" (λ-Orthogonal)

يقترح المؤلفون طريقة ذكية لسد هذه الفجوة دون الحاجة لإعادة إنشاء البصمات لكل شيء. لقد قدموا طريقة تعمل كمترجم عالمي، ولكن مع لمسة مرحة ومحددة للغاية.

فكر في بصمات النموذج القديم كتشكيل رقص صارم ومنظم تماماً. أما بصمات النموذج الجديد فهي أسلوب رقص حديث وأكثر مرونة.

• الطريقة القديمة (التحويل الأفيني - Affine Transformation): حاولت بعض الطرق السابقة إجبار الرقص الجديد على أن يبدو تماماً مثل الرقص القديم عن طريق شد وتقليص الراقصين. نجح هذا في جعلهم يبدون متشابهين، لكنه شوه الحركات الطبيعية للراقصين الجدد، مما أفسد نقاط القوة الفريدة للنموذج الجديد.
• الطريقة الصارمة (التحويل المتعامد - Orthogonal Transformation): حاولت طرق أخرى تدوير الرقص الجديد ليتناسب مع القديم دون تغيير مواقع الراقصين على الإطلاق. حافظ هذا على سلامة النموذج الجديد تماماً، لكنه كان شديد الصلابة؛ فلم يستطع التكيف إذا كان للرقصة الجديدة إيقاع مختلف قليلاً أو إذا تغيرت الموسيقى (أي إذا تغير توزيع البيانات).

ابتكار المؤلفين هو قيد "λ-التعامد" (λ-Orthogonality). تخيل مدرب رقص يقول: "يجب أن تحافظوا على التشكيل تقريباً (متعامد)، ولكن يُسمح لكم بتحريك أكواعكم وركبكم قليلاً (مرن) لتتناسبوا مع الموسيقى الجديدة".

هم يستخدمون "منزلقاً" رياضياً يسمى λ (لامدا).

• إذا ضبطت λ على الصفر، يجب أن يظل الراقصون جامدين تماماً (تعامد صارم).
• إذا ضبطت λ على اللانهاية، يمكنهم الرقص كما يشاؤون (لا يوجد قيد).
• من خلال ضبط λ عند نقطة مثالية محددة (مثل 12 في تجاربهم)، يجد النظام توازناً. فهو يحافظ على بقاء بصمات النموذج الجديد متوافقة إلى حد كبير مع هيكل المكتبة القديمة (بحيث يظل البحث يعمل)، ولكنه يسمح بقدر كافٍ من المرونة للنموذج الجديد ليتكيف مع فروقه الدقيقة التي تعلمها.

كيف يعمل الأمر في الممارسة العملية

توضح الورقة عملية ترجمة من خطوتين:

1. الترجمة العكسية: قاموا بتدريب "مُكيِّف" (adapter) صغير وبسيط يأخذ بصمات النموذج الجديد ويدورها لتناسب مساحة المكتبة القديمة. هذا هو الجزء الخاص بـ "λ-التعامد". وهو يضمن أنه إذا طرحت سؤالاً على النموذج الجديد، فيمكن فهمه من قبل المكتبة القديمة.
2. الترجمة الأمامية: قاموا أيضاً بتدريب مُكيِّف يأخذ بصمات المكتبة القديمة ويترجمها إلى لغة النموذج الجديد. وهذا يسمح للمكتبة بتحديث فهرسها ببطء بمرور الوقت.

وللتأكد من جودة هذه الترجمات، استخدموا "خسارة التباين الخاضعة للإشراف" (supervised contrastive loss). فكر في هذا كمعلم يشير إلى مجموعة من الصور ويقول: "هذه كلها قطط؛ تأكد من أن بصماتها قريبة من بعضها البعض. وهذه كلاب؛ تأكد من أنها بعيدة عن بعضها البعض". يساعد هذا النظام على تعلم الحفاظ على تجميع الأشياء المتشابهة معاً، حتى عند الانتقال بين اللغتين القديمة والجديدة.

النتائج: عمليات بحث أذكى، عمل أقل

اختبر الباحثون طريقتهم على مجموعات بيانات متنوعة، بما في ذلك ImageNet (مجموعة ضخمة تضم 1000 فئة من الصور) ومجموعات أصغر ومتخصصة مثل CUB (الطيور) وFlowers.

• التوافق: نجحت طريقتهم في جعل النموذج الجديد متوافقاً مع القديم. في الاختبارات التي حاول فيها النموذج الجديد البحث في المكتبة القديمة، كانت الدقة جيدة تقريباً كما لو تم إعادة إنشاء بصمات المكتبة بأكملها.
• الحفاظ: على عكس الطرق الصارمة التي قد تفسد أداء النموذج الجديد، سمحت نهجهم "المرن" للنموذج الجديد بالحفاظ على دقته العالية. في الواقع، في بعض المهام، كان أداء النموذج الجديد أفضل مما كان عليه بمفرده لأن الترجمة ساعدته على التركيز على الميزات الصحيحة.
• الكفاءة: اقترحوا أيضاً طريقة ذكية لتحديث المكتبة تدريجياً. فبدلاً من إعادة إنشاء البصمات لـ 100% من الصور دفعة واحدة، أظهروا أنه يمكنك تحديث الصور "الأكثر إرباكاً" أولاً. وبحلول الوقت الذي تكون فيه قد حدثت أقل من 50% من المكتبة، يكون النظام قد وصل بالفعل إلى أداء يضاهي نظاماً تم تحديثه بالكامل.

ما لم يفعلوه (ولماذا يهم ذلك)

توضح الورقة بحذر ما ليست هذه الطريقة عليه. إنها ليست عصا سحرية تعمل إذا كان النموذج الجديد أسوأ من القديم. إذا تم تدريب النموذج الجديد على بيانات سيئة أو كان مجرد خطوة إلى الوراء، فلن تصلح هذه الترجمة الأمر. تفترض الطريقة أن النموذج الجديد هو تحسين يحتاج فقط إلى القليل من المساعدة للتحدث باللغة القديمة.

كما جادلوا صراحة ضد فكرة أنه يجب عليك الاختيار بين "الاستقرار" (الحفاظ على الهيكل القديم) و"اللدونة" (التكيف مع الجديد). الطرق السابقة غالباً ما فرضت خياراً: كن صارماً وآمناً، أو كن مرناً ومخاطراً. تقترح هذه الورقة أنه يمكنك الحصول على كليهما، بشرما استخدمت القدر المناسب من "مساحة الحركة" (التي يتحكم فيها λ).

الخلا-صة

تشير هذه الورقة إلى أننا لسنا بحاجة إلى التخلص من مكتباتنا الرقمية القديمة عندما نحصل على ذكاء اصطناي أكثر ذكاءً. بدلاً من ذلك، يمكننا بناء مترجم مرن يحترم هيكل النظام القديم مع منح النظام الجديد القدر الكافي من الحرية ليتألق. من خلال استخدام قيد "λ-التعامد"، وجد المؤلفون طريقة للحفاظ على الشكل الهندسي للبيانات القديمة مع السماح للبيانات الجديدة بالتكيف، مما نتج عنه نظام يتسم بالتوافق مع الماضي والتطلع نحو المستقبل. إنها خطوة نحو مستقبل يمكن فيه لنماذج الذكاء الاصطناي أن تتطور وتترقى دون إجبارنا على البدء من الصفر في كل مرة.