Memory-Efficient Contrastive Learning via Budgeted Hard Negative Selection
تقدم هذه الورقة إطار عمل للتعلم التبايني كفء في استهلاك الذاكرة، يقضي على عنق الزجاجة المتمثل في الذاكرة التربيعية لمصفوفات التشابه الكثيفة من خلال تدفق الحسابات والاختيار الديناميكي لميزانية ثابتة من السلبيات الصعبة، مما يتيح أحجام دفعات أكبر بكثير على الأجهزة ذات الموارد المحدودة مع الحفاظ على فعالية التحسين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تتعلم الحواسيب بشكل متزايد كيف ترى وتفهم العالم من خلال مقارنة الصور ببعضها البعض. تخيل طالباً يحاول تعلم شكل "الكلب". بدلاً من إعطائه تعريفاً، تُعرض عليه آلاف الصور. لكي يتعلم بفعالية، لا يجب على الطالب أن يدرك فقط أن صورتين لكلب متشابهتان، بل يجب عليه أيضاً أن يفهم مدى اختلاف صورة كلب عن صورة سيارة أو شجرة. هذه العملية، المعروفة باسم "التعلم التبايني" (contrastive learning)، هي المحرك وراء العديد من أنظمة الرؤية الحديثة. وهي تعمل عن طريق جذب الأشياء المتشابهة لتقترب من بعضها في مساحة رياضية، بينما تدفع الأشياء المختلفة بعيداً عن بعضها. وكلما رأت المنظومة أمثلة أكثر في وقت واحد، وكلما استطاعت التمييز بينها بوضوح أكبر، أصبحت أكثر ذكاءً. ومع ذلك، هناك حد مادي لكمية البيانات التي يمكن للحاسوب استيعابها في ذاكرته في أي لحظة واحدة. وبينما يحاول الباحثون تغذية هذه الأنظمة بدفعات أكبر وأكبر من الصور لتحسين تعلمها، غالباً ما تمتلئ ذاكرة الحاسوب وتتعطل، تماماً مثل حقيبة ظهر تنفجر عندما تحاول حشو كتاب ثقيل آخر داخلها.
لقد طور باحث في جامعة تكساس في أوستن طريقة جديدة لتشغيل هذه الأنظمة التعليمية تتجنب هذا الانفجار في الذاكرة. نهجهم، الذي فُصل في دراسة نُشرت في سبتمبر 2026، يغير كيفية تعامل الحاسوب مع القائمة الضخمة من المقارنات المطلوبة لتعليم النظام. تقليدياً، لمقارنة مجموعة من الصور، يقوم الحاسوب بإنشاء شبكة ضخمة، حيث يحسب التشابه بين كل صورة وكل صورة أخرى في نفس الوقت. إذا كانت المجموعة تحتوي على أربعة آلاف صورة، فستتطلب هذه الشبكة ملايين العمليات الحسابية وكمية هائلة من الذاكرة لمجرد الاحتفاظ بالأرقام. وجد الباحث أنه بينما يحتاج الحاسوب إلى معرفة العلاقة الدقيقة بين الصور للتعلم، فإنه ليس بحاجة لإبقاء الشبكة بأكملها مرئية في الذاكرة دفعة واحدة. بدلاً من ذلك، صمم طريقة تعالج هذه المقارنات في كتل صغيرة يمكن إدارتها، من خلال تمرير البيانات عبر النظام بدلاً من تكديسها.
جوهر هذه الطريقة الجديدة هو تقنية تسمى "الاختيار الميزاني للسلبيات الصعبة" (budgeted hard negative selection). في عملية التعلم، ليست كل الاختلافات متساوية في الأهمية؛ فبعض الصور مختلفة بشكل واضح جداً عن الهدف لدرجة أن الحاسوب لا يتعلم منها شيئاً جديداً، وهذه هي "السلبيات السهلة". أما الصور الأخرى فهي مشابهة جداً ولكنها ليست متطابقة تماماً، وهذه هي "السلبيات الصعبة" التي تدفع عملية التعلم فعلياً. يركز النظام الجديد انتباهه على إيجاد هذه الأمثلة الصعبة والمفيدة مع تجاهل الأمثلة السهلة. وهو يفعل ذلك من خلال النظر إلى الصور في كتل صغيرة. وبينما يعالج كل كتلة، يحتفظ بقائمة جارية لأكثر الأمثلة صعوبة التي وجدها حتى الآن. وإذا وصلت كتلة جديدة من الصور ولم تكن أي منها أصعب من تلك الموجودة بالفعل في القائمة، فإن النظام ببساطة يتخطى عمل الفرز والتخزين. هذا يشبه أمين مكتبة، عندما يفحص كتباً جديدة مقابل قائمة بأكثر الكتب شعبية، لا يتوقف إلا لتحديث القائمة إذا كان الكتاب الجديد أكثر شعبية من الكتاب الأقل شعبية الحالي في القائمة؛ وإلا فإنه يلقي نظرة خاطفة على الكتاب ويضعه جانباً.
باستاستخدام نهج التدفق هذا، تمكن الباحث من تقليل الذاكرة المطلوبة لتدريب هذه النماذج بشكل كبير. في اختباراتهم، استخدموا بطاقة رسومات قوية بسعة 80 جيجابايت من الذاكرة. الطريقة القياسية لتدريب هذه النماذج نفدت منها الذاكرة عندما وصل حجم الدفعة إلى 4,096 صورة. ومع ذلك، نجحت الطريقة الجديدة في تدريب دفعات مكونة من 8,192 صورة باستخدام نفس الأجهزة. انخفض استخدام الذاكرة لبيانات المقارنة من النمو التربيعي، حيث يؤدي مضاعفة الصور إلى مضاعفة الذاكرة المطلة أربع مرات، إلى النمو الخطي، حيث تؤدي مضاعفة الصور إلى مضاعفة الذاكرة مرتين فقط. سمح هذا للنظام بالتعامل مع ضعف عدد الأمثلة في وقت واحد دون تعطل. علاوة على ذلك، ومع تقدم التدريب، أصبح النظام أكثر كفاءة؛ فبحلول الجولة العاشرة من التدريب، تم تخطي ما يقرب من 90 بالمائة من المقارنات المحتملة لأن النظام وجد بالفعل أمثلة أفضل، مما وفر وقتاً كبيراً في المعالجة.
لجعل النظام أكثر رشاقة، دمج الباحث هذه الطريقة التدفقية مع أداتين أخريين للكفاءة. تستخدم إحدى الأدوات "طابوراً" (queue) لتخزين أمثلة من جولات التدريب السابقة، مما يسم يسمح للنظام بالتعلم من مجموعة متنوعة من الصور دون الحاجة إلى إبقائها جميعاً في الذاكرة النشطة. أما الأداة الأخرى، والمعروفة باسم "التكيف منخفض الرتبة" (low-rank adaptation)، فتغير كيفية تحديث الحاسوب لمعرفته الداخلية؛ فبدلاً من إعادة كتابة "الدماغ" الضخم للنموذج بالكامل، فإنه يعدل فقط مجموعة صغيرة ومتخصصة من المعلمات. سمح هذا المزيج للباحث بتدريب نموذج رؤية معقد على بطاقة رسومات واحدة بآثار ذاكرة منخفضة تصل إلى 6.1 جيجابايت لأكبر أحجام الدفعات المختبرة. وتؤكد الدراسة أن هذا النهج لا يضحي بجودة التعلم؛ إذ لا تزال النماذج المدربة بهذه الطريقة تنتج تمثيلات عالية الجودة تؤدي بشكل جيد في مهام التعرف على الصور القياسية.
يؤكد الباحث أن طريقته لا تتخطى العمليات الرياضية الفعلية لمقارنة الصور؛ فهي لا تزال تحسب التشابه الدقيق بين كل زوج لضمان الدقة. الابتكار يكمن بالكامل في كيفية تخزين تلك البيانات وإدارتها. ومن خلال رفض تجسيد الشبكة الكاملة والضخمة للمقارنات، ومعالجة البيانات بدلاً من ذلك في تدفق مستمر، فقد أزال عقبة رئيسية في تدريب أنظمة الرؤية واسعة النطاق. يوفر هذا العمل أساساً عملياً لتدريب نماذج أكثر ذكاءً وقدرة باستخدام الأجهزة الحالية، مما يثبت أن الكفاءة يمكن تحقيقها ليس من خلال اختصار زوايا عملية التعلم، بل من خلال تنظيم سير العمل بشكل أكثر ذكاءً. وتشير النتائج إلى أن حدود تدريب الذكاء الاصطناعي غالباً ما تحددها كيفية إدارتنا لمواردنا، وليس فقط القوة الخام لآلاتنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.