💻 computer science

Active Prompt Learning with Vision-Language Model Priors

تقترح هذه الورقة إطار عمل لتعلم التلقين النشط كفء من حيث الميزانية لنماذج الرؤية واللغة، والذي يستخدم التجميع الموجه بالفئات والعتبات التكيفية لكل فئة لتحقيق دقة أعلى بعدد أقل من العينات المصنفة مقارنة بالنماذج المرجعية الحالية.

المؤلفون الأصليون: Hoyoung Kim, Seokhee Jin, Changhwan Sung, Jaechang Kim, Jungseul Ok

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hoyoung Kim, Seokhee Jin, Changhwan Sung, Jaechang Kim, Jungseul Ok

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة فائق الذكاء وكلي المعرفة يُدعى CLIP. لقد قرأ هذا الأمين كل كتاب في العالم ورأى كل صورة التُقطت على الإطلاق. وبسبب ذلك، إذا سألته: "أرني صورة لقطة"، يمكنه العثور على واحدة فوراً دون أن يتعلم أبداً كيف يبدو شكل القطة تحديداً. يُسمى هذا التعلم بـ "التعلم من محاولة واحدة" (Zero-shot learning).

ومع ذلك، هناك شرط: للحصول على أفضل النتائج، عليك طرح أسئلة محددة جداً (تسمى المطالبات/Prompts). إذا قلت: "صورة لقطة"، فقد يعمل الأمر بشكل مقبول. ولكن إذا قلت: "قطة رمادية من نوع تابي (Tabby) ذات فرو كثيف تجلس على حافة النافذة"، فسيعمل الأمر بشكل أفضل بكثير.

المشكلة هي أن العثور على السؤال المثالي لكل مهمة جديدة أمر صعب، ويستغرق وقتاً طويلاً، ومكلف. لا يمكنك ببساطة أن تطلب من أمين المكتبة قراءة كل كتاب في المكتبة ليتعلم؛ بل تحتاج إلى اختيار الكتب الصحيحة القليلة لتعليمه إياها بسرعة.

تقدم هذه الورقة البحثية طريقة اقتصادية لتعليم أمين المكتبة هذا باستخدام التعلم النشط للمطالبات (Active Prompt Learning). وإليك كيف يعمل ذلك، مقسماً إلى تشبيهات بسيطة:

1. المشكلة: "البداية الباردة" و"الميزانية المهدورة"

تخيل أنك معلم تحاول تعليم طالب جديد (الذكاء الاصطناعي) عن 100 نوع مختلف من الطيور. لديك ميزانية محدودة من 100 ملصق (بيانات مصنفة) لتعطيها للطالب كمكافآت على الإجابات الصحيحة.

الطريقة القديمة: معظم المعلمين يختارون ببساطة 100 طائر عشوائي من كومة ضخمة. قد يختارون 50 صورة لعصافير الدوري و0 صورة للنسور. سيصاب الطالب بالارتباك لأنه لم يرَ تنوعاً كافياً. أو قد يختارون 50 صورة لطيور يعرفها الطالب بالفعل بشكل مثالي، مما يؤدي لإهدار الملصقات.
الهدف: نريد اختيار الطيور الأكثر فائدة لتعليم الطالب، باستخدام أقل عدد ممكن من الملصقات، مع التأكد من تغطية جميع أنواع الطيور بالتساوي.

2. الحل: خدعة سحرية من خطوتين

يقترح المؤلفون إطار عمل يتضمن خدعتين رئيسيتين لحل هذه المشكلة:

الخدعة (أ): "الخريطة الموجهة بالفئات" (فرز أفضل)

عادةً، عندما نحاول فرز كومة من الصور المختلطة، فإننا ننظر فقط إلى الألوان والأشكال (ميزات الصورة). لكن أمين المكتبة (CLIP) يعرف أيضاً أسماء الأشياء (ميزات النص).

التشبيه: تخيل أن لديك كومة من الفاكهة المختلطة.
- الطريقة القديمة: تقوم بفرزها حسب اللون. قد تضع تفاحة حمراء وطماطم حمراء في نفس الكومة.
- الطريقة الجديدة (التجميع الموجه بالفئة): تسأل أمين المكتبة: "هل هذه تفاحة أم طماطم؟" وتستخدم معرفته للمساعدة في فرز الكومة.
- كيف تعمل: يقوم الذكاء الاصطناعي بدمج صورة الطائر مع الوصف النصي لما قد يكون عليه. هذا ينشئ "ميزة موجهة بالفئة". الآن، عندما يقوم الذكاء الاصطناعي بتجميع الطيور في مجموعات (Clusters)، فإنه لا يكتفي بتجميعها بناءً على "شكلها مثل العصفور"؛ بل يجمعها بناءً على "أنها في الواقع عصفور دوري".
- النتيجة: منذ اليوم الأول (الجولة 1)، يمكن للذكاء الاصطناعي اختيار مزيج مثالي ومتوازن من كل مجموعة، متجنباً مشكلة "البداية الباردة" حيث لا يملك أي فكرة عما يختاره.

الخدعة (ب): "فحص الثقة" (توفير المال)

بمجرد أن يختار الذكاء الاصطناعي مجموعة من الطيور ليعرضها على المعلم، فإنه لا يحتاج دائماً إلى تصنيف المعلم لها.

التشبيه: تخيل أن أمين المكتبة متأكد بنسبة 99% أن هذه الصورة لـ "طائر الجاي الأزرق" (Blue Jay). لماذا تدفع لإنسان ليؤكد ذلك؟
الطريقة القديمة: يدفع المعلم مقابل تسمية (Label) لكل صورة يختارها الذكاء الاصطناعي، حتى لو كان الذكاء الاصطناعي متأكداً تماماً. هذا يستنزف الميزانية بسرعة.
الطريقة الجديدة (الاستعلام الانتقائي): يتحقق الذكاء الاصطناعي من ثقته الخاصة.
- إذا كان الذكاء الاصطناعي غير متأكد (مثلاً: "هل هذا جاي أزرق أم جاي عادي؟")، فإنه يطلب الإجابة من المعلم البشري.
- إذا كان الذكاء الاصطناعي واثقاً جداً (مثلاً: "هذا بالتأكيد جاي أزرق!")، فإنه يعطي نفسه "تسمية زائفة" (تسمية وهمية يثق بها) ويوفر الملصق.
- اللمسة المميزة: الطيور المختلفة يصعب التمييز بينها. يتعلم الذكاء الاصطناعي أن "الطيور الزرقاء" سهلة، لكن "طيور الواربلر" صعبة. لذا، فإنه يضع قواعد ثقة مختلفة لكل نوع من الطيور. فهو يوفر المزيد من الملصقات للطيور السهلة وينفق المزيد على الطيور الصعبة.

3. النتيجة: تعلم أذكى، تكلفة أقل

باستخدام هاتين الخدعتين، يتعلم الذكاء الاصطناعي بشكل أسرع وأكثر دقة من الطرق السابقة.

الكفاءة: يحقق نفس الدقة العالية التي تحققها الطرق الأخرى ولكنه يستخدم أقل بنسبة 17.6% من الأمثلة المصنفة (الملصقات).
العدالة: يضمن حصول كل نوع من الطيور على اهتمام متساوٍ، مما يمنع الذكاء الاصطناعي من التعلم فقط عن الطيور "الشائعة".
القابلية للتوسع: يعمل حتى على مجموعات البيانات الضخمة (مثل ImageNet التي تحتوي على ملايين الصور) لأن طريقة الفرز خفيفة وسريعة.

الملخص

فكر في هذه الورقة البحثية على أنها مساعد تسوق ذكي لتدريب الذكاء الاصطناعي.

بدلاً من التقاط عناصر عشوائية من الرف بلا وعي، فإنه يستخدم خريطة ذكية (تجمع بين الصور والنصوص) لالتقاط المزيج الصحيح تماماً من العناصر التي تحتاجها.
بدلاً من سؤال المحاسب للتحقق من سعر كل عنصر، فإنه يتحقق من ملصق السعر بنفسه للعناصر التي هو متأكد منها، ولا يسأل المحاسب إلا في الحالات الصعبة.

هذا يوفر الوقت والمال والجهد، مما يسمح للذكاء الاصطناعي بأن يصبح خبيراً بشكل أسرع بكثير.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التعلم النشط للمطالبات باستخدام أولويات نماذج الرؤية واللغة" (Active Prompt Learning with Vision-Language Model Priors).

1. بيان المشكلة

أظهرت نماذج الرؤية واللغة (VLMs)، مثل CLIP، قدرات مذهلة في التعلم من الصفر (zero-shot) عبر مهام متنوعة. ومع ذلك، فإن تكييف هذه النماذج مع مهام محددة لاحقاً يعتمد عادةً على تعلم المطالبات (prompt learning)، حيث يتم تحسين مطالبات نصية قابلة للتعلم بينما تظل المشفرات (encoders) ثابتة.

العائق: تعتمد طرق تعلم المطالبات التقليدية على نهج "مركزي للنموذج" (model-centric)، حيث تركز على تحسين بنيات المطالبات أو دالات الخسارة بناءً على مجموعة صغيرة وثابتة من البيانات المصنفة (few-shot). وغالباً ما تتجاهل هذه الطرق إمكانات اختيار البيانات (data selection).
التحدي: في سيناريوهات التعلم النشط (AL)، يعد اختيار العينات الأكثر إفادة لتصنيفها أمراً بالغ الأهمية لكفاءة الميزانية. وتعاني طرق التعلم النشط الحالية لنماذج الرؤية واللغة من:
1. مشكلات البداية الباردة (Cold-start problems): نقص التقييم الموثوق للبيانات في الجولة الأولى بسبب عدم وجود بيانات مصنفة.
2. استخدام غير فعال للميزانية: الفشل في مراعاة حقيقة أن نماذج الرؤية واللغة قد تكون واثقة بالفعل في فئات معينة، مما يؤدي إلى عمليات تصنيف يدوي غير ضرورية.
3. الأولويات غير المتوازنة (Imbalanced priors): تمتلك نماذج الرؤية واللغة عدم توازن متأصل في المعرفة عبر الفئات المختلفة، وهو ما تفشل دوال الاستحواذ القياسية في معالجته بفعالية.

2. المنهجية

يقترح المؤلفون إطار عمل للتعلم النشط كفء للميزانية يستفيد من أولويات نماذج الرؤية واللغة من خلال مكونين رئيسيين: التجميع الموجه للفئة (Class-Guided Clustering) والاستعلام الانتقائي (Selective Querying).

أ. التجميع الموجه للفئة (آلية البداية الدافئة)

لحل مشكلة البداية الباردة وضمان تنوع اختيار البيانات منذ الجولة الأولى، قدم المؤلفون تمثيلاً للميزات يجمع بين المعلومات البصرية والنصية.

بناء الميزات: بالنسبة لصورة $x$ $x$ ، يقومون ببناء ميزة موجهة للفئة ( $F_C$ $F_{C}$ ) عن طريق دمج:
1. ميزات الصورة ( $I$ ): المستخرجة من مشفر الصور المدرب مسبقاً.
2. ميزات النص الموزونة ( $\tilde{T}_C$ ): مجموع موزون لتمثيلات النصوص لجميع الفئات، حيث يتم تحديد الأوزان بناءً على درجات الثقة (التشابه) في نموذج الرؤية واللغة لتلك الصورة.
  $F_C(x) = [I(x), \sum_{c \in \mathcal{C}} p(y=c|x) \cdot \theta_{txt}(t_c)]$
التجميع (Clustering): يتم إجراء تجميع $K$ -means على ميزات $F_C$ هذه.
الاستحواذ: في كل جولة، تختار الخوارزمية الصورة الأقرب إلى مركز كل مجموعة (centroid).
$K$ الديناميكية: لضمان التنوع مع نمو المجموعة المصنفة، يزداد عدد المجموعات $K$ خطياً مع رقم الجولة ( $K = B \times r$ )، مما يضمن استكشاف مناطق جديدة غير مصنفة في مساحة الميزات.
الميزة: بخلاف التجميع التقليدي القائم على الصور فقط، تقوم $F_C$ بمحاذاة مساحة الميزات مع مهمة التصنيف المستهدفة، مما يسمح باختيار "بداية دافئة" فعالة دون الحاجة لبيانات مصنفة أولية.

ب. الاستعلام الانتقائي (آلية توفير الميزانية)

لتقليل ميزانية التصنيف، يقترح المؤلفون استراتيجية لتخطي التوسيم اليدوي للعينات التي يمتلك فيها نموذج الرؤية واللغة ثقة عالية بالفعل.

عتبات تكيفية لكل فئة: بدلاً من استخدام عتبة عالمية، تحسب الطريقة عتبة ثقة ( $\epsilon_{r,c}$ ) لكل فئة $c$ بناءً على متوسط الثقة للعينات المصنفة سابقاً في تلك الفئة.
منطق الاستعلام:
- إذا تجاوزت ثقة عينة مرشحة لفئتها المتوقعة عتبة الثقة الخاصة بتلك الفئة $\epsilon_{r,c}$ ، يتم تعيين تسمية مستعارة (pseudo-label) (لا حاجة لتوسيم بشري).
- إذا كانت الثقة أقل من العتبة، يتم إرسال العينة إلى الموضحين البشريين للحصول على تسميات حقيقية (ground-truth).
المطالبات الموحدة: لمنع الإفراط في التخصيص (overfitting) وضمان الحصول على درجات ثقة موثوقة لعملية تحديد العتبة، يستخدم المؤلفون مطالبة موحدة (مشتركة عبر جميع الفئات) بدلاً من المطالبات الخاصة بكل فئة أثناء مرحلة تقدير الثقة.

ج. حلقة التدريب

يعمل إطار العمل عبر جولات:

استخراج الميزات الموجهة للفئة لمجموعة البيانات غير المصنفة.
إجراء التجميع واختيار المرشحين الممثلين.
تطبيق الاستعلام الانتقائي لتعيين التسميات المستعارة أو طلب التوسيم.
تدريب ناقلات المطالبات (prompt vectors) على مجموعة البيانات المتراكمة (مع إعادة تهيئة المطالبات في كل جولة لتجنب الانحياز).

3. المساهمات الرئيسية

إطار عمل كفء للميزانية: إطار عمل جديد للتعلم النشط مصمم خصيصاً لنماذج الرؤية واللغة، يستغل بالكامل الأولويات المدربة مسبقاً لكل من اختيار البيانات (التجميع) والحصول على التسميات (التسمية المستعارة).
الميزات الموجهة للفئة: تقديم مساحة ميزات هجينة (صورة + نص موزون) تتيح تجميعاً فعالاً منذ الجولة الأولى، مما يحل مشكلة البداية الباردة ويحسن الفصل بين المجموعات (تم التحقق من ذلك عبر T-SNE ومؤشر راند المعدل).
الاستعلام الانتقائي التكيفي: آلية لتوفير ميزانية التوسيم ديناميكياً من خلال الاستفادة من عتبات الثقة لكل فئة، مما يقلل الحاجة إلى التوسيم البشري دون التضحية بالدقة.
التآزر مع الطرق المركزية للنموذج: تعمل استراتيجية اختيار البيانات المقترحة كإضافة (plug-in) تعزز طرق تعلم المطالبات الحالية (مثل MaPle و PromptSRC) عند تطبيقها على مجموعات بيانات منسقة.

4. النتائج التجريبية

تم تقييم الطريقة على سبع مجموعات بيانات متنوعة (OxfordPets, FGVCAircraft, Caltech101, Flowers102, DTD, StanfordCars, EuroSAT) وعلى مجموعة بيانات ImageNet واسعة النطاق.

الأداء: تفوقت الطريقة المقترحة (CB+SQ) باستمرار على أفضل الطرق المرجعية (baselines)، بما في ذلك:
- أخذ العينات العشوائي (Random sampling).
- الطرق القائمة على عدم اليقين (Entropy).
- الطرق القائمة على التنوع (CoreSet, BADGE).
- التعلم النشط السابق الخاص بنماذج الرؤية واللغة (PCB).
الكفاءة:
- حققت دقة أعلى بـ عينات مصنفة أقل. على سبيل المثال، في الجولة الأولى، أظهرت زيادة في الأداء بنسبة 19.5% مقارنة بالطرق الأخرى.
- قللت إجمالي ميزانية التوسيم بنسبة تقارب 17.6% مع الحفاظ على دقة مماثلة أو متفوقة.
القابلية للتوسع: نجحت في التوسع إلى ImageNet (1.28 مليون صورة)، متجاوزة العقبات الحسابية التي حدت من الطرق السابقة مثل CoreSet و BADGE.
التعميم: أظهرت أداءً قوياً في سيناريوهات التعميم من "القاعدة إلى الجديد" (Base-to-Novel)، متفوقة على الاختيار العشوائي في الفئات الجديدة غير المرئية.
دراسات الاستئصال (Ablation Studies): أكدت أن:
- الميزات الموجهة للفئة تتفوق بشكل كبير على الميزات القائمة على الصور فقط.
- الاستعلام الانتقائي يكون أكثر فعالية عند اقترانه بالاستحواذ القائم على التنوع (مثل التجميع الخاص بهم) بدلاً من الطرق القائمة على عدم اليقين.
- المطالبات الموحدة توفر توزيعات ثقة أكثر موثوقية لعملية تحديد العتبة مقارنة بالمطالبات الخاصة بكل فئة.

5. الأهمية

تنقل هذه الورقة البحثية النموذج المعرفي في تكييف نماذج الرؤية واللغة من منظور مركزي للنموذذ (تحسين بنية المطالبة) إلى منظور مركزي للبيانات (تحسين أي بيانات تُستخدم لتدريب المطالبة).

الأثر العملي: تقدم حلاً عالي الكفاءة لنشر نماذج الرؤية واللغة في البيئات ذات الموارد المحدودة حيث يكون التوسيم البشري مكلفاً أو نادراً.
الرؤية النظرية: تثبت أن "المعرفة المسبقة" المضمنة في النماذج التأسيسية يمكن استغلالها صراحة ليس فقط للاستدلال، بل لتوجيه عملية الحصول على البيانات نفسها، مما يحول النموذج فعلياً إلى منسق ذكي لبيانات التدريب الخاصة به.
الاتجاه المستقبلي: يفتح هذا العمل آفاقاً لتوسيع استراتيجيات التعلم النشط المرتكزة على البيانات لتشمل مهام رؤية أخرى (الكشف، التجزئة) ونماذج تأسيسية أخرى تتجاوز CLIP.