💻 computer science

One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework

تقدم هذه الورقة إطار عمل موحداً للوصف الصوري بنمط "التعلم الصفري" (zero-shot) ينتقل من تمثيلات الصور العالمية إلى نموذج قائم على الرقع (patch-centric)، مما يتيح توليد أوصاف لأي مناطق في الصورة دون الحاجة إلى إشراف على مستوى المنطقة عبر تجميع الميزات البصرية الكثيفة من النماذج الأساسية مثل DINO.

المؤلفون الأصليون: Lorenzo Bianchi, Giacomo Pacini, Fabio Carrara, Nicola Messina, Giuseppe Amato, Fabrizio Falchi

نُشر 2026-03-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lorenzo Bianchi, Giacomo Pacini, Fabio Carrara, Nicola Messina, Giuseppe Amato, Fabrizio Falchi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة فوتوغرافية ضخمة وعالية الدقة لشارع مدينة مزدحم.

الطريقة القديمة (نهج "الصورة الكاملة"):
تحاول نماذج الذكاء الاصطناعي التقليدية النظر إلى هذه الصورة ومحاولة وصف الشيء بأكمله دفعة واحدة. قد تقول: "شارع مزدحم بالسيارات والناس". إذا كنت تريد معرفة ما يحدث تحديداً في الزاوية العلوية اليسرى (كلب معين)، فسيتعين على الذكاء الاصطناعي القديم أن يخمن أو يرتبك لأنه تدرب على رؤية الصورة الكبيرة فقط. لتعليم الذكاء الاصطناعي وصف أجزاء محددة، كان على الباحثين سابقاً الحاجة إلى آلاف الصور حيث قام البشر برسم مربعات حول الأشياء وكتابة أوصاف لهذه المربعات فقط. هذا يشبه توظيف فريق من الفنانين لرسم خريطة لكل غرفة في المنزل قبل بناء المنزل نفسه. إنه أمر مكلف، بطيء، ويصعب توسيع نطاقه.

الطريقة الجديدة (نهج "باتشيونيير" - Patch-ioner):
يقدم هذا البحث إطار عمل جديد يسمى Patch-ioner (وهو تلاعب لفظي بين كلمتي "Patch" أي رقعة، و"Pioneer" أي رائد). بدلاً من النظر إلى الصورة ككتلة واحدة كبيرة، يقوم بتفكيك الصورة إلى مربعات صغيرة تشبه قطع الليغو تسمى رقع (patches).

إليك كيف يعمل الأمر، باستخدام بعض التشبيهات البسيطة:

1. تشبيه "الفسيفساء"

فكر في الصورة كأنها فسيفساء ضخمة مكونة من آلاف القطع الصغيرة.

الذكاء الاصطناعي القديم: ينظر إلى الفسيفساء بأكملها ويحاول تخمين القصة.
Patch-ioner: ينظر إلى قطعة واحدة فقط في كل مرة. يسأل: "ما هي هذه القطعة بالتحديد؟" ثم يسأل: "ما هي هذه المجموعة من القطع؟" ثم: "ما هو هذا الشكل الغريب المكون من قطع؟"

لأنه يعامل كل مربع صغير كـ "كلمة" في لغة بصرية، يمكنه وصف أي شيء: رقعة واحدة، كلب محدد، حديقة كاملة، أو حتى خط متعرج عشوائي رسمته باستخدام الفأرة.

2. "المترجم العالمي" (التعلم الصفري - Zero-Shot)

عادةً، لتعليم روبوت وصف جسم محدد (مثل "كلب من نوع جولدن ريتريفر")، تحتاج إلى إظهار 1000 صورة لهذه الكلاب مع تسميات توضيحية لها.
Patch-ioner هو متعلم "صفرى" (Zero-Shot). وهذا يعني أنه لم يُعرض عليه أي صور محددة للكلاب أو القطط أثناء تدريبه.

كيف؟ يستخدم "مترجماً عالمياً" (عقلاً مدرباً مسبقاً يسمى DINOv2). هذا العقل يعرف بالفعل شكل "الكلب" بلغته السرية الخاصة من الأنماط البصرية.
يقوم إطار العمل الجديد ببساطة بتعليم "كاتب" (مفكك رموز نصي) كيفية ترجمة تلك الأنماط البصرية إلى اللغة الإنجليزية. الكاتب يقرأ الكتب فقط (بيانات نصية)؛ وهو لا يرى أي صورة أثناء التدريب. إنه يتعلم أن النمط البصري لـ "الكلب" يتوافق مع كلمة "كلب".

3. "باني الليغو" (التجميع - Aggregation)

هذه هي الخدعة السحرية.

إذا أردت وصف رقعة واحدة، ينظر الذكاء الاصطعي إلى قطعة واحدة فقط.
إذا أردت وصف صورة كاملة، يقوم الذكاء الاصطناعي بجلب جميع القطع ودمجها معاً (المتوسط الحسابي).
إذا أردت وصف منطقة محددة (مثل سيارة)، فإنه يجلب فقط القطع التي تشكل تلك السيارة.
إذا أردت وصف أثر حركة الفأرة (الخط الذي رسمته بالفأرة)، فإنه يجلب القطع الموجودة تحت خطك.

الأمر يشبه امتلاك مجموعة "ليغو" حيث يمكنك بناء وصف لقطعة واحدة، أو قلعة كاملة، أو شكل عشوائي صنعته، وكل ذلك باستخدام نفس مجموعة التعليمات. لا تحتاج إلى بناء دليل تعليمات جديد لكل شكل جديد.

4. "الجسر" (سد الفجوة)

هناك مشكلة: العقل البصري (DINO) يتحدث لغة "بصرية"، والكاتب (المفكك النصي) يتحدث "الإنجليزية". إنهما في غرفتين مختلفتين.
يقوم Patch-ioner ببناء جسر بينهما.

الطريقة (أ) (بنك الذاكرة): يحتفظ الذكاء الاصطناعي بمكتبة ضخمة من الجمل الإنجليزية. عندما يرى نمطاً بصرياً، فإنه يجد أقرب جملة في المكتبة ويستخدمها كحجر زاوية لكتابة وصف جديد.
الطة (ب) (خدعة الضجيج): يتظاهر الذكاء الاصطناعي بأن الأنماط البصرية هي نصوص "مشوشة" قليلاً أثناء التدريب، مما يجبر الكاتب على تعلم كيفية فهم المدخلات غير المنتظمة.

لماذا يعد هذا أمراً هاماً؟

إنه مرن: يمكنك الإشارة إلى أي شيء في الصورة (مربع، دائرة، خربشة) والحصول على وصف له فوراً.
إنه غير مكلف: لا تحتاج إلى توظيف بشر لرسم مربعات وكتابة أوصاف لكل جسم. الذكاء الاصطناعي يعلم نفسه باستخدام النصوص فقط.
إنه سريع: يحتاج الذكاء الاصطناي للنظر إلى الصورة مرة واحدة فقط لاستخراج جميع "الرقع". بعد ذلك، يمكنه الإجابة عن أسئلة حول 100 جزء مختلف من تلك الصورة فوراً دون الحاجة للنظر إلى الصورة مرة أخرى.

باختاً:
كان الذكاء الاصطناعي السابق يشبه سائحاً يرى فقط أفق المدينة. أما إطار العمل الجديد هذا، فهو يشبه دليلاً محلياً يمكنه التركيز على نافذة محددة، أو زاوية شارع معينة، أو شخص بعينه، وإخبارك بما يفعلونه بالضبط، وكل ذلك دون الحاجة أبداً إلى خريطة رسمها إنسان مسبقاً. إنه يحول الصورة بأكملها إلى مكتبة مرنة وقابلة للبحث من القصص البصرية الصغيرة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework".

1. بيان المشكلة

تعمل نماذج وصف الصور التقليدية عادةً وفق نموذج مركزي عالمي للصورة (Global Image-Centric)، حيث يأخذ النموذج صورة كاملة كمدخل ويولد وصفاً واحداً يصف المشهد بأكمله. وبينما يعد هذا النهج فعالاً لوصف الصورة ككل، إلا أنه يعاني في وصف المستويات المناطقية (Region-level Captioning) (وصف أشياء أو مناطق محددة داخل الصورة) لعدة أسباب:

الاعتماد على البيانات: تعتمد طرق وصف المناطق الحالية (مثل: Dense Captioning أو Region-Set Captioning) بشكل كبير على بيانات مكلفة ومصنفة يدوياً تربط بين صناديق إحاطة (Bounding Boxes) أو مناطق محددة وبين نصوص حقيقية (Ground-truth). وهذا يحد من إمكانية التوسع.
قصور نماذج الـ Zero-Shot: تعتمد نماذج الوصف من نوع (Zero-shot) الحالية (مثل: DeCap وZeroCap) على تمثيلات عالمية من نماذج مثل CLIP. تفتقر هذه الميزات العالمية إلى التفاصيل المكانية الدقيقة اللازمة لوصف أي منطقة فرعية، أو رقعة (Patch)، أو مسار مستخدم بدقة.
الافتقار إلى المرونة: لا يوجد إطار عمل موحد يمكنه التعامل بسلاسة مع مهام الوصف التي تتراوح من بكسل واحد/رقعة واحدة إلى مسار ماوس معقد، أو صندوق إحاطة، أو مجموعة مناطق، أو الصورة بأكملها دون الحاجة إلى إعادة تدريب أو إشراف خاص بالمهمة.

2. المنهجية: إطار العمل المرتكز على الرقعة (Patch-Centric Framework)

يقترح المؤلفون تحولاً في النموذج من "من الصورة إلى الوصف" (Image-to-Caption) إلى "من الرقعة إلى الوصف" (Patch-to-Caption). الفكرة الجوهرية هي التعامل مع رقعات الصورة الفردية (الوحدات الذرية في بنيات Vision Transformer) كأدوات أساسية للوصف.

المكونات الأساسية

العمود الفقري لربط الرؤية واللغة (مجمد - Frozen):
- بدلاً من استخدام CLIP (الذي ينتج ميزات عالمية)، يستخدم إطار العمل أعمدة فقارية قادرة على توليد تمثيلات رقع دقيقة متوافقة لغوياً.
- النتيجة الرئيسية: حددت الورقة أن النماذج القائمة على DINOv2 (تحديداً Talk2DINO و DINO.txt) تتفوق على CLIP لهذه المهمة. توفر هذه النماذج ميزات غنية دلالياً وموضعية تتوافق جيداً مع النص، بينما تفتقر رموز الرقع (Patch Tokens) في CLIP القياسي إلى الدقة المكانية.
تجميع الرقع بدون بارامترات (Parameter-Free Patch Aggregation):
- يتم تعريف المناطق كمجموعات من الرقع (على سبيل المثال: صندوق إحاطة، مسار ماوس، أو الصورة بأكملها).
- يتم الحصول على تمثيل المنطقة ( $v_R$ ) عن طريق تجميع تضمينات (Embeddings) الرقع المكونة لها.
- يستخدم المؤلفون التجميع المتوسط (Mean Aggregation) (المتوسط البسيط) كاستراتيجية افتراضية. هذه عملية خالية من البارامترات، مما يعني عدم الحاجة لتدريب إضافي لتعلم كيفية دمج الرقع لمختلف أشكال المناطق.
مفكك الشفرة النصي بنظام Zero-Shot:
- يتم تدريب مفكك الشفرة (Decoder) حصرياً على البيانات النصية (بدون أزواج صورة-نص). يتعلم إعادة بناء الأوصاف من تضميناتها النصية.
- تخفيف فجوة النمط (Modality Gap Mitigation): نظراً لأن الميزات البصرية (من العمود الفقري المجمد) ومفكك الشفرة النصي يعملان في فضاءات فرعية مختلفة قليلاً، يستخدم إطار العمل استراتيجيات لسد هذه الفجوة:
  - الإسقاط القائم على الذاكرة (الخيار الأساسي): يتم إسقاط الميزات البصرية في فضاء التضمين النصي باستخدام مزيج خطي مرجح من "بنك ذاكرة" من التضمينات النصية (مستوحى من DeCap).
  - حقن الضجيج (Noise Injection): تدريب مفكك الشفرة باستخدام ضجيج غاوسي محقون في المدخلات لتحسين المتانة (مستوحى من CLOSE/CapDec).
  - جسر الانتشار (Diffusion Bridge): استخدام نموذج انتشار لتنقية الميزات البصرية نحو النمط النصي (Text Manifold).

سير العمل (Workflow)

الترميز (Encode): يتم تمرير صورة مدخلة عبر عمود فقري بصري مجمد لاستخراج شبكة من تضمينات الرقع.
الاختيار والتجميع (Select & Aggregate): بناءً على مدخلات المستخدم (مثل صندوق إحاطة أو مسار ماوس)، يتم اختيار الرقع المقابلة وتجميعها في تضمين منطقة واحد.
الإسقاط وفك التشفير (Project & Decode): يتم إسقاط تضمين المنطقة إلى الفضاء النصي (لتخفيف فجوة النمط) وتغذيته في مفكك الشفرة النصي فقط لتوليد الوصف النهائي.

3. المساهمات الرئيسية

إطار عمل موحد بنظام Zero-Shot: أول إطار عمل يوحد مهام الوصف المحلي (الرقعة/المسار) والوصف العالمي (الصورة) تحت بنية واحدة دون الحاجة لإشراف على مستوى المنطقة.
النموذج المرتكز على الرقعة (Patch-Centric Paradigm): يثبت أن التعامل مع الرقع كوحدات ذرية للوصف يسمح بوصف مرن لأي مناطق (رقعة واحدة، مجموعات غير متصلة، مسارات) ببساطة عن طريق تغيير منطق التجميع.
مهمة جديدة: وصف المسار (Trace Captioning): تقديم معيار جديد (Benchmark) حيث يتم تعريف المنطقة المراد وصفها بواسطة مسار ماوس (سلسلة من النقاط)، مما يتطلب من النموذج وصف المسار المحدد والأشياء التي تم عبورها.
تحليل العمود الفقري (Backbone Analysis): إثبات منهجي بأن الأعمدة الفقارية القائمة على DINOv2 (Talk2DINO) حاسمة للوصف الكثيف بنظام Zero-Shot، حيث تتفوق بشكل كبير على CLIP ومتغيراته بسبب ميزاتها الموضعية الدلالية الأفضل.
الكفاءة: يتطلب إطار العمل تمريرة أمامية واحدة (Single Forward Pass) فقط للعمود الفقري البصري لوصف مناطق متعددة في صورة واحدة، مما يجعله عالي الكفاءة للتطبيقات التفاعلية مقارنة بالطرق التي تعيد تشغيل المشفر لكل منطقة مقصوصة.

4. النتائج التجريبية

تم تقييم إطار العمل في أربع مهام: وصف المسار (Trace Captioning)، الوصف الكثيف (Dense Captioning)، وصف مجموعة المناطق (Region-Set Captioning)، ووصف الصورة القياسي (Image Captioning).

الأداء:
- المهام المحلية (المسار والكثافة): تفوق الطريقة المقترحة (Talk2DINO + Memory) بشكل كبير على جميع النماذج المرجعية، بما في ذلك أفضل نماذج وصف الصور بنظام Zero-Shot (مثل DeCap وViECap) والنماذج الخاضعة للإشراف على مستوى المنطقة (مثل AlphaCLIP وRegionCLIP). على سبيل المثال، في مهمة وصف المسار (COCO)، حققت درجة CIDEr بلغت 27.9 مقابل 24.3 لأفضل نموذج مرجعي تالٍ.
- وصف مجموعة المناطق: حققت نتائج رائدة (State-of-the-art)، متفوقة على المنافسين في نظام Zero-shot والأنظمة الخاضعة للإشراف على مستوى المنطقة.
- وصف الصورة: رغم أنها تأتي خلف بعض البنيات المخصصة للصور (مثل MERCap) بفارق بسيط، إلا أن النهج المرتكز على الرقع يظل منافساً، مما يثبت تعدد استخدامات إطار العمل.
التحليل النوعي: تظهر النتائج البصرية أن النماذج المرجعية القائمة على CLIP غالباً ما تفشل في تحديد أشياء محددة داخل المسار أو القص، حيث تهلوس بالسياق العالمي. بينما يحدد النموذج المرتكز على الرقع التفاصيل المحلية بدقة (مثلاً: "قط أسود يجلس على مقعد أسود" بدلاً من وصف عام مثل "شخص").
دراسات الاستئصال (Ablation Studies):
- العمود الفقري: تفوق Talk2DINO (المعتمد على DINOv2) باستمرار على CLIP وDenseCLIP وSigLIP2.
- التجميع: وُجد أن التجميع المتوسط البسيط كافٍ؛ حيث لم تقدم طرق التجميع المتعلمة سوى مكاسب طفيفة فقط عند توفر إشراف محدد على مستوى المنطقة.
- حجم مفكك الشفرة: لم يؤدِ زيادة حجم مفكك الشفرة (حتى 1.7 مليار بارامتر) إلى تحسين الأداء بل أدى أحياناً إلى تراجعه، مما يشير إلى أن مفكك شفرة مدمج (مثل GPT-2 small) يعد كافياً عندما يكون المشفر البصري قوياً.

5. الأهمية والأثر

القابلية للتوسع: من خلال إلغاء الحاجة إلى تسميات (Annotations) تربط بين المنطقة والنص، يجعل هذا النهج وصف المناطق متاحاً لأي مجال تتوفر فيه البيانات النصية فقط.
التفاعلية: القدرة على وصف مسارات الماوس التعسفية أو المناطق غير المتصلة تفتح آفاقاً لتطبيقات تفاعلية جديدة، مثل الاستكشاف الديناميكي للصور، وأدوات الوصول لذوي الإعاقة البصرية، والبحث البصري دقيق التفاصيل.
الكفاءة: بنية "التمريرة الأمامية الواحدة" تتفوق حسابياً في المهام الكثيفة (مثل وصف أكثر من 100 صندوق إحاطة في صورة واحدة) مقارنة باستراتيجيات القص وإعادة الترميز المستخدمة في النماذج اللغوية متعددة الوسائط الكبيرة (LMMs).
الربط بين المحلي والعالمي: نجح هذا العمل في سد الفجوة بين الفهم الدلالي المحلي (الذي هو تقليدياً مجال الكشف/التقسيم) ومهام التوليد اللغوي، مقدمًا حلاً موحداً للفهم البصري متعدد المستويات.

باختصار، "One Patch to Caption Them All" يعيد تعريف وصف الصور بنظام Zero-shot عبر الاستفادة من الدقة المكانية لبنيات الرؤية الحديثة ذات التعلم الذاتي (DINOv2) وآلية مرنة لتجميع الرقع، محققاً أداءً رائداً في مختلف مستويات الوصف دون الحاجة لإشراف مكلف.