🤖 machine learning

Structure over Pixels: Learning Variable-Length Visual Programs

تقدم الورقة البحثية STROP، وهو مرمز بصري منفصل يتعلم برامج بصرية متغيرة الطول لالتقاط التمثيلات الهيكلية للمشهد من خلال تحسين رأس طول مخصص عبر منهج تعليمي مكون من أربع مراحل تحت إشراف سمات عالية المستوى، مما يتجاوز إعادة بناء البكسلات لإعطاء الأولوية للهيكل التركيبي على حساب الملمس.

المؤلفون الأصليون: Piotr Wyrwiński, Kacper Dobek, Krzysztof Krawiec

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Piotr Wyrwiński, Kacper Dobek, Krzysztof Krawiec

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وصف مشهد معقد، مثل سوق شارع مزدحم، لصديق عبر رسالة نصية. لديك خياران:

الطريقة القديمة: ترسل صورة ضخمة غير معدلة. هي واضحة، لكنها تستغرق وقتاً طويلاً للتحميل ولا تخبر صديقك بماذا يجب أن يبحث.
الطريقة الجديدة (STROP): ترسل قائمة قصيرة ومتغيرة الطول من الكلمات المفتاحية. إذا كان المشهد مجرد سماء زرقاء صافية، ترسل كلمة واحدة: "سماء". وإذا كان سوقاً فوضوياً به 20 شخصاً، وأكشاك، وحيوانات، ترسل قائمة أطول: "كشك، تفاحة، كلب، طفل، قبعة..."

تقدم هذه الورقة البحثية STROP، وهي طريقة جديدة تجعل الحواسيب "تقرأ" الصور عن طريق تحويلها إلى هذه القوائم المتغيرة الطول من الكلمات المفتاحية (التي تسمى "برنامجاً بصرياً") بدلاً من مجرد ضغط البكسلات.

إليك كيف يعمل الأمر، باستخدام تشبيهات بسيطة:

1. المشكلة في "المجزئات" (Tokenizers) الحالية

تعمل معظم ضواغط الصور الحالية في الذكاء الاصطناعي مثل شبكة ثابتة الحجم. تخيل أن لديك صورة، ويقوم الكمبيوتر بفرضها داخل شبكة مكونة من 64 مربعاً.

إذا كانت الصورة عبارة عن جدار أبيض فارغ، سيظل الكمبيوتر يملأ جميع المربعات الـ 64 بكلمة "أبيض".
إذا كانت الصورة لملعب مزدحم، سيظل الكمبيوتر يمتلك 64 مربعاً فقط للعمل بها.
هذا يهدر المساحة في المناطق الفارغة، وينفد منه المكان في المناطق المعقدة. الأمر يشبه محاولة كتابة رواية على بطاقة بريدية؛ إما أن تترك تفاصيل مهمة أو تحشر كل شيء بشكل غير مقروء.

2. حل STROP: "نص ذكي"

يعامل STROP الصورة مثل نص أو وصفة يمكن أن تكون قصيرة أو طويلة اعتماداً على المشهد.

المولد (الكاتب): ينظر إلى الصورة ويقرر: "هذا المشهد بسيط؛ أحتاج فقط إلى 10 كلمات لوصفه". أو: "هذا المشهد فوضوي؛ أحتاج إلى 40 كلمة".
المفسر (القارئ): يأخذ تلك الكلمات ويعيد بناء فهم الصورة.
رأس الطول (Length Head): هذا جزء خاص من الذكاء الاصطناعي يعمل مثل المدير. ينظر إلى الصورة ويقول فوراً: "توقف عن الكتابة بعد الكلمة رقم 15"، أو "استمر حتى الكلمة رقم 40". إنه يتعلم مطابقة طول النص مع تعقيد المشهد.

3. كيف يتعلم: "منهج التدريب ذي المراحل الأربع"

لم يستيقظ الذكاء الاصطناعي وهو يعرف كيف يفعل ذلك تلقائياً. لقد علمه المؤلفون باستخدام معسكر تدريبي من أربع خطوات:

المرحلة 1 (القطع العشوائي): يُجبر الذكاء الاصطناٍ على كتابة نصوص بأطوال عشوائية. هذا يعلمه أن المعلومات الأكثر أهمية يجب أن تُكتب أولاً (في المقدمة)، تماماً مثل العنوان الجيد.
المرحلة 2 (الأوراكل/العراف): يكتشف الكمبيوتر سراً "الطول المثالي" لكل صورة عن طريق اختبار أطوال مختلفة ومعرفة أيها يعمل بشكل أفضل. هو لا يخبر الذكاء الاصطناعي بعد؛ بل يجمع الإجابات فقط.
المرحلة 3 (التعلم الخاضع للإشراف): الآن، يتم عرض "الإجابات المثالية" من المرحلة الثانية على "المدير" (رأس الطول) ليتعلم التنبؤ بها.
المرحلة 4 (التسليم): يبدأ الذكاء الاصطناعي في استخدام توقعاته الخاصة بدلاً من التوقعات العشوائية، ويتولى السيطرة الكاملة تدريجياً.

4. السر الخفي: "تقطير الميزات" (Feature Distillation)

معظم ضواغط الصور تحاول إعادة إنشاء البكسلات الدقيقة (الألوان والأنسجة) للصورة الأصلية. أما STROP فيتجاهل البكسلات.
بدلاً من ذلك، يحاول إعادة إنشاء "فهم" الصورة. يستخدم ذكاءً اصطناعياً مدرباً مسبقاً (يسمى DINOv3) وهو بارع جداً بالفعل في التعرف على الأشكال والأشياء.

التشبيه: تخيل أنك تؤدي اختباراً. بدلاً من محاولة حفظ نوع الخط ولون الحبر بالضبط في الكتاب المدرسي (البكسلات)، تحاول حفظ المفاهيم والمنطق الذي علمه لك المعلم (الميزات). يتعلم STROP كتابة "كلماته المفتاحية" بحيث عندما يقرأها معلم ذكي، يفهم المشهد تماماً، حتى لو لم تكن الألوان دقيقة تماماً.

5. ماذا وجدوا؟

التعقيد يطابق الطول: كلما زادت الأشياء والتفاصيل في الصورة، أصبح "البرنامج" (قائمة الرموز/Tokens) أطول. المشاهد البسيطة تحصل على قوائم قصيرة؛ والمشاهد المعقدة تحصل على قوائل طويلة.
الرموز هي "مقابض": إذا حذفت رمزاً معيناً من القائمة، يختفي جزء معين من الصورة أو يتغير. هذا يشير إلى أن كل رمز يعمل كـ "مقبض" لشيء أو مفهوم معين (على سبيل المثال، قد يتحكم رمز واحد في "الكلب"، وآخر في "الشجرة").
أفضل من المنافسين: عند اختباره في مهام الرؤية الحاسوبية القياسية (مثل إيجاد الأشياء أو تقسيم الصور)، حافظ STROP على معلومات أكثر فائدة من الطرق التكيفية الأخرى التي تحاول القيام بنفس الشيء.

6. القيود (الجانب السلبي)

الورقة البحثية صريحة بشأن ما لا يستطيع STROP فعله حتى الآن:

ليس قاموساً مباشراً: إذا نظرت إلى قائمة الرموز الخام (مثل "الرمز 42، الرمز 105")، لا يمكن لإنسان أو ذكاء اصطناعي قياسي قراءتها بسهولة. أنت بحاجة إلى "المفسر" لترجمة القائمة إلى شيء مفيد. إنه يشبه شفرة سرية لا يعرف كيفية فك تشفيرها إلا الآلة.
السمات غير دقيقة: بينما يجيد الذكاء الاصطناعي تحديد أين توجد الأشياء وكم عددها، فإنه يواجه صعوبة في ربط رموز معينة بسمات محددة مثل "أحمر" أو "معدني". العلاقة بين الكود واللون المحدد ليست واضحة تماماً بعد.

الملخص

STERO هو طريقة جديدة لتحويل الصور إلى قوائم متغيرة الطول من المفاهيم. بدلاً من فرض كل صورة داخل شبكة جامدة، فإنه يكتب "قصة" مخصصة لكل مشهد، مركزاً على بنية ومعنى الصورة بدلاً من مجرد ألوانها الخام. إنه يتعلم التوقف عن الكتابة عندما يتم وصف المشهد بالكامل، مما يوفر المساحة في الصور البسيطة ويستخدم مزيداً من التفاصيل للصور المعقدة.

ملخص تقني: الهيكل فوق البكسلات: تعلم البرامج المرئية متغيرة الطول

بيان المشكلة

تتفوق الشبكات العصبية العميقة الحالية في مهام الرؤية الحاسوبية، لكنها تنتج تمثيلات غالبًا ما تكون مسرفة، وموزعة، ويصعب فحصها أو التحقق من صحتها. توفر أجهزة الترميز المرئية المنفصلة (DVTs) مسارًا نحو الأوصاف الهيكلية للمشاهد عبر رسم خرائط للصور إلى تسلسلات مرتبة من الرموز المنفصلة، إلا أن النهج الحالية تعاني من قصورين رئيسيين:

طول البرنامج الثابت: تفرض معظم أجهزة الترميز المرئية المنفصلة (مثل VQ-VAE وVQGAN وأجهزة الترميز أحادية البعد الحديثة) شبكة مكانية ثابتة أو عددًا ثابتًا من الفتحات الكامنة لكل صورة. وهذا يفصل "ميزانية الرمز" عن التعقيد البصري الفعلي للمشهد، مما ينتهك مبادئ مثل "نصل أوكام" (Occam's razor) وطول الوصف الأدنى.
التركيز على البكسل في التدريب: يتم تدريب معظم أجهزة الترميز المرئية المنفصلة التقليدية عادةً باستخدام خسائر إعادة بناء على مستوى البكسل. هذا التركيز على الدقة غالبًا ما يجبر النموذج على إهدار السعة في التقاط الخصائص النسيجية منخفضة المستوى بدلاً من البنية الدلالية أو الهندسية عالية المستوى.

علاً على ذلك، فإن الطرق الحالية التي تسمح بالترميز متغير الطول تعتمد غالبًا على البحث اللاحق (post-hoc search)، أو التوجيه أثناء الاستدلال، أو مجموعات منفصلة من المعدلات المدربة مسبقًا، بدلاً من تعلم طول تسلسل مستمر لكل صورة مرتبط مباشرة بالنموذج ومحتوى المشهد.

المنهجية: STROP

يقترح المؤلفون STROP (الهيكل فوق الرموز - Structure over Tokens)، وهو بنية ترميز مرئي منفصل مصممة لتشكيل تمثيلات هيكلية للمشاهد مع تعلم الطول الأمثل للبرنامج المرئي للصورة في آن واحد.

البنية

تتكون STROP من خمس مراحل رئيسية:

المشفر المجمد (Frozen Encoder): يستخرج مشفر DINOv3 ViT المجمد ميزات مقسمة (patch-wise features) من الصورة المدخلة.
مولد البرنامج (Program Generator): يعالج محول (Transformer) يعمل بنظام المشفر فقط ميزات المقاطع الملحقة بتسلسل من رموز الاستعلام القابلة للتعلم، مما يضمن أن تستجيب رموز الاستعلام فقط للاستعلامات السابقة والميزات المصدرية، مولداً بذلك تسلسل برنامج خام $Z_p$ .
الكمية المتجهة (Vector Quantization): يتم إسقاط البرنامج الخام في فضاء منخفض الأبعاد وتكميمه مقابل كتاب رموز ثابت ( $|CB|=1024$ ) عبر البحث عن أقرب جار، مما ينتج رموزًا منفصلة.
رأس الطول (Length Head): يتنبأ نموذج MLP خفيف الوزن بطول البرنامج النشط ( $\hat{L}$ ) مباشرة من ميزات المشفر. وهذا يسمح للنموذج بتحديد مقدار التسلسل الذي يجب كشفه دون الحاجة إلى أخذ عينات تلقائية (autoregressive sampling).
المفسر (Interpreter): يقوم محول موازٍ (يعمل بنظام المشفر فقط) بتوسيع البرنامج المقتطع (البادئة بطول $\hat{L}$ ) مرة أخرى إلى شبكة ميزات مكانية. ثم تُمرر هذه الشبكة إلى فك تشفير تلافيفي (convolutional decoder).

هدف التدريب والمنهج التعليمي

على عكس أجهزة الترميز التقليدية، تتجاوز STROP خسائر إعادة البناء على مستوى البكسل لتشكيل كتاب الرموز؛ بدلاً من ذلك، تُشتق إشارة التدريب بأكملها من ميزات DINOv3 المجمعة عبر تقطير الميزات (feature distillation). تجمع دالة الخسارة بين المحاذاة الكامنة (تشابه جيب التمام وMSE مقابل ميزات المعلم)، وخسارة الالتزام (commitment loss)، ومنظم التنوع.

لتمكين الاقتطاع التكيفي، تستخدم STROPs منهجاً تعليمياً من أربع مراحل:

المرحلة 1 (الاقتطاع العشوائي): يتدرب النموذج على برامج مقتطعة عشوائيًا لإجبار المحتوى المعلوماتي على التواجد في مقدمة الرموز الأولى.
المرحلة 2 (تقدير الخبير/الأوراكل): يقوم النظام بتقدير الأطوال "الخبير" (oracle lengths) لكل عينة من خلال تحليل أخطاء إعادة البناء والمنحدرات المحلية لمنحنى معدل الاضطراب (rate-distortion curve).
المرحلة 3 (التدريب تحت الإشراف): يتم تدريب رأس الطول على التنبؤ بهذه الأهداف "الخبير" بينما يظل الاقتطاع عشوائيًا، مما يضمن تعلمًا مستقرًا.
المرحلة 4 (التسليم): يتم نشر رأس الطقل المدرب تدريجيًا للتحكم في الاقتطاع، والانتقال من الاقتطاع العشوائي إلى الأطوال المتنبأ بها ذاتيًا.

عند الاستدلال، يتنبأ رأس الطول بـ $\hat{L}$ ، ويتم اقتطاع البرنامج بشكل حاد عند هذا الطول قبل فك التشفير. يعمل فك التشفير البكسلي المنفصل كطبقة فحص فقط، مما يضمن تشكيل كتاب الرموز بالكامل بواسطة جودة التمثيلات الكامنة عالية المستوى.

المساهمات الرئيسية

تحدد الورقة أربع مساهمات ملموسة:

البرامج المرئية متغيرة الطول: تشرف STROP على طول البرنامج لكل صورة باستخدام مجسات معدل-اضطراب محلية ومنهج بادئة، مما يسمح لعدد الرموز بالنمو مع تعقيد المشهد.
ترميز بسيط (مولد-مفسر): تستخدم البنية محولين يعملان بنظام المشفر فقط مع استعلامات متعلمة لكتابة وقراءة رموز VQ مرتبة سببياً، بتوجيه من تقطير ميزات DINOv3.
مجسات البكسل بدون تدريب البكسل: من خلال استخدام فك تشفير بكسلي منفصل، تعامل الطريقة عمليات إعادة البناء كسطح فحص، مما يمنع تدرجات البكسل من تشكيل كتاب الرموز ويعطي الأولوية للجودة التمثيلية على الملمس.
تقييم التمثيل والبنية: يقدم المؤلفون تقييماً شاملاً للمفاضلة بين المعدل والجودة، وأداء التنبؤات الكثيفة اللاحقة، وأدلة على البنية التركيبية من خلال إعادة استخدام الرموز والتأسيس المكاني.

النتائج

المحاذاة الكامنة والضغط

تحقق STROPs محاذاة قوية مع ميزات DINOv3 المجمدة. في مجموعة بيانات COCO، يحقق متغير DINO-S/STROP-S تشابه جيب تمام قدره 0.855 و $R^2$ قدره 0.734. يضغط النموذج مصفوفات الميزات متغيرة الحجم في تسلسل متكيف من 64 رمزًا منفصلاً كحد أقصى، محققًا نسب ضغط في أسوأ الحالات تتراوح بين $\sim$ 4,900 $\times$ إلى $\sim$ 13,100 $\times$ اعتمادًا على العمود الفقري (backbone).

الأداء في المهام اللاحقة

عند استخدام تمثيلات STROF المجمدة لمهام لاحقة عبر المسح الخطي (linear probes):

التقسيم الدلالي (Semantic Segmentation): تتفوق STROP باستمرار على أجهزة الترميز التكيفية الجاهزة (FlexTok, One-D-Piece) في VOC وCOCO-Stuff-27 وADE20K. على سبيل المثال، يحقق التمثيل الكامن DINO-B/STROP-S قيمة 67.5 mIoU على VOC، متجاوزًا FlexTok (48.4 mIoU) بشكل كبير.
التصنيف متعدد الملصقات: تضاهي STROP أو تتفوق قليًا على معلم DINO المجمد وتتفوق على FlexTok بنحو 10 نقاط متوسط mAP في المتوسط.
تقدير العمق: تحافظ STROP على المحتوى ذي الصلة بالمهمة لتقدير العمق، رغم أنها تتخلف عن أقوى نماذج المعلم.

التحليل الهيكلي

الارتباط بالتعقيد: يرتبط طول البرنامج بقوة بتعقيد المشهد. في مجموعة بيانات CLEVR، يظهر طول البرنامج النشط ارتباط بيرسون قدره $r \approx 0.74$ مع عدد الأجسام الحقيقي.
البنية التركيبية: تكشف تشخيصات محو الرموز أن رموز البرنامج الفردية تعمل كـ "مقابض" متماسكة مكانيًا فوق المشهد. وتتوافق تآزرات الرمونات الزوجية مع المناطق الدلالية، مما يشير إلى ظهور قواعد لغوية مرئية متعلمة.
فك تشفير LLM: يمكن لنماذج اللغة الكبيرة المتطورة (Qwen3.5, DeepSeek-V3.1) فك تشفير التخطيطات المكانية الخشنة (عدد الأجسام ومواقعها) من تسلسلات الرموز، لكنها تفشل في ربط الرموز بسمات محددة (اللون، المادة) بشكل موثوق، مما يشير إلى أن كتاب الرموز يكشف عن التخطيط ولكنه لم يصل بعد إلى الربط الشفاف للسمات.

الأهمية والقيود

تزعم الورقة أن STROP تثبت أن البرامج المرئية متغيرة الطول يمكن تعلمها من البداية إلى النهاية دون بحث لاحق، مما يسمح بتكييف "ميزانية الرمز" مع تعقيد المشهد بفعالية. ومن خلال فصل التدريب عن إعادة بناء البكسل، يعطي النموذج الأولوية للدقة الهيكلية والدلالية، مما ينتج تمثيلات فعالة للغاية للمهام اللاحقة وتظهر علامات على البنية التركيبية.

ومع ذلك، يظل المؤلفون متواضعين بشأن الحالة الحالية للنظام:

فجوة القابلية للقراءة: تؤدي عمليات المسح المباشرة على الرموز الكمية الخام إلى نتائج أسوأ من المسح على المجال المفسر، مما يشترح أن البرنامج يُفضل النظر إليه كتمثيل وسيط "قابل للتنفيذ" وليس كميزة خطية جاهزة للاستخدام.
ربط السمات: لا يقوم كتاب الرموز بترميز السمات المنفصلة (اللون، المادة) بشكل موثوق لنماذج اللغة، مما يحد من فائدته كواجهة رمزية شفافة تمامًا.
خصوصية المهمة: بينما تتفوق STROP على النماذج المرجعية في معظم الاختبارات، إلا أنها تتخلف عن FlexTok في مجموعة بيانات Cityscapes، ويرجع ذلك على الأرج𝓱 likely إلى الطبيعة الكثيفة ودقيقة التفاصيل لمشاهد الشوارع التي قد تستفيد من فك التشفير المدرك للبكسل.

يضع هذا العمل STROP كخطوة نحو تمثيلات هيكلية مبدئية، مع اقتراح عمل مستقبلي لتوسيع سعة كتاب الرموز، وتطوير بروتوكولات مسح أصلية للبرنامج، ومواءمة هويات الرموز مع إشارات الشرح (captioning) لتحسين ربط السمات.