💻 computer science

Evaluating Generative Models via One-Dimensional Code Distributions

تقترح هذه الورقة إطار تقييم مبتكر للنماذج التوليدية يستبدل المقاييس التقليدية القائمة على الميزات المستمرة بمقاييس خالية من التدريب ولا تعتمد على مرجع وتعمل في فضاء الرموز البصرية المنفصلة، مما يظهر ارتباطاً فائقاً مع الأحكام البشرية عبر معيار قياس جديد واسع النطاق يسمى VisForm.

المؤلفون الأصليون: Zexi Jia, Pengcheng Luo, Yijia Zhong, Jinchao Zhang, Jie Zhou

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zexi Jia, Pengcheng Luo, Yijia Zhong, Jinchao Zhang, Jie Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك ناقد طعام تحاول تقييم طبخ مطعم جديد.

الطريقة القديمة (مقياس "FID"):
حالياً، يتم تقييم معظم مولدات الصور بالذكاء الاصطناعي باستخدام طريقة تسمى FID. فكر في هذا الأمر كأنه ناقد يتذوق فقط المكونات الرئيسية للطبق لكنه يتجاهل القوام، وطريقة التقديم، والتتبيل.

كيف تعمل: تأخذ صورة وتسأل حاسوباً ذكياً جداً (مدرب على التعرف على القطط والكلاب والسيارات) ليصف "جوهر" الصورة.
المشكلة: لأن هذا الحاسوب مدرب على تجاهل التفاصيل الصغيرة (مثل ما إذا كان فراء القط ناعماً أو شائكاً) لكي يتعرف على الحيوان بسرعة، فإنه يفتقد "فن" الصورة. قد يعتقد أن صورة قطة ضبابية وذات ملمس غريب هي بجودة صورة أخرى واضحة وجميلة، لأنه بالنسبة للحاسوب، كلتاهما تقولان ببساطة "قطة". الأمر يشبه الحكم على لوحة بناءً على موضوعها فقط، وتجاهل ما إذا كانت ضربات الفرشاة فوضوية أم جميلة.

الفكرة الجديدة (نهج "الرمز" - Token):
يقول مؤلفو هذه الورقة البحثية: "دعونا نتوقف عن النظر إلى 'الجوهر' ونبدأ في النظر إلى 'لبنات البناء'".

التشبيه: تخيل أن كل صورة هي جملة مكتوبة بلغة سرية. بدلاً من النظر إلى معنى الجملة (السمة الدلالية)، سنقوم بعدّ الحروف والكلمات المستخدمة.
التحول: يستخدمون أداة خاصة (المُجزئ - tokenizer) تقوم بتفكيك الصورة إلى تسلسل من "الأكواد" أو "الرموز" الصغيرة المنفصلة. فكر في هذه الرموز كقطع "ليغو" (LEGO). الصورة المثالية تُبنى بنمط محدد ومتوقع للغاية من هذه القطع. أما صورة الذكاء الاصطناعي السيئة، فقد تستخدم الأنواع الصحيحة من القطع (قطعة زرقاء للسماء، قطعة خضراء للعشب) ولكن يتم لصقها معاً بطريقة غير منطقية، أو يوجد بها الكثير من القطع العشوائية والغريبة المختلطة.

الأداتان الجديدتان:

CHD (فحص "القواعد النحوية"):
- ماذا تفعل: هذه الأداة تتحقق مما إذا كان الذكاء الاصطناعي يستخدم "المفردات" و"القواعد" الصحيحة.
- التشبيه: تخيل أن الذكاء الاصطناعي يكتب قصة. أداة CHD تتحقق من شيئين:
  - المفردات (1D): هل استخدم الكلمات الصحيحة؟ (مثلاً: هل استخدم "سماء" و"شجرة" بدلاً من "محمصة خبز" و"حذاء"؟)
  - القواعد (2D): هل وضع الكلمات في الترتيب الصحيح؟ (مثلاً: "الشجرة في السماء" هي جملة خاطئة نحوياً، تماماً كما أن وجود شجرة عائمة في الهواء هو أمر خاطئ بصرياً).
- لماذا هي رائعة: هي لا تحتاج لأن تُعلّم ما هو "الجيد". هي تعرف فقط أن الطبيعة تتبع أنماطاً معينة، وإذا كسر الذكاء الاصطناعي تلك الأنماط، تنخفض الدرجة.
CMMS (اختبار "الإجهاد"):
- ماذا تفعل: تقوم هذه الأداة بتقييم صورة واحدة لمعرفة مدى "فسادها"، دون الحاجة إلى مقارنتها بأصل مثالي.
- التشبيه: تخيل معلماً يريد اختبار قدرة الطالب على رصد الأخطاء. بدلاً من عرض مقال مثالي للطالب، يأخذ المعلم مقالاً مثالياً ويتعمد إفساده (يخلط الكلمات، يضيف أخطاء مطبعية، يطمس الجمل). ثم يقوم بتدريب ذكاء اصطناعي للبحث في هذه النسخ المشوهة وقول: "هذا الجزء سيء بنسبة 80%، وهذا الجزء سيء بنسبة 20%".
- النتيجة: بمجرد التدريب، يمكن لهذا الذكاء الاصطناعي النظر إلى صورة جديدة صنعها روبوت والقول فوراً: "هذا يبدو مصنوعاً بيد بشرية بنسبة 90%"، أو "هذا يبدو كفوضى تقنية مليئة بالأخطاء"، وذلك بمجرد رصد "الأخطاء المطبعية" في الكود البصري.

الاختبار الكبير (VisForm):
لإثبات فعالية أدواتهم، لم يكتفِ المؤلفون باختبارهم على صور الكلاب والقطط فقط. بل بنوا مكتبة ضخمة تسمى VisForm.

التشبيه: بدلاً من اختبار الناقد على الطعام الإيطالي فقط، قاموا بإطعامه السوشي، والبيتزا، والتاكو، والفن التجريدي.
النطاق: اختبروا 210,000 صورة عبر 62 نمطاً مختلفاً (من المخططات الطبية إلى الأنمي إلى اللوحات الزيتية) و12 نموذجاً مختلفاً للذكاء الاصطناعي.
النتيجة: نجحت طريقتهم الجديدة القائمة على "عد قطع الليغو" في مطابقة آراء البشر بشكل أفضل بكثير من طريقة "تذوق المكونات" القديمة، حتى في الصور الغريبة أو الفنية حيث فشلت الطرق القديمة.

باختصار:
كانت الطريقة القديمة في تقييم فن الذكاء الاصطناعي تشبه الحكم على كتاب من خلال عنوانه فقط. تقترح هذه الورقة البحثية الجديدة أنه يجب علينا قراءة الجمل، وفحص القواعد، وعدّ الحروف. فمن خلال النظر إلى لبنات البناء الصغيرة والمنفصلة للصورة بدلاً من "معناها" رفيع المستوى، استطاعوا ابتكار مسطرة تقيس بالفعل ما يهتم به البشر: الجودة، والقوام، والتماسك.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقييم النماذج التوليدية عبر توزيعات الأكواد أحادية البعد".

1. بيان المشكلة

تعتمد مقاييس التقييم الحالية للنماذج التوليدية (مثل GANs ونماذج الانتشار - Diffusion Models) بشكل كبير على مقاييس توزيع الميزات (feature-distribution metrics) مثل مسافة فريدشيهت لإنسبشن (FID). تعمل هذه الطرق على ميزات التعرف المستمرة (مثل Inception-V3 أو CLIP أو DINO) التي تم تدريبها صراحة لتكون غير متأثرة بالتغيرات في المظهر (النسيج، الأسلوب، الحدة) للمساعدة في التعرف الدلالي.

القيود الرئيسية المحددة:

فقدان الإشارات الإدراكية: من خلال ضغط الصور في نواقل ميزات (feature vectors) مفردة وافتراض توزيعات غاوسية (Gaussian)، تتجاهل هذه المقاييس الهياكل المكانية الحرجة وإشارات التماسك المحلي الضرورية للكشف عن العيوب (artifacts).
ارتباط ضعيف بالإدراك البشري: غالبًا ما تفشل هذه المقاييس في الارتباط بالأحكام البشرية، لا سيما في البيانات غير الغاوسية (مثل الأساليب الفنية، الصور الطبية) أو عند وجود عيوب دقيقة.
الاعتماد على الملصقات البشرية: تتطلب المقاييس المتعلمة التي تتماشى بشكل أفضل مع البشر (مثل HPS وPickScore) مجموعات بيانات ضخمة ومكلفة من التفضيلات البشرية، وتعاني من انزياح النطاق (domain shifts) عند تطبيقها على أساليب جديدة.

يجادل المؤلفون بأن المشكلة الجوهرية تكمن في التقييم في فضاء ميزات التعرف المستمرة بدلاً من فضاء الرموز البصرية المنفصلة (discrete visual tokens)، والتي تشفر طبيعيًا كلاً من المحتوى الدلالي والتفاصيل الإدراكية.

2. المنهجية

تقترح الورقة تحولًا جذريًا في النموذج لتقييم النماذج التوليدية باستخدام تسلسلات الرموز المنفصلة أحادية البعد (1D token sequences) الناتجة عن أدوات الترميز البصرية الحديثة (تحديدًا نموذج TiTok المعاد تدريبه). يعامل هذا النهج إحصاءات الرموز كمنطاق تقييم أساسي.

أ. المكونات الأساسية

المُرمِّز (Tokenizer): أعاد المؤلفون تدريب TiTok على مجموعة بيانات ضخمة وغير متجانسة (DataComp) لإنشاء مُرمِّز أحادي البعد يربط صور $256 \times 256$ بتسلسل مضغوط مكون من 128 رمزًا منفصلاً من قاموس (codebook) بحجم 4,096. يلتقط هذا المُرمِّز كلاً من المحتوى الدلالي والتفاصيل الإدراكية (الضبابية، الإضاءة، الحدة).
المقياس 1: مسافة هيستوغرام قاموس الأكواد (CHD)
- النوع: مقياس يعتمد على التوزيع ولا يتطلب تدريبًا.
- الآلية: يقارن بين إحصاءات الرموز التجريبية للصور الحقيقية مقابل المولدة باستخدام مسافة هيلينجر (Hellinger distance).
- المكونات:
  - CHD-1D (Unigram): يقيس تكرار الرموز الفردية (استخدام المفردات البصرية).
  - CHD-2D (Co-occurrence): يقيس الاحتمال المشترك للرموز المتجاورة في شبكات مكانية ثنائية الأبعاد (الـ "قواعد" المحلية والتماسك الهيكلي).
- المخرج: درجة مركبة (متوسط مسافات 1D و2D) تشير إلى دقة التوزيع دون افتراضات غاوسية.
المقياس 2: درجة نموذج خليط الأكواد (CMMS)
- النوع: مقياس جودة لا يحتاج إلى مرجع (no-reference)، وهو نموذج متعلم.
- الآلية: مُنظم (regressor) خفيف الوزن (Transformer + MLP) يتنبأ بدرجة الجودة مباشرة من تسلسلات الرموز.
- استراتيجية التدريب (التعلم الذاتي): بدلاً من استخدام الملصقات البشرية، يتم تدريب النموذج على التدهورات الاصطناعية للصور الطبيعية.
  - فساد الرموز (Token Corruption): حقن رموز عشوائية موحدة لمحاكاة الضوضاء المحلية أو الأعطال التقنية.
  - تبديل الشظايا الدلالية (Semantic Fragment Swapping): تبديل كتل الرموز لمحاكاة الأخطاء الهيكلية (مثل الأطراف المكسورة).
  - التعزيز في فضاء البكسل (Pixel-Space Augmentation): تطبيق تشوهات قياسية (الضبابية، ضغط JPEG، الضوضاء) قبل عملية الترميز.
- الهدف: يتعلم النموذج ربط شدة هذه التدهورات الاصطناعية بدرجة جودة مستمرة باستخدام دالة اضمحلال أسي ( $q(p) = e^{-20p}$ )، مما يحاكي الحساسية البشرية لانخفاض الجودة.

ب. معيار VisForm

لاختبار هذه المقاييس بصرامة تحت انزياحات التوزيع الواسعة، قدم المؤلفون VisForm:

النطاق: 210,000 صورة.
التنوع: يغطي 62 شكلًا بصريًا (صور واقعية، أنمي، رندرة ثلاثية الأبعاد، صور طبية، رسوم بيانية علمية، إلخ) و 12 نموذجًا توليديًا.
التعليقات (Annotations): تم تقييمها من قبل خبراء على 14 بُعدًا إدراكيًا (مثل التركيب، طبيعة النسيج، شدة العيوب) مع اتفاق عالٍ بين المعلقين.

3. المساهمات الرئيسية

نموذج الرموز المنفصلة: يقترح الانتقال من تقييم ميزات التعرف المستمرة إلى إحصاءات القاموس المهيكلة، بحجة أن ترددات الرموز وتواجدها المشترك يوفران أساسًا أكثر دقة لتقييم كل من الدلالات والجودة الإدراكية.
مقياسان جديدان:
- CHD: مقياس لا يتطلب تدريبًا، وحساس لكل من التحولات الدلالية والتغيرات الأسلوبية عبر هيستوغرامات الرموز.
- CMMS: مقياس لا يحتاج إلى مرجع ويحقق ارتباطًا قويًا مع الحكم البشري دون الحاجة لبيانات تفضيل بشرية للتدريب، بالاعتماد بدلاً من ذلك على الإشراف عبر التدهور الاصطناعي.
معيار VisForm: معيار واسع النطاق ومتنوع يسمح بتقييم شامل عبر المجالات المختلفة، مما يعالج نقص قواعد البيانات التي تغطي المجالات غير الواقعية والخاصة.

4. النتائج التجريبية

قيم المؤلفون CHD و CMMS مقابل خطوط الأساس المتطورة (FID, KID, CLIP-FID, DINO-FID, MUSIQ, CLIP-IQA, DEQA, إلخ) على AGIQA و HPDv2 و HPDv3 و VisForm.

الارتباط مع الأحكام البشرية:
- حقق CHD ارتباطات Spearman بلغت 0.829 (AGIQA) و 0.867 (HPDv3)، متفوقًا بشكل ملحوظ على المقاييس المعتمدة على التوزيع مثل FID (0.771/0.648) والطرق المعتمدة على النواة (kernel-based).
- حقق CMMS ارتباطات أعلى: 0.943 (AGIQA) و 0.872 (HPDv3)، متجاوزًا جميع نماذج IQA المتعلمة.
التنبؤ بالتفضيل الزوجي (Pairwise Preference):
- حقق CMMS أعلى دقة عبر جميع المعايير (على سبيل المثال، 71.5% في AGIQA، و 74.9% في HPDv2)، متفوقًا على نماذج مثل DEQA و Q-Align.
المتانة والتعميم:
- في VisForm، حافظ CHD و CMMS على ارتباطات عالية عبر مجالات متنوعة (بما في ذلك الطب والفن التجريدي)، بينما أظهرت المقايسة التقليدية (مثل FID) انخفاضًا كبيرًا في الأداء في المجالات غير الواقعية.
كفاءة العينات:
- يستقر CHD مع ~1,000 صورة فقط، بينما يتطلب FID أكثر من 10,000 عينة للوصول إلى حالة الاستقرار، مما يجعل CHD أكثر كفاءة لتقييم النماذج المكلفة.
دراسات الاستئصال (Ablation Studies):
- أكدت أن المُرمِّزات أحادية البعد (TiTok) تتفوق على المُرمِّزات ثنائية الأبعاد (VQ-VAE).
- أظهرت أن الجمع بين إحصاءات Unigram و 2D co-occurrence أمر بالغ الأهمية لـ CHD.
- أثبتت أن رسم خرائط الجودة الأسي والدمج بين التدهورات الاصطناعية هو الأمثل لـ CMMS.

5. الأهمية

تعيد هذه الورقة التفكير بشكل جوهري في كيفية تقييم النماذج التوليدية. من خلال الاستفادة من فضاء الرموز المنفصلة، يثبت المؤلفون أن:

الجودة الإدراكية قابلة للقياس كميًا عبر الإحصاءات: تظهر العيوب ومشكلات الجودة كاختلافات يمكن التنبؤ بها في إحصاءات الرموز (الاعتلاج/Entropy، التواجد المشترك) وليس فقط كمسافات في ناقل الميزات.
لا يتطلب تدريبًا وقابل للتوسع: لا يتطلب CHD أي تدريب، ولا يتطلب CMMS سوى بيانات اصطناعية، مما يزيل عقبة التقييم البشري المكلف.
مستقل عن المجال: هذا النهج قوي عبر مختلف الأساليب البصرية (من الصور الفوتوغرافية إلى الرسوم الطبية)، مما يحل مشكلة "انزياح النطاق" التي تعاني منها المقاييس الحالية.

تضع هذه الورقة إطارًا موحدًا لتقييم الجودة المتوافق إدراكيًا، وتصدر جميع الأكواد والنماذج ومعيار VisForm لتسهيل الأبحاث المستقبلية في تقييم الذكاء الاصطناوي التوليدي.