More Accurate, Less Human: Gestalt Grouping in Vision Models

ملخص تقني: أكثر دقة، أقل بشرية: التجميع الجشطالتي في نماذج الرؤية

بيان المشكلة
تُستخدم نماذج الرؤية واللغة (VLMs) بشكل متزايد في مسارات التصور البياني لتفسير المخططات، وتقييم التصاميم، والعمل كبدائل للمشاهدين البشر. وبينما تُظهر هذه الأنظمة دقة عالية في معايير إنجاز المهام، إلا أنه لم يتم التحقق مما إذا كانت تنظم المعلومات البصرية وفقاً للانتظامات الإدراكية ذاتها التي تحكم الرؤية البشرية. تركز التقييمات التقليدية على قياس القدرة (مثل درجات الإلمام بالتصور البياني) لكنها تفشل في التمييز بين الإجابات الصحيحة المستمدة من التجميع الإدراكي الشبيه بالبشر، وتلك المستمدة من آليات مختلفة جوهرياً وغير بشرية. تجادل الورقة بأن الدقة العالية لا تثبت "التشابه مع البشر" في التنظيم الإدراكي، مما يستوجب التحول من مقاييس أداء المهام إلى المحاذاة السلوكية مع علم النفس المعرفي الراسخ.

المنهجية
قدم المؤلفون مجموعة تقييم سلوكية قائمة على علم نفس "الجشطالت" (Gestalt)، وتحديداً اختبار مبادئ الإغلاق (الاستكمال الإدراكي للهياكل غير المكتملة) والتشابه (التجميع بناءً على السمات المشتركة). وبدلاً من جمع بيانات بشرية جديدة، تعيد المنهجية استخدام المحفزات والبيانات السلوكية البشرية المنشورة من دراسات إدراكية سابقة كأهداف للتقييم.

تتكون مجموعة الاختبار من أربع مهام عبر مسارين (مخططات بيانية وضوابط الصور الطبيعية):

1. التعرف على الظل (الإغلاق): مهمة اختيار قسري من 16 خياراً على ظلال مملوءة حيث تمت إزالة الملمس والتفاصيل الداخلية. المرجع البشري هو الاستجابة النمطية لعشرة مراقبين.
2. التمييز بين العلامة واللون (التشابه): تحديد العنصر الشاذ بين العلامات بناءً على اللون، ويتم تسجيل الدرجة مقابل نواة إدراكية مستمدة من مصادر جماعية.
3. عدّ السلاسل اللونية (التشابه): عد السلاسل اللونية المتميزة في مخطط ما، ويتم تسجيل الدرجة مقابل نطاق السعة البشرية المنشور (6-12 فئة).
4. التمييز بين الأشياء (التشابه): تحديد العنصر الدلالي الشاذ في الصور الطبيعية، ويتم تسجيل الدرجة مقابل سقف الاختبار وإعادة الاختبار لمجموعة بيانات THINGS.

تُقيم الدراسة 45 نموذجاً عبر خمس عائلات تدريبية: المشفرات الخاضعة للإشراف، المشفرات ذاتية الإشراف، مشفرات الرؤية واللغة التباينية، نماذج الرؤية واللغة مفتوحة الأوزان، والنماذج التأسيسية المغلقة.

المقاييس
تقيس ثلاثة مقاييس تكميلية المحاذاة السلوكية:

• الاتفاق السلوكي ($B$): معدل مطابقة استجابة النموذج للهدف البشري (الخيار النمطي أو نطاق السعة). هذا يقيس "الشبه بالبشر"، وليس مجرد المهارة.
• اتساق الخطأ السلوكي ($\kappa$): مقيًاس لما إذا كان النموذج يرتكب أخطاءً في نفس العناصر التي يرتكب فيها البشر أخطاءهم، بما يتجاوز ما هو متوقع بالصدفة بالنظر إلى دقة كل منهما. ويتم مقارنة ذلك بسقف الاتساق بين البشر.
• تكرار الأثر السلوكي ($a(k)$): ما إذا كان ملف دقة النموذج عبر أعداد السلاسل المتغيرة يحاكي شكل منحنى السعة البشرية.

النتائج الرئيسية

• الانفصال بين الدقة والتشابه بالبشر: الدقة العالية في المعايير لا تضمن المحاذاة مع التنظيم الإدراكي البشري. غالباً ما تتبادل النماذج المراكز في التصنيفات اعتماداً على مهمة التجميع المحددة (على سبيل المثال، النموذج المتفوق في تشابه الألوان قد يكون متوسط الأداء في التجميع الدلالي).
• تباين اتساق الخطأ: بينما تجاوزت 34 من أصل 45 نموذجاً الدقة البشرية، حققت أربعة نماذج فقط اتساق الخطأ ($\kappa$) عند أو فوق السقف البشري-البشري. تظهر العديد من النماذج، بما في ذلك بعض النماذج التأسيسية المغلقة، دقة عالية ولكنها تفشل في تكرار الأنماط الخطأ البشرية.
• الخصائص الخاصة بالعائلة:
  • نماذج الرؤية واللغة مفتوحة الأوزان: أدت أداءً ضعيفاً بشكل عام، حيث فشلت معظمها في تجاوز حد التخمين الموضعي في المهام الدلالية، مما يشير إلى أن الإجابات المولدة لا تعكس قدرات التجميع الكامنة في أبراج الرؤية الخاصة بها.
  • النماذج التأسيسية المغلقة: أظهرت تحولاً على مستوى الكتلة نحو التجميع الشبيه بالبشر، حيث حققت عدة نماذج (مثل Claude-Opus-4.6) كلاً من الدقة فوق مستوى البشر واتساق الخطأ بمستوى البشر. ومع ذلك، فإن هذه المحاذاة ليست موحدة عبر هذه الفئة.
  • أهداف التدريب: نوع التجميع الذي يظهره النموذج يتتبع هدف التدريب الخاص به بدلاً من بنيته. أدى التدريب ذاتي الإشراف إلى التفوق في تشابه الألوان، بينما أدى التدريب التبايني للرؤية واللغة إلى التفوق في التجميع الدلالي والشكل.
• خصوصية المهمة: التجميع الشبيه بالبشر ليس سمة عالمية؛ فالنموذج الذي يتوافق مع البشر في مهمة ما قد يبتعد بشدة في مهمة أخرى.

الأهمية والادعاءات
تدعي الورقة أنها توفر مقياساً قابلاً لإعادة الاستخدام ومبنياً على النظرية لتدقيق نماذج الرؤية التي تدخل في مسارات التصور البياني. ومن خلال الاستفادة من بيانات الفيزياء النفسية الموجودة، تسمح المنهجية للباحثين بتحديد ما إذا كان النموذج "يرى" المخططات كما يراها الجمهور البشري دون إجراء دراسات مستخدم جديدة.

يؤكد المؤلفون ما يلي:

1. الأساس السلوكي قابل للقياس: من الممكن قياس ما إذا كانت النماذج تنظم المحتوى البصري عبر مبادئ "الجشطالت" البشرية.
2. الدقة غير كافية: تغفل المقاييس التقليدية الاختلافات الحرجة في التنظيم الإدراكي؛ إذ يمكن للنموذج أن يكون "أكثر دقة" ولكنه "أقل بشرية" في منطق التجميع الخاص به.
3. يتطلب التقييم فهرسة حسب المهمة: لا يوجد سجل واحد يضمن كون النموذج بديلاً بشرياً. يجب أن تكون عمليات التدقيق محددة بالمهمة (مثل تجميع العلامات مقابل التعرف على الأشكال) وبالعائلة التدريبية.
4. القيود الحالية: تركز الدراسة على العلامات والأشياء المعزولة (اللبنات الأساسية للمخططات) بدلاً من سياقات المخططات الكاملة (المحاور، وسيلة الإيضاح)، وتغطي فقط مبدأين من مبادئ الجشطالت (الإغلاق والتشابه).

تخلص الورقة إلى أنه بينما وصلت بعض النماذج التأسيسية المغلقة إلى مستوى من المحاذاة السلوكية يسمح لها بالعمل كبدائل بشرية لمهام محددة، فإن هذه القدرة تُكتسب من خلال وصفات تدريبية محددة وليس من خلال الحجم وحده، وهي تظل تعتمد على المهمة.