The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark
يقدم KnotBench معياراً مرجعياً صارماً باستخدام ما يقرب من 860,000 مخطط للعقد لتوضيح أن النماذج اللغوية الرؤية الحالية، على الرغم من تحسن أدائها مع أوضاع "التفكير"، تعاني بشكل أساسي من صعوبة في ترجمة هياكل العقد البصرية إلى استدلال رمزي قابل للتنفيذ، وغالباً ما تفشل في التفوق على الخطوط المرجعية العشوائية في المهام التي تتطلب معالجة تخطيطية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا ذكيًا جدًا يمكنه النظر إلى صورة لخيط متشابك ووصفها بدقة مثالية. يمكنه أن يقول: "أرى حلقة حمراء تعبر فوق حلقة زرقاء، والتي تمر بعد ذلك تحت حلقة خضراء". لديه بصر ممتاز.
لكن هنا تكمن المشكلة: إذا طلبت من نفس الروبوت أن يفك تشابك الخيط، أو أن يخبرك ما إذا كانت صورتان مختلفتان لعقدة ما هما في الواقع نفس العقدة ولكن رُسمتا بشكل مختلف، فإنه يفشل تمامًا. يمكنه وصف العقدة، لكنه لا يستطيع "اللعب" بها في عقله.
هذه الورقة البحثية، التي تحمل عنوان "عقدة غورديان للنماذج اللغوية البصرية (VLMs)"، تقدم اختبارًا جديدًا يسمى KnotBench لإثبات مدى اتساع هذه الفجوة بين "الرؤية" و"الفعل" لدى نماذج الذكاء الاصطعي الحديثة.
الإعداد: حديقة عقد رقمية
أنشأ الباحثون حديقة ضخمة مكونة من 858,000 صورة لعقد.
- المصدر: بدأوا بـ 1,951 عقدة "نموذجية" أساسية (وهي أبسط اللبنات البنائية في نظرية العقد).
- السحر: استخدموا قاعدة رياضية (تسمى حركة رييدمايستر - Reidemeister move) لليّ، وتدوير، وإعادة رسم هذه العقد آلاف المرات.
- النتيجة: قد يكون لديك صورة لعقدة "تريفول" (trefoil) بسيطة بها 3 تقاطعات، وصورة أخرى لنفس العقدة تمامًا ولكن بها 20 تقاطعًا، وتبدو مختلفة تمامًا. أو قد تكون لديك صورتان تبدوان متطابقتين تقريبًا ولكنهما في الواقع عقدتان مختلفتان (مثل قفاز لليد اليسرى مقابل قفاز لليد اليمنى).
الكمبيوتر يعرف "الهوية الحقيقية" لكل عقدة لأنه أنشأها باستخدام الرياضيات، وليس بناءً على تخمين بشري. وهذا يجعل الاختبار عادلاً تمامًا.
الاختبار: 14 طريقة للوقوع في الفخ
طلب الباحثون من أربعة من أذكى نماذج الذكاء الاصطناعي المتاحة (بما في ذلك Claude Opus 4.7 و GPT-5) تنفيذ 14 مهمة مختلفة. وقسموا المهام إلى مجموعتين لمعرفة أين ينهار الذكاء الاصطناعي:
- مجموعة "الصورة": ينظر الذكاء الاصطناعي إلى صورة العقدة.
- مجموعة "النص": ينظر الذكاء الاصطناعي إلى قائمة من الأرقام والحروف (كود) تصف العقدة.
إليك ما طلبوا من الذكاء الاصطناعي فعله، باستخدام تشبيهات بسيطة:
اختبار "نفس الشيء أم مختلف؟" (المجموعة أ): "هل هاتان الصورتان لنفس العقدة؟"
- الفخ: أحيانًا تبدو الصور مختلفة تمامًا ولكنها هي نفس العقدة. وأحيانًا تبدو متطابقة تقريبًا ولكنها مختلفة.
- النتيجة: عندما تم تزويدهم بـ الكود النصي، كان الذكاء الاصطناعي بارعًا في هذا. أما عندما تم تزويدهم بـ الصورة، فقد كان يخمن عشوائيًا، مثل قردة ترمي السهام.
اختبار "ماذا حدث؟" (المجموعة ب): "لقد عرضتُ لك عقدة، ثم قمتُ بحركة واحدة صغيرة (مثل إضافة حلقة). أي حركة قمتُ بها؟"
- الفخ: يتطلب هذا من الذكاء الاصطناعي محاكاة الحركة ذهنيًا. "إذا سحبتُ هذا الخيط هنا، فكيف ستبدو الصورة؟"
- النتيجة: عندما تم تزويدهم بـ الكود النصي، استطاع الذكاء الاصطناعي اكتشاف الأمر. أما عند إعطائه الصورة، فقد فشل فشلًا ذريعًا. أحد النماذج (GPT-5) بدأ فقط بتخمين الإجابة الأكثر شيوعًا ("R3") مرارًا وتكرارًا، مثل طالب حفظ نموذج الإجابة لكنه لم يتعلم الرياضيات.
اختبار "العد" (المجموعة ج): "كم مرة تتقاطع الخيوط؟"
- النتيجة: استطاع الذكاء الاصطناعي عد 8 تقاطعات بسهولة. ولكن بمجرد أن تصبح العقدة معقدة (17 تقاطعًا فأكثر)، أصبح عدّ الذكاء الاصطناعي فوضويًا تمامًا. لم يستطع حتى عد العناصر التي ينظر إليها.
اختبار "المترجم" (المجموعة د): "إليك صورة. اكتب الكود السري لها."
- النتيجة: صفر. لم يستطع أي من النماذج القيام بذلك. لم يتمكنوا من ترجمة الصورة المرئية إلى الكود الرياضي، حتى مع تفعيل وضع "التفكير" لديهم.
الاكتشاف الكبير: "فجوة الإدراك والتشغيل"
تسمي الورقة البحثية نقطة الفشل بـ "فجوة الإدراك والتشغيل" (Perception-Operation Gap).
فكر في الأمر كالتالي:
- الإدراك (Perception) هو النظر إلى خريطة وقول: "أرى نهرًا وجسرًا".
- التشغيل (Operation) هو النظر إلى نفس الخريطة وقول: "إذا عبرتُ الجسر، فسأصل إلى الطرف الآخر".
نماذج الذكاء الاصطناعي مذهلة في الإدراك. يمكنها وصف العقدة. لكنها سيئة جدًا في التشغيل. لا يمكنها أخذ ما تراه والتلاعب به ذهنيًا لحل مشكلة.
هل يساعد "التفكير"؟
قام الباحثون بتفعيل "وضع التفكير" لدى الذكاء الاصطناعي (حيث يتحدث النموذج مع نفسه قبل الإجابة).
- هل ساعد؟ نعم، ولكن قليلاً.
- أين ساعد؟ فقط عندما تم تزويد الذكاء الاصطناعي بـ الكود النصي. إذا كان على الذكاء الاصطناعي النظر إلى صورة أولاً، فإن "التفكير" لم يحل المشكلة. إنه يشبه إعطاء آلة حاسبة لشخص لا يستطيع قراءة الأرقام على الشاشة؛ الآلة الحاسبة ستكون بلا فائدة.
الخاتمة
تخلص الورقة البحثية إلى أن نماذج الذكاء الاصطناعي الحالية تشبه المصورين الذين لا يستطيعون العمل كميكانيكيين. يمكنهم التقاط صورة مثالية لعقدة ووصف كل تفصيل فيها، لكنهم يفتقرون إلى "المحاكي الذهني" الذي يستخدمه البشر لليّ وتدوير الأشياء ذهنيًا لفهم كيفية عملها.
يمكنهم رؤية العقدة، لكن لا يمكنهم التفاعل معها. وإلى أن يبني الذكاء الاصطناعي هذا "المحاكي الذهني"، فسيظل أعمى عن منطق الرسوم التخطيطية، بغضًا عن عدد الصور التي يراها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.