GEB-Bench: Abstract Structures Told in Many Voices

اختبار مغير الشكل العظيم

تخيل أنك تنظر إلى دلتا نهر وهي تتفرع في المحيط. الآن، تخيل أنك تنظر إلى صاعقة برق متعرجة تضرب السماء. بالنسبة للإنسان، يبدو هذان الشيئان مختلفين تماماً: أحدهما ماء ورمال، والآخر نار وهواء. ولكن إذا أغمضت عينيك قليلاً ونظرت إلى شكل التفرعات، قد تدرك أنهما يتشاركان في نفس المخطط السري. كلاهما يتبع نمطاً من الانقسام والانتشار يسميه الرياضيون "فركتل" (Fractal) أو نوعاً معيناً من البنية المتفرعة. هذه القدرة على رؤية الهيكل الخفي تحت السطح الفوضوي هي ما نسميه التفكير التجريدي. إنها القوة الخارقة التي تجعلنا نفهم أن قصة عن ملك وقصة عن برنامج كمبيوتر يمكن أن تكون كلاهما عن "القوة"، حتى لو كانت الكلمات مختلفة تماماً.

لفترة طويلة، تساءل العلماء عما إذا كان للذكاء الاصطناعي هذه القوة الخارقة. لقد بنينا نماذج يمكنها تسمية قطة في صورة أو كتابة قصيدة عن القمر، ولكن هل يمكنها حقاً رؤية الهياكل العميقة والخفية التي تربط بين نهر، وقصة، ومعادلة رياضية، وكود برمجي؟ هذا هو السؤال الكبير. إذا لم يستطع الذكاء الاصطناعي فعل ذلك، فهو مجرد ببغاء متطور جداً يقلد الأنماط دون فهم الـ "لماذا" أو الـ "كيف" الكامنة وراءها. إنه يشبه امتلاك روبوت يمكنه تلاوة وصفة صنع الكعكة ولكنه لا يفهم معنى "الخبز" فعلياً.

تحدي "الأصوات المتعددة"

هنا يأتي دور GEB-BENCH، وهو اختبار جديد ومراوغ صُمم ليرى ما إذا كانت نماذج الذكاء الاصطناعي يمكنها رصد هذه الأشكال الخفية. أطلق المبتكرون عليه اسم كتاب شهير بعنوان غودل، إشر، باخ (Gödel, Escher, Bach)، وهو كتاب يدور حول كيفية ظهور نفس الأفكار الغريبة والمتكررة في الرياضيات والفن والموسيقى. بُني الاختبار على فكرة بسيطة ولكنها مخادعة: خذ شكلاً تجريدياً واحداً (مثل حلقة، أو لولب، أو صورة مرآتية) ثم احكِ نفس القصة عنه بأربعة "أصوات" مختلفة تماماً.

فكر في الأمر كأنه لعبة "الهاتف المكسور"، ولكن بدلاً من همس رسالة، أنت تقوم بترجمة شكل ما.

1. صوت المشهد: صورة لشيء طبيعي، مثل صدفة النوتيلوس أو دلتا النهر، حيث يكون الشكل مخفياً في التكوين.
2. صوت القصة: حكاية شعبية قصيرة حيث يكون الشكل مخفياً في طريقة سرد القصة. على سبيل المثال، قد تكون القصة عبارة عن "كانون السرطان" (Crab Canon)، حيث يكون النصف الثاني من القصة هو النصف الأول مقروءاً بالعكس، كلمة بكلمة.
3. صوت الرياضيات: مبرهنة رياضية نظيفة ودقيقة تصف الشكل باستخدام الرموز.
4. صوت الهيكل: رسم خطي بسيط، مثل الرسم السلكي، الذي يظهر الشكل دون أي تفاصيل مزخرفة.

ما هو الفخ؟ قام صانعو الاختبار بإزالة كل "الحشو". لقد تأكدوا من أن دلتا النهر وصاعقة البرق لا تتشاركان في أي ألوان أو أنسجة. وتأكدوا من أن القصص لا تستخدم نفس الكلمات. الشيء الوحيد الذي يهم هو البنية الخفية. يجب على الذكاء الاصطناعي أن ينظر إلى صورة لنهر ويقول: "آه، هذا هو نفس الشكل الموجود في تلك المبرهنة الرياضية!" أو "هذه القصة تحكي نفس النكتة الهيكلية التي يظهرها ذلك الرسم الخطي".

النتائج: "ضريبة" الترجمة

اختبر الباحثون 37 نموذجاً مختلفاً من الذكاء الاصطناعي، من النماذج الصغيرة مفتوحة المصدر إلى النماذج الضخمة فائقة الذكاء من شركات التكنولوجيا الكبرى. ووجدوا شيئاً رائعاً ومخيباً للآمال في آن واحد: الذكاء الاصطناعي جيد في التعرف على شكل ما في صوت واحد، لكنه سيء جداً في نقله إلى صوت آخر.

تخيل أنك بارع جداً في التعرف على صديق عندما يرتدي سترته الحمراء المفضلة (صوت الرياضيات). ولكن إذا ظهر نفس الصديق وهو يرتدي زي مهرج (صوت القصة) أو بدلة تمويه (صوت المشهد)، فقد لا تتعرف عليه على الإطلاق. كانت نماذج الذكاء الاصطناعي قادرة غالباً على تحديد الشكل عندما يتم تقديمه كمعادلة رياضية نظيفة أو رسم خطي بسيط. ولكن بمجرد أن يتعين عليها ترجمة ذلك الشكل إلى مشهد طبيعي أو حكاية شعبية، ينخفض أداؤها بشكل حاد.

يسمي البحث هذا بـ "ضريبة الترجمة" (Mapping Tax). كل نموذج، بغض النظر عن مدى ذكائه، عليه دفع هذه الضريبة. حتى أكثر النماذج تقدماً، والتي تُعت-بر عادةً "طليعة" الذكاء الاصطناعي، تعاني في ربط النقاط بين صورة وقصة. وجدت الدراسة أنه بينما استطاعت هذه النماذج التعرف على الشكل في "صوت الرياضيات" بنسبة 86% تقريباً، فإن قدرتها على مطابقة نفس الشكل مع "صوت القصة" انخفضت إلى حوالي 44%. إنها فجوة هائلة.

فخ "الهندسة الشكلية"

إليك الجزء الأكثر غرابة: لم يكن الذكاء الاصطناعي يخمن عشوائياً. عندما أخطأوا، ارتكبوا أخطاءً محددة تتبع نمطاً منطقياً. يطلق البحث على هذا اسم "الهندسة الشكلية" (Formal Geometry).

تخيل أنك تحاول التمييز بين "حلقة" (دائرة) و"حلقة غريبة" (دائرة تلتف حول نفسها بطريقة مربكة). غالباً ما خلطت نماذج الذكاء الاصطناعي بين هذين النوعين. لم يختلط عليهما الأمر لأن الصور بدت متشابهة؛ بل لأن القواعد الرياضية التي تحدد هذين الشكلين متجاورة. الأمر يشبه أن تكون بصدد تعلم القيادة وتستمر في الخلط بين "علامة التوقف" و"علامة إعطاء الأولوية" لأنهما كلاهما مضلعان أحمران، رغم أن قواعد استخدامهما مختلفة.

أظهرت الدراسة أن أخطاء الذكاء الاصطناعي كانت أكثر قابلية للتنبؤ بناءً على هذه القواعد الرياضية أكثر من اعتمادها على كيفية ظهور الصور للبشر. إذا عرضت للذكاء الاصطناعي صورة تبدو كـ "حلقة غريبة"، فغالباً ما سيسميها "حلقة"، لأن هذين المفهومين، في عالم الرياضيات، يقعان بجانب بعضهما البعض. يشير هذا إلى أن الذكاء الاصطناعي لا "يرى" الصورة فحسب؛ بل يحاول مطابقتها مع مكتبة من المفاهيم الرياضية، لكنه يعلق في التفاصيل الدقيقة.

مشكلة "السطح"

وجد الباحثون أيضاً أن "الضجيج" في العالم الحقيقي يجعل الأمور أكثر صعوبة بالنسبة للذكاء الاصطناعي. لقد اختبروا النماذج بصور تتدرج من رسم خطي بسيط (نظيف جداً) إلى صورة فوتوغرافية مزدحمة وواقعية (فوضوية جداً). ومع زيادة واقعية وصخب الصور، ساء أداء الذكاء الاصطناعي.

الأمر يشبه محاولة سماع أغنية في غرفة هادئة مقابل حفلة صاخبة ومزدحمة. يمكن للذكاء الاصطناعي سماع اللحن (البنية) في الغرفة الهادئة، لكن ضجيج الحشد (تفاصيل السطح في الصورة) يطغى عليه. وجدت الدراسة أن امتلاك نموذج أكبر وأكثر قوة لم يجعل الذكاء الاصطناعي محصناً ضد هذا الضجيج؛ بل أعطاه فقط المزيد من "المساحة" للتعامل مع الفوضى. لم يحل هذا المشكلة؛ بل أخر الانهيار فحسب.

الخلاصة

أهم استنتاج من هذا البحث هو أن التعرف على بنية ما وترجمتها عبر عوالم مختلفة هما مهارتان مختلفتان. نماذج الذكاء الاصطناعي التي نملكها اليوم تصبح جيدة جداً في التعرف على البنى عندما تُقدم بوضوح (مثل الرياضيات والرسوم البيانية البسيطة). لكنها لا تزال تكافح لأخذ هذا الفهم وتطبيقه على مشاهد الطبيعة والقصص المعقدة والمتنوعة.

لا يقول البحث إن الذكاء الاصطناعي "معطل" أو أنه لن يتعلم أبداً. هو فقط يقول إن هناك حالياً فجوة محددة وقابلة للقياس. النماذج يمكنها رؤية الشكل في كتاب الرياضيات، لكنها لا تستطيع بعد رؤية نفس الشكل في دلتا النهر أو الحكاية الشعبية. وإلى أن تتمكن من جسر هذه الفجوة، ستظل تفتقر إلى لحظة الـ "آها!" الحقيقية للتفكير التجريدي—وهي القدرة على رؤية أن النهر، والقصة، والرياضيات، كلهم يغنون نفس الأغنية، ولكن بأصوات مختلفة.