Transformer Geometry Observatory TGO-III: Semantic Geometry Observatory
تقدم هذه الورقة إطار عمل TGO-III، الذي يحلل تطور تمثيلات ViT-Small/16 عبر طبقات التدريب لإثبات أن الفصل بين الفئات والهياكل الدلالية التمييزية يظهران تدريجياً جنباً إلى جنب مع توسع المتشعب، مما يدعم فرضية التوسع الدلالي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية التعرف على الحيوانات. تعرض عليه آلاف الصور للقطط والكلاب والطيور. في البداية، يكون عقل الروبوت عبارة عن فوضى عارمة من الأرقام؛ فهو يرى القطة والكلب كمجرد زحام من البكسلات دون أي فرق حقيقي بينهما. ولكن مع استمراره في التعلم، يحدث شيء سحري داخل دماغه الرقمي. تبدأ الأرقام في تنظيم نفسها. تبتعد أرقام "القطة" عن أرقام "الكلب"، لتشكل جزرًا منفصلة ومرتبة في محيط شاسع من البيانات. هذا المجال من الدراسة يسمى تعلم الآلة، وتحديدًا، يبحث في كيفية تغيير "محولات الرؤية" (Vision Transformers) -وهي نوع من الذكاء الاصطناعي فائق الذكاء الذي ينظر إلى الصور- لأنماط تفكيرها الداخلية أثناء التعلم. يهتم العلماء بهذا الأمر لأننا إذا فهمنا كيف تنظم هذه الروبوتات أفكارها، يمكننا بناء ذكاء اصطناعي أفضل وأكثر موثوقية لا يكتفي بمجرد التخمين، بل يفهم العالم حقًا.
الورقة البحثية التي ستطالعها الآن، بعنوان "TGO-III: مرصد الهندسة الدلالية"، تشبه المجهر عالي التقنية لهذا الدماغ الرقمي. أراد المؤلفان، كاوستوب كابيل وكيشور أوبلا، الإجابة على سؤال كبير: هل يصبح الذكاء الاصطناعي أكثر عشوائية وتعقيدًا مع مرور الوقت أثناء تعلمه، أم أنه يبدأ بالفعل في ترتيب الأشياء حسب معناها؟ لقد استخدموا مجموعة جديدة من الأدوات لمراقبة "دماغ" الذكاء الاصطناعي (تحديدًا نموذج ViT-Small/16) أثناء تدريبه على 100 نوع مختلف من الصور (من مجموعة بيانات تسمى ImageNet-100) لمدة 100 يوم (حقبة/epoch).
إليك قصة ما وجدوه، مروية من خلال عدسة مدينة متنامية.
مدينة الأفكار
تخيل العالم الداخلي للذكاء الاصطناعي كمدينة ضخمة وفارغة. عندما يبدأ التدريب، تكون هذه المدينة عبارة عن سهل مسطح وطيني. كل الأفكار (مثل "قطة"، "كلب"، "سيارة") تكون متكدسة معًا في نفس المكان. لا يستطيع الذكاء الاصطناعي التمييز بينها.
مع بدء تدريب الذكاء الاصطناعي، تبدأ المدينة في التوسع. في الدراسات السابقة (TGO-I و TGO-II)، لاحظ العلماء أن المدينة بدأت تكبر وتصبح أكثر تعقيدًا، مثل مدينة تنبت فيها ناطحات سحاب وطرق متعرجة جديدة. أطلقوا على هذا اسم "توسع المتشعب" (Manifold Expansion). لكنهم لم يعرفوا لماذا تنمو المدينة. هل كانت تصبح فوضوية فحسب؟ أم أنها كانت تبني مخططًا سكنيًا أفضل؟
TGO-III هو مخطط المدينة الجديد الذي جاء للإجابة على ذلك السؤال. لم ينظروا فقط إلى حجم المدينة؛ بل نظروا إلى كيفية ترتيب الأحياء المختلفة (الفئات الدلالية) لنفسها.
أدوات المرصد الأربعة
لفهم تخطيط المدينة، استخدم المؤلفون أربعة أدوات قياس خاصة:
- المسبار الخطي (الاختبار البسيط): تخيل أنك تسأل روبوتًا بسيطًا جدًا: "هل هذا قط أم كلب؟". إذا كان دماغ الذكاء الاصطناعي فوضويًا، فسيخطئ الروبوت البسيط كثيرًا. ولكن إذا كان الذكاء الاصطناعي قد نظم أفكاره جيدًا، فيمكن للروبوت البسيط رسم خط مستقيم على الخريطة والقول: "كل ما هو على اليسار قطة، وكل ما هو على اليمين كلب". وجد المؤلفون أنه مع تقدم التدريب، أصبح هذا الروبوت البسيط أفضل فأفضل. وهذا يعني أن الذكاء الاصطناعي جعل أفكاره أسهل في الفصل.
- نسبة فيشر (مقياس الحشود): يقيس هذا الأداة مدى تماسك مجموعة من الأصدقاء (مثل جميع "القطط") مقابل مدى ابتعادهم عن المجموعات الأخرى (مثل "الكلاب"). الدرجة العالية تعني أن القطط متجمعة في دائرة ضيقة، وأن هذه الدائرة بعيدة عن الكلاب. رأى المؤلفون أن هذه الدرجة ارتفعت، مما يعني أن المجموعات أصبحت أكثر تماسكًا وتباعدًا.
- مسافات المركز (المشي في الخريطة): يقيس هذا المسافة بين "مركز الجاذبية" لكل مجموعة. إذا وقفت في منتصف حي القطط ومشيت إلى منتصف حي الكلاب، فكم ستكون المسافة؟ وجد المؤلفون أنه مع تقدم التدريب، تتحرك هذه الأحياء بعيدًا عن بعضها البعض أكثر فأكثر، مما يخلق مدينة واسعة ومفتوحة حيث لا تختلط المجموعات ببعضها.
- رتبة PCA المحلية (حجم الغرفة): هذا هو الجزء الأكثر إثارة للاهتمام. يسأل: "كم عدد الأبعاد التي يحتاجها حي معين للوجود؟". في البداية، كان حي "القطط" عبارة عن فوضى منتشرة تحتاج إلى مستودع ضخم ثلاثي الأبعاد لاستيعاب جميع تنوعاته. ولكن مع تعلم الذكاء الاصطناعي، أصبح حي "القطط" أكثر تنظيمًا. لم يعد بحاجة إلى مستودع ضخم؛ بل أصبح بإمكانه الاحتواء في غرفة مرتبة ومدمجة. وجد المؤلفون أنه بينما أصبح المدينة بأكملها أكبر، أصبحت الأحياء الفردية أصغر وأكثر كفاءة.
الاكتشاف الكبير: التوسع الدلالي
أكثر ما أثار حماس المؤلفين هو ما يسمونه فرضية التوسع الدلالي.
قبل هذه الورقة، اعتقد بعض الناس أن الذكاء الاصطناعي يصبح فقط أكثر عشوائية وتعقيدًا مع تعلمه. لكن TGO-III تقترح شيئًا أكثر هدفًا بكثير. الذكاء الاصطناعي لا يصنع مجرد فوضى أكبر؛ بل يبني خريطة أفضل بنشاط.
فكر في الأمر هكذا: عندما تتعلم الرسم لأول مرة، يكون دفتر رسوماتك مليئًا بالخربشات. ومع الممارسة، لا ترسم مجرد المزيد من الخربشات؛ بل تبدأ في رسم أشكال متميزة. تتعلم أن الدائرة هي للرأس وأن الخط هو للجسم. "الخربشات" (التعقيد الإضافي) تُستخدم في الواقع لإنشاء فئات أكثر وضوحًا وتميزًا.
لاحظ المؤلفون أنه مع تدريب الذكاء الاصطناعي، لم تبتعد أفكار "القطط" و"الكلاب" عن بعضها عشوائيًا. بل نظمت نفسها في هيكل يجعل من السهل التمييز بينها. لقد توسعت "المدينة" لتفسح المجال لكل هذه التمايزات الجديدة والواضحة.
مفاجأة "منطقة الانتقال"
نظرت الورقة أيضًا في أين يحدث هذا التنظيم داخل دماغ الذكاء الاصطناعي. يتكون الذكاء الاصطناعي من طبقات متراكمة، مثل مبنى متعدد الطوابق. وجد المؤلفون أن الطوابق السفلية (الطبقات المبكرة) لا تزال فوضوية بعض الشيء. السحر الحقيقي حدث في الطوابق العليا.
لقد أكدوا نظرية تسمى فرضية منطقة الانتقال، ولكن مع لمسة مختلفة. وجدوا أن "منتصف" المبنى هو المكان الذي يبدأ فيه الشكل الهندسي بالتغير، ولكن الطوابق النهائية هي حيث يحدث الفرز الحقيقي. الطوابقات العليا هي حيث تنفصل "القطط" و"الكلاب" حقًا وتصبح واضحة تمامًا. إنه يشبه كون الطوابق السفلية هي موقع البناء، والطوابق العليا هي الشقق النهائية المصقولة حيث يعيش السكان بسلام.
ماذا يعني هذا (وما لا يعنيه)
يقول المؤلفون بحذر إنهم قد لاحظوا هذا السلوك وأن الأدلة تدعم فكرتهم. هم لم "يحلوا" لغز الذكاء الاصطناعي، لكنهم قدموا خريطة قوية جدًا لكيفية عمله.
لقد استبعدوا فكرة أن الذكاء الاصطناعي يصبح فقط أكثر عشوائية أو أنه يقوم فقط بحفظ الصور بطريقة فوضوية. بدلاً من ذلك، يقترحون أن الذكاء الاصطناعي ينظم معرفته بنشاط في مجموعات مرتبة ومنفصلة وفعالة.
في النهاية، يخبرنا TGO-III أنه عندما يتعلم محول الرؤية، فإنه لا يكبر فحسب؛ بل يصبح أكثر ذكاءً. إنه يأخذ سحابة فوضوية من البيانات ويحولها إلى مدينة منظمة جيدًا حيث يكون لكل فكرة مكانها الخاص، بعيدًا عن الآخرين، جاهزة للتعرف عليها فورًا. إنه مثال جميل لكيفية ظهور النظام من الفوضى، حتى داخل الآلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.