🤖 machine learning

Transformer Geometry Observatory TGO-IV: Developmental Topology Observatory

تقدم هذه الورقة مرصد هندسة المحولات (TGO-IV)، وهو إطار عمل مبتكر يستخدم التماثل المستمر ومعقدات فيتوريس-ريبس السيمبليشال (Vietoris–Rips) لتحليل التطور الطوبولوجي لتمثيلات المحولات عبر الطبقات بشكل شامل، مما يقدم رؤى أعمق حول كيفية تحول المدخلات الخام إلى ميزات ذات صلة بالمهمة.

المؤلفون الأصليون: Kaustubh Kapil, Kishor P. Upla

نُشر 2026-08-12

📖 7 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Kaustubh Kapil, Kishor P. Upla

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

شكل التفكير: كيف يبني الذكؤ الاصطناعي عالمه

تخيل أنك تحاول فهم كيف يتعلم عقل رقمي عملاق التعرف على قطة. لفترة طويلة، تعامل العلماء مع هذه "المحولات" (Transformers) — وهي نماذج الذكاء الاصطناعي القوية التي تقف وراء برامج الدردشة الآلية المفضلة لديك ومولدات الصور — كصناديق سوداء غامضة. كنا نعلم أنها تعمل بشكل جيد للغاية، لكننا لم نكن نعرف حقًا كيف تعلمت. وللكشف عما بداخلها، بدأ الباحثون في فحص "التمثيلات" (representations) التي ينشئها الذكاء الاصطناعي. فكر في هذه التمثيلات كأنها سحابة من النقاط المتوهجة العائمة في فضاء عالي الأبعاد. كل نقطة هي جزء من الصورة (مثل رقعة من الفراء أو أذن)، والطريقة التي تترتب بها هذه النقاط تخبر الذكاء الاصطناعي بما يراه.

في السابق، درس العلماء هذه السحب من خلال قياس "طيفها" (مدى تشتت النقاط) أو "هندستها" (كيف تتجمع النقاط معًا). ووجدوا أنه مع تعلم الذكاء الاصطناعي، تتوسع السحابة وتنظم نفسها في أشكال ذات مغزى. ولكن كان هناك قطعة مفقودة من اللغز: "التوبولوجيا" (Topology). ببساط، التوبولوجيا هي دراسة الأشكال التي لا تهتم بالتمطط أو الانحناء، لكنها تهتم بالثقوب والاتصالات. هل السحابة عبارة عن كتلة واحدة كبيرة صلبة؟ هل هي حلقة في وسطها ثقب؟ هل هي مجموعة من الجزر المنفصلة؟ إن فهم "شكل" هذه السحب يساعدنا في معرفة ما إذا كان الذكاء الاصطناعي يفهم حقًا بنية العالم أم أنه مجرد يحفظ الأنماط. هذا هو السؤال الذي تسعى الدراسة الجديدة، TGO-IV، للإجابة عليه.

الورقة البحثية: TGO-IV، محقق التوبولوجيا

في هذه الدراسة الجديدة، بعنوان TGO-IV: مرصد التوبولوجيا النمائي، يأخذ الباحثان كوستوب ه كابيل وكيشور بي. أوبلا من معهد SVNIT في الهند، عدسة مكبرة لفحص "شكل" كيفية تعلم "محول الرؤية" (Vision Transformer) — وهو نوع من الذكاء الاصطناعي الذي يرى الصور. إنهما جزء من فريق أكبر يسمى "تجمع أبحاث الذكاء العصبي"، وهذه هي النسخة الرابعة في سلسلة "مرصد هندسة المحولات" الخاصة بهم. بينما ركزت الأجزاء السابقة على رياضيات انتشار الذكاء الاصطناي ومعناه الدلالي، فإن TGO-IV يطرح سؤالاً أعمق: هل يتغير الشكل العالمي لتفكير الذكاء الاصطناعي أثناء تعلمه، أم يظل كما هو؟

للإجابة على ذلك، لم يكتفِ الفريق بالنظر إلى النقاط فحسب؛ بل بنوا "سقالات" رقمية حولها. تخيل أن لديك سحابة من 197 نقطة متوهجة (تمثل أجزاء الصورة) تطفو في فضاء مكون من 384 بُعدًا. لا يمكنك رؤية الشكل بمجرد النظر إلى النقاط. لذا، استخدم الباحثون خدعة رياضية تسمى معقد فيتوريس-ريبس الـسيمبليشيال (Vietoris–Rips simplicial complex). فكر في هذا كلعبة "توصيل النقاط". يبدأون برسم خط بين أي نقطتين قريبتين جدًا من بعضهما البعض. ثم، يقومون بزيادة "نصف قطر الاتصال" ببطء. ومع نمو نصف القطر، تتصل الخطوط بمزيد من النقاط، وتتشكل مثلثات بين ثلاث نقاط متصلة، وفي النهاية، تظهر أشكال ثلاثية الأبعاد (مثل رباعيات الأوجه). هذا يخلق شبكة تقرب شكل سحابة البيانات.

من خلال مراقبة كيفية تغير هذه الشبكة مع نمو نصف القطر، يمكنهم تتبع "الهومولوجيا المستمرة" (persistent homology). وهذه طريقة معقدة لعدّ قصص حياة الثقوب والاتصالات:

الميلاد: يتشكل اتصال جديد، أو تظهر حلقة.
الموت: يصبح الاتصال كبيرًا جدًا بحيث يتم ملء الثقب، أو تُغلق الحلقة.

تتبع الباحثون عمليات "الميلاد" و"الموت" هذه بينما كان الذكاء الاصطناعي يعالج صورة عبر طبقاته الاثنتي عشرة، وفعلوا ذلك على مدار 100 يوم من التدريب على 1,000 صورة من مجموعة بيانات ImageNet-100. وقد استخدموا نموذجًا محددًا، وهو ViT-Small/16، الذي يعالج الصور عن طريق تقسيمها إلى قطع (patches) بحجم 16×16، مما ينتج عنه 197 رمزًا (tokens) لكل صورة.

ما وجدوه: الاندماج الكبير

كشفت الدراسة عن قصة رائعة حول كيفية استقرار العالم الداخلي للذكاء الاصطناعي. إليكم ما رصدته "المراصد التوبولوجية":

1. الجزر تندمج لتصبح قارة
في بداية التدريب تمامًا (الحقبة 1)، كانت سحابة تمثيل الذكاء الاصطناعي عبارة عن أرخبيل مشتت. كانت النقاط متباعدة، مكونة العديد من الجزر المعزولة. ومع تقدم التدريب، لاحظ الباحثون تحولًا هائلًا في منحنيات بيتي (Betti curves) (وهي رسم بياني يعد عدد القطع المتصلة الموجودة). انخفض "رقم بيتي الصفر" ( $\beta_0$ )، الذي يعد عدد الجزر المنفصلة، بشكل كبير. بدأت النقاط تندمج في مجموعات أقل وأكبر في وقت مبكر جدًا من العملية. وبحلول نهاية التدريب (الحقبة 100)، أصبحت السحابة قارة واحدة متماسكة. لم يكن الذكاء الاصطناعي يرى الأجزاء فحسب؛ بل كان يرى الصورة الكاملة كوحدة واحدة متصلة.

2. الحلقات تبقى، والثقوب تتلاشى
بحث الباحثون أيضًا عن "الحلقات" (حلقات من النقاط) و"الفراغات" (فقاعات ثلاثية الأبعاد). ووجدوا أنه بينما أنشأ الذكاء الاصطناعي بعض الحلقات ( $\beta_1$ )، إلا أنها كانت دائمًا قليلة ومتباعدة. والأكثر إثارة للاهتمام، أن الفقاعات ثلاثية الأبعاد ( $\beta_2$ ) كانت غائبة تمامًا تقريبًا. يشير هذا إلى أن تفكير الذكاء الاصطناعي لا يشكل فقاعات معلومات معقدة ومتعددة الطبقات. بدلاً من ذلك، فإنه يركز على ربط النقاط في هيكل صلب ومسطح (تقريبًا).

3. الطبقات تصبح أكثر تشابهًا
كانت إحدى النتائج الأكثر إثارة للدهشة تتعلق بالمسافة بين الطبقات. استخدم الباحثون أداتين، هما مسافة عنق الزجاجة (Bottleneck Distance) ومسافة واسرستاين (Wasserstein Distance)، لقياس مدى اختلاف شكل البيانات من طبقة إلى أخرى.

التدريب المبكر: كانت الطبقات مختلفة جدًا عن بعضها البعض. تغير شكل البيانات بشكل جامح أثناء انتقاله من الطبقة الأولى إلى الثانية، ثم إلى الثالثة.
التدريب المتأخر: مع تعلم الذكاء الاصطناعي، بدأت الطبقات تبدو متشابهة أكثر فأكثر. تقلصت "المسافة" بين أشكال الطبقات المتتالية. يبدو الأمر كما لو أن الذكاء الاصطناعي توقف عن إعادة اختراع العجلة في كل خطوة وبدأ في صقل نفس الهيكل المستقر.

ومع ذلك، لاحظ الباحثون بعض "القمم" حيث تغير الشكل بشكل كبير، وتحديدًا حول الطبقات 3 و10 و12. حتى بعد أن "تعلم" الذكاء الاصطناعي، استمرت هذه الطبقات المحددة في القيام بالمهام الشاقة، حيث أعادت تنظيم البيانات بطرق جوهرية.

الفكرة الكبرى: الاستقرار التوبولوجي التدريجي

بناءً على هذه الملاحظات، يقترح المؤلفون فكرة جديدة تسمى فرضية الاستقرار التوبولوجي التدريجي.

هم يقترحون أن التعلم ليس عملية انهيار عالم الذكاء الاصطناعي الداخلي إلى كتلة مملة وعديمة الميزة. بدلاً من ذلك، هي عملية صقل.

الاستعارة: تخيل حشدًا فوضويًا من الناس في حفلة موسيقية. في البداية، يكون الجميع مشتتين، يصرخون ومنفصلين (عدد مرتفع من $\beta_0$ ، جزر كثيرة). ومع بدء الموسيقى وتصاعد الأغنية، يبدأ الناس في تشبيك أذرعهم، وتكوين مجموعات صغيرة، وفي النهاية، يتحرك الحشد بأكمله كموجة واحدة ضخمة ومتماسكة. يصبح "شكل" الحشد مستقرًا ومتصلًا، لكنه لا يختفي.
النتيجة: تصبح تمثيلات الذكاء الاصطناعي "أكثر اندماجًا" (النقاط تقترب من بعضها) مع الحفاظ على "تنظيمها الهندسي غير البديهي" (الهيكل يظل مثيرًا للاهتمام ومفيدًا). الذكاء الاصطناعي لا يحفظ فحسب؛ بل يبني خريطة مستقرة ومتصلة للعالم.

ماذا يعني هذا (وما لا يعنيه)

يؤكد المؤلفون بحذر أنهم لا يدعون رؤية الشكل الدقيق لعقل الذكاء الاصطناعي. نظرًا لأن لديهم 197 نقطة فقط للعمل بها في مساحة ضخمة مكونة من 384 بُعدًا، فإن "الشبكة" التي صنعوها هي تقريب وليست إعادة بناء مثالية. وهم يقرون بأنه مع وجود عدد قليل من النقاط، فإن "الشكل" الذي يرونه هو تقريب توبولوجي وليس الحقيقة الجوهرية. ومع ذلك، فإن الاتجاهات التي رصدوها متسقة وذات مغزى.

كما استبعدوا صراحةً فكرة أن الذكاء الاصطناعي ينهار ببساطة إلى نقطة تافهة وغير مفيدة. حقيقة أن بعض الحلقات ( $\beta_1$ ) نجت طوال عملية التدريب تثبت أن الهيكل ظل معقدًا. كما استبعدوا أيضًا فكرة أن الذكاء الاصطناعي يتعلم في قفزة واحدة مفاجئة؛ بدلاً من ذلك، التغييرات مستمرة، حيث تصبح الطبقات أكثر تشابهًا مع بعضها البعض مع نضوج التدريب.

الطريق أمامنا

هذه الورقة هي مجرد المحطة الرابعة في رحلة طويلة. لدى الباحثين خطة للمستقبل:

TGO-V (الهندسة الحسابية): يريدون معرفة كيف تقوم رياضيات الذكاء الاصطناعي (ضرب النقاط وآليات الانتباه) فعليًا بإنشاء هذه الأشكال.
TGO-VI (ديناميكيات التحسين): يريدون فهم "فيزياء" عملية التعلم — كيف تجبر رياضيات خوارزمية التدريب (التدرجات ومساحات الخسارة) الذكاء الاصطناعي على الاستقرار في هذه الأشكال المستقرة.

باختصار، تعطينا TGO-IV نظارات جديدة. فبدلاً من رؤية بيانات الذكاء الاصطناعي كمجرد سحابة من الأرقام، يمكننا الآن رؤيتها كشكل حي يتنفس، يبدأ كأرخبيل مشتت وينمو ليصبح قارة مستقرة ومتصلة. وهذا يشير إلى أنه عندما يتعلم "المحول"، فإنه لا يحفظ فحما، بل يبني موطنًا توبولوجيًا مستقرًا لمعرفته.

ملخص تقني: TGO-IV: مرصد الطوبولوجيا التطويري

1. بيان المشكلة والدوافع

بينما حققت نماذج المحولات (Transformers) نجاحاً هائلاً في معالجة اللغات والرؤية الحاسوبية، إلا أن الآليات الكامنة وراء ديناميكيات تعلمها لا تزال غامضة جزئياً. تركز دراسات التفسير الحالية، مثل تلك التي تستخدم CKA أو SVCCA أو التحليلات الطيفية (مثل TGO-I، Tgo-II، TGO-III)، بشكل أساسي على الطبقات المنعزلة، أو مشاهد الخسارة (loss landscapes)، أو الخصائص الهندسية المحلية مثل أطياف التباين والبعد الجوهري.

لا تزال هناك فجوة حرجة في فهم البنية الطوبولوجية العالمية لمانيفولد (manifold) التمثيلات أثناء تطورها عبر التمرير الأمامي (forward pass). فالتحليلات الهندسية بطبيعتها غير حساسة للثوابت الطوبولوجية العالمية؛ حيث يمكن لمانيفولدين أن يتشاركا في نفس الهندسة المحلية بينما يمتلكان بنيات اتصال عالمية مختلفة تماماً (على سبيل المثال: الثقوب، الفراغات، أو المكونات المتصلة). يفترض بحث TGO-IV أن الطرق الحالية تفشل في تحديد ما إذا كانت طبقات المحول تحافظ على البنى الطوبولوجية الأساسية، أو تنشئها، أو تدمجها، أو تلغيها أثناء تطوير التمثيل. يعالج TGO-IV هذا الأمر من خلال تقديم إطار عمل طوبولوجي لتحليل التطور التطويري لتمثيلات المحولات.

2. المنهجية

يستخدم TGO-IV تحليل البيانات الطوبولوجي (TDA)، وتحديداً الهومولوجيا المستمرة (Persistent Homology)، لدراسة تطور السحب النقطية (point clouds) لتمثيلات مستوى الرمز (token-level) عبر طبقات المحول. وخلافاً لتقنيات التصور (PCA، t-Sne، UMAP) التي تقوم بإسقاط البيانات في أبعاد أدنى وتشويه العلاقات المترية، يقوم TGO-IV بإجراء جميع التحليلات مباشرة داخل فضاء التضمين عالي الأبعاد ( $R^d$ ).

خط العمل الأساسي

بناء السحابة النقطية: بالنسبة لنموذج Vision Transformer (ViT)، تُعامل تضمينات الرموز عند كل طبقة $l$ كسحابة نقطية $X^{(l)} = \{x^{(l)}_1, \dots, x^{(l)}_N\}$ في $R^d$ .
بناء المعقد السيمبليشي (Simplicial Complex): يقوم البحث ببناء معقدات فيتوريوس-ريبس (Vietoris–Rips simplicial complexes) من هذه السحب النقطية. عند نصف قطر ترشيح (filtration radius) معين $\epsilon$ ، يتم توصيل النقاط إذا كانت المسافة الزوجية بينها $\|x_i - x_j\| \le \epsilon$ .
الترشيح والاستمرارية: يتم توليد عائلة متداخلة من المعقدات عن طريق زيادة $\epsilon$ . تتتبع الهومولوجيا المستمرة "ميلاد" و"موت" الميزات الطوبولوجية (المكونات المتصلة، الحلقات، الفراغات) مع تغير مقياس الترشيح.
المراصد الطوبولوجية: يستخدم إطار العمل مجموعة من المقاييس المتكاملة لتكميم تطور هذه البنى:
- مخططات الاستمرارية ومخططات الباركود (Persistence Diagrams & Barcode Diagrams): تصور عمر الميزات الطوبولوجية.
- منحنيات بيتي (Betti Curves): تكمّم عدد الميزات ( $\beta_0$ للمكونات، $\beta_1$ للحلقات، $\beta_2$ للفراغات) عند كل مقياس ترشيح.
- مشاهد الاستمرارية (Persistence Landscapes): تحول المخططات إلى تمثيلات دالية للمقارنة الإحصائية.
- مسافات بوتلنك وواسرشتاين (Bottleneck & Wasserstein Distances): تقيس عدم التشابه بين التواقيع الطوبولوجية للطبقات المتتالية أو مراحل التدريب.

الإعداد التجريبي

النموذج: ViT-Small/16 مدرب على ImageNet-100 لمدة 100 حقبة (epoch).
البيانات: مجموعة فرعية ثابتة من التحقق مكونة من 1,000 صورة، وصورة واحدة محددة للتتبع التفصيلي.
القيد: يشير المؤلفون صراحةً إلى أنه مع وجود 197 رمزاً (token) في فضاء ذي 384 بُعداً، فإن أخذ العينات يكون متفرقاً (sparse). لذلك، تُعامل المعقدات المنشأة كـ تقريبات طوبولوجية وليست إعادة بناء دقيقة للمانيفولد الجوهري الحقيقي. الهدف هو تحديد الاتجاهات التطويرية المتسقة في هذه التواقيع، وليس الادعاء بامتلاك طوبولوجيا المانيفولد الدقيقة.

3. المساهمات الرئيسية

يحدد البحث أربع مساهمات رئيسية:

أول مرصد طوبولوجي: يقدم أول إطار عمل لتطبيق الهومولوجيا المستمرة على تمثيلات المحولات، مما يوسع سلسلة TGO من التحليل الطيفي والهندسي إلى تحليل البيانات الطوبولوجي.
إطار عمل متمحور حول الطوبولوجيا: يصيغ طريقة لبناء معقدات فيتوريوس-ريبس من السحب النقطية لمستوى الرمز ويقوم بتوصيف تطورها بشكل منهجي طبقة تلو الأخرى.
مجموعة مراصد متكاملة: يقترح مجموعة شاملة من المقاييس (مخططات الاستمرارية، الباركود، منحنيات بيتي، المشاهد، مسافات بوتلنك، وواسرشتاين) لتكميم ميلاد واستمرارية واختفاء الميزات الطوبولوجية.
تحليل التطور التطويري: يبحث في كيفية ظهور وتغير واستقرار التواقيع الطوبولوجية المستمرة عبر الشبكة، مما يقدم رؤى تتجاوز التحليلات الهندسية والطيفية التقليدية.

4. النتائج والاكتشافات الرئيسية

كشف التحليل التجريبي لعملية تدريب ViT-Small/16 عن عدة اتجاهات تطويرية متسقة:

الاستقرار الطوبولوجي التدريجي: انخفضت مسافة بوتلنك ومسافة واسرشتاين بين الطبقات المتتالية بشكل ملحوظ مع تقدم التدريب. يشير هذا إلى أن التواقيع الطوبولوجية المستمرة للطبقات المتتالية تصبح متشابهة بشكل متزايد مع اقتراب النموذج من التقارب (convergence).
تطور الاتصال (منحنيات بيتي): هيمن عدد بيتي الصفر ( $\beta_0$ )، الذي يمثل المكونات المتصلة، على الطوبولوجيا. مع تقدم التدريب، انزاحت منحنيات $\beta_0$ نحو أنصاف أقطار ترشيح أصغر، مما يعني أن المكونات المتصلة تندمج في وقت مبكر. يشير هذا إلى أن السحابة النقطية للتمثيل تصبح أكثر تماسكاً تدريجياً.
استمرارية الحلقات: ظل عدد بيتي الأول ( $\beta_1$ )، الذي يمثل الحلقات أحادية البعد، متفرقاً ولكن غير صفري طوال عملية التدريب. وهذا يدحض فرضية "الانهيار التافه" (trivial collapse) للتمثيل إلى سحابة نقطية عديمة الميزة؛ حيث يتم الحفاظ على تنظيم هندسي غير بديهي.
غياب الفجوات ذات الرتب العليا: ظل عدد بيتي الثاني ( $\beta_2$ ) قريباً من الصفر، مما يشير إلى أن الفراغات عالية الأبعاد ليست مكوناً مهماً في الطوبولوجيا المستمرة في هذا السياق.
الانتقالات الخاصة بالطبقات: بينما زاد التشابه العالمي، استمرت القمم الموضعية في المسافة الطوبولوجية حول طبقات محددة (مثل الطبقات 3 و10 و12)، مما يشير إلى أن هذه المراحل تؤدي عمليات إعادة تنظيم طوبولوجية أكثر وضوحاً حتى بعد التقارب.

5. الفرضية والأهمية

بناءً على الاتجاهات الملحوظة، يقترح المؤلفون فرضية الاستقرار الطوبولوجي التدريجي. تفترض هذه الفرضية أن تمثيلات المحولات تتطور من خلال عملية تصبح فيها السحابة النقطية أكثر اندماجاً مع الحفاظ على تنظيم هندسي غير بديهي. أثناء التحسين (optimization)، يتم إنشاء الهياكل الطوبية عالية الرتبة بشكل عابر ثم يتم صقلها لاحقاً، بينما تقوم الطبقات المتتالية بعمل تحويلات طوبولوجية تراكمية أصغر تدريجياً مع الاقتراب من التقارب.

ادعاءات الأهمية:

ما وراء الهندسة: يزعم البحث أنه يوفر منظوراً لا تستطيع التحليلات الهندسية والطيفية تقديمه: القدرة على اكتشاف التحولات الطوبولوجية العالمية (مثل اندماج المكونات مقابل إنشاء الثقوب) التي تكون غير مرئية للمقاييس المحلية.
رؤية ميكانيكية: إنه يقرب المجال من الإجابة على سؤال "كيف" تتعلم المحولات من خلال توصيف التطور التطويري للتمثيلات بدلاً من مجرد حالتها الساكنة.
أساس للعمل المستقبلي: يعمل TGO-IV كخطوة تأسيسية لإطار عمل مرصد هندسة المحولات (TGO) الأوسع. يضع المؤلفون هذا العمل كخطوة وصفية تمهد الطريق للمراصد المستقبلية (TGO-V وTGO-VI) التي تهدف إلى شرح الآليات الحسابية (توجيه الانتباه، ديناميكيات التدرج) ومبادئ التحسين المسؤولة عن هذه التغييرات الطوبولوجية.

يحافظ البحث على نبرة متواضعة، مؤكداً أن هذه النتائج تصف تطور المعقدات السيمبليشية المنشأة بناءً على أخذ عينات متفرقة، بدلاً من تقديم ادعاءات نهائية حول الطوبولوجيا الجوهرية لمانيفولد التمثيل الأساسي.