🤖 machine learning

Learning the symmetric group: large from small

تقترح هذه المقالة طريقة تعلم آلي قابلة للتوسع، حيث تقوم نماذج المحولات (Transformer) التي تتدرب على التنبؤ بالتباديل في مجموعات متماثلة أصغر (مثل $S_{10}$ ) باستخدام استراتيجيات تبديل محددة، بالتعميم بدقة تقارب الكمال على مجموعات أكبر بكثير (مثل $S_{25}$ )، وذلك عبر توظيف تقنيات مثل تعزيز الهوية والنوافذ المجزأة لمعالجة تحديات توليد البيانات والقابلية للتفسير.

المؤلفون الأصليون: Max Petschack, Alexandr Garbali, Jan de Gier

نُشر 2026-05-08

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Max Petschack, Alexandr Garbali, Jan de Gier

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: تعليم طالب حل ألغاز عملاقة باستخدام مجموعات تدريب صغيرة

تخيل أنك تريد تعليم طالب كيفية حل لغز ضخم ومعقد يتكون من 25 قطعة (أو حتى 100 قطعة). عادةً، ستعطيه ألغازاً للتدريب بنفس حجم اللغز الأصلي تماماً. ولكن ماذا لو أعطيته فقط ألغازاً تدريبية تتكون من 10 قطع؟

هذا البحث يسأل: هل يمكن للكمبيوتر (وتحديداً نموذج ذكاء اصطناعي يسمى "Transformer") أن يتعلم قواعد لغز ضخم من خلال التدرب فقط على نسخ صغيرة منه، ثم ينجح في حل النسخة الضخمة دون أن يراها من قبل؟

والإجابة، وفقاً لهذه الدراسة، هي نعم. لقد تعلم الذكاء الاصطناعي المنطق الخاص بنظام رياضي هائل من خلال التدريب على جزء صغير منه، ثم نقل تلك المعرفة للتعامل مع أنظمة أكبر بكثير وأكثر تعقيداً بدقة تقارب الكمال.

الشخصيات في قصتنا

الزمرة التناظرية ( $S_n$ ): تخيل هذا كأنها لعبة ضخمة لـ "خلط ورق اللعب".
- إذا كان لديك مجموعة ورق مكونة من $n$ من الأوراق (مرقمة من 1 إلى $n$ )، فإن "التبديل" (permutation) هو ببساطة ترتيب محدد لهذه الأوراق.
- "الزمرة التناظرية" هي مجموعة كل الطرق الممكنة التي يمكنك من خلالها خلط هذه الأوراق.
- الهدف هو النظر إلى قائمة من التعليمات (كلمة) تخبرك بكيفية خلط الأوراق والتنبؤ بالترتيب النهائي للمجموعة.
التعليمات (التبديلات - Transpositions):
- التبديلات العامة: تخيل أنه يمكنك اختيار أي ورقتين من المجموعة وتبديلهما. هذا يشبه "عصا سحرية" يمكنها تبديل أي شيئين فوراً.
- التبديلات المتجاورة: تخيل أنك تستطيع فقط تبديل الأوراق الموجودة بجانب بعضها البعض مباشرة. هذا أصعب بكثير. لتبديل الورقة رقم 1 والورقة رقم 10، يجب عليك تمريرهما فوق بعضهما البعض واحدة تلو الأخرى. هذا يخلق قائمة تعليمات أطول وأكثر تعقيداً.
الذكاء الاصطناعي (الـ Transformer): هذا نوع من نماذج التعلم الآلي المشهورة بقدرتها على قراءة النصوص وفهم الأنماط. هنا، بدلاً من الجمل، هو يقرأ قوائم من التعليمات الرياضية.

التجربة: تحديان مختلفان

أجرى الباحثون تجربتين رئيستين لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي التوسع من "الصغير" إلى "الكبير".

التحدي الأول: "العصا السحرية" (التبديلات العامة)

التدريب: تم تدريب الذكاء الاصطناعي فقط على خلط مجموعات ورق مكونة من 10 أوراق. تعلم كيفية اتباع التعليمات لتبديل أي ورقتين في مجموعة مكونة من 10 أوراق.
الاختبار: بعد ذلك، طلبوا من الذكاء الاصطناعي حل مشكلات خلط أوراق لمجموعة مكونة من 25 ورقة.
النتيجة: كان الذكاء الاصطناعي صحيحاً في كل المرات تقريباً. لم يحفظ القواعد الخاصة بـ 10 أوراق فحسب؛ بل أدرك المنطق الكامن وراء عملية "التبديل" وطبقه على مجموعة أكبر بكثير لم يسبق له رؤيتها.

التحدي الثاني: "تبديل الجيران" (التبديلات المتجاورة)

التدريب: كان هذا أصعب. تم تدريب الذكاء الاصطناعي على مجموعة من 10 أوراق حيث يُسمح له فقط بتبديل الأوراق المتجاورة.
المشكلة: إذا كنت تستطيع فقط تبديل الجيران، تصبح التعليمات طويلة جداً. عملية تبديل بسيطة بين الورقة الأولى والأخيرة تتطلب خطوات كثيرة.
الحيلة (النوافذ المجزأة - Partitioned Windows): وجد الباحثون أن الذكاء الاصطناعي بدأ يصبح "كسولاً"؛ حيث كان يحفظ ببساطة "النافذة" المحددة للأوراق التي ينظر إليها. ولإصلاح ذلك، استخدموا طريقة تعتمد على "النوافذ المجزأة". تخيل أنك تقسم قائمة التعليمات الطويلة إلى أقسام وتقوم بخلط هذه الأقسام حول بعضها البعض حتى لا يعتمد الذكاء الاصطناعي على الموقع. كان عليه تعلم المنطق الفعلي للتبديلات.
الاختبار: اختبروا الذكاء الاصطناعي على مجموعة مكونة من 16 ورقة.
النتيجة: مرة أخرى، حقق الذكاء الاصطناعي دقة تقارب 100%.

كيف جعلوا الأمر يعمل؟ (الوصفة السرية)

استخدم الباحثون حيلة ذكية تسمى "تعزيز الهوية" (Identity Augmentation).

تخيل أنك تكتب وصفة طعام، لكن كتاب الوصفات يتطلب أن تكون كل وصفة مكونة من 50 خطوة بالضبط. بعض الوصفات تكون قصيرة بطبيعتها (5 خطوات فقط). لكي تناسب الكتاب، يجب عليك إضافة "خطوات وهمية" تقول "لا تفعل شيئاً" (مثل "قف ساكناً لمدة 5 ثوانٍ") حتى تصل إلى 50 خطوة.

كان على الذكاء الاصطناعي أن يتعلم أن هذه الخطوات التي "لا تفعل شيئاً" لا تغير النتيجة. من خلال ملء التعليمات القصيرة بخطوات "الهوية" هذه، تعلم الذكاء الاصطناعي تجاهل الضجيج والتركيز على الرياضيات الفعلية.

ماذا تعلم الذكاء الاصطناعي بالفعل؟

نظر الباحثون داخل "عقل" الذكاء الاصطناعي (تمثيلات البيانات الداخلية لديه) لمعرفة ما كان يفعله.

تعلم العلاقات: أدرك الذكاء الاصطناعي أن تبديل الورقة A مع الورقة B هو نفسه تبديل B مع A.
تعلم البنية: أدرك أن ترتيب التبديلات مهم، ولكنه تعلم أيضاً القواعد التي تجعل الترتيب غير مهم في حالات معينة.
لم يغش: لم يقم الذكاء الاصطناعي بمجرد حفظ الإجابات. بل كان عليه تعلم "الخوارزمية" الخاصة بالخلط لأن أسئلة الاختبار كانت مختلفة عن أسئلة التدريب.

الخلاصة

يثبت هذا البحث أن نماذج الذكاء الاصطناعي يمكنها تعلم قواعد رياضية معقدة من أمثلة صغيرة وتطبيقها على نسخ أكبر وأكثر تعقيداً من نفس المشكلة.

التشبيه: الأمر يشبه تعليم طفل كيفية ربط حذائه باستخدام لوحة تدريب صغيرة، ثم إعطائه زوجاً من الأحذية الضخمة. الطفل، بعد أن تعلم منطق العقدة، يمكنه ربط الأحذية الضخمة بشكل مثالي.
الحدود: يشير المؤلفون إلى أنه بينما ينجح هذا الأمر بشكل ممتاز مع "الزمرة التناظرية" (خلط الأوراق)، قد تكون الزمر الرياضية الأخرى أكثر فوضوية وصعوبة في التعلم. ومع ذلك، فإن هذا النجاح يشير إلى أن الذكاء الاصطناعي يمكن أن يساعد في النهاية في حل مشكلات رياضية صعبة أخرى، مثل "مشكلة العقدة" (Unknot Problem) (فك تشابك العقد)، وهي مشكلة صعبة جداً على الحواسيب حالياً.

باختصار: تعلم الذكاء الاصطناعي كيف يصبح خبيراً في الخلط من خلال التدرب على مجموعة أوراق صغيرة، مما أثبت أن الآلات، مع التدريب الصحيح، يمكنها التعميم من "الصغير" إلى "الكبير" في الرياضيات البحتة.

خاتمة تقنية: تعلم الزمرة المتماثلة: من الصغير إلى الكبير

بيان المشكلة
يتقصى هذا المقال ما إذا كانت الشبكات العصبية القائمة على نموذج "ترانسفورمر" (Transformer) قادرة على تعلم بنية الزمرة المتماثلة $S_n$ من خلال التدريب حصرياً على زمر فرعية أصغر $S_m$ (حيث $m < n$ )، ومن ثم التعميم للتنبؤ بالتبديلات في زمر أكبر، دون برمجة علاقات الزمرة برمجياً (Hard-coding). تتضمن المهمة المحددة أخذ كلمة $w \in S_n$ ، مُعبر عنها كحاصل ضرب تبديلات، والتنبؤ بالتبديل الناتج للمجموعة $\{1, \dots, n\}$ . يتناول المؤلفون صيغتين مختلفتين لهذه المشكلة:

التبديلات العامة: كلمات مُفككة باستخدام تبديلات اختيارية $s_{i,j}$ .
التبديلات المتجاورة: كلمات مُفككة حصرياً باستخدام تبديلات متجاورة أولية $s_i = s_{i,i+1}$ .

يكمن التحدي المركزي في التعامل مع أطوال الكلمات المتغيرة. ويشير المؤلفون إلى أن أطوال الكلمات المختزلة تتفاوت من $0 $(المحايد) إلى$ n-1 $(الحالة العامة) أو$ n(n-1)/2$ (الحالة المتجاورة). ولمعالجة ذلك، تم تدريب النماذج على كلمات ثابتة الطول وغير مختزلة، مع حشوها بتبديلات محايدة.

المنهجية
يستخدم المؤلفون بنية "ترانسفورمر" ذاتية الانحدار (الشكل 1) تتنبأ برموز التبديل بشكل متسلسل. تتكون المدخلات من "نافذة سياق" تحتوي على تسلسل التبديلات والتبديل المتنبأ به جزئياً.

توليد البيانات وتعزيزها:
- حشو المحايد (Identity Padding): للتعامل مع الأطوال المتغيرة، تم حشو الكلمات إلى طول أقصى $N$ بتبديلات تعمل كمحايدات تحت علاقات الزمرة. يجب على النموذج تعلم هذه العلاقات ضمنياً لتجاهل الحشو.
- التدريب على الزمر الفرعية: تم تدريب النموذج على بيانات مولدة من $S_m$ (تحديداً $m=10$ ) ولكن تم اختباره على $S_n$ ( $n=25$ للحالة العامة، $n=16$ للحالة المتجاورة).
- استراتيجية إعادة التسمية: لتوليد بيانات لـ $S_n$ $S_{n}$ تتضمن فقط $S_m$ $S_{m}$ ، قام المؤلفون برسم خرائط للكلمات من $S_m$ $S_{m}$ إلى $S_n$ $S_{n}$ عبر تبديل عشوائي $\sigma \in S_n$ $σ \in S_{n}$ .
  - بالنسبة لـ التبديلات العامة، استُخدمت عملية إعادة تسمية بسيطة للفهارس $\{1, \dots, m\}$ إلى مجموعة فرعية عشوائية من $\{1, \dots, n\}$ .
  - بالنسبة لـ التبديلات المتجاورة، فشلت طريقة "النافذة" الساذجة (إعادة تسمية $s_1, \dots, s_{m-1}$ إلى كتلة متصلة $s_{k+1}, \dots$ )، لأن النموذج تعلم تحديد موضع النافذة بدلاً من بنية الزمرة. وللتصدي لذلك، استحدث المؤلفون طريقة "النافذة المجزأة" (Partitioned Window). يتضمن ذلك تفكيك $m$ إلى تكوين (على سبيل المثال، $12 = 3+6+3$ )، وإنشاء نوافذ متعددة غير متصلة ذات أطوال متغيرة داخل $S_n$ ، ورسم خرائط لرموز المدخلات إلى هذه النوافذ مع إزاحات عشوائية. وهذا يجبر النموذج على تعلم العلاقات المحلية للزمرة بدلاً من مؤشرات الموقع العالمية.
تفاصيل البنية:
- الترميز (Tokenization): يتم رسم خرائط للتبديلات العامة إلى أعداد صحيحة $x_k = i_k - 1 + n(j_k - 1)$ . أما التبديلات المتجاورة، فيتم رسم خرائطها مباشرة إلى الفهارس $x_k = i_k$ .
- التضمينات (Embeddings): يستخدم النموذج تضمينات رموز متعلمة وتضمينات موضعية. تتم معالجة المدخلات عبر طبقات "ترانسفورمر" قياسية (الانتباه متعدد الرؤوس، التغذية الأمامية، والتقييس) قبل أن تتبعها طبقة خطية واحتمالات "softmax" المخرجة.

النتائج الرئيسية
تظهر التجارب أن النماذج تحقق دقة تقارب 100% على مجموعات الاختبار خارج نطاق التوزيع (OOD):

التبديلات العامة: حقق نموذج تم تدريبه على $S_{10}$ تعميماً على $S_{25}$ مع صفر خسارة تدريب وأداء اختبار شبه مثالي (الشكل 2).
التبديلات المتجاورة: حقق نموذج تم تدريبه على $S_{10}$ تعميماً على $S_{16}$ بأداء عالٍ مماثل (الشكل 3). ويشير المؤلفون إلى أن الحالة المتجاورة أكثر تعقيداً من الناحية النظرية بسبب أطوال الكلمات الأطول وقيود المحلية الأكثر صرامة؛ ومع ذلك، نجحت طريقة النافذة المجزأة في تمكين التعميم.

ملاحظات حول القابلية للتفسير
حلل المؤلفون خرائط التشابه الذاتي لتضمينات التعلم:

التبديلات العامة: كشفت مصفوفة تضمين الرموز عن بنية شبكية منتظمة، مما يشير إلى أن النموذج تعلم العلاقات عالية المستوى بين المولدات (على سبيل المثال، $s_{i,j}$ ترتبط بقوة بـ $s_{i,k}$ و $s_{j,i}$ ). لم يظهر التضمين الموضعي أي ترتيب جوهري تحت التبديلات العامة.
التبديلات المتجاورة: أظهر التضمين الموضعي للتبديلات المتجاورة بنية فرعية كتلية مفاجئة ضمن أول $n(n-1)/2$ صف، رغم أن المؤلفين أشاروا إلى أن هذا لم يكن متسقاً عبر جميع أحجام الزمر وأن أهميته لا تزال غير واضحة.

الأهمية والادعاءات
يدعي المقال أنه يثبت قدرة نماذج "ترانسفورمر" على تعلم البنية الخوارزمية لضرب الزمر من مجموعات تدريب صغيرة والتعميم على زمر أكبر وأكثر تعقيداً بشكل ملحوظ، حتى عندما يتغير تمثيل المدخلات (عبر إعادة التسمية والتقسيم).

القابلية للتوسع: يقترح العمل طريقة قابلة للتوسع حيث يمكن للنماذج المدربة على بنيات أبسط ( $S_m$ ) حل مهام لزمر أكبر وأكثر تعقيداً ( $S_n$ ).
التعلم خارج نطاق التوزيع (OOD): يعد هذا مثالاً محدداً للتعلم خارج نطاق التوزيع في الرياضيات، مما يوضح أن الميزات المتعلمة في الزمر الفرعية الصغيرة يمكن أن تكون عالمية بما يكفي لتطبيقها على زمر أكبر.
الاتجاهات المستقبلية: يقترح المؤلفون أن هذا النهج يمكن أن يوفر رؤى لمسألة الكلمة (word problem) للزمر ذات التوليد المحدود وتطبيقات في المشكلات المعقدة حسابياً (NP-hard) في علم الجينوم المقارن. كما حددوا "زمرة الضفيرة" (braid group) كهدف للعمل المستقبلي، مدفوعين بأهميتها في مسألة العقدة غير المربوطة (unknot problem)، وأشاروا إلى أن الزمرة المتماثلة هي زمرة "مروضة" (tame)، بينما ستشكل الزمر الأكثر غرابة تحديات أكبر.

يظل المؤلفون متواضعين بشأن الآليات الداخلية، مشيرين إلى أن مسألة "هل اكتشفت النماذج خوارزمية عامة أم تعلمت تمثيلات محددة" هي "سؤال مفتوح"، ويخططون لإجراء تحليل للتفسير الآلي (mechanistic interpretability) في عمل مستقبلي.