🤖 machine learning

Kan Extension Transformers: A Categorical Unification of Attention, Diffusion, and Predict-Detach Self-Conditioning

تقدم هذه الورقة محولات امتداد كان (KETs) كإطار عمل فئوي يوحد آليات الانتباه، والانتشار، والاشتراط الذاتي، مظهرةً أنه بينما تتفوق محولات KETs التربيعية في الإعدادات السببية الصارمة، فإن أهم مكاسب الأداء عبر مجموعات بيانات متعددة تأتي من اعتماد نظام اشتراط ذاتي قائم على التنبؤ والفصل.

المؤلفون الأصليون: Sridhar Mahadevan

نُشر 2026-05-27

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Sridhar Mahadevan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "Kan Extension Transformers" بلغة بسيطة واستعارات من الحياة اليومية.

الفكرة الكبرى: طريقة جديدة لـ "النظر" إلى المعلومات

تخيل أنك تحاول فهم قصة من خلال قراءتها كلمة بكلمة. النماذج التقليدية للذكاء الاصطناي (مثل تلك التي قد تعرفها) تفعل ذلك تماماً: فهي تنظر إلى الكلمة التي تسبق الكلمة الحالية والكلمة التي تليها مباشرة لتخمن ما سيأتي بعد ذلك. إنها تعامل كل كلمة كجزيرة معزولة، متصلة فقط بجيرانها المباشرين.

تقترح هذه الورقة البحثية طريقة جديدة للتفكير في كيفية معالجة هذه النماذج للمعلومات. يقترح المؤلفون، بقيادة سريدهار ماهادي فان، أن نتوقف عن النظر إلى الكلمات كمجرد سطر من النصوص، ونبدأ في النظر إليها كجزء من شكل أو بنية.

يطلقون على إطار عملهم الجديد اسم Kan Extension Transformers (KETs). لفهم ما يعنيه ذلك، دعونا نستخدم بعض الاستعارات.

1. الطرق الثلاث لبناء حي سكني

تجادل الورقة بأن الاختلاف الرئيسي بين نماذج الذكاء الاصطناعي المختلفة ليس في كيفية الحساب، بل في ما يختارون النظر إليه عند اتخاذ القرار. يقارن المؤلفون بين ثلاثة "أنظمة أحياء" مختلفة:

الانتباه القياسي (رؤية "الجار الواحد"):
تخيل أنك في حفلة. الانتباه القياسي يشبه التحدث فقط مع الشخص الواقف بجانبك مباشرة. أنت تتجاهل الجميع غيره. هكذا تعمل معظم نماذج الذكاء الاصطناعي الحالية: فهي تركز على الرموز (الكلمات) الفردية واحداً تلو الآخر.
- ادعاء الورقة: هذه هي حالة "الجوار أحادي العنصر" (singleton-neighborhood).
المحولات الهندسية (رؤية "الخريطة"):
الآن، تخيل أنه يمكنك رؤية خريطة للغرفة. تلاحظ أن شخصين يقفان بالقرب من بعضهما البعض، حتى لو لم يكونا بجانبك في الصف. يمكنك التحدث معهما لأنهما "هندسياً" قريبين.
- ادعاء الورقة: هذا هو "الخلط بالوقوع" (incidence mixing). يتعلم النموذج خريطة مخفية حيث تكون الكلمات التي تبدو أو تتصرف بشكل متشابه جيراناً، حتى لو كانت بعيدة عن بعضها في الجملة.
نماذج KETs (رؤية "الشكل"):
هذا هو الابتكار الكبير للورقة. بدلاً من مجرد النظر إلى الأشخاص (الكلمات) أو أزواج من الأشخاص (الحواف)، تخيل النظر إلى مجموعات من الأشخاص التي تشكل أشكالاً.
- مجموعة من ثلاثة أشخاص يتحدثون تشكل مثلثاً.
- مجموعة من أربعة أشخاص تشكل هرمًا.
- في الرياضيات، تسمى هذه الأشكال simplices.
- ادعاء الورقة: تسمح نماذج KETs للذكاء الاصطناعي بالنظر إلى هذه الأشكال الكاملة (المثلثات، الأهرامات، إلخ) دفعة واحدة. إنها تجمع المعلومات من "المجموعة" بأكملها بدلاً من الأفراد فقط. هذا هو "حالة السيمبلكس ذات الرتب العليا" (higher-order simplicial case).

الخلاصة: يزعم المؤلفون أن نماذج الانتباه (Attention)، والمحولات الهندسية (Geometric Transformers)، ونماذج KETs، تقوم جميعها في الواقع بنفس الشيء رياضياً (يسمى "التمديد الموزون" أو weighted extension)، لكنها تنظر إلى أحجام مختلفة من الأشكال. نماذج KETs تنظر ببساطة إلى الأشكال الأكبر والأكثر تعقيداً.

2. مشكلة "السفر عبر الزمن" و "البلورة الكريستالية المشروخة"

أحد أكبر التحديات في الذكاء الاصطناعي هو السببية (causality). إذا كنت تكتب قصة، فلا يمكنك معرفة ما سيحدث في المستقبل بعد. إذا قام نموذج الذكاء الاصطناعي الخاص بك بـ "الغش" عن طريق استراق النظر إلى الكلمة التالية في بيانات التدريب، فإنه يحصل على ميزة هائلة، لكنها خدعة. الأمر يشبه دخول امتحان ومعك ورقة الإجابات في جيبك.

تقدم الورقة حيلة ذكية تسمى "التنبؤ-الفصل" (Predict-Detach) لحل هذه المشكلة.

طريقة الغش (البيانات الذهبية غير السببية - Gold Non-Causal): ينظر النموذج إلى الكلمة التالية الفعلية في بيانات التدريب. هذا غش. إنه يعمل بشكل رائع، لكنه غير صالح للاستخدام في العالم الحقيقي.
الطريقة الصادقة (السببية الصارمة - Strict Causal): ينظر النموذج فقط إلى ما رآه حتى الآن. هذه طريقة صادقة، لكنها أصعب.
طريقة "البلورة الكريستالية المشروخة" (Predict-Detach):
تخيل أن النموذج يقوم بتخمين ما قد تكون عليه الكلمة التالية. يكتب هذا التخمين على ورقة.
- الحيلة: قبل أن يستخدم هذا التخمين للمساعدة في فهم الجملة الحالية، فإنه يقوم بـ "فصل" (detach) الورقة.
- ماذا يعني "الفصل" (Detach): يشبه تجميد التخمين. يمكن للنموذج استخدام التخمين للمساعدة في تفكيره الحالي (المرور الأمامي/forward pass)، ولكنه لا يستطيع التعلم من التخمين لاحقاً (المرور الخلفي/backward pass). لا يمكنه القول: "أوه، لقد خمنتُ بشكل صحيح، لذا كان يجب أن أخمن ذلك في وقت سابق".
- النتيجة: يحصل النموذج على فائدة النظر إلى معلومات "المستقبل" (لأن لديه تخميناً)، ولكنه لا يغش لأن التخمين تم توليده من الماضي، وعملية "التعلم" محظورة.

الخلاصة: وجدت الورقة أن استخدام هذه "البلورة الكريستالية المشروخة" (Predict-Detach) منح النماذج دفعة هائلة في الأداء، وهي أكبر بكثير من مجرد تغيير شكل الجوار (من مثلثات إلى أهرامات).

3. لعبة "ملء الفراغات"

تقارن الورقة أيضاً بين طريقتين لطلب التنبؤ بالمستقبل من الذكاء الاصطناعي:

التنبؤ بالكتل المباشر (Direct Block Prediction): "إليك بداية جملة. اكتب الكلمات الأربع التالية من الصفر".
- الاستعارة: هذا يشبه طلب كتابة فقرة كاملة من شخص دون أي تلميحات. إنه أمر صعب للغاية.
إكمال إزالة الضجيج (Denoising Completion): "إليك بداية جملة، وإليك نسخة مشوهة من الكلمات الأربع التالية (بعض الحروف مفقودة أو مبعثرة). قم بإصلاحها".
- الاستعارة: هذا يشبه لعبة "ملء الفراغات" أو لعبة "أوجد الفروق". لا يتعين على الذكاء الاصطناعي ابتكار المستقبل من العدم؛ بل عليه فقط تنظيف نسخة فوضوية منه.

الخلاصة: توضح الورقة أن نهج "إزالة الضجيج" (Denoising) أسهل بكثير وينتج نتائج أفضل من محاولة توليد الكتلة بأكملها من الصفر. ويقارنون هذا بمفهوم رياضي يسمى "ملء هورن" (Horn Filling)، حيث لديك شكلاً جزئياً وتحتاج فقط إلى ملء القطع المفقودة لجعله مكتملاً.

ملخص النتائج

اختبر المؤلفون 12 نسخة مختلفة من هذه النماذج على ثلاثة مجموعات بيانات نصية قياسية (مثل مقالات ويكيبيديا والكتب الكلاسيكية).

"الشكل" يهم (قليلاً): في الوضع "الصادق" الصارم (بدون غش)، كان النموذج الذي نظر إلى الأشكال المعقدة (Quadratic KET) هو الأفضل أداءً في مجموعات البيانات الأكبر.
"الطريقة" تهم (كثيراً): لم يأتِ التحسن الأكبر من تغيير الأشكال (مثل المثلثات مقابل الأهرامات)، بل جاء من تغيير كيفية تعامل النموذج مع المعلومات.
- استخدام طريقة "التنبؤ-الفصل" (Predict-Detach) (البلورة الكريستالية الصادقة) جعل النماذج أكثر ذكاءً بشكل ملحوظ.
- استخدام طريقة "إزالة الضجيج" (Denoising) (ملء الفراغات) كان أسهل وأكثر فعالية من محاولة توليد النص من الصفر.

الخلاصة النهائية

لا تخترع هذه الورقة مجرد نموذج ذكاء اصطناعي جديد؛ بل تقدم لغة موحدة لشرح كيفية عمل النماذج المختلفة. إنها تقول:

الانتباه (Attention) هو مجرد النظر إلى نقاط فردية.
النماذج الهندسية تنظر إلى الخطوط.
نماذج KETs تنظر إلى الأشكال (المثلثات، الأهرامات).

وتثبت أن السر في جعل هذه النماذج أفضل ليس مجرد بناء أشكال أكبر، بل في كوننا أذكياء بشأن كيفية استخدامها للمعلومات — وتحديداً، باستخدام التخمينات "المفصولة" لاستراق النظر إلى المستقبل دون غش، والتعامل مع التنبؤ كمسألة "ملء فراغات" بدلاً من مهمة "الكتابة من الصفر".

ملخص تقني: محولات امتداد كان (Kan Extension Transformers - KETs)

1. بيان المشكلة

تتناول الورقة البحثية مشكلة التأسيس المتعلقة بـ التعميم في تعلم الآلة: وهي توسيع المعلومات من نطاق صغير أو محلي إلى نطاق أكبر مهيكل. بينما تعتمد بنيات المحولات (Transformers) القياسية على آليات الانتباه لتجميع الأدلة على مستوى الرموز (tokens)، فإنها تفتقر إلى إطار فئوي موحد يشمل التنفيذات المتنوعة، بما في ذلك الخلط الهندسي، والتجميع السيمبليشي (simplicial aggregation) من الرتب العليا، وإكمال الانتشار (diffusion-style completion).

علاوة على ذلك، تحدد الورقة توتراً حرجاً في نمذجة اللغة: كيفية الاستفادة من الجوارات غير السببية (التي يمكنها التقاط تبعيات هيكلية أغنى) دون انتهاك الصلاحية السببية عبر تسريب رموز المستقبل "الذهبية". النماذج ذاتية التراجع (autoregressive) قياسية هي سببية صارمة، بينما تعتمد نماذج الانتشار غالباً على معلومات المستقبل. تسعى الورقة إلى تقديم إطار يوحد هذه النهج ويوضح الشروط التي يمكن بموجبها استخدام الهياكل غير السببية لعمليات التكييف الذاتي (self-conditioning) الصالحة.

2. المنهجية

2.1 التوحيد الفئوي عبر امتدادات كان (Kan Extensions)

المساهمة النظرية الجوهرية هي صياغة طبقات المحول كـ مؤثرات امتداد مهيكلة موزونة مشتقة من نظرية الفئات (Category Theory). وتحديداً، يستخدم المؤلفون امتدادات كان لتعريف كيفية توسيع المعلومات المحلية إلى مواقع الرموز المستهدفة.

امتداد كان الأيسر (التجميع): يُنظر إليه كوسيلة عالمية لبناء قيم على نطاق مستهدف من بيانات على نطاق مصدر. في هذا السياق، يمثل تجميع الأدلة من الكائنات المصدر (الرموز، الحواف، السيمبليسات) إلى رمز مستهدف.
امتداد كان الأيمن (الإكمال): يُنظر إليه كوسيلة عالمية لإكمال القيم على نطاق مستهدف بحيث تظل متوافقة مع قيود المصدر. هذا الحدس يدعم مهام إزالة الضجيج والإكمال المهيكل.

تحدد الورقة شكلاً حسابياً مشتركاً لهذه الامتدادات باستخدام حساب الـ coend:
$h'_t \approx \int_{\sigma \in \mathcal{N}} W(t, \sigma) \otimes X(\sigma) \approx \sum_{\sigma \in \mathcal{N}} w(t, \sigma) V(\sigma)$
حيث $\mathcal{N}$ هو نظام الجوار المصدر، و $X(\sigma)$ هي متجهات الميزات المخصصة للكائنات المصدر، و $W(t, \sigma)$ هي الأوزان الهيكلية.

2.2 أنظمة الجوار

تميز الورقة بين ثلاث عائلات من النماذج بناءً على اختيار نظام الجوار المصدر $\mathcal{N}$ :

جوارات الرموز (الانتباه): يحتوي $\mathcal{N}$ فقط على كائنات الرموز. هذه هي آلية الانتباه الذاتي القياسية، وهي امتداد "كان" أيسر موزون فوق تسلسل.
الجوارات الطوبولوجية (TopoCoend): $\mathcal{N}$ عبارة عن رسم بياني هندسي مُتعلم في فضاء كامن. تُستحث الأوزان من خلال القرب الطوبولوجي بدلاً من موقع التسلسل.
الجوارات السيمبليشية (KET): يتضمن $\mathcal{N}$ $N$ كائنات من رتب عليا:
- سيمبليسات من الرتبة 0: الرموز.
- سيمبليسات من الرتبة 1: الحواف (على سبيل المثال، أزواج الرموز المتجاورة).
- سيمبليسات أعلى: الوجوه، أو الأنماط (motifs)، أو المدى الأكبر.
  يقوم KET بالتجميع عبر هذه الكائنات المصدر ذات الرتب العليا، مما يعمم كلاً من الانتباه والخلط الهندسي المحلي.

2.3 نظام التنبؤ-الفصل (Predict-Detach)

لمعالجة مسألة تسرب المعلومات عند استخدام جوارات غير سببية، تقدم الورقة آلية التنبؤ-الفصل (Predict-Detach).

الآلية: بدلاً من نقل الحالات المخفية التي يتم فرضها من المعلم (والتي تحتوي على معلومات مستقبلية حقيقية)، يقوم النموذج بحساب حامل تنبؤي $\hat{e}_t$ من الحالة المخفية السببية $h_t$ (عبر اللوغاريتمات والبحث في التضمين) ويطبق عملية detach().
الأهمية: هذا يخلق "حدًا نمطياً" (modal boundary). يسمح التمرير الأمامي للنموذج باستخدام الجوارات غير السببية (على سبيل المثال، تجميع التنبؤات من المواقع المستقبلية)، ولكن التمرير الخلفي (تدفق التدرج) يتم حظره. هذا يمنع النموذج من تعلم تشفير رموز المستقبل مباشرة في الحوامل، مما يحافظ على الصلاحية السببية مع تمكين التكييف الذاتي المهيكل.

2.4 الإكمال المهيكل (إزالة الضجيج)

تقارن الورقة بين التنبؤ المباشر بالكتل (رسم خريطة من السياق $C_t$ إلى كائن حاصل $\Sigma^B$ ) وبين إكمال إزالة الضجيج (رسم خريطة من كتلة تالفة $\tilde{x}$ والسياق إلى الكتلة النظيفة).

التفسير الفئوي: التنبؤ المباشر هو مشكلة امتداد بضربة واحدة. أما إزالة الضجيج فيتم تأطيرها كمشكلة ملء هورن (Horn Filling) في نظرية الهوموتوبي السيمبليشية، حيث يكمل النموذج سيمبليساً محدد جزئياً (الكتلة التالفة) ليصبح سيمبليساً كاملاً. يُفسر هذا على أنه امتداد كان أيمن (إيجاد قيمة متوافقة مع قيود محلية متعددة).

3. المساهمات الرئيسية

إطار موحد: تقترح الورقة محولات امتداد كان (KETs) كتوحيد فئوي للانتباه (Attention)، والمحولات الهندسية (GT)، وإكمال الانتشار (diffusion-style completion). وهي تؤسس تسلسلاً هرمياً حيث يكون الانتباه هو حالة الجوار الفردي، و KET المقيد بالحادثة هو حالة الحافة المتفرقة، و KET التربيعي هو الحالة السيمبليشية ذات الرتب العليا.
تعريف الحد السببي: تحدد الورقة بدقة نظام التنبؤ-الفصل كحد صالح لاستخدام الجوارات غير السببية. وتثبت أن البنية غير السببية صالحة فقط للتكييف الذاتي عندما تكون القيم المنقولة هي تنبؤات مفصولة (detached)، وليست حالات مفروضة من المعلم.
التحقق التجريبي: يقدم المؤلفون تقييماً شاملاً لـ 12 تطبيقاً مختلفاً للمحولات عبر ثلاثة أنظمة (السببي الصارم، غير السببي الذهبي، التنبؤ-الفصل) على مجموعات بيانات PTB و WikiText-2 و WikiText-103.
رؤية الإكمال المهيكل: تجادل الورقة بأن نمذجة اللغة تُفهم بشكل أفضل كمشكلة إكمال مهيكل (إزالة ضجيج/ملء هورن) بدلاً من مجرد توليد بضربة واحدة، كما يتضح من الفجوة الهائلة في الأداء بين التنبؤ المباشر بالكتلة وإزالة الضجيج.

4. النتائج التجريبية

4.1 النظام السببي الصارم

في WikiText-2 و WikiText-103، يتفوق Quadratic KET (التجميع السيمبليشي العالمي) على المحولات القياسية والمحولات الهندسية ضمن البنيات السببية.
في Penn Treebank (PTB)، يظل المحول القياسي هو النموذج السببي الأقوى.
يعد KET المقيد بالحادثة (المتفرق) منافساً ولكنه أضعف قليلاً من Quadratic KET في مجموعات البيانات الأكبر، وهو ما يتوافق مع كونه تقريباً متفرقاً.

4.2 نظام التنبؤ-الفصل (التكييف الذاتي)

الأثر المهيمن: تأتي أكبر المكاسب في الأداء عبر جميع مجموعات البيانات من نظام التنبؤ-الفصل نفسه، وليس من عائلة الجوار المحددة.
الأداء: استبدال حوامل الحالة المخفية بحوامل تنبؤية مفصولة يقلل بشكل كبير من الارتباك (perplexity).
- مثال (PTB): ينخفض Quadratic KET من 133.37 (سببي) إلى 31.43 (تنبؤ-فصل).
- مثال (WT2): ينخفض من 156.42 إلى 38.23.
- مثال (WT103): ينخفض من 210.30 إلى 51.89.
يحقق GT-PD (المحول الهندسي مع التنبؤ-الفصل) أقوى نتائج الأساس للتكييف الذاتي (على سبيل المثال، 1.05 PPL في PTB).

4.3 تشخيص التسرب

النماذج التي تستخدم أنظمة غير سببية ذهبية (حالات مستقبلية مفروضة من المعلم) تنهار إلى ارتباك قريب من الصفر (على سبيل المثال، ~1.0)، مما يؤكد أن المكاسب في نظام التنبؤ-الفصل ليست ناتجة عن تسرب المعلومات بل عن التكييف الذاتي الصالح.

4.4 إكمال الهيكل (إزالة ضجيج الكتلة)

إزالة الضجيج مقابل التنبؤ المباشر: إكمال كتلة إزالة الضجيج أسهل بكثير من التنبؤ المباشر بالكتلة.
- PTB (L=16): التنبؤ المباشر بالكتلة PPL ~143؛ إزالة الضجيج PPL ~4.18.
- WT103 (L=16): التنبؤ المباشر بالكتلة PPL ~472؛ إزالة الضيج PPL ~5.74.
يؤكد هذا الفرضية القائلة بأن توفير هيكل مستقبلي جزئي (هون/horn) يقلل بشكل كبير من صعوبة مهمة التنبؤ مقارلة بتوليد كائن حاصل كامل من الصفر.

5. الأهمية والادعاءات

تدعي الورقة أن امتدادات كان توفر المفردات العالمية الصحيحة لوصف كيفية نقل وتجميع وإعادة تنظيم معلومات الرموز المحلية عبر النطاقات المهيكلة.

الرؤية المعمارية: اختيار الجوار (الرموز مقابل السيمبليسات) أمر مهم، ولكن نظام المعلومات (ما هي القيم المنقولة) هو العامل المهيمن في الأداء التجريبي.
الصلاحية السببية: تثبت الورقة أنه يمكن استخدام الجوارات غير السببية للتكييف الذاتي دون انتهاك السببية، بشرما تم استخدام آلية "التنبؤ-الفصل" لقطع مسار التدرج من التنبؤات المستقبلية.
صياغة المهمة: تقترح الورقة أن نمذجة اللغة يجب أن تُفهم كـ إكمال مهيكل (امتداد كان أيمن/ملء هورن) بدلاً من مجرد امتداد تسلسلي (امتداد كان أيسر)، حيث تحقق أهداف إزالة الضجيج ارتباكاً أقل بكثير من التوليد المباشر.

يحافظ المؤلفون على موقف متواضع، مشيرين إلى أنه بينما يوحد الإطار النماذج الحالية ويفسر المكاسب التجريبية، فإن الدراسة محدودة في النطاق (تركز على الارتباك ومجموعات بيانات محددة) ولا تدعي أنها الحكم النهائي على البنيات واسعة النطاق. المساهمة الأساسية هي عدسة تصميم عملية وإطار سببي للبحوث المستقبلية في النماذج اللغوية المهيكلة.