🤖 machine learning

On the Power of Foundation Models

تستخدم هذه المساهمة نظرية الفئات لتبين أنه بينما يقتصر التعلم القائم على التلقين (prompt-based learning) بشكل صارم على المهام القابلة للتمثيل، فإن نموذج تأسيسي قوي بما يكفي مع الضبط الدقيق يمكنه نظرياً حل أي مهمة لاحقة ضمن الفئة المحددة بمهمة ما قبل التدريب والتعميم على كائنات غير مرئية من خلال التخطيط البنيوي.

المؤلفون الأصليون: Yang Yuan

نُشر 2026-04-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yang Yuan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح ورقة "On the Power of Foundation Models" بلغة بسيطة واستعارات إبداعية.

السؤال الكبير: هل يمكن لعقل خارق أن يفعل كل شيء؟

تخيل طالباً قرأ كل كتاب في الكون، ولديه وقت غير محدود للتعلم، ولا يرتكب خطأً واحداً في الاختبارات التجريبية. يطرح المؤلفون سؤالاً بسيطاً: إذا كان هذا الطالب مثالياً في اختباراته التجريبية، فهل يمكنه تلقائياً حل أي مشكلة جديدة تعرضها عليه؟

في عالم الذكاء الاصطناعي، هذا "الطالب" هو النموذج التأسيسي (Foundation Model) (مثل تلك التي تقف وراء ChatGPT أو مولدات الصور). و"الاختبارات التجريبية" تسمى مهام ما قبل النص (Pretext Tasks) (مثل التنبؤ بالكلمة التالية في جملة أو تخمين كيفية دوران صورة ما).

تجادل الورقة بأن النظريات الحالية (المتعلقة بكمية البيانات أو حجم الحاسوب) لا يمكنها الإجابة على هذا. بدلاً من ذلك، يستخدم المؤلفون فرعاً من الرياضيات يسمى نظرية الفئات (Category Theory) (فكر فيها كـ "قواعد بناء الهياكل") لتحديد ما يمكن لهذه النماذج فعله وما لا يمكنها فعله.

لقد اكتشفوا قاعدتين رئيسيتين لكيفية تعلم هذه النماذج لأشياء جديدة:

القاعدة رقم 1: حد "الأمر" (استعارة بطاقة المكتبة)

السيناريو: تريد من النموذج أداء مهمة جديدة (مثل تحديد القطط في الصور)، لكنك لا تريد إعادة تدريبه. أنت ببساطة تعطيه تعليمات محددة أو "أمراً" (Prompt) (مثل بطاقة مكتبة مكتوب عليها: "ابحث عن القطط").

الرؤية: يمكن للنموذج حل المهمة الجديدة فقط إذا كانت تلك المهمة "مخبأة" بالفعل داخل هيكل تدريبه الأصلي.

الاستعارة: تخيل النموذج كأنه مكتبة.

مهمة ما قبل النص (التدريب) هي الطريقة التي نظمت بها المكتبة كتبها. إذا نظمت المكتبة الكتب حسب "اللون" فقط، فستكون الكتب مصنفة إلى أحمر، وأزرق، وأخضر.
ضبط الأمر (Prompt Tuning) يشبه سؤال أمين المكتبة: "هل يمكنك العثور لي على كتاب عن التاريخ؟"
النتيجة: إذا كانت المكتبة منظمة فقط حسب اللون، فلن يستطيع أمين المكتبة العثور على كتاب عن التاريخ، حتى لو كان يمتلك أفضل ذاكرة في العالم. ففئة "التاريخ" ببساطة غير موجودة في هيكل المكتبة.
إثبات الورقة: يثبت المؤلفون أنه إذا كانت مهمة التدريب (مثل تخمين دوران الصور) تعلم النموذج فقط "الدوران"، فلا يمكن جعل النموذج يؤدي مهاماً معقدة مثل "التقطيع" (Segmentation) للأجسام، لأن مفهوم "التقطيع" لم يكن مبنياً في هيكل المكتبة.

الخلامة: إذا علمت النموذج لعب الشطرنج فقط، فلا يمكنك جعله يلعب كرة القدم بمجرد "أمر" (Prompt). يجب أن تكون المهمة الجديدة قابلة للتمثيل من خلال الهيكل القديم.

القاعدة رقم 2: قوة "الضبط الدقيق" (استعارة المفتاح الرئيسي)

السيناريو: أنت مستعد لإعطاء النموذج تدريباً جديداً قليلاً (الضبط الدقيق - Fine-tuning) باستخدام مجموعة بيانات صغيرة للمهمة الجديدة.

الرؤية: هذا أكثر قوة بكثير. إذا تعلم النموذج "هيكل" العالم بشكل جيد خلال تدريبه الأصلي، فيمكنه تعلم أي مهمة جديدة، بشرط أن تعطيه موارد كافية (بيانات وقوة حوسبة) لربط النقاط ببعضها.

الاستعارة: تخيل النموذج كأنه مفتاح رئيسي (Master Key) تم برده ليتناسب مع أقفال مبنى محدد (مهمة ما قبل النص).

الضبط الدقيق (Fine-Tuning) يشبه أخذ هذا المفتاح الرئيسي وبرده قليلاً ليتناسب مع باب جديد في مبنى مختلف.
النتيجة: طالما أن المفتاح الرئيسي قد استوعب "جوهر" أقفال المبنى الأول، يمكنك إعادة تشكيله لفتح أي باب في العالم تقريباً.
إثبات الورقة: يوضح المؤلفون أنه إذا كان النموذج "مثالياً" (أي تعلم هيكل التدريب بشكل مثالي)، فإنه يحتوي على جميع المعلومات اللازمة لحل أي مهمة لاحقة. بيانات التدريب للمهمة الجديدة تعمل مجرد دليل لإظهار كيفية إعادة تشكيل هذه المعلومات للنموذج.

الخلاصة: الضبط الدقيق ليس محدوداً بـ "قابلية التمثيل" للأمر (Prompt). إذا كان الأساس قوياً، يمكن تكييف النموذج مع أي شيء تقريباً.

القاعدة رقم 3: "الجسر السحري" (استعارة المترجم)

السيناريو: ماذا يحدث عندما نجمع أنواعاً مختلفة من النماذج، مثل نموذج يفهم النصوص وآخر يفهم الصور (التعلم متعدد الوسائط - Multimodal Learning)؟

الرؤية: تقدم الورقة "نظرية التعميم". وهي تنص على أنه إذا بنيت جسراً مثالياً (خريطة رياضية) بين عالمين مختلفين (مثل النص والصور)، فإن هيكل أحد العالمين يتم الحفاظ عليه في الآخر.

الاستعارة: تخيل قاموساً يترجم "النص" إلى "صور" بشكل مثالي.

في عالم النصوص، لديك مفهوم "كرسي الأفوكادو" (كرسي على شكل حبة أفوكادو). هذا الشيء قد لا يكون موجوداً في العالم الحقيقي، ولا توجد صورة له في بيانات تدريبك.
ومع ذلك، بما أن عالم النصوص يحتوي على هيكل منطقي حيث يمكن الجمع بين كلمتي "أفوكادو" و"كرسي"، وبما أن قاموسك (النموذج) يحافظ تماماً على هذا الهيكل عند الترجمة إلى عالم الصور...
النتيجة: يمكن للنموذج أن "يهلوس" أو يولد صورة مثالية لكرسي الأفوكادو، رغم أنه لم يره من قبل. هو لم يقم بالنسخ فحسب؛ بل فهم العلاقة بين الكلمات وطبق هذا الهيكل على عالم الصور.

إثبات الورقة: يفسر هذا سبب قدرة نماذج مثل DALL-E 2 أو CLIP على إنشاء صور لأشياء لم توجد من قبل في مجموعات تدريبها. إنها لا تقوم بالنسخ فقط؛ بل تستخدم المنطق الهيكلي للغة لبناء صور جديدة.

ملخص ادعاءات الورقة

الأمر (Prompting) محدود: يمكنك فقط توجيه أمر لنموذج للقيام بأشياء "مبنية داخلياً" في الطريقة التي تم تدريبه بها. إذا لم يعلمه التدريب هيكل المهمة الجديدة، فلن ينجح مجرد "الأمر".
الضبط الدقيق (Fine-tuning) قوي: إذا كنت مستعداً للقيام بقدر قليل من التدريب الإضافي، فيمكن تكييف النموذج الذي تعلم هيكلاً جيداً لحل أي مهمة تقريباً.
الهيكل يخلق الجديد: من خلال رسم خريطة مثالية لهيكل مجال ما (مثل النص) على مجال آخر (مثل الصور)، يمكن للنماذج إنشاء أشياء لم توجد من قبل (مثل كرسي الأفوكادو) لأنها تتبع القواعد المنطقية للهيكل بدلاً من مجرد حفظ الصور.

يؤكد المؤلفون أنهم لا يتحدثون عن أحجام شبكات محددة أو كميات بيانات، بل عن الهيكل المنطقي للمهام نفسها. إنهم يستخدمون الرياضيات لإثبات أن "شكل" مهمة التدريب هو الذي يحدد "شكل" ما يمكن للنموذج القيام به في النهاية.

إليك ملخص تقني مفصل لورقة "حول قوة النماذج التأسيسية" (On the Power of Foundation Models) للكاتب يانغ يوان.

1. بيان المشكلة

تتناول الورقة سؤالاً جوهرياً في عصر النماذج التأسيسية: إذا توفرت بيانات عالية الجودة بلا حدود، وحوسبة غير محدودة، ونموذج ضخم للغاية مع خوارزمية تدريب مثالية (تضمن خطأ تعميم صفري في مهمة ما قبل التدريب)، فهل يمكن لمثل هذا النموذج حل أي مهمة لاحقة؟

إن النظريات الحالية للتعلم العميق (التمثيل، والتحسين، والتعميم) غير كافية للإجابة على ذلك، لأنها تفترض عادةً توزيعات بيانات أو بنيات شبكية أو موارد محدودة. ويجادل المؤلفون بأن القصور لا يكمن في قدرة النموذج على التعلم، بل في التمثيل الهيكلي للمهام نفسها. المشكلة الجوري هي تحديد المهام اللاحقة التي يمكن للنموذج التأسيسي حلها بناءً فقط على البنية المستحثة من مهمة ما قبل التدريب (المهمة المرجعية - pretext task).

2. المنهجية: إطار عمل فئوي (Categorical Framework)

يستخدم المؤلفون نظرية الفئات (Category Theory) كأداة رياضية أساسية لتحليل النماذج التأسيسية. يتيح هذا النهج منظوراً "مستقلاً عن النموذج" يركز على العلاقات الهيكلية بين نقاط البيانات، بدلاً من التركيز على بنيات الشبكات العصبية أو دوال الخسارة المحددة.

المفاهيم الرئيسية المعرفة:

الفئة المستحثة بواسطة النموذج التأسيسي ( $C_f$ ): يستحث النموذج التأسيسي $f: D \to H$ $f : D \to H$ (الذي يربط البيانات بالتمثيلات) فئةً، حيث:
- الكائنات (Objects): نقاط البيانات مقسمة حسب تكافؤ التمثيل (أي أن $X \sim X'$ إذا كان $f(X) = f(X')$ ).
- التشاكلات (Morphisms): تُعرف بواسطة "قراءة بيانات مستقلة" $k_f$ وخرائط تركيب مشتقة من عمليات المهمة المرجعية (مثل الترجمة في فضاء الميزات في التعلم التبايني، أو إلحاق الرموز في نمذجة اللغة).
تضمين يوندا (Yoneda Embedding $h_C$ ): تستخدم الورقة "لم de Yoneda" لتفسير تمثيل النموذج $f(X)$ كـ دالة تمثيلية (representable functor) $h_C(X) = \text{Hom}_C(X, \cdot)$ . هذا يربط فضاء الميزات الداخلي بفئة من الدوال ( $C^\vee$ )، مما يؤدي فعلياً إلى ترميز العلاقات الهيكلية للبيانات.
تمثيل المهمة: تُعرف المهام اللاحقة كدوال $T \in C^\vee$ . حل المهمة يعني أن النموذج يمكنه إنتاج مخرج متماثل (isomorphic) مع $T(X)$ .

3. المساهمات والنتائج الرئيسية

تضع الورقة ثلاث نظريات رئيسية فيما يتعلق بقدرات النماذج التأسيسية تحت استراتيجيتين للتكيف: ضبط المطالبة (Prompt Tuning) والضبط الدقيق (Fine Tuning).

أ. حدود ضبط المطالبة (النظرية 3)

النتيجة: يمكن للنموذج التأسيسي حل مهمة لاحقة $T$ عبر "ضبط المطالبة" إذا وفقط إذا كانت المهمة $T$ قابلة للتمثيل (representable) داخل الفئة المستحثة من المهمة المرجعية.
الدلالة: "ضبط المطماء" محدود بصرامة بالثراء الهيكلي للمهمة المرجعية. إذا كانت المهمة المرجعية (مثل التنبؤ بالدوران) تستحث فقط بنية زمرة (group structure) بسيطة، فلا يمكن للنموذج حل مهام لاحقة معقدة (مثل التجزئة الدلالية) عبر المطالبة وحدها، بغض النظر عن حجم النموذج.
النتيجة المترتبة 1: على وجه التحديد، مهام ما قبل التدريب للتنبؤ بالدوران لا تضمن القدرة على حل المهام المتعلقة بالمحتوى مثل التصنيف أو التجزئة عبر المطالبة، لأن الفئة المستحثة تفتقر إلى التعقيد الهيكلي اللازم.

ب. قوة الضبط الدقيق (النظرية 5)

النتيجة: على النقيال من ضبط المطالبة، لا يوجد للضبط الدقيق (Fine Tuning) مثل هذه القيود الهيكلية. إذا امتلك النموذج التأسيسي الحد الأدنى المطلوب من الأداء لحل المهمة المرجعية (حتى التماثل) ووُفرت له موارد كافية (بيانات وحوسبة) للمهمة اللاحقة، فيمكنه نظرياً حل أي مهمة لاحقة معرفة ضمن الفئة $C^\vee$ .
الآلية: يُمكّن الضبط الدقيق النموذج من تعلم دالة توسيع (عبر نظرية توسيع يوندا) تقوم بربط فضاء التمثيل ما قبل التدريب بفضاء المهمة المستهدفة المحددة.
الأهمية: يشير هذا إلى أن "عنق الزجاجة" في النماذج التأسيسية ليس في قدرة الضبط الدقيق نفسها، بل في جودة المهمة المرجعية. فالمهمة المرجبية الغنية تولد فئة غنية $C$ ، والتي بدورها توسع فضاء المهام القابلة للحل.

ج. التعميم والتعلم متعدد الوسائط (النظريتان 6 و7)

النتيجة: تقدم الورقة نظرية تعميم للتعلم الهيكلي. إذا وُجدت "دالة حافظة للميزات" (feature-preserving functor) بين فئتين (مثل النص والصورة)، فإن المعلومات الهيكلية للفئة المصدر تُحفظ في فضاء الميزات للفئة الهدف.
التطبيق على الكائنات "غير المرئية": يفسر هذا كيف يمكن لنماذج مثل CLIP أو DALL-E 2 توليد أو التعرف على كائنات غير موجودة في بيانات التدريب (مثل "كرسي على شكل ثمرة أفوكادو"). يتعلم النموذج العلاقات الهيكلية (التشاكلات) بين فئات النص والصورة. إذا كان مصطلح "كرسي أفوكادو" يشكل تركيباً صالحاً في فئة النصوص، فإن الدالة الحافظة للميزات تنقل هذا الهيكل إلى كائن مقابل (قد يكون غير مرئي) في فئة الصور.
نظرية التركيب (النظرية 7): يمتد هذا الإطار إلى سلاسل من الفئات ويوضح كيف يمكن للنماذج متعددة الوسائط ربط مجالات متباينة (مثل اللغة أ $\leftarrow$ اللغة ب $\leftarrow$ الصورة) عبر تركيب الدوال.

4. الأهمية والأثر

التحول من البيانات/البنية إلى الهيكل: تنقل الورقة التركيز النظري بعيداً عن حجم البيانات أو عمق الشبكة نحو البنية الجبرية للمهام. وتفترض أن "قوة" النموذج التأسيسي تتحدد بالفئة التي يستحثها، وليس مجرد عدد معاملاته.
التبرير النظري لتصميم المهام المرجعية: توفر إطاراً رياضياً صارماً لـ التعلم الخاضع للإشراف الذاتي (SSL). وهي تفسر لماذا تعمل بعض المهام المرجعية بشكل أفضل من غيرها: فهي تستحث فئات ذات تشكلات (morphisms) أكثر ثراءً، مما يتيح نطاقاً أوسع من المهام اللاحية.
تفسير قدرات "التعميم الصفري" (Zero-Shot): يقدم إطار العمل القائم على "يوندا" تفسيراً رسمياً لكيفية تعميم النماذج التأسيسية للمفاهيم غير المرئية (التعميم التركيبي) من خلال معاملتها كتراكيب هيكلية داخل فئة، بدلاً من كونها مجرد ارتباطات إحصائية.
التمييز بين المطالبة والضبط الدقيق: توضح الحدود النظرية بين هندسة المطالبة (المحدودة بالقدرة على التمثيل) والضبط الدقيق (المحدود فقط بالموارد وثراء الفئة المدربة مسبقاً).

الخاتمة

تجادل الورقة بأنه مع توفر موارد غير محدودة، فإن قدرة النموذج التأسيسي على حل المهام تتقيد أساساً بـ البنية الفئوية المتعلمة أثناء ما قبل التدريب. وبينما يقتصر "ضبط المطالبة" على المهام القابلة للتمثيل هيكلياً داخل هذه الفئة، فإن "الضبط الدقيق" يمكنه فتح أي مهمة ضمن هذا الفضاء الهيكلي. علاوة على ذلك، يوضح إطار العمل أن التعلم متعدد الوسائط هو في الأساس محاذاة للدوال بين فئات مختلفة، مما يتيح توليد والتعرف على كائنات جديدة وغير مرئية من خلال التركيب الهيكلي.