🤖 machine learning

Learn from your own latents and not from tokens: A sample-complexity theory

يُثبت هذا البحث، نظرياً وتجريبياً، أن تدريب النماذج التوليدية على التنبؤ بتمثيلاتها الكامنة الخاصة، بدلاً من الرموز الخام، يحقق تعقيد عينة ثابتاً بالنسبة للعمق الهرمي، مما يوفر ميزة كبيرة في كفاءة البيانات مقارنة بالتعلم الخاضع للإشراف التقليدي أو التعلم الخاضع للإشراف الذاتي على مستوى الرموز.

المؤلفون الأصليون: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "تعلم من تمثيلاتك الكامنة الخاصة وليس من الرموز: نظرية التعقيد في العينات"، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "نهم البيانات"

تخيل أنك تحاول تعليم روبوت فهم اللغة الإنجليزية. للقيام بذلك، تقوم بتغذيته بكل كتاب، وموقع إلكتروني، وتغريدة كُتبت على الإطلاق (تريليونات الكلمات). هذه هي الطريقة التي تتعلم بها نماذج الذكاء الاصطناعي الحالية (مثل تلك التي تكتب المقالات أو تدردش معك). إنها تنظر إلى الكلمات الفردية ("الرموز" أو الـ tokens) وتحاول تخمين الكلمة التالية.

ومع ذلك، يتعلم الطفل البشري التحدث بطلاقة باستخدام جزء ضئيل جداً من تلك البيانات. هو لا يحتاج لقراءة الإنترنت بأكمله؛ بل يحتاج فقط للتحدث مع والديه وأصدقائه.

تسأل الورقة البحثية: لماذا الذكاء الاصطناعي جائع جداً للبيانات؟ يقترح المؤلفون أن السبب هو أن الذكاء الاصطناعي يحاول تعلم أشياء خاطئة. إنه يحدق في "البكسلات" أو "الحروف" الخام (الرموز) بدلاً من فهم المفاهيم الأساسية (التمثيلات الكامنة/latents) التي تمثلها تلك الحروف.

التشبيه: دمى الماتريوشكا الروسية

لشرح نظريتهم، استخدم المؤلفون نموذجاً يسمى نموذج الهرم العشوائي (RHM). فكر في هذا النموذج كمجموعة من دمى الماتريوشكا الروسية أو شجرة عائلة.

الأوراق (الرموز): في المستوى الأدنى تماماً، لديك حروف أو أصوات فردية.
الطبقات الوسطى (التمثيلات الكامنة): تجتمع هذه الحروف لتشكل كلمات، والتي تشكل عبارات، والتي تشكل جملًا. كل مستوى هو "تمثيل كامن" (مفهوم خفي).
القمة (الجذر): المعنى النهائي أو "الأصل" للهيكل بأكمله.

الطريقة القديمة (التعلم على مستوى الرموز):
تخيل أنك تحاول فهم هيكل شجرة العائلة هذه، ولكن يُسمح لك فقط بالنظر إلى الطبقة السفلية (الأوراق). لفهم كيفية ارتباط الأجداد من الدرجة الرابعة ببعضهم البعض، عليك تتبع مسار هابط وصولاً إلى الأوراق ثم الصعود مرة أخرى.

المشكلة: كلما زاد عمق الشجرة (عدد مستويات المعنى)، تضعف الإشارة أكثر فأكثر. الأمر يشبه محاولة سماع همس من قمة ناطحة سحاب بينما تقف أنت في الأسفل؛ حيث يبتلع الضجيج الصوت.
التكلفة: لتعلم هيكل عميق بهذه الطريقة، تحتاج إلى كمية بيانات أسيّة. إذا كانت الشجرة مكونة من 4 مستويات، فقد تحتاج إلى ملايين الأمثلة. وإذا كانت مكونة من 10 مستويات، فقد تحتاج إلى بيانات أكثر مما يوجد في الكون.

الطالط الجديدة (التعلم من تمثيلاتك الكامنة الخاصة):
الآن، تخيل أنه يُسمح لك بالنظر إلى الطبقات الوسطى من الشجرة. بدلاً من تخمين الحرف التالي، أنت تخمن المفهوم التالي.

الحل: إذا كنت في المستوى 2، فأنت تتنبأ بالمستوى 3. ليس عليك النظر طويلاً إلى الأوراق. الإشارة هنا قوية وواضحة لأنك تعمل مع "جيران" في الهيكل الهرمي.
النتيجة: يمكنك تعلم الهيكل بأكمله بكمية ثابتة من البيانات، بغض النظر عن مدى عمق الشجرة. أنت لا تحتاج لملايين الأمثلة؛ بل تحتاج فقط لعدد كافٍ لرؤية النمط مرة أو مرتين.

التجارب الثلاث

لم يكتفِ المؤلفون بالرياضيات فقط؛ بل بنوا ثلاثة أشياء لإثبات نجاح هذه الفكرة:

خوارزمية التجميع (المحقق):
بنو برنامجاً حاسوبياً بسيطاً يعمل مثل المحقق. ينظر إلى مجموعات الكلمات، ويرى أي منها يتصرف بشكل متشابه (مرادفات)، ويجمعها معاً لتشكيل المستوى التالي من الهيكل.

النتيجة: نجح في إعادة بناء شجرة العائلة بأكملها باستخدام كمية ضئيلة من البيانات، مما أثبت أنه إذا نظرت إلى المستوى الصحيح، فإن المهمة تصبح سهلة.

الشبكة العصبية المتراكمة (السلم):
بنو شبكة عصبية عميقة حيث كل طبقة فيها عبارة عن فريق صغير. الفريق الأول يجمع الحروف الخام إلى كلمات. الفريق الثاني يجمع تلك الكلمات إلى عبارات. وكل فريق يعلم الفريق الذي يليه.

النتيجة: تعلمت هذه الشبكة بكفاءة تماثل خوارزمية المحقق البسيطة. وقد أثبتت أن الشبكات العميقة يمكنها تعلم الهياكل بكفاءة إذا تم هيكلتها للتنبؤ بتمثيلاتها الداخلية الخاصة.

تحليل "Data2vec" (العبقري الخفي):
نظروا في طريقة ذكاء اصطناعي شهيرة تسمى Data2vec. هذه الطريقة تحاول بالفعل التنبؤ بتمثيلاتها الداخلية الخاصة. أظهر المؤلفون أن Data2vec يقوم ضمناً بنفس ما يفعله نموذج "السلم" الخاص بهم.

النتيجة: Data2vec هو متعلم هرمي بالفعل! هو لا يحتاج لأن يكون متراكباً بطرق معقدة (كما تقترح بعض النظريات الحديثة الأخرى)؛ بل يكتشف طبقات الهيكل من تلقاء نفسه بشكل طبيعي. وهذا يعني أننا قد لا نحتاج لبناء بنيات معقدة وجديدة؛ بل نحتاج فقط لاستخدام الطرق الموجودة بالفعل مع فهم سبب نجاحها.

الخلاصة الجوهرية

تزعم الورقة أن التنبؤ بالبيانات الخام (الرموز) غير فعال لأن الإشارة تضعف عبر المسافات الطويلة. أما التنبؤ بمفاهيمك الداخلية (التمثيلات الكامنة) فهو فعال لأن الإشارة تظل قوية.

تعلم الرموز: يشبه محاولة حل لغز مكون من 1000 قطعة من خلال النظر إلى الغبار الموجود على الطاولة. ستحتاج إلى مليون محاولة للعثور على القطعة الصحيحة.
تعلم التمثيلات الكامنة: يشبه النظر إلى الصورة الموجودة على علبة اللغز. يمكنك حل اللغز بعدد قليل من المحاولات.

يخلص المؤلفون إلى أن السبب في كفاءة التعلم لدى الكائنات البيولوجية (مثل البشر) هو على الأرجح أن أدمغتنا تقوم باستمرار بالتنبؤ بنماذجها الداخلية للعالم، بدلاً من مجرد حفظ المدخلات الحسية الخام. ومن خلال نقل تدريب الذكاء الاصطناعي للتركيز على "التعلم من تمثيلاته الكامنة الخاصة"، يمكننا بناء ذكاء اصطناعي أكثر ذكاءً يتعلم ببيانات أقل بكثير.

ملخص تقني: تعلم من كامناتك الخاصة وليس من الرموز (Tokens): نظرية تعقيد العينة

بيان المشكلة

حققت النماذج التوليدية، بما في ذلك نماذج الانتشار (Diffusion Models) والنماذج اللغوية الكبيرة (LLMs)، نجاحاً تجريبياً مذهلاً، لكنها تعتمد على بيانات تدريب تفوق بمراتب عشرية ما يتطلبه المتعلمون البيولوجيون. تُدرب النماذج اللغوية الكبيرة الرائدة على $10^{13}$ إلى $10^{14}$ رمزاً (token)، وهو ما يتجاوز بكثير حجم التعرض الذي يحصل عليه الطفل للوصول إلى مستوى الكفاءة لدى البالغين. وبينما طُرحت فرضيات مثل تعدد الوسائط (multimodality) والتجذر (grounding)، يبحث هذا العمل في فرضية أن التعلم يكون أكثر كفاءة ليس على مستوى الرموز الخام، بل في فضاء كامن (latent space) مجرد.

تحديداً، يعالج البحث الفجوة النظرية في فهم طرق التعلم الذاتي الموجه (SSL) التي تتنبأ بتمثيلاتها الكامنة الخاصة (مثل data2vec وJEPA) مقابل تلك التي تتنبأ بالرموز الخام (مثل نمذجة اللغة المقنعة أو نماذج الانتشار). وتشمل الأسئلة الرئيسية ما يلي:

بمقدار كم يؤدي التنبؤ بالكوامن الخاصة إلى تحسين كفاءة البيانات مقارنة بالتنبؤ على مستوى الرموز؟
هل هناك فائدة نظرية لدمج مثل هذه الطرق صراحةً في تسلسلات هرمية متعددة المقاييس (مثل H-JEPA)؟

للإجابة على ذلك، يستخدم المؤلفون نموذج الهرم العشوائي (RHM)، وهو قواعد نحوية سياقية احتمالية (PCFG) مبسطة تولد رموزاً مرئية عبر شجرة من المتغيرات الكامنة الخفية بعمق $L$ . يسمح نموذج RHM بتحليل قابل للضبط لتعقيد العينة للبنية التركيبية.

المنهجية

يحلل المؤلفون ثلاثة توجهات متميزة لتعلم الهيكل الكامن لنموذج RHM:

التجميع الكامن التكراري (ILC): نهج خوارزمي حيث يستعيد النموذج الهيكل مستوى تلو الآخر. في كل مستوى $\ell$ ، تقوم الخوارزمية بتقدير متجهات السياق التجريبية لثنائيات الرموز وتجميعها لتحديد المترادفات (التي تشترك في نفس الأصل). يقوم هذا ببناء الملصقات الكامنة للمستوى $\ell+1$ ، والتي تعمل بعد ذلك كمدخلات للمستوى التالي.
شبكة التجميع الكامن المتراكم (SLC): بنية عصبية قابلة للتفاضل والتدريب من طرف إلى طرف تحاكي خوارزمية ILC. تتكون من مكدس من $L-1$ من الوحدات، تحتوي كل منها على متنبئ (يتنبأ بالرموز "ابنة العم" لتقدير متجهات السياق) ومجمّع (يربط متجهات التنبؤ برموز كامنة منفصلة عبر أهداف تباينية). يتم تدريب الشبكة عبر الانحدار الاشتقاقي، مع خيارات للانتشار العكسي العالمي أو قواعد التعلم المحلية (إيقاف التدرجات بين الوحدات).
التحليل النظري لـ data2vec: يحلل المؤلفون طريقة SSL الشهيرة data2vec، التي تستخدم إعداد المعلم والطالب للتنبؤ بالتمثيلات الكامنة للمدخلات المقنعة. يقترحون إطاراً نظرياً حيث تحمل أهداف المعلم ضمناً معلومات كامنة متعلمة، مما يسمح للطالب بإجراء تنبؤ كامن هرمي استقرائي.

المساهمات والنتائج الرئيسية

1. حدود تعقيد العينة

يضع البحث فصلاً دقيقاً في تعقيد العينة بين أهداف مستوى الرموز وأهداف التنبؤ الكامن:

التعلم الذاتي الموجه على مستوى الرموز (المُشرف عليه أو المقنع): لاستعادة الشجرة الكامنة بعمق $L$ ، تتطلب أهداف مستوى الرموز عدداً من العينات يتناسب مع $P \sim m^{L+1}$ (حيث $m$ هو عدد قواعد الإنتاج لكل رمز). هذا التناسب أسي بالنسبة للعمق $L$ لأن الإشارة يجب أن تنتشر عبر الهيكل بأكمده، حيث يؤدي كل قاعدة غير محلولة إلى إضعاف إشارة الارتباط بمعامل قدره $m$ .
التنبؤ الكامن (ILC، SLC، data2vec): يثبت المؤلفون أن التنبؤ بالكوامن الخاصة يقلل تعقيد العينة إلى $P \sim m^3$ $P \sim m^{3}$ (مع مراعاة العوامل اللوغاريتمية). هذا التناسب مستقل عن العمق $L$ .
- الآلية: بمجرد استعادة مستوى ما، يتم رفع كل من الكائن الشرطي وهدف التنبؤ إلى ذلك المستوى الكامن. تصبح المشكلة في كل مستوى لاحق عبارة عن مشكلة تجميع مترادفات محلية بنفس القوة الإحصائية للخطوة الأولى، مما يتجنب التراكم الأسي للضجيج.

2. التحقق الخوارزمي والعصبي

ILC: تؤكد التجارب العددية أن خوارزمية التجميع التكراري تستعيد الهيكل الكامل (باستثناء الجذر) بدقة تتناسب مع $m^3$ ، بشكل مستقل عن $L$ .
SLC: تحقق شبكة SLC المدربة من طرف إلى طرف نفس التناسب $m^3$ . ومن الجدير بالذكر أن المؤلفين يظهرون أن هذا التناسب يظل قائماً حتى عند استخدام قواعد تعلم محلية صارمة (إيقاف التدرجات بين الوحدات وعدم استخدام الانتشار العكسي العالمي)، مما يشير إلى ملاءمة بيولوجية.
data2vec: يقدم المؤلفون أول تحليل لتعقيد العينة لـ data2vec. تظهر النتائج التجريبية أن data2vec على نموذج RHM يتناسب أيضاً مع $m^3$ . نظرياً، يجادلون بأن data2vec يقوم ضمنياً بالتنبؤ الكامن الهرمي: فبينما يقوم المعلم بتحديث أوزانه، تدمج أهداف الطالب تدريجياً تمثيلات كامنة ذات مستويات أعلى، مما يرفع مهمة التنبؤ عبر الهيكل دون الحاجة لتكديس معماري صريح.

3. الآثار المترتبة على التكديس الهرمي

تشير النتائج إلى أن التكديس الصريح لوحدات التنبؤ الكامن (كما في H-JEPA) هو أمر زائد عن الحاجة إلى حد كبير. فالوحدة الواحدة للتنبؤ الكامن (مثل data2vec) قادرة على اكتشاف واستخدام الهياكل الهرمية متعددة المقاييس ضمنياً، وتحقيق التناسب الأمثل $m^3$ دون الحاجة إلى بنيات معقدة ومكدسة يدوياً.

الأهمية

يضع هذا البحث الحدس القائل بأن "التنبؤ على مستوى الرموز هو أمر غير أمثل" على أساس كمي متين. ومن خلال إثبات أن التعلم من الكوامنت الخاصة يمكن أن يحقق مكاسب أسية في كفاءة العينة مقارنة بأهداف مستوى الرموز، يوفر العمل تبريراً نظرياً للتحول نحو التنبؤ في الفضاء الكامن في النمذجة التوليدية.

علاوة على ذلك، يشير تحليل data2vec إلى أن طرق التعلم الذاتي الحالية ذات الحالة الراهنة قد تكون هرمية ضمنياً، مما يتحدى ضرورة مخططات الإشراف الهرمي الصريحة. ويخلص المؤلفون إلى أن تطوير نماذج بيانات اصطناعية مثل RHM يعد أمراً حاسماً لتصميم وفهم البنيات الجديدة نظرياً قبل توسيع نطاقها لتشمل اللغة الطبيعية والصور.

كما يسلط العمل الضوء على إمكانية تحقيق قواعد تعلم ملائمة بيولوجياً (التحديثات المحلية، الترميز التنبئي) لتعقيد عينة أمثل، مما يجسّر الفجوة بين كفاءة التعلم الآلي والقيود البيولوجية للتعلم.