💬 NLP

Exemplars in Disguise: Pure Exemplar Models Mimic Abstraction-First Learning

تتحدى هذه الورقة البحثية الادعاء بأن النماذج اللغوية الكبيرة تتعلم المعرفة التجريدية قبل التفاصيل الخاصة بكل عنصر، وذلك من خلال إثبات أن نماذج الحفظ الصرف يمكنها محاكاة أنماط التعلم هذه اعتماداً على توزيع المدخلات، مما يشير إلى أن التمييز بين المعرفة الخاصة بالعنصر والمعرفة التجريدية قد يكون غير محدد بدقة بالنسبة للتمثيلات الموزعة.

المؤلفون الأصليون: Zachary Nicholas Houghton, Vsevolod Kapatsinski

نُشر 2026-08-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zachary Nicholas Houghton, Vsevolod Kapatsinski

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يتحدث. لديك نظريتان كبيرتان حول كيفية تعلمه. النظرية الأولى، لنسمّها "نظرية كتاب القواعد"، تقول إن الروبوت يستوعب أولاً القواعد الكلية والمجردة للغة — مثل كيف تعمل جميع الأفعال التي تعني "العطاء" معًا — قبل أن يحفظ كلمات محددة. النظرية الثانية، لنسمّها "نظرية كتاب الذاكرة"، تقول إن الروبوت يقوم فقط بحفظ كل جملة يسمعها، واحدة تلو الأخرى، ثم لاحقًا يلاحظ الأنماط من خلال مقارنة كومة ذكرياته الضخمة.

لفترة طويلة، جادل العلماء حول أيهما كان صحيحًا. ولكن مؤخرًا، نظرت دراسة جديدة إلى نماذج الذكاء الاصطناعي العملاقة (مثل تلك التي تكتب المقالات أو تدردش معك) وزعمت أنها وجدت دليلًا على أن "نظرية كتاب القواعد" هي الصحيحة. قالوا إن هذه النماذج تتعلم القواعد الكبيرة قبل أن تتعلم الخصائص الدقيقة للكلمات الفردية. ومع ذلك، فإن هذا البحث يشبه المحقق الذي يتدخل ليقول: "مهلًا لحظة. دعونا ننظر بتمعن في الأدلة". قام المؤلفون بإجراء تجاربهم الخاصة باستخدام محاكاة حاسوبية بسيطة لمعرفة ما إذا كان هذا الدليل يثبت حقًا أن الروبوت يفكر في قواعد، أم أنه نتيجة لكيفية انتباه الروبوت للمعلومات الجديدة.

السرقة الكبرى: القواعد مقابل الذكريات

في عالم تعلم اللغة، هناك صراع كلاسيكي. في أحد الجوانب، لديك التجريد (Abstraction). هذا يشبه تعلم مفهوم "الفاكهة". بمجرد أن تعرف ما هي الفاكهة، يمكنك تخمين أن شيئًا جديدًا وغريب المظهر لم تره من قبل هو على الأرجح فاكهة، حتى لو لم تتذوقه قط. وعلى الجانب الآخر، لديك الأمثلة (Exemplars) (أو الذكريات المحددة). هذا يشبه تذكر كل تفاحة وموزة وبرتقالة تناولتها على الإطلاق. أنت لا تحتاج إلى قاعدة لـ "الفاكهة"؛ بل تقوم فقط بمقارنة الشيء الجديد بكومة التفاح والبرتقال الموجودة في ذاكرتك. إذا بدا مثل التفاحة، فإنك تسميه فاكهة.

السؤال الكبير هو: أيهما يأتي أولًا؟ هل نتعلم القاعدة العامة أولاً، أم نجمع الذكريات المحددة أولاً؟

مؤخرًا، نظر باحثون إلى نموذج ذكاء اصطناعي شهير (GPT-2) ولاحظوا شيئًا مثيرًا للاهتمام. راقبوا كيف يتعلم الذكاء الاصطناعي بمرور الوقت. لاحظوا أن الذكاء الاصطناعي بدأ في تجميع الأفعال المتشابهة معًا (مثل "يعطي" و"يبيع") قبل أن يبدأ في ملاحظة الاختلافات الدقيقة بينها (مثل كيف تُستخدم كلمة "يعطي" بشكل مختلف قليلاً عن "يبيع"). أطلقوا على ذلك "تعلم التجريد أولًا". بدا الأمر وكأن الذكاء الاصطناعي يبني كتاب قواعد قبل أن يملأ كتاب ذاكرته.

التحول المفاجئ: مفتاح "الحساسية"

قرر مؤلفا هذا البحث، زكريا نيكولاس هوتون وفيسيفولود كباتسينسكي، اختبار ما إذا كان نمط "التجريد أولًا" هذا علامة حقيقية على وجود كتاب قواعد، أم أنه مجرد عرض جانبي لكيفية انتباه الذكاء الاصطناعي.

وللقيام بذلك، بنوا متعلمين وهميين بسيطين في محاكاة حاسوبية. لم تكن هذه نماذج ذكاء اصطناعي متطورة ذات قواعد خفية؛ بل كانت حفظة محض. لم يكن لديهم أي وسيلة لإنشاء قواعد مجردة؛ كان بإمكانهم فقط تذكر ما رأوه.

المتعلم "صفر الحساسية": تخيل أن هذا المتعلم هو روبوت هادئ وسلس للغاية. عندما يرى كلمة جديدة، لا ينفعل أو يضطرب. إنه يدمج المعلومات الجديدة ببطء وبشكل مثالي في ذاكرته، متجاهلاً أي أخطاء غريبة وعابرة. إنه يشبه رسامًا هادئًا يمزج الألوان على اللوحة دون تناثر الألوان.
المتعلم "متغير الحساسية": هذا المتعلم مضطرب قليلاً. إنه يتفاعل بقوة مع كل كلمة جديدة يراها. إذا رأى كلمة غريبة في وقت مبكر، فإنه يتحمس بشدة لها. مدى اضطرابه يعتمد على إعداد يسمى k (تخيله كـ "مقبض الاضطراب"). إذا كانت قيمة k منخفضة، يكون المتعلم حساسًا للغاية لكل تفصيل صغير. وإذا كانت قيمة k عالية، يكون المتعلم هادئًا جدًا ويتجاهل التفاصيل الصغيرة، ويقوم بتنعيمها.

الاكتشاف الكبير

إليك الخدعة السحرية التي يكشفها البحث: الترتيب الذي "يتعلم" به هؤلاء المتعلمون يعتمد كليًا على مدى اضطرابهم، وليس على ما إذا كان لديهم قواعد.

عندما يكون المتعلم مضطربًا (k منخفضة): تفوز "ذاكرة الكتاب". ينشغل المتعلم بالكلمات الغريبة الأولى التي يراها. يبدأ في ملاحظة الاختلافات بين الكلمات المحددة (مثل "يعطي" مقابل "يبيع") قبل أن يلاحظ المجموعة الكبيرة التي ينتمون إليها. هذا يبدو مثل تعلم "الأمثلة أولًا".
عندما يكون المتعلم هادئًا (k عالية): تفوز "قاعدة الكتاب". نظرًا لأن المتعلم يتجاهل التفاصيل الضوضائية المبكرة وينتظر ظهور نمط ما، فإنه يبدأ في تجميع الكلمات معًا قبل أن يلاحظ اختلافاتهم الدقيقة. هذا يشبه تمامًا "تعلم التجريد أولًا".

يظهر البحث أن هؤلاء المتعلمين، رغم أنهم حفظة محضون ولا يملكون أي قدرة على إنشاء قواعد مجردة، يمكنهم أيضًا أن يبدوا وكأنهم يتعلمون القواعد أولًا إذا كانوا هادئين بما يكفي (k عالية).

ماذا يعني هذا للذكاء الاصطناعي

يجادل المؤلفون بأن الدراسة السابقة التي زعمت أن الذكاء الاصطناعي يتعلم القواعد أولًا ربما تأثرت بهذا العامل. يقترحون أن نموذج الذكاء الاصطناعي (GPT-2) الذي قاموا بتحليله كان يعمل على الأرجح كـ "حافظ هادئ" (متعلم ذو k عالية). لم يكن بالضرورة يبني كتاب قواعد سريًا؛ بل كان ببساطة يقوم بتنعيم ضجيج بيانات تدريبه المبكرة بشكل جيد للغاية لدرجة أنه بدا وكأنه يتعلم الأنماط الكبيرة أولًا.

في الواقع، يشير البحث إلى أنه بالنسبة لهذا النوع من الأنظمة الموزعة، قد يكون الخط الفاصل بين "تذكر كلمة محددة" و"معرفة قاعدة عامة" ضبابيًا. قد تكون "القاعدة" هي مجرد متوسط جميع الذكريات، و"الذاكرة" قد تكون مجرد نقطة محددة في هذا المتوسط. لا يمكنك حقًا الفصل بينهما.

الحكم النهائي

إذًا، هل يثبت هذا البحث أن الذكاء الاصطناعي يتعلم القواعد أولًا؟ لا. في الواقع، يشير إلى أن الاختبار المحدد المستخدم لإثبات ذلك (النظر في ترتيب ظهور الأنماط) ليس اختبارًا موثوقًا. يمكن للحافظ المحض أن يجتاز هذا الاختبار بمجرد كونه هادئًا بما يكفي. لا يخلص البحث إلى أن النمط هو بالتأكيد نتاج عرضي، بل يخلص إلى أن الأدلة المقدمة من الدراسة السابقة غير كافية للتمييز بين تعلم التجريد أولًا الحقيقي وبين نموذج الأمثلة عالي الحساسية. يذكر المؤلفون أن مسأ-لة ما إذا كانت نماذج المحولات (Transformers) هي حقًا متعلمة للتجريد أولًا تظل سؤالًا مفتوحًا، ولكن الإجابة عليها ستتطلب أساليب جديدة تتجاوز مجرد النظر في ترتيب الظهور. وحتى ذلك الحين، يظل الجدل بين "كتاب القواعد" و"كتاب الذاكرة" مفتوحًا، والأدلة التي اعتقدنا أننا نملكها قد تكون مجرد نتيجة لكيفية معالجة البيانات.

ملخص تقني: نماذج النماذج المثالية في تنكر: نماذج النماذج المثالية النقية تحاكي التعلم القائم على التجريد أولاً

بيان المشكلة

يتعلق سؤال مركزي في تعلم اللغة والعلوم المعرفية بترتيب اكتساب المعرفة زمنياً: هل يكتسب المتعلمون أولاً تعميمات مجردة على مستوى الفئة (مثل بنى وسيط الحجة للأفعال) أم يراكمون أولاً معرفة محددة لكل عنصر وذات طابع فردي (مثل التلازمات اللفظية الخاصة بكل فعل)؟ خلص عمل حديث لـ "جيان ومانينج" (2026) عند تحليل مسارات التعلم في نموذج GPT-2 إلى أن المعرفة المجردة تظهر قبل المعرفة المحددة لكل عنصر ("التجريد أولاً"). وقد قاموا بتشغيل هذا المفهوم من خلال قياس وقت ظهور التمايز بين الفئات ( $o_b$ ) مقابل التباعد داخل الفئة ( $o_w$ )، ووجدوا أن $o_b < o_w$ لفئات معينة من الأفعال.

ومع ذلك، يعتمد هذا الاستنتاج على افتراض أن الترتيب الملحوظ هو مؤشر على انحياز استقرائي نحو التجريد. ويجادل مؤلفو هذه الورقة بأن هذا الترتيب قد يكون بدلاً من ذلك نتاجاً لآثار جانبية لحساسية المتعلم تجاه الملاحظات الفردية والخصائص التوزيعية للمدخلات، وليس دليلاً على وجود آلية تعلم مجردة متميزة. وبشكل خاص، يتساءلون عما إذا كان التمييز بين المعرفة "المحددة لكل عنصر" والمعرفة "المجردة" هو تمييز محدد جيداً حتى بالنسبة للتمثيلات الموزعة، حيث يمكن أن تكون خصائص مستوى الفئة مدمجة بشكل لا ينفصم ضمن توزيعات العناصر الفردية.

المنهجية

يجري المؤلفون عمليات محاكاة محكومة باستخدام نموذجين مثاليين للمتعلم يتشاركان في عملية توليد بيانات متطابقة ولكن يختلفان في كيفية تقدير توزيعات الأفعال من الملاحظات. ومن الأهمية بمكان أن كلا النموذجين هما نماذج حفظ نقية (نماذج أمثلة/exemplar models) ليس بينها أي تدفق للمعلومات بين الأفعال ولا تمتلك تمثيلات صريحة على مستوى الفئة.

توليد البيانات:
- تم إنشاء فئتين من الأفعال (35 و36 عنصراً) مع مفردات مكونة من 1,000 رمز (token).
- تم بناء التوزيع الحقيقي لكل فعل ( $P_v$ $P_{v}$ ) من ثلاثة أنواع من الرموز:
  - الرموز المشتركة (Cross tokens): يشترك فيها جميع الأفعال (الخلفية).
  - الرموز داخل الفئة (Within-class tokens): يشترك فيها فقط الأفعال الموجودة في نفس الفئة (لتشفير التفضيلات على مستوى الفئة).
  - الرموز الفردية (Idiosyncratic tokens): فريدة لكل فعل (لتشفير التفضيلات المحددة لكل عنصر).
- تتحكم المعلمات في التداخل بين الفئات وتباين أوزان الرموز ( $\mu, \sigma$ ).
نماذج المتعلم:
- المتعلم ذو الحساسية الصفرية (ZSL): خط أساس تحليلي خالٍ من الضجيج. يكون تقدير المتعلم عبارة عن استكمال خطي بين التوزيع الموحد والتوزيع الحقيقي ( $P_v$ ). وهو لا يتأثر بالهوية المحددة للرموز الفردية، مما يمثل حداً يتم فيه إزالة الضجيج على مستوى الملاحظة.
- المتعلم ذو الحساسية المتغيرة (VSL): متعلم "ديريكليه-متعدد الحدود" بايزي يجسد طريقة "إضافة- $k$ $k$ " (add- $k$ $k$ smoothing). تتحكم المعلمة $k$ $k$ في الحساسية:
  - $k$ منخفضة: يكون المتعلم حساساً للغاية للملاحظات المبكرة، والتي قد تكون غير ممثلة (يسود الضجيج الفردي).
  - $k$ مرتفعة: يكون المتعلم متحفظاً؛ حيث يعمل "القبل" (prior) على كبح الضجيج المبكر، مما يسمح للأنماط على مستوى الفئة بالتراكم تدريجياً.
معايير الظهور (Onset Criteria):
- ظهور ما بين الفئات ( $o_b$ ): يُعلن عنه عندما يكون توزيع الفعل أكثر تشابهاً بشكل ملحوظ مع الأفعال من نفس الفئة مقارنة بالأفعال من الفئة المقابلة (اختبار Mann-Whitney U).
- ظهور ما داخل الفئة ( $o_w$ ):): يُعلن عنه عندما يتجاوز متوسط تباعد "جنسن-شانون" (DJS) داخل الفئة عتبة ثابتة (0.01).
- يتتبع البحث مسار التعلم لتحديد أي ظهور يحدث أولاً ( $o_b < o_w$ أو $o_w < o_b$ ).

المساهمات الرئيسية

إثبات الاعتماد على الحساسية في الترتيب: يوضح المؤلفون أن ترتيب $o_b$ و $o_w$ ليس خاصية ثابتة لتعلم "التجريد أولاً" مقابل تعلم "الأمثلة أولاً". بدلاً من ذلك، فإنه يعتمد على التفاعل بين حساسية المتعلم (المتحكم بها عبر $k$ ) وبنية توزيع المدخلات.
خط الأساس الخالي من الضجيج: يوضح تقديم "المتعلم ذو الحساسية الصفرية" أنه عندما تتم إزالة الضجيج على مستوى الملاحظة، فإن $o_b < o_w$ يتحقق بشكل عالمي، حتى في نموذج حفظ نقي لا يمتلك تجريداً.
محاكاة "التجريد أولاً" عبر التنعيم (Smoothing): يحاكي "المتعلم ذو الحساسية المتغيرة" ترتيب "الأمثلة أولاً" ( $o_w < o_b$ ) عند قيم $k$ المنخفضة (حساسية عالية)، ولكنه ينتقل إلى ترتيب "التجريد أولاً" ( $o_b < o_w$ ) عند قيم $k$ المرتفعة (حساسية منخفضة). وهذا يشير إلى أن نمط "التجريد أولاً" الملحوظ في الدراسات السابقة قد ينتج عن التنعيم العالي (الحساسية المنخفضة) بدلاً من الانحياز الاستقرائي.

النتائج

المتعلم ذو الحساسية الصفرية: أنتج $o_b < o_w$ في 85% من البذور (seeds) إجمالاً. كان الترتيب عالمياً في حالة الضجيج المنخفض ( $\sigma=0.5$ ) وصمد أمام معظم تركيبات المعلمات، وفشل فقط عندما كانت إشارات الفئة ضعيفة جداً مقارنة بالضجيج.
المتعلم ذو الحساسية المتغيرة:
- عند $k$ منخفضة ( $k \le 0.1$ ): حدث $o_w < o_b$ في حوالي 99% من البذور. تسببت الملاحظات الفردية المبكرة في حدوث تباعد داخل الفئة فوراً قبل استقرار الأنماط على مستوى الفئة.
- عند $k$ مرتفعة ( $k \ge 1.0$ ): ساد $o_b < o_w$ . قام "القبل" القوي بكبح الضجيج المبكر، مما سمح للاختلافات المنهجية بين الفئات بالظهور قبل أن تتراكم التباينات الفردية داخل الفئة بما يكفي لتجاوز العتبة المطلقة.
- حدثت نقطة التحول حول $k=0.5$ ، حيث كان كلا الترتيبين محتملين بالتساوي.
المتانة: كانت النتائج متينة عبر تغييرات حجم المفردات، وتوزيعات تكرار الأفعال (امتداد Zipfian)، والحدود المحددة المستخدمة للكشف عن الظهور.

الأهمية والادعاءات

تدعي الورقة أن ترتيب "التجريد أولاً" ( $o_b < o_w$ ) ليس تشخيصياً لاستراتيجية تعلم "التجريد أولاً". بدلاً من ذلك، فهو نتيجة متوقعة لانخفاض الحساسية تجاه الملاحظات الفردية.

إعادة تفسير مسارات النماذج اللغوية الكبيرة (LLMs): تشير النتائج إلى أن نتائج "جيان ومانينج" (2026) لا تثبت أن GPT-2 يتعلم القواعد المجردة أولاً. فنماذج الحفظ من نوع "الأمثلة" النقية مع وجود تنعيم كافٍ (high- $k$ ) تنتج نفس الترتيب الظاهري. ويشير المؤلفون إلى أن المحولات (transformers) قد تسلك طبيعياً سلوك المتعلمين ذوي $k$ المرتفعة بسبب "التجميع الجزئي التكيفي" (adaptive partial pooling)، الذي يكبح الضجيج الفردي، لكن هذه الآلية لا تعني بالضر_ورة وجود تمثيلات مجردة منفصلة وقابلة للفصل.
الثنائية غير المحددة جيداً: يجادل المؤلفون بأنه بالنسبة للتمثيلات الموزعة، قد يكون التمييز بين المعرفة المحددة لكل عنصر والمعرفة المجردة غير محدد جيداً. فخصائص مستوى الفئة مدمجة داخل توزيع العنصر الفردي؛ فتعلم توزيع فعل معين يتضمن بطبيعته معرفة عضويته في الفئة. لذلك، فإن معاملة التباعد بين الفئات والتباين داخل الفئة كأحداث تعلم منفصلة قد يفرض تمييزاً مفاهيمياً لا تدعمه التمثيلات نفسها.
القصور المنهجي: إن المنهجية الحالية لترتيب معايير الظهور غير كافية للتمييز بين تعلم "التجريد أولاً" وتعلم "الأمثلة أولاً" ذو $k$ المرتفعة. إن الإجابة على ما إذا كانت المحولات هي حقاً متعلمون "تجريد أولاً" تتطلب منهجيات تتجاوز مجرد ترتيب معايير الظهور.