💬 NLP

Memorization, Emergence, and Explaining Reversal Failures: A Controlled Study of Relational Semantics in LLMs

تُظهر هذه الدراسة أنه بينما يمكن أن تبرز دلالات علاقات منطقية في النماذج اللغوية الكبيرة ذات التنبؤ الذاتي الضحلة مع توفر إشراف كافٍ، فإن إخفاقات الانعكاس المميزة لها ناتجة أساساً عن انحياز الترتيب من اليسار إلى اليمين وليس عن نقص في فهم منطق العكس.

المؤلفون الأصليون: Yihua Zhu, Qianying Liu, Jiaxin Wang, Fei Cheng, Chaoran Liu, Akiko Aizawa, Sadao Kurohashi, Hidetoshi Shimodaira

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yihua Zhu, Qianying Liu, Jiaxin Wang, Fei Cheng, Chaoran Liu, Akiko Aizawa, Sadao Kurohashi, Hidetoshi Shimodaira

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت ذكي جداً، ولكنه حرفي للغاية، ليفهم العالم. تريد أن تعرف: هل يفهم هذا الروبوت حقاً كيف تعمل العلاقات، أم أنه مجرد ببغاء يحفظ الأنماط؟

هذه الورقة البحثية هي تجربة منضبطة للإجابة على هذا السؤال. قام الباحثون ببناء "كون مصغر" مكون بالكامل من حقائق اصطناعية (مثل "أليس هي والد بوب") لتدريب ذكاء اصطناعي صغير من الصفر. ثم اختبروا الذكاء الاصطناعي لمعرفة ما إذا كان بإمكانه استنتاج قواعد العلاقات (مثل "إذا كانت أليس هي والدة بوب، فإن بوب هو ابن أليس") أو ما إذا كان سيصاب بالارتباك عندما يتغير ترتيب الجملة.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. الإعداد: بناء "كون لعبة"

بدلاً من تغذية الذكاء الاصطناعي بكامل الإنترنت (وهو فوضوي ومليء بالأمثلة المربكة)، بنى الباحثون ساحة لعب نظيفة ومنضبطة.

البيانات: أنشأوا آلاف القصص الصغيرة عن أشخاص ووظائف وهمية.
القواعد: تضمنت قواعد منطقية محددة:
- التماثل (Symmetry): إذا كانت أليس "صديقة" بوب، فإن بوب "صديق" أليس.
- الانعكاس (Inversion): إذا كانت أليس "والدة" بوب، فإن بوب "ابن" أليس.
الاختبار: دربوا الذكاء الاصطناعي على هذه القصص، ثم طرحوا عليه أسئلة حول أشخاص لم يروهم من قبل، أو طرحوا أسئلة بترتيب مختلف عما تعلموه.

2. النتيجة الأولى: "لحظة الاستنارة" (الانبثاق)

التشبيه: تخيل تعليم طفل حل لغز رياضي. في البداية، يقوم الطفل بالتخمين فقط. ولكن فجأة، بعد رؤية عدد كافٍ من الأمثلة، تلمع عيناه ويستوعب الأمر. لم يعد يخمن فحسب؛ بل فهم القاعدة.

النتيجة: أظهر الذكاء الاصطناعي "لحظة استنارة" مماثلة.

عندما أعطى الباحثون الذكاء الاصطناعي كمية صغيرة من البيانات، فشل. كان مجرد يخمن أو يحفظ أسماءً محددة.
ولكن بمجرد تجاوزهم لـ عتبة معينة من بيانات التدريب، "استيقظ" الذكاء الاصطناعي فجأة. بدأ يفهم منطق العلاقات.
المفاجأة: حدث هذا حتى في نماذج الذكاء الاصطناعي الصغيرة والضحلة جداً (مثل نموذج بـ 2 أو 3 طبقات من "الدماغ"). أنت لا تحتاج إلى حاسوب خارق ضخم لفهم المنطق؛ أنت فقط بحاجة إلى أمثلة جيدة وكافية.

3. النتيجة الثانية: "العمى من اليسار إلى اليمين" (لعنة الانعكاس)

التشبيه: تخيل أنك علمت روبوتاً قراءة جملة من اليسار إلى اليمين. أريته: "القط طارد الكلب". تعلم الروبوت أن "القط" يأتي قبل "الكلب".
الآن، تسأله: "بواسطة من تم طرد الكلب؟"
على الرغم من أن الروبوت يعرف العلاقة، إلا أنه يعلق. الأمر يشبه شخصاً يمكنه فقط قراءة الجملة إذا بدأت بالفاعل. إذا قلبت الجملة، يصاب الروبوت بالذعر لأنه اعتاد على التدفق من "اليسار إلى اليمين".

النتيجة:

وجد الباحثون أن الذكاء الاصطناعي كان يفهم المنطق (عرف أن الأب والابن هما نقيضان).
ومع ذلك، فقد فشل فشلاً ذريعاً عندما سُئل عن سؤال في الترتيب "العكسي" (على سبيل المثال، سؤال "من هو ابن X؟" بدلاً من "X هو والد مَن؟").
السبب: لم يكن هذا لأن الذكاء الاصطناعي "غبي" أو لم يفهم الكلمات. بل كان بسبب انحياز الترتيب (Order Bias). الذكاء الاصطناعي مدرب على التنبؤ بالكلمة التالية بناءً على الكلمات السابقة. عندما ينقلب الترتيب، يرتبك "محرك التنبؤ" الداخلي للذكاء الاصطناعي، رغم أنه يعرف الحقائق.

4. النتيجة الثالثة: "الإصلاح السحري" (التدريب ثنائي الاتجاه)

التشبيه: إذا علمت سائقاً القيادة على الجانب الأيمن من الطريق فقط، فسوف يصطدم إذا وضعت فجأة على الجانب الأيسر. لكن إذا علمته القيادة على كلا الجانبين، فسيصبح سائقاً ماهراً يستطيع التعامل مع أي اتجاه.

النتيسة:

عندما درب الباحثون الذكاء الاصطناعي على نفس الحقائق ولكن في كلا الاتجاهين (على سبيل المثال، إظهار "أليس هي والدة بوب" و "بوب هو ابن أليس" أثناء التدريب)، اختفت "لعنة الانعكاس".
استطاع الذكاء الاصطناعي الإجابة على الأسئلة في أي ترتيب بشكل مثالي.
كما اختبروا نوعاً مختلفاً من الذكاء الاصطناعي (نموذج "الانتشار" أو Diffusion، الذي ينظر إلى الجملة بأكملها دفعة واحدة بدلاً من كلمة بكلمة). لم يعانِ هذا النموذج من المشكلة على الإطلاق، مما يثبت أن المشكلة خاصة بأسلوب القراءة "من اليسار إلى اليمين" في الذكاء الاصطناعي القياسي.

5. عمل المحقق في "الطبقات"

نظر الباحثون أيضاً داخل "دماغ" الذكاء الاصطناعي (طبقاته) ليروا أين يحدث التفكير.

النجاح: في النماذج التي تعلمت المنطق، حدث "الفهم" في الطبقات الوسطى وظل مستقراً طوال الطريق حتى النهاية.
الفشل: في النماذج التي فشلت، بدأت الطبقات الوسطى في استيعاب الأمر، لكن الطبقة النهائية أفسدت كل شيء. كان الأمر يشبه طالباً فهم الرياضيات في منتصف الاختبار، لكنه أصبح متوتراً جداً في النهاية لدرجة أنه كتب الإجابة الخاطئة.

الملخص: ماذا يعني هذا؟

الذكاء الاصطناعي يمكنه تعلم المنطق: حتى النماذج الصغيرة يمكنها تعلم قواعد العلاقات إذا مُنحت أمثلة واضحة وكافية.
إنه ليس "غبياً"، بل "منحازاً": عندما يفشل الذكاء الاصطناعي في الإجابة على سؤال معكوس (مثل "من هو الابن؟")، فغالباً ليس لأنه لا يفهم مفهوم "الابن"، بل لأنه اعتاد كثيراً على قراءة الجمل بترتيب معين.
التدريب مهم: لإصلاح ذلك، لا نحتاج بالضرورة إلى نماذج ذكاء اصطناعي أكبر؛ نحن فقط بحاجة لتدريبها على بيانات تظهر العلاقات في اتجاهات متعددة.

باخت-القول: الذكاء الاصطناعي ليس معطلاً؛ إنه فقط قارئ حرفي للغاية يحتاج إلى تعليمه أن الجمل يمكن قراءتها من الخلف أيضاً!

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "الذاكرة، والانبثاق، وتفسير فشل الانعكاس: دراسة محكومة للدلالات العلاقاتية في النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تتفوق النماذج اللغوية الكبيرة ذات التوليد الذاتي الانحداري (Autoregressive LLMs) في المهام العلاقاتية (مثل "أ هو والد ب")، ولكن لا يزال من غير الواضح ما إذا كانت تستوعب حقاً الدلالات المنطقية لهذه العلاقات (مثل التماثل والانعكاس) أم أنها تكتفي بمجرد حفظ أنماط التواجد المشترك السطحية. ويبرز هنا سؤالان حاسمان:

الانبثاق (Emergence): تحت أي ظروف تتعلم النماذج اللغوية الكبيرة المنطق العلاقي، وهل يمكنها تعميم ذلك على كيانات غير مرئية؟
لعنة الانعكاس (Reversal Curse): لماذا تفشل النماذج التي تدربت على "أ هو والد ب" غالباً في الإجابة على "ب هو ابن أ"؟ هل يعود ذلك إلى نقص في دلالات الانعكاس أم إلى تحيز في الترتيب (Order Bias) متأصل في عملية فك التشفير (Decoding) ذات الترتيب من اليسار إلى اليمين؟

إن التدريب القياسي على نطاق الويب يجعل من الصعب الإجابة على هذه الأسئلة بسبب تلوث البيانات، وتعدد المعاني، والمتغيرات غير المنضبطة.

2. المنهجية

يقترح المؤلفون إطار عمل تجريبي محكوم بالكامل باستخدام مجموعات بيانات اصطناعية مشتقة من الرسوم البيانية للمعرفة (Knowledge Graphs - KGs) لعزل متغيرات محددة.

توليد البيانات الاصطناعية:
- بناء الرسم البياني للمعرفة (KG Construction): يتم توليد ثلاثيات ذات أنواع علاقات محددة: أزواج الانعكاس (مثل أب/ابن)، العلاقات المتماثلة (مثل صديق/أخ)، والسمات غير المنطقية (مثل شخص/وظيفة).
- أنواع الرسوم البيانية:
  - رسوم التدريب (Train Graphs): تحتوي على حقائق كاملة ثنائية الاتجاه.
  - رسوم التقييم (Evaluation Graphs): تحتوي على اتجاه واحد فقط من العلاقة (مثل "أ هو والد ب" ولكن ليس "ب هو ابن أ") لاختبار الاستدلال المنطقي.
  - رسوم التعلم داخل السياق (ICL Graphs): تحتوي على كيانات غير مرئية تماماً لاختبار التعميم.
- الصياغة اللفظية (Verbalization): يتم تحويل الثلاثيات إلى فقرات لغوية طبيعية باستخدام قوالب عشوائية وترتيب جمل مبعثر لمنع الحفظ الآلي لصيغ محددة.
تدريب النموذج:
- البنية (Architecture): نماذج من نوع "مفكك" (Decoder-only) بأسلوب GPT-2 يتم تدريبها من الصفر.
- المراحل:
  1. ما قبل التدريب (Pre-training): التنبؤ بالرمز التالي (Next-token prediction) على المجموعة الاصطناعية.
  2. الضبط الدقيق الخاضع للإشراف (SFT): أزواج (سؤال-جواب) يتم توليدها فقط من محتوى التدريب (ولا تُستخدم أبداً في محتوى التقييم) لتعليم النموذج كيفية الإجابة على الأسئلة.
مقاييس التقييم:
- سؤال-جواب الذاكرة (Memorize QA): يختبر استرجاع الحقائق الصريحة.
- سؤال-جواب المنطق (Logic QA): يختبر استنتاج الحقائق العكسية/المتماثلة المفقودة بناءً على البيانات المرصودة.
- التعلم داخل السياق (ICL): يختبر التعميم على كيانات غير مرئية عبر الإكمال (Q_ICL-C) والسؤال والجواب (Q_ICL-Q).
- اختبارات الأمام والخلف (Forward/Reverse Tests): تقارن الأداء عندما يتطابق ترتيب الاستعلام مع ترتيب التدريب مقابل عكسه.
- خط الأساس للانتشار (Diffusion Baseline): يتم تدريب نموذج انتشار ثنائي الاتجاه على نفس البيانات لعزل تأثير تحيز الترتيب في النماذج ذات التوليد الذاتي الانحداري.

3. المساهمات والنتائج الرئيسية

أ. انبثاق الدلالات العلاقاتية

تحدد الدراسة انتقالاً طورياً حاداً في انبثاق المنطق العلاقي:

تأثير العتبة (Threshold Effect): لا تنبثق الدلالات العلاقاتية بشكل تدريجي. بدلاً من ذلك، بمجرد أن يتجاوز عدد عينات التدريب الحاملة للمنطق ( $N$ ) عتبة معينة (على سبيل المثال، $N > 2,000$ للإكمال، و $N > 20,000$ للسؤال والجواب)، يقفز الأداء من الصفر تقريباً إلى الكمال (أكثر من 95%).
النماذج الضحلة (Shallow Models): يحدث هذا الانبثاق حتى في النماذج الضحلة جداً (2-3 طبقات)، مما يشير إلى أن العمق ليس المحرك الأساسي لتعلم هذه القواعد المنطقية المحددة.
تنوع القوالب (Template Diversity): يلزم وجود تنوع كافٍ في القوالب ( $K$ ) جنباً إلى جنب مع حجم البيانات لتحفيز التعميم.
ديناميكيات الطبقات (Layer-wise Dynamics): يرتبط التعميم الناجح بوجود تمثيلات مستقرة وذات صلة بالمنطق في الطبقات المتوسطة (الطبقات 5-8). النماذج الفاشلة تظهر إشارات غير مستقرة في الطبقات المتوسطة تتدهور عند الطبقة النهائية.

ب. لعنة الانعكاس: تحيز الترتيب أم الدلالات؟

تجيب الورقة بشكل قاطع عن سبب "لعنة الانعكاس":

السبب الرئيسي: مدفوع بـ تحيز الترتيب في التوليد الذاتي الانحداري (فك التشفير من اليسار إلى اليمين)، وليس بنقص في دلالات الانعكاس.
- الدليل 1: العلاقات المتماثلة (التي ليس لها انعكاس منطقي) تظهر نفس فجوة الأداء بين الاستعلامات الأمامية والعكسية كما في العلاقات العكسية.
- الدليل 2: عندما يتم تدريب النموذج على بيانات ثنائية الاتجاه (كل من "أ هو والد ب" و "ب هو ابن أ")، تختفي الفجوة بين الأمامي والعكسي.
- الدليل 3: نماذج الانتشار (وهي ثنائية الاتجاه وغير ذات انحدار ذاتي) لا تظهر لعنة الانعكاس، حيث تؤدي بشكل متساوٍ في كلا الاتجاهين.
الاستنتاج: النموذج يتعلم بالفعل الدلالات المنطقية، لكن عملية فك التشفير ذات التوليد الذاتي الانحداري (AR) تواجه صعوبة في استخدامها عندما يتعارض ترتيب الاستعلام مع ترتيب التدريب.

ج. التعميم على النماذج سابقة التدريب

تم تكرار ظاهرة الانتقال الطوري على نموذج GPT-2 صغير مُدرب مسبقاً واستُكمل بالبيانات الاصطناعية، مما يؤكد أن انبثاق المنطق العلاقي هو خاصية عامة للنماذج ذات التوليد الذاتي الانحداري عند توفر إشراف متسق مع القواعد وبكمية كافية، وليس مجرد نتاج عشوائي للتهيئة الأولية.

4. الأهمية والآثار المترتبة

آلية تعلم المنطق: تتحدى الدراسة الرأي القائل بأن النماذج اللغوية الكبيرة تتعلم فقط الأنماط السطحية. فهي تثبت أنه مع كثافة بيانات كافية، يمكن للنماذج ذات التوليد الذاتي الانحداري استيعاب القواعد المنطقية المجردة (التماثل/الانعكاس) وتعميمها على كيانات غير مرئية.
تشخيص فشل الانعكاس: تنقل المسؤولية عن "لعنة الانعكاس" من "النقص الدلالي" إلى "التحيز الهيكلي". وهذا يشير إلى أن استراتيجيات التخفيف يجب أن تركز على التعرض للتدريب ثنائي الاتجاه أو التغييرات الهيكلية (مثل نماذج الانتشار) بدلاً من محاولة تعليم النموذج "الانعكاس" كمفهوم جديد.
رؤى حول القابلية للتفسير: يوفر تحليل الطبقات أداة تشخيصية جديدة: الإشارات المستقرة في الطبقة المتوسطة هي مقدمة للتعميم المنطقي الناجح، بينما يشير التدهور في الطبقة النهائية إلى الفشل في دمج هذه القواعد.
المساهمة المنهجية: يقدم إطار العمل الذي يستخدم بيانات اصطناعية من الرسوم البيانية للمعرفة اختباراً قوياً للأبحاث المستقبلية في استدلال النماذج اللغوية الكبيرة، بعيداً عن الارتباكات الموجودة في بيانات التدريب الواقعية.

5. القيود

نطاق العلاقات: تركز الدراسة على علاقات القرابة المتماثلة والعكسية؛ قد يكون للعلاقات الأكثر تعقيداً (التعدي، متعددة الخطوات) عتبات مختلفة.
تحيز القوالب: رغم تنوعها، إلا أنها مولدة بالقوالب، وقد لا تلتقط كامل الفروق الدقيقة للغة الطبيعية.
نضج نماذج الانتشار: نتائج خط الأساس للانتشار هي نتائج نوعية فيما يتعلق بلعنة الانعكاس؛ والمقارنة الكمية الكاملة عبر جميع المهام هي عمل مستقبلي.

باختالاف، تثبت الورقة أن المنطق العلاقي ينبثق فجأة في النماذج ذات التوليد الذاتي الانحداري مع توفر بيانات كافية، ولكن قدرتها على تطبيق هذا المنطق مقيدة بشدة بتحيز الترتيب من اليسار إلى اليمين لعملية التوليد ذاتي الانحدار.