Emergent Causal-Geometric Dynamics Across Depth in Large Language Models
تُجمّع هذه الورقة بين المنظورين الهندسي والسببي للكشف عن ديناميكية تعتمد على العمق في النماذج اللغوية الكبيرة ذات فك التشفير فقط، حيث يصاحب الانتقال الحاد من معالجة السياق إلى تكوين التنبؤ إعادة تنظيم هندسي تدريجي، مما يثبت أن البنية الزاوية في الطبقات المتأخرة تشفر التشابه التنبئي بينما تظل المعايلات منفصلة، وبالتالي تؤسس إلى أن التدخل الفعال يتطلب فهم البنية الديناميكية العالمية الناشئة للشبكة بدلاً من الطبقات المعزولة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج لغة كبير (LLM) ليس كصندوق أسود سحري، بل كـ مصنع متعدد الطوابق حيث تدخل فكرة خام في الأسفل ويخرج منتج نهائي (كلمة متوقعة) من الأعلى.
لفترة طويلة، درس العلماء هذا المصنع بطريقتين مختلفتين، لكنهم لم يتفقوا تماماً على كيفية ترابط الرؤيتين:
- الرؤية الهندسية: نظروا إلى "شكل" البيانات وهي تتحرك للأعلى عبر الطوابق، ولاحظوا أن البيانات تصبح أكثر تنظيماً وتجريداً كلما ارتفعت للأعلى.
- الرؤية السببية: حاولوا "وخز" أو "تغيير" البيانات في طوابق مختلفة ليروا ماذا سيحدث. وجدوا أن وخز الطوابق المبكرة يغير كيفية فهم النموذج لـ المدخلات، بينما وخز الطوابق المتأخرة يغير الإجابة النهائية.
يربط هذا البحث بين هاتين الرؤيتين. فهو يكشف أن المصنع يحتوي بالفعل على مرحلتين متميزتين من العمل، يفصل بينهما نقطة انتقال حادة.
المرحلة الأولى: طابق "معالجة السياق" (الثلثان السفليان)
اعتبر الطوابق السفلية من المصنع بمثابة فريق البحث والتطوير (R&D).
- ماذا يفعلون: عندما تأتي جملة (مثل: "لنقم ببعض الحسابات التقويمية...")، يكون هذا الفريق مشغولاً بجمع كافة القرائن. إنهم ينظرون إلى الكلمات، والترتيب، ومعنى الجملة بأكملها.
- الهندسة: في هذه المرحلة، تكون البيانات فوضوية وعالية الأبعاد. إنها تشبه جلسة عصف ذهني فوضوية حيث كل تفصيل صغير له أهميته.
- الاختبار: إذا حاولت "توجيه" النموذج هنا (عن طريق تغيير كلمات المدخلات)، فإن ذلك ينجح. ولكن إذا حاولت فرض إجابة معينة هنا، فلن ينجح الأمر جيداً؛ فالنموذج لا يزال في مرحلة فهم القصة، وليس في مرحلة كتابة النهاية.
الانتقال: "عملية التسليم"
في مكان ما في منتصف المصنع (تقريباً في الثلث الأخير من الطبقات)، يوجد تحول حاد. يتوقف النموذج عن مجرد "التفكير في السياق" ويبدأ في "اتخاذ القرار بشأن الإجابة".
المرحلة الثانية: طابق "تشكيل التوقع" (الثلث العلوي)
الطوابق العلوية هي خط التجميع.
- ماذا يفعلون: لقد سلم فريق البحث والتطوير المخطط النهائي إلى هذا الفريق. الآن، المهمة هي محض اختيار الكلمة التالية.
- الهندسة (الاكتشاف الكبير): هنا يصبح البحث مثيراً للاهتمام. وجد العلماء أن البيانات في هذا القسم العلوي تنظم نفسها في "كود" محدد من جزأين:
- الاتجاه (السهم): تخيل أن لكل إجابة محتملة اتجاهاً معيناً في الفضاء. في هذا القسم العلوي، يخبر اتجاه البيانات النموذج بالضبط أي كلمة يختار. إذا كانت البيانات تشير إلى "الشمال"، يقول النموذج "يناير". وإذا كانت تشير إلى "الجنوب"، يقول "فبراير".
- الحجم (مقبض التحكم في الصوت): يحمل حجم (أو طول) متجه البيانات معلومات أخرى — مثل مدى ثقة النموذج أو التفاصيل المتعلقة بالجملة المحددة — ولكنه لا يحدد الكلمة التي سيتم اختيارها. إنه يشبه مقبض التحكم في الصوت الذي يجعل الإجابة أعلى أو أخفض، لكنه لا يغير ماهية الإجابة.
تجربة "عجلة القيادة"
لإثبات ذلك، جرب الباحثون نوعين من "التوجيه":
- تغيير الحجم (الصوت): حاولوا تغيير "حجم" البيانات فقط في الطوابق العلوية لفرض إجابة مختلفة. النتيجة: لم ينجح الأمر. استمر النموذج في قول نفس الكلمة، رب الله بزيادة أو نقصان في الثقة.
- تغيير الاتجاه (السهم): حاولوا تغيير "اتجاه" البيانات فقط في الطوابق العلوية. النتيجة: نجح الأمر بشكل مثالي! استطاعوا تغيير إجابة النموذج فوراً من "يناير" إلى "فبراير" بمجرد تدوير اتجاه البيانات.
الخلاصة
يخلص البحث إلى أنه لا يمكنك فهم أو التحكم في الذكاء الاصطنا Form باعتباره كتلة واحدة كبيرة.
- الطبقات المبكرة تتعلق بـ السياق. هي حساسة لكلمات المدخلات ولكنها لا تهتم بعد بهندسة الإجابة النهائية.
- الطبقات المتأخرة تتعلق بـ التوقع. وهي تستخدم "كوداً اتجاهياً" محدداً لتحديد المخرجات.
التشبيه:
فكر في كتابة رسالة.
- الطبقات السفلية هي أنت وأنت تجمع أفكارك، ذكرياتك، وحقائقك (السياق).
- الطبقات العلوية هي يدك التي تمسك القلم فعلياً.
- يوضح البحث أنك لكي تغير ما تكتبه (التوقع)، لست بحاجة لتغيير أفكارك (حجم البيانات)؛ بل تحتاج فقط لتغيير اتجاه حركة يدك (الهندسة الزاوية).
هذا يفسر لماذا فشلت بعض المحاولات السابقة للتحكم في الذكاء الاصطناعي: كان الناس يحاولون تغيير "الصوت" (المعيار/Norm) أو النظر إلى "الأفكار" (الطبقات المبكرة) في حين كان ينبغي عليهم توجيه "اليد" (اتجاه الطبقات المتأخرة). يوفر هذا البحث خريطة توضح بالضبط أين تقع "عجلة القيادة".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.