A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases
من خلال إعادة توظيف عدسات التمثيل كأدوات تشخيص هندسية لتتبع تطور الفضاءات الفرعية للقراءة التنبؤية عبر الطبقات، يكشف هذا البحث أن النماذج اللغوية الكبيرة تعالج التنبؤ بالرمز التالي من خلال ثلاث مراحل هندسية متميزة — التعددية البذرية، والتعلية الإحلالية، والتقارب البؤري — حيث تعمل زيادة عمق النموذج أساساً على تعزيز فك التباس المرشحين بدلاً من توسيع القدرة التمثيلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج لغة ضخم (LLM) كأنه مصنع ضخم متعدد الطوابق، حيث تسافر قطعة من المعلومات (كلمة) من الطابق الأرضي وصولاً إلى السطح. في كل طابق، يقوم فريق من العمال بإضافة القليل من المعلومات الجديدة إلى الطرد قبل تمريره للأعلى. اللغز الكبير الذي يحله هذا البحث هو: كيف يقرر هذا المصنع الكلمة التالية التي سيخرجها، وأين يحدث هذا القرار فعلياً؟
لم يكتفِ المؤلفون بالسؤال عما يتنبأ به النموذج في كل طابق، بل سألوا عن مكان وجود ذلك التنبؤ داخل آليات المصنع وكيف يتحرك أثناء صعوده.
إليك قصة اكتشافهم، مقسمة إلى مفاهيم وتشبيهات بسيطة.
الأداة: "عدسة التمثيل" (Representation Lens)
عادةً، إذا ألقيت نظرة داخل المصنع في الطوابق الوسطى، سيبدو العمال مشتتين؛ فهم يحملون مزيجاً فوضوياً من الاحتمالات، وإذا حاولت تخمين الكلمة النهائية بناءً على ما يحملونه، فستخطئ. وذلك لأن العمال يحملون المعلومات في حالة "تراكب" (superposition)—مثل ساحر يمسك بمجموعة من أوراق اللعب وهي مقلوبة حيث تختلط جميع الأوراق معاً.
استخدم الباحثون أداة خاصة تسمى "عدسة التمثيل". فكر في هذه العدسة كأنها نظارات سحرية يمكنها تدوير وتركيز رؤية العمال. بدلاً من مجرد النظر إلى كومة الأوراق الفوضوية، تجد العدسة الزاوية المحددة التي تصبح فيها "الورقة الرابحة" (الكلمة التالية الصحيحة) مرئية بالفعل، حتى لو كانت مدفونة تحت أوراق أخرى.
الاكتشاف: مسرحية من ثلاثة فصول
من خلال تتبع كيفية تحرك "الورقة الرابحة" عبر المصنع باستخدام هذه النظارات، وجد المؤلفون أن العملية ليست عشوائية، بل تتبع رقصة هندسية صارمة من ثلاث مراحل تحدث في كل نموذج اختبروه (من النماذج الصغيرة بمليار معلمة إلى النماذج الضخمة بـ 32 مليار معلمة).
المرحلة الأولى: "تعدد الإرسال البذري" (تجمع الحشود)
- ماذا يحدث: بينما تدخل المعلومات إلى المصنع، يبدأ العمال في طرح العديد من الكلمات المحتملة التالية في وقت واحد. هم لا يختارون فائزاً بعد.
- التشبيه: تخيل غرفة مزدحمة حيث يصرخ الجميع بأفكار مختلفة. الغرفة مليئة بالضجيج، لكن الفكرة "الصحيحة" موجودة بالفعل، لكنها مختلطة مع مئات الأفكار الأخرى.
- الهندسة: المصنع يوسع "رتبته" (rank) (قدرته على حمل أفكار عديدة مختلفة). الكلمة الصحيحة موجودة، لكنها مجرد صوت واحد في جوقة. هي مرئية للعدسة السحرية، لكنها ليست الصوت الأعلى بعد.
المرحلة الثانية: "الرفع الإقصائي" (المصفاة الصامتة)
- ماذا يحدث: هذا هو الجزء الأطول من الرحلة (حوالي 60% من ارتفاع المصنع). يتوقف العمال عن إضافة أنواع جديدة من الأفكار. بدلاً من ذلك، يبدأون بهدوء في خفض مستوى صوت الأفكار الخاطئة ورفع مستوى صوت الفكرة الصحيحة.
- التشبيه: تخيل مهندس صوت في غرفة التحكم. هو لا يستقدم مغنيين جدد؛ بل يقوم فقط بخفض صوت الضجيج في الخلفية تدريجياً ورفع صوت المغني الرئيسي. المغني الرئيسي لا يزال محاطاً بالحشد، لكنه أصبح التركيز الواضح.
- الهندسة: "الرتبة" (عدد الأفكار النشطة) تظل مستقرة. العمال دقيقون جداً هنا، حيث يجرون تعديلات صغيرة وغير مرئية تقريباً لا تغير شكل الغرفة، لكنها تغير من الذي يُسمع. هذا هو المكان الذي يقوم فيه النموذج بالعمل الشاق: إزالة اللبس (disambiguation) (أي تحديد أي من المرشحين المتعددين هو الصحيح فعلياً).
المرحلة الثالثة: "التقارب البؤري" (تسليط الضوء)
- ماذا يحدث: في الجزء الأخير من الرحلة، يقوم المصنع بحركة حاسمة وضخمة. إنه يصب كل طاقته في اتجاه واحد.
- التشبيه: مهندس الصوت يقطع فجأة التيار الكهربائي عن الجميع في الغرفة. يسلط الضوء فجأة على المغني الرئيسي. يصمت الحشد، ويصبح المغني الآن هو الشيء الوحيد الذي يهم.
- الهندسة: يتوقف العمال عن كونهم لطيفين. يقومون بتحديثات قوية وكبيرة تتوافق تماماً مع اتجاه المخرجات النهائي. "الرتبة" تتقلص لأنهم يركزون كل طاقتهم على فائز واحد فقط. العدسة السحرية يمكنها الآن رؤية الإجابة بوضوح دون أي مساعدة.
الخلاصة الكبرى: النماذج الأكبر = فلاتر أفضل، وليست بدايات أفضل
النتيجة الأكثر إثارة للدهشة تتعلق بكيفية تأثير حجم النموذج على هذه العملية.
وجد المؤلفون أنه كلما جعلت المصنع أكبر (بإضافة المزيد من الطوابق/الطبقات):
- المرحلة الأولى (الحشد) تظل بنفس الحجم تقريباً.
- المرحلة الثالثة (تسليط الضوء) تظل بنفس الحجم تقريباً.
- المرحلة الثانية (المصفاة الصامتة) تصبح أطول بكثير.
الاستعارة: إذا كان لديك مصنع صغير، فإن غرفة "التصفية" ستكون صغيرة. أما إذا كان لديك مصنع عملاق، فإن غرفة "التصفية" ستكون ضخمة.
هذا يعني أنه عندما نبني نماذج ذكاء اصطناعي أكبر وأذكى، فنحن لا نجعلها بالضرورة أفضل في البدء بالأفكار الصحيحة أو إنهاء المهمة. نحن نمنحها غرفة أكبر وأكثر تفصيلاً لفرز الفوضى وتحديد أي من الاحتمالات الكثيرة هو الصحيح. القوة الإضافية للنماذج الكبيرة تُستخدم في الغالب لـ إزالة اللبس عن المرشحين (candidate disambiguation)—أي تحويل كومة فوضوية من "ربما هذا، وربما ذاك" إلى "نعم" واحدة واثقة.
الملخص
يكشف البحث أن التنبؤ بالكلمة التالية ليس ومضة مفاجئة من البصيرة في النهاية، بل هو رحلة هندسية:
- البذر (Seed): رمي كل شيء في المزيج.
- الرفع (Hoist): تصفية الضجيج بهدوء (وهذا هو المكان الذي يكبر فيه النموذج).
- التقارب (Converge): التركيز على الفائز بطاقة عالية.
إن "السحر" الذي تتمتع به نماذج اللغة الضخمة يكمكمن في تلك المرحلة الوسطى، حيث تمتلك المساحة والوقت لفصل الإشارة عن الضجيج بعناً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.