ملخص تقني: الفضاء الفرعي الوظيفي في النماذج اللغوية الكبيرة

بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات "ناشئة" مذهلة، مثل التعلم في السياق (ICL)، إلا أن الآليات الكامنة التي تمكن هذه القدرات لا تزال غير مفهومة بشكل جيد. لقد أثبتت الأبحاث السابقة أن المفاهيم عالية المستوى يتم تشفيرها كاتجاهات خطية في مساحات التنشيط، وأن هندسة تمثيل الكلمات (word embedding) تحمل معنى دلاليًا. ومع ذلك، فمن غير الواضح كيف تعمم النماذج اللغوية الكبيرة مهامًا جديدة دون ضبط دقيق (fine-tuning)، أو كيف تراكم الأدلة من الأمثلة المقدمة في السياق لتوليد استجابات صحيحة. إن نقص الفهم المتعلق بآليات التشغيل هذه يعيق القدرة على تشخيص وإصلاح النماذج اللغوية الكبيرة بشكل صحيح، لا سيما قبل نشرها في المجالات الحساسة للسلامة. يبحث هذا البحث فيما إذا كانت النماذج اللغوية الكبيرة تستخدم فضاءات فرعية محددة وجبر المتجهات لحل مهام التعلم في السياق (ICL).

المنهجية

يقترح المؤلفون فرضية مفادها أن النماذج اللغية الكبيرة تقوم بإسقاط الرموز المدخلة (input tokens) في فضاءات فرعية وظيفية حيث يمكن حل المهام عبر جبر متجهات بسيط. ولاختبار ذلك، قاموا بتحليل التدفقات المتبقية (residual streams) والوحدات الوظيفية (الانتباه الذاتي والشبكات المغذية للأمام - FFN) لستة نماذج لغوية كبيرة متاحة للجمهور وهي: GPT-J-6B، وMeta-Llama-3.1-8B، وOLMo-2-0325-32B، وPythia-12B، وGemma-3-27b-it، وGPT-NEOX-20B.

تضمن التصميم التجريبي الخطوات التالية:

1. توليد المهام: قام المؤلفون بتوليد 200 مطالبة (prompt) للتعلم في السياق لست مهام متميزة: الأضداد، المترادفات، أزواج (الدولة-العاصمة)، الترجمة من الإنجليزية إلى الفرنسية، أزواج (الشركة-المنتج)، وأزواج (الشخص-الرياضة). احتوت كل مطالبة على خمسة أزواج من الأمثلة واستعلام اختبار واحد.
2. جمع البيانات: تم جمع التدفقات المتبقية من جميع الرموز عبر جميع طبقات المحولات (transformer layers) أثناء معالجة النماذج لهذه المطالبات.
3. تقليل الأبعاد: تم تطبيق تحليل المكونات الرئيسية (PCA) على التدفقات المتبقية لتحديد الفضاءات الفرعية ذات الأبعاد المنخفضة المحتملة. وقام المؤلفون بتقييم التباين المفسر التراكمي لأعلى 30 مكونًا رئيسيًا.
4. تحليل الانحدار الخطي: لتحديد ما إذا كان يمكن نمذجة مهام التعلم في السياق كعمليات متجهة، أجرى المؤلفون انحدارًا خطيًا على المكونات الرئيسية. واختبروا ما إذا كان يمكن وصف رموز الإجابة ($\vec{a}$) كدالة خطية لرموز الاستعلام ($\vec{q}$) ورموز الفاصل ($\vec{s}$) وفقًا للمعادلة $\vec{a} = \alpha\vec{q} + \beta\vec{s} + \gamma$. وتم قياس جودة هذا الملاءمة باستخدام معامل التحديد ($R^2$).
5. ارتباط اتخاذ القرار: لتقييم الصلة الوظيفية لهذه الفضاءات الفرعية، قارن المؤلفون بين إسقاطات الرموز في أعلى المكونات الرئيسية أداءً بين الحالات التي قدم فيها النموذج تنبؤات صحيحة مقابل التنبؤات الخاطئة، باستخدام اختبارات t لتقييم الأهمية الإحصائية.

المساهمات والنتائج الرئيسية

1. وجود فضاءات فرعية وظيفية

كشف تحليل التدفقات المتبقية أن ما يتراوح بين 40% إلى 90% من التباين في تنشيطات النماذج يمكن تفسيره بواسطة 30 مكونًا رئيسيًا فقط، رغم الأبعاد العالية للنماذج (على سبيل المثال، $d \approx 5000$). وهذا يشير إلى أن النماذج اللغية الكبيرة تعمل ضمن فضاءات فرعية منخفضة الأبعاد أثناء مهام التعلم في السياق.

2. التعلم في السياق (ICL) كجبر متجهات

وجدت الدراسة أن رموز الإجابة يتم تقريبها بشكل جيد عبر تركيبات خطية من رموز الاستعلام والرموز الفاصلة ضمن فضاءات فرعية محددة.

• قيم $R^2$ مرتفعة: عبر جميع النماذج الستة والمهام، أظهرت مكونات رئيسية محددة قيم $R^2$ مرتفعة (تقترب من 1)، مما يشير إلى أن العلاقة بين المدخلات والمخرات في هذه الفضاءات هي علاقة خطية إلى حد كبير.
• تطور الطبقات: مالت جودة الملاءمة الخطية ($R^2$) إلى أن تكون منخفضة في الطبقات المبكرة وتزداد في الطبقات المتأخرة، مما يشير إلى أن الطبقات المبكرة تقوم تدريجيًا بتحويل التنشيطات إلى فضاءات فرعية يمكن حل التعلم في السياق فيها عبر عمليات متجهة بسيطة.
• الاتساق: كانت المكونات الرئيسية ذات قيم $R^2$ المرتفعة متسقة عبر الطبقات، مما يعني أن اتجاهات محددة تشفر مفاهيم خاصة بالمهمة (مثل "الضد" أو "العاصمة").

3. تراكم الأدلة والتكتل

اقترح التحليل النظري أن الشبكات المغذية للأمام (FFNs) تعمل كذاكرات ترابطية تخزن الإجابات المحتملة، بينما تقوم طبقات الانتباه الذاتي (SA) باختيار التنبؤ الصحيح بناءً على السياق. وافترض المؤلفون أن تقاطعات الإجابات المحتملة تسمح بتراكم الأدلة على طول قواعد فضاءات فرعية محددة.

• تكتل الرموز: أظهرت عمليات التصور للرموز في فضاءات ثلاثية الأبعاد (الممتدة عبر أعلى 3 مكونات رئيسية) أن رموز الاستعلام، والرمال الفاصلة، ورموز الإجابة شكلت تكتلات متميزة ومنفصلة بوضوح بناءً على نوع الرمز.
• الارتباط بالدقة: من المهم ملاحظة أن إسقاطات الرموز في المكونات الرئيسية الأعلى أداءً كانت مختلفة بشكل كبير ($p < 0.05$) اعتمادًا على ما إذا كان النموذج قد ولد إجابة صحيحة أم خاطئة. وقد ظل هذا الارتباط قائمًا عبر العديد من الطبقات المتوسطة والمتأخرة، مما يشير إلى أن هذه الفضاءات الفرعية تشارك مباشرة في عملية اتخاذ القرار للنموذج.

الأهمية والادعاءات

يزعم البحث أن النماذج اللغية الكبيرة تنشئ بطبيعتها فضاءات فرعية لتجميع الأدلة من الأمثلة المقدمة في السياق وحل المهام باستخدام جبر المتجهات داخل هذه الفضاءات. ويرى المؤلفون ما يلي:

• آلية التعميم: تعتمد القدرة على أداء مهام التعلم في السياق على إسقاط الرموز المدخلة في فضاءات فرعية حيث تتوافق هندسة البيانات مباشرة مع المهمة المطلوبة (مثل عكس الاتجاه بالنسبة للأضداد).
• القدرات الناشئة: بينما تعتبر مهام التعلم في السياح أبسط من مهام البرمجة أو الاستدلال العامة، فإن آلية استخراج معلومات المهمة وتطبيقها عبر العمليات المتجهة هي آلية أساسية لكيفية نجاح النماذج اللغية الكبيرة في المهام الأكثر تعقيدًا.
• الإمكانات التشخيصية: إذا كانت النماذج اللغية الكبيرة تعتمد على هذه الفضاءات الفرعية الوظيفية لاتخاذ القرار، فيمكن أن تعمل هذه الفضاءات كقاعدة لتشخيص سلوك النموذج وصياغة نواقل التوجيه (steering vectors) للتدخل في مخرات النموذج أو إصلاحها، خاصة في التطبيقات الحساسة للسلامة.

يحافظ المؤلفون على نبرة متواضعة، معترفين بأن تحليلهم النظري يعتمد على ظروف مثالية، وأن تحديد مثل هذه الفضاءات في مهام لغوية عامة وأكثر تعقيدًا قد يكون صعبًا بسبب التفاعلات المعقدة بين الرموز. ومع ذلك، يجادلون بأن النتائج توفر رابطًا ملموسًا بين فرضية التمثيل الخطي وآليات التشغيل للتعلم في السياق.