ملخص تقني: الاستدعاء الحقائقي الهندسي في المحولات (Transformers)

بيان المشكلة

تمتلك النماذج اللغوية الكبيرة (LLMs) القدرة على تخزين واسترجاع مجموعات هائلة من الارتباطات الحقائقية. ويتمثل السؤال المركزي في فهم هذه القدرة في كيفية حفظ بنية "المحولات" لهذه الارتباطات. غالبًا ما تصور الأطر النظرية الحالية هذه العملية كمسألة ذاكرة ترابطية (associative memory)، حيث تقوم مصفوفات الأوزان الداخلية (تحديدًا طبقات MLP أو آليات الانتباه) بتخزين أزواج من تضمينات المدخلات والمخرجات كمتجهات عشوائية شبه متعامدة تقريبًا. وفي هذه الرؤية، يتناسب عدد المعلمات المطلوبة لحفظ $N$ من الحقائق خطيًا مع $N$.

ومع ذلك، تشير الملاحظات التجريبية إلى آلية مختلفة: قد تستخدم المحولات الحفظ الهندسي (geometric memorization)، حيث تقوم التضمينات المتعلمة بترميز البنية العلاقاتية للبيانات مباشرة، بدلاً من الاعتماد على التخزين الترابطي بالقوة الغاشمة. يبحث هذا البحث فيما إذا كانت المحولات يمكنها حفظ الارتباطات الحقائقية بكفاءة أكبر من خلال هيكلة فضاء التضمين هندسيًا، بدلاً من الاعتماد على التخزين الترابطي. يركز المؤلفون على إطار مضبوط يتضمن $N$ من الموضوعات، و$R$ من العلاقات، ومجموعة مشتركة من السمات، حيث يجب على النموذج التنبؤ بالسمة المرتبطة بزوج (موضوع-علاقة)، أو تركيب هذه العلاقات في استعلامات متعددة الخطوات (على سبيل المثال: "من هي والدة زوجة $x$؟").

المنهجية

يجمع البحث بين البناء النظري والتحقق التجريبي على بيانات اصطناعية وواقعية.

الإطار النظري

يحلل المؤلفون قدرة المحولات على حل مهام الاستدعاء الحقائقي عندما تُعامل التضمينات كمعلمات قابلة للتعلم. ويميزون بين نظامين:

1. الاستدعاء أحادي الخطوة (Single-Hop Recall): التنبؤ بسمة ما بناءً على موضوع وعلاقة.
2. الاستدعاء متعدد الخطوات (Multi-Hop Recall): تركيب $k$ من العلاقات بالتسلسل دون مخرجات وسيطة (تنبؤ مباشر) مقابل استخدام سلسلة الأفكو (Chain-of-Thought - CoT).

يعتمد التحليل النظري على بناء حلول صريحة للمحولات ذات التضمينات القابلة للتعلم. والمفتاح في هذه البناءات هو استخدام التراكبات الخطية (linear superpositions) داخل تضمينات الموضوعات. فبدلاً من تخزين الحقائق كمتجهات متميزة ومتعامدة، يتم بناء تضمين الموضوع كمتجه كتلي (block vector) يحتوي على تمثيلات لجميع سماته الـ $R$ الممكنة. ومن ثم تعمل طبقة MLP ليس كجدول بحث، بل كمنتخب مشروط بالعلاقة (relation-conditioned selector) يستخرج كتلة السمة ذات الصلة عبر بوابات ReLU.

كما يشتق المؤلفون حدودًا معلوماتية دنيا لعدد المعلمات وأبعاد التضمين المطلوبة للاستدعاء $k$-خطوة، باستخدام حجج العد على رسومات بيانية منتظمة من نوع $R$-regular edge-colored graphs.

الإعداد التجريبي

للتحقق مما إذا كان الانحدار الاشتقاقي (gradient descent) يكتشف هذه الهياكل النظرية، أجرى المؤلفون تجارب مكثفة على بيانات اصطناعية:

• مجموعة البيانات: $N=4096$ موضوعًا مع $R \in \{2, \dots, 16\}$ علاقة، ترتبط بمجموعة سمات مشتركة.
• البنية: محولات ذات طبقة واحدة مع انتباه موحد أو متعلم، وطبقتين من MLP.
• ضوابط المقارنة: تقارن التجارب بين نماذج ذات تضمينات قابلة للتدريب وبين نموذج ضابط حيث تكون تضمينات الكيانات المدخلة مجمدة عند تهيئة عشوائية (محاكية لنظام التضمين الثابت في الأعمال السابقة).
• التحليل: تشمل تحليلات ما بعد التدريب عمليات قراءة خطية للتحقق من هياكل التراكب، وتدخلات سببية لاختبار انتقائية MLP، وتجارب "التجميد والتبديل" (freeze-and-swap) لاختبار عمومية الآلية المتعلمة.
• الاستقصاء في العالم الحقيقي: يستقصي المؤلفون نماذج لغوية كبيرة مدربة مسبقًا (مثل Qwen، Llama، Phi) لمعرفة ما إذا كانت الحالات الخفية للموضوعات تظهر ترميزًا علاقيًا خطيًا مشابهًا لتوقعاتهم النظرية.

المساهمات الرئيسية

1. الحفظ اللوغاريتمي مع السمات المشتركة

يثبت البحث أن المحول ذو الطبقة الواحدة يمكنه حفظ $N \times R$ من الحقائق باستخدام بُعد تضمين $d = O(R \log N)$، بشرط أن يكون الـ MLP صغيرًا ومشروطًا بالعلاقة.

• الآلية: تُشفر تضمينات الموضوع تراكبات خطية لمتجهات السمات $R$ المرتبطة بها.
• دور الـ MLP: يعمل الـ MLP كمنتخب يستخرج متجه السمة المحدد المقابل للعلاقة المستعلم عنها عبر بوابة ReLU، بدلاً من تخزين الخريطة في أوزانه.
• الأهمية: يقلل هذا من بُعد التضمين المطلوب من كونه خطيًا في $N$ (كما في نماذج الذاكرة الترابطية) إلى كونه لوغاريتميًا، دون تضخم حجم الـ MLP.

2. المقايضة بين السعة والعمق للاستدعاء متعدد الخطوات

يحدد المؤلفون مقايضة أساسية للاستدعاء الحقائقي $k$-خطوة بدون سلسلة الأفكو (CoT):

• بدون CoT: يتطلب حل استعلامات $k$-خطوة إما بُعد تضمين أسي في $k$ ($d = \tilde{O}(R^k)$) أو عرضًا لطبقة MLP خطيًا في عدد الحقائق ($O(N \cdot R)$). وقد تم إثبات ذلك عبر حد معلوماتي أدنى (النظرية 4.2) يوضح أنه بدون مخرجات وسيطة، يجب على النموذج تشفير شجرة التقييم بأكملها داخل حالة خفية واحدة.
• مع CoT: إن السماح للنموذج بإخراج خطوات علاقية وسيطة (سلسلة الأفكو) يكسر هذا الاختناق. حيث يكفي محول ذو طبقة واحدة مع $d = \tilde{O}(R + k)$ وعرض MLP قدره $\tilde{O}(R)$ لأي $k$. تعمل CoT فعليًا على تحويل مشكلة تعدد الخطوات إلى سلسلة من المشكلات أحادية الخطوة، متجاوزة الحاجة لتخزين شجرة $k$-خطوة كاملة في فضاء التضمين.

3. التحقق التجريبي من البنية الهندسية

تؤكد التجارب أن الانحدار الاشتقاقي يكتشف بشكل طبيعي الهياكل الهندسية المتوقعة:

• عتبة السعة: لوحظت العتبة $d = \Theta(R \log N)$ تجريبيًا للتضمينات القابلة للتدريب، بينما تتطلب التضمينات المجمدة $d = \Theta(N^R)$ (أو توسعًا متعدد الحدود مشابهًا)، مما يؤكد الميزة النظرية للتضمينات المهيكلة.
• التراكب (Superposition): تظهر القراءات الخطية أن تضمينات الموضوع يمكن تقريبها جيدًا كتراكبات خطية لمتجهات السمات.
• الاختيار العام: تؤكد التدخلات السببية أن الـ MLP يعمل كمنتخب خاص بالعلاقة. والأهم من ذلك، عندما تمت إعادة تهيئة تضمينات الموضوع لتشفير تقابلات (bijections) عشوائية جديدة، حقق الـ MLP المجمد دقة عالية في وضع الصفر (zero-shot accuracy). وهذا يثبت أن الـ MLP قد تعلم آلية اختيار عامة، وليس حفظًا لحقائق محددة.

الأهمية والادعاءات

يدعي البحث تقديم تفسير نظري وتجريبي لـ الحفظ الحقائقي الهندسي في المحولات، مما يقدم بديلًا لرؤية الذاكرة الترابطية السائدة.

• الكفاءة: من خلال هيكلة التضمينات لتشفير الطوبولوجيا العلاقاتية مباشرة، يمكن للمحولات تحقيق استدعاء حقائقي بعدد أقل بكثير من المعلمات (لوغاريتمي في $N$) مقارلة بنماذج الذاكرة الترابطية ذات التضمين العشوائي.
• آلية الاستدعاء: تشير النتائج إلى أن الاستدعاء الحقائقي يتم عبر تمثيلات هندية مهيكلة حيث يعمل الـ MLP كمنتخب عام مشروط بالعلاقة. وهذا يفسر سبب قدرة النماذج على التعميم على حقائق جديدة إذا تمت إعادة تهيئة فضاء التضمين بشكل مناسب، حيث يتم فصل آلية الاختيار عن قيم الحقائق المحددة.
• دور سلسلة الأفكو (CoT): يوفر العمل تفسيرًا نظريًا لفعالية سلسلة الأفكو في الاستنتاج متعدد الخطوات. فهو يوضح أن CoT تتجاوز اختناقات السعة المتأصلة في التنبؤ المباشر بـ $k$-خطوة عن طريق توزيع الحوسبة عبر خطوات التوليد الذاتي (autoregressive)، مما يسمح للنماذج الضحلة بحل مهام الاستنتاج العميقة.
• الصلة بالواقع: يشير ملاحظة الترميز العلاقي الخطي في النماذج اللغوية الكبيرة المدربة مسبقًا إلى أن هذه الآليات الهندسية ليست مجرد آثار نظرية، بل هي موجودة في النماذج المدربة على اللغة الطبيعية، مما قد يفسر ظواهر مثل خطية فك تشفير العلاقات الملاحظة في الأعمال السابقة.

يحافظ المؤلفون على موقف متواضع، مشيرين إلى أن إعدادهم يعامل العلاقات كرموز مبهمة والسمات ككيانات عشوائية، بينما تتضمن الحقائق في العالم الحقيقي هياكل دلالية غنية. ويقترحون أن توسيع هذا التفسير الهندسي ليشمل البيانات ذات هذه الانتظامات هو توجه للعمل المستقبلي.