Polar probe linearly decodes semantic structures from LLMs

ملخص تقني: المسبار القطبي يفك تشفير البنى الدلالية خطياً من النماذج اللغوية الكبيرة

صياغة المشكلة
تتناول الورقة البحثية السؤال الجوههري حول كيفية ربط النماذج اللغوية الكبيرة (LLMs) للمفاهيم لتشكيل بنى دلالية معقدة. وبينما أظهرت الأعمال السابقة أن البنى النحوية (مثل تبعيات الفاعل والفعل) يمكن فك تشفيرها خطياً من تنشيطات النماذج اللتمثل في المبادئ الهندسية (Hewitt & Manning, 2019; Diego-Simon et al., 2024)، لا يزال من غير الواضح ما إذا كانت مبادئ مماثلة تنطبق على الربط الدلالي. يفترض المؤلفون أن النماذج اللغوية الكبيرة تمثل وجود وأنواع العلاقات بين الكيانات ليس من خلال آليات معقدة وغير خطية، بل عبر كود هندسي بسيط: المسافة الإقليدية بين تضمينات الكيانات تشفر وجود العلاقة، بينما تشفر الاتجاهات النسبية نوع العلاقة.

المنهجية
لاختبار هذه الفرضية، قدم المؤلفون المسبار القطبي (Polar Probe)، وهو تحويل خطي يتم تدريبه لخرائط تنشيطات النماذج اللغوية الكبيرة إلى فضاء مسبار حيث يمكن استعادة الرسم البياني العلائقي.

1. مجموعات البيانات: تستخدم الدراسة مجموعة بيانات اصطناعية تغطي خمسة مجالات دلالية متميزة:

   • المجالات الإقليدية: الترتيب المتغير (المتغيرات الرياضية)، التخطيطات المكانية (ترتيبات الأشياء ثنائية الأبعاد)، والأدوار الموضوعاتية (التفاعلات الاجتماعية).
   • المجالات غير الإقليدية: أشجار العائلة (علاقات غير تبادلية، ومتعددة إلى متعددة)، وخرائط المترو (المسارات القصيرة القائمة على الشبكات).
     كل عينة تتكون من وصف لغوي طبيعي لرسم بياني علائقي. ولمنع النموذج من تعلم الارتباطات السطحية، تم تعشية ترتيب العلاقات والكيانات، وتوليد أوصاف نصية متعددة لنفس الرسم البياني.

2. بنية المسبار:

   • الفقد الهيكلي ($L_s$): يحسن معامل ارتباط سبيرمان للرتب بين مصفوفة المسافات المتوقعة ومصفوفة مسافة أقصر مسار الحقيقية للرسم البيفي الدلالي.
   • الفقد الزاوي ($L_a$): يحسن المحاذاة بين متجه الفرق بين تضميني كيانين ($\delta_{ij}$) ومتجه نموذج أولي متعلم ($p_r$) خاص بنوع العلاقة $r$.
     يتم تدريب المسبار بشكل مستقل على كل طبقة من طبقات نماذج لغوية مختلفة (Llama3-8B، وOLMo-7B، وعائلة Pythia).

3. التقييم:

   • أداء فك التشفير: يُقاس عبر معامل سبيرمان ($\rho$) لوجود العلاقة (ترتيب المسافة) ونوع العلاقة (محاذاة الاتجاه).
   • التعميم: تم اختباره على أسماء كيانات غير موجودة في بيانات التدريب (OOD) وأشكال سطحية علاقاتية غير موجودة في بيانات التديب.
   • التدخل السببي: يقوم المؤلفون بالتدخل في الحالات الخفية عن طريق توجيه التنشيطات على طول اتجاهات النماذج الأولية المتعلمة لمراقبة التحولات في أداء الإجابة على الأسئلة (QA) اللاحق.
   • الارتباط: ترتبط أخطاء المسبار باحتمالية "اللوجيت" للإجابات الصحيحة في مهام الإجابة على الأسئلة.

النتائج الرئيسية

• القابلية لفك التشفير الخطي: يمكن استعادة البنى الدلالية الحقيقية خطياً من تنشيطات النماذج اللغوية الكبيرة. نجح المسبار القطبي في فك تشفير كل من وجود العلاقة ونوعها عبر جميع المجالات الخمسة.
• ظهور الطبقات: الكود الهندسي يكون أكثر بروزاً في الطبقات الوسطى للنماذج اللغوية الكبيرة المدربة مسبقاً (يصل ذروته حول الطبقات 12-15 لنموذج Llama3-8B). في النماذج ذات التهيئة العشوائية، يظل أداء فك التشفير عند مستويات الصدفة، مما يشير إلى أن الكود يظهر أثناء التدريب المسبق.
• حجم النموذج والتدريب: يتناسب الأداء مع حجم النموذج (من 14 مليون إلى 6.9 مليار معلمة) ويزداد مع خطوات التدريب المسبق، مما يشير إلى أن الكود القطبي هو قدرة متعلمة تعتمد على سعة النموذج ومدة التدريب.
• التعميم: تعمم المسابير على كيانات جديدة وأشكال سطحية علاقاتية جديدة، رغم أن الأداء يتدهور بشكل طفيف مع الكيانات غير الموجودة في بيانات التدريب (OOD) وبشكل أكبر مع أنواع العلاقات غير الموجودة في بيانات التدريب. كما ينخفض الأداء مع زيادة عدد الكيانات في الرسم البياني، ويرجع ذلك على الأرجلة إلى توسع الفضاء التوليفي.
• التأثير السببي: يؤدي توجيه تنشيطات النموذج على طول اتجاهات النماذج الأولية المتعلمة إلى تغيير احتمالية الإجابات الصحيحة في مهام الإجابة على الأسئلة سببياً، مما يؤكد أن هذه التمثيلات الهندسية ذات صلة وظيفية بعمليات الاستنتاج في النموذج.
• عدم تداخل الفضاءات الجزئية: الفضاءات الجزئية المتعلمة لمختلف المجالات الدلالية هي في الغالب منفصلة في فضاء التنشيط، باستثناء التخطيطات المكانية وترتيب المتغيرات، التي تظهر تداخلاً كبيراً (مما يدعم فرضية التراكب/Superposition).

الأهمية والادعاءات
يدعي البحث أنه أثبت أن النماذج اللغوية الكبيرة تتعلم بناء بنى دلالية معقدة من خلال ربط التمثيلات عبر مبدأ هندسي بسيط. وتحديداً، فإنه يوسع نطاق المسبار الخطي لما وراء النحو ليشمل فئة أوسع من الرسوم البيانية الموجهة والموسومة.

• ما وراء النحو: على عكس الأعمال السابقة المقتصرة على الأشجار النحوية، ينجح هذا النهج في فك تشفير البنى الدلالية التي ليست بالضرورة ذات بنية شجرية وتتضمن طوبولوجيا غير إقليدية (مثل أشجار العائلة وخرائط المترو)، وإن كان مع بعض القيود في الدقة بالنسبة للعلاقات غير التبادلية.
• ما وراء استرجاع المعرفة: تستهدف الدراسة البنى التركيبية التي لا يمكن حفظها أثناء التدريب (بسبب عشوائية الكيانات والعلاقات)، مما يوفر دليلاً على كيفية أداء النماذج للتعلم في السياق (In-context learning) والربط.
• التوتر بين الرمزية والاتصالية: تشير النتائج إلى حل للتوتر بين المناهج الرمزية والاتصالية، حيث تقترح أن البنى الرمزية يمكن تمثيلها داخل الأنظمة المتجهية عبر فضاءات جزئية خطية وعلاقات هندسية.

يظل المؤلفون متواضعين بشأن قيود الطريقة، مشيرين إلى أن المسبار القطبي يعتمد على المسافات الإقليدية وهو مصمم خصيصاً للرسوم البيانية الإقليدية. وبالتالي، لا يمكنه تمثيل العلاقات غير التبادلية أو العلاقات متعددة إلى متعددة المعقدة تماماً، أو مسافات أقصر المسارات المعقدة الموجودة في المجالات غير الإقليدية، رغم أنه يلتقط التماسك المحلي داخلها.