Exploring Geographic Relative Space in Large Language Models through Activation Patching

ملخص تقني: استكشاف الفضاء الجغرافي النسبي في النماذج اللغوية الكبيرة من خلال رقعة التنشيط (Activation Patching)

بيان المشكلة
يثير التكامل المتزايد للنماذج اللغوية الكبيرة (LLMs) في الأبحاث والتحليلات الجغرافية مخاوف أمنية كبيرة بسبب محدودية فهم آلياتها الداخلية. وبينما أظهرت الدراسات السابقة أن النماذج اللغوية الكبيرة تعالج المعلومات الجغرافية مكانياً، فإن طرق التفسير الحالية مثل "الاستقصاء" (probing) و"المشفرات التلقائية المتفرقة" (sparse autoencoders) لا تقدم سوى أدلة أولية. هناك حاجة ماسة للانتقال من مرحلة الارتباط إلى إرساء علاقات سببية بين تنشيطات النموذج ومعالجة مفاهيم جغرافية محددة، ولا سيما "الفضاء النسبي"، وهو مفهوم أساسي في الجغرافيا الكمية.

المنهجية
تستخدم هذه الدراسة تقنية رقعة التنشيط (activation patching)، وهي تقنية تفسير ميكانيكي، للتحقيق في كيفية معالجة نموذج Gemma 2 2B لمفهوم "قريب" (near) في مقابل التعبيرات المسافية الكمية. يتضمن التصميم التجريبي إجراءً من ثلاث خطوات:

1. المطالبة النقية (Clean Prompt): تتم معالجة مطالبة تنص على أن موقعاً ما "يقع بالقرب من مدينة [المكان]" لالتقاط التنشيطات الأساسية واحتمالات المخرجات.
2. المطالبة الفاسدة (Corrupted Prompt): تتم معالجة مطالبة مشابهة هيكلياً حيث تُستبدل كلمة "قريب" بمسافات كمية محددة (على سبيل المثال، "خمسة أميال"، "مائتان ميل"، وصولاً إلى "ألف ميل").
3. الرقعة (Patching): تتم معالجة المطالبة الفاسدة مرة أخرى، ولكن يتم حقن تنشيطات المطالبة النقية في نقاط حوسبة محددة (تحديداً في خطافات مخرجات الطبقة متعددة الطبقات العصبية MLP) لاستبدال التنشيطات الناتجة عن المطالبة الفاسدة.

تستخدم الدراسة مجموعة بيانات تضم 249 مكاناً مأهولاً في المملكة المتحدة. وقد تم التعامل مع تحدٍ منهجي رئيسي يتمثل في عدم التماثل في عدد الرموز (tokens) بين الرمز المنفرد "near" والتعبيرات الكمية متعددة الرموز (مثل "five miles"). اختار المؤلفون النهج الأبسط دون استخدام الحشو (padding) أو توسيع الرموز لتجنب إدخال المزيد من التعقيد، مع قبول حقيقة أن عملية الرقعة تستبدل جزءاً فقط من التنشيطات الفاسدة.

يتم قياس تأثير الرقعة باستخدام تباعد كولباك - ليبلر (KL divergence). يقيس هذا المقياس الفرق بين توزيعات احتمالات الرمز التالي الذي تولده المطالبة الفاسدة مقابل المطالبة النقية، مقارنة بتوزيع الاحتمالات الناتج عن الحوسبة المرقوعة مقابل المطالبة النقية.

النتائج الرئيسية
تشير النتائج الأولية إلى أن رقعة التنشيط تؤثر بشكل كبير على مخرجات النموذج، مما يكشف عن طبقات ورموز محددة تشارك في معالجة الفضاء النسبي:

• حساسية الطبقة: تؤدي رقعة الرمز الثالث في الطبقات المبكرة للنموذج إلى أقوى تأثير. يمثل هذا الرمز نهاية الكمية العددية في المطالبة الفاسدة (على سبيل المثال، "hundred" في "two hundred miles"). يؤدي تعطيل هذه النقطة إلى جعل النموذج يعود لمعالجة مفهوم "القرب" بدلاً من المسافة المحددة.
• الترميز المنتشر: يصبح التأثير أقل بروزاً وأكثر انتشاراً في الرموز الرابع والخامس (المقابلة لـ "miles from")، مما يشير إلى ترميز أكثر تعقيداً وتوزعاً لمعلومات الفضاء الجغرافي النسبي عبر الشبكة العصبية.
• مقدار المسافة: تظهر المسافات الطويلة (مئات الأميال) تأثيراً أقوى للرقعة مقارنة بالفترات القصيرة.
• الاستثناءات: تظهر استثناءات ملحوية عند "a hundred" و"a thousand miles"، حيث يظهر تأثير واهن. يقترح المؤلفون أن هذا قد ينبع من انخفاض التباعد الإجمالي في الاحتمالات مقارنة بكلمة "near"، مما قد يشير إلى تفسير أقل حرفية لهذه المقاييس المحددة أو تحول في المقياس الجغرافي المستخدم لتعريف "القرب".

الأهمية والادعاءات
يدعي البحث تقديم رؤية أولية للآليات الداخلية التي تتعامل بها النماذج اللغوية الكبيرة مع المطالبات الجغرافية، متجاوزاً الأدلة الأولية لتحديد الروابط السببية بين التنشيطات والاستدلال الجغرافي. ومن خلال إثبات أن اضطرابات محددة في الطبقات المبكرة تغير تركيز النموذج من المسافة الكمية إلى القرب النسبي، تسلط الدراسة الضãy على التشابك المعقد بين التصورات والمقاييس في معالجة النماذج اللغوية الكبيرة.

يصرح المؤلفون صراحةً بأن هذه النتائج أولية. ويؤكدون أن إجراء تحليل أوسع يشمل مجموعة أكبر من أسماء الأماكن والمطالبات ضروري للتحقق من هذه النتائج. يعد هذا العمل خطوة تأسيسية نحو تطوير دراسات متخصصة يمكنها دعم النشر الآمن للنماذج اللغوية الكبيرة في الجغرافيا من خلال توضيح كيفية تمثيل هذه النماذج للمفاهيم المكانية ومعالجتها داخلياً.