What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

ملخص تقني: تحديد وتنقيب وتتبع المفاهيم في النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
مع تزايد تأثير النماذج اللغوية الكبيرة (LLMs) في اتخاذ القرار، تبرز حاجة ماسة لفهم "عمليات التفكير" الداخلية لهذه النماذج. وبينما أظهرت الأبحاث السابقة أن المجسات الخطية (linear probes) يمكنها اكتشاف خصائص لغوية محددة (مثل أجزاء الكلام، أو الزمن) ومفاهيم معينة (مثل الوقت، أو الموقع، أو الحقيقة) داخل تمثيلات (embeddings) النماذج اللغوية الكبيرة، إلا أن الطرق الحالية للكشف عن المفاهيم تواجه قيوداً كبيرة. فعلى سبيل المثال، تتطلب المشفّرات التلقائية المتناثرة (Sparse Autoencoders - SAEs) تدريباً غير مُوجّه مكلفاً حوسبياً وتفتقر إلى التحكم في المفاهيم المحددة التي يتم اكتشافها، مما يجعلها غير مناسبة للمراقبة المستهدفة. أما الأساليب الأخرى، مثل توجيه النموذج اللغوي عبر "الأوامر" (prompting) لتحديد مفهوم ما، فهي مكلفة للغاية للمراقبة المستمرة لأنها تتطلب استدعاءات منفصلة للنموذج. تعالج هذه الورقة البحثية الحاجة إلى طريقة منخفضة التكلفة وقابلة للتوسع لإنشاء مجسات محددة يمكنها مراقبة وجود وغياب المفاهيم الضمنية داخل تمثيلات النماذج اللغوية الكبيرة أثناء التشغيل العادي.

المنهجية
يقترح المؤلفون مسار عمل يتكون من ثلاث مراحل لإنشاء واستخدام مجسات المفاهيم:

1. تحديد المفهوم (Concept Delineation): الابتكار الجوهري هو طريقة شبه آلية لإنشاء مجموعات بيانات ثنائية عالية الجودة لمفاهيم محددة.

   • توليد القوالب: قام المؤلفون بإنشاء 30,000 قالب جملة من نصوص "مشروع غوتنبرغ" (Project Gutenberg)، مع تصفيتها لضمان تركيزها على الموضوعات البشرية واحتوائها على بنى متماسكة.
   • توليد الأمثلة: باستخدام نموذج لغوي كبير موجه (gpt-4o)، قاموا بتوليد أزواج من الأمثلة لكل مفهوم (موجود مقابل غائب) عبر محاكاة البنية النحوية للقوالب مع تغيير الدلالات (semantics) لتعكس المفهوم المستهدف. يهدف هذا النهج إلى منع "تسرب الملصقات" (label leakage) حيث قد يتعلم النموذج ارتباطات زائفة بدلاً من المفهوم نفسه.
   • التنقيح والتصنيف: لضمان الموثوقية، قام مصنف يعتمد على نموذج لغوي كبير بإعادة تصنيف جميع الأمثلة المولدة. تم تحسين الأوامر (prompts) بشكل تكراري لتحقيق دقة تزيد عن 90% على مجموعات تحقق مصنفة يدوياً. تم تصفية مجموعات البيانات للاحتفاظ فقط بالأزواج ذات الملصقات المتضادة، مما يضمن أن المجس يتعلم المفهوم بدلاً من التشابهات الهيكلية. تم اختيار أربعة مفاهيم هي: الطموح (ambition)، التحقيق (investigation)، الديمقراطية (democracy)، والحسد (envy).

2. تدريب وتقييم المجس:

   • التدريب: تم تدريب مجسات خطية (مصنفات ثنائية) على التمثيلات المستخرجة من طبقات مختلفة من النماذج اللغوية المستهدفة. اختبر المؤلفون استراتيجيتين مختلفتين للتمثيل: تمثيل الرمز الأخير ($N$-th) ومتوسط جميع التمثيلات في طبقة معينة.
   • مهام التحكم: للتحقق من أن المجسات تكتشف المفاهيم المشفرة في التمثيلات وليس تعلم المهمة بشكل مستقل، استخدم المؤلفون مهام تحكم:
     • العشوائية: أدى التدريب على تمثيلات أو ملصقات عشوائية إلى انخفاض الدقة إلى حوالي 50%، مما يؤكد أن المجسات تعتمد على معلومات ذات معنى في التمثيلات.
     • تقليل المعلمات: تم تقييد المجسات لتكون بأقل من 80 معلمة (عبر تحليل المكونات الرئيسية PCA). تم الحفاظ على دقة عالية حتى مع الضغط الكبير، مما يشير إلى أن التمثيلات تشفر الميزات بقوة.

3. تتبع المفهوم (الازدياد والاضمحلال):

   • مجموعات بيانات القصص: أنشأ المؤلفون 50 قصة مكونة من ثلاث فقرات لكل مفهوم. كان المفهوم المستهدف موجوداً فقط في الجمل الانتقالية التي تربط بين الفقرات وغائباً في مكان آخر.
   • المراقبة الديناميكية: تم تطبيق المجسات المدربة على تمثيلات سياقات المدخلات المتوسعة (كلمة بكلمة). سمح ذلك للمؤلفين بمراقبة كيفية تقلب احتمالية وجود المفهوم مع تطور السياق، وتحديداً تتبع "ازدياد واضمحلال" إشارة المفهوم.

النتائج الرئيسية

• استنتاج المفهوم: تؤكد الدراسة أن النماذج اللغوية الكبيرة (التي تم اختبارها على عائلات Llama-3-8B وGemma-2 وQwen2.5) تستنتج المفاهيم الأربعة المستهدفة. حققت المجسات دقة أعلى بكثير من 50% عبر معظم الطبقات، حيث أظهرت طبقة التمثيل (الطبقة 0) دقة عالية بشكل مفاجئ (87%) لمفهوم الطموح عند استخدام متوسط التمثيلات، رغم أن هذا لم يصمد أمام السياقات الطويلة.
• كفاءة المجس: حققت المجسات أداءً قوياً بعدد قليل جداً من المعلمات. بالنسبة لمفهوم الطموح، ظلت الدقة فوق 75% مع 40 معلمة فقط واستقرت عند حوالي 80 معلمة، وهو أقل بكثير من بُعد التمثيل الخاص بالنموذج (4,096 لـ Llama-3-8B).
• ديناميكيات التتبع: نجحت المجسات في تتبع وجود وغياب المفاهيم في الوقت الفعلي مع توسع سياق المدخلات. عند استخدام تمثيلات الرمز الأخير، ارتفع مخرج المجس فوق عتبة 0.5 عندما يكون المفهوم موجوداً في النص وانخفض دونها عند غيابه. وعلى العكس من ذلك، أدى استخدام متوسط التمثلات التراكمي إلى تخفيف الإشارة، مما أدى إلى الفشل في التقاط هذه الديناميكيات، مما يشير إلى أن استنتاج المفهوم في النماذج اللغوية الكبيرة يتضمن ما هو أكثر من مجرد تمثيلات بسيطة لـ "حقيبة الكلمات" (bag-of-words).
• خصوصية الطبقة: وُجد أن طبقات مختلفة في نماذج مختلفة هي الأمثل لتتبع مفاهيم محددة. على سبيل المثال، في Llama-3-8B، كانت الطبقة 13 هي الأفضل لتتبع الطموح، بينما كانت الطبقة 31 هي الأفضل لتتبع التحقيق.

الأهمية والادعاءات
تدعي الورقة أنها تتخذ "الخطوات الأولى" نحو القدرة على إنشاء مجموعات واسعة من المجسات لمراقبة النماذج اللغوية الكبيرة. وتتمثل مساهماتها الرئيسية في:

1. منهجية شبه آلية قابلة للتكرار لتحديد المفاهيم في مجموعات بيانات ثنائية تقلل من تسرب الملصقات العرضي.
2. إثبات أن المجسات الخطية يمكنها اكتشاف المفاهções الضمنية بدقة عالية باستخدام عدد ضئيل من المعلمات (<80)، مما يجعلها رخيصة حوسبياً.
3. تقديم دليل على أن هذه المجسات يمكن أن تعمل كمراقبين مستمرين ومنخفضي التكلفة، قادرين على تتبع "الازدياد والاضحلال" الديناميكي للمفاهيم مع توسع السياق.
4. نشر مجموعات البيانات التي تم إنشاؤها (القوالب والأمثلة الخاصة بكل مفهوم) لتمكين المزيد من الأبحاث في قابلية التفسير للنماذج اللغوية الكبيرة.

يحافظ المؤلفون على نبرة متواضعة، مع الإقرار بالقيود مثل احتمال اتباع البيانات المولدة لتوزيعات معينة والاعتماد على المصنفات القائمة على النماذج اللغوية الكبيرة في التصنيف. ويفترضون أنه بينما يركز عملهم الحالي على أربعة مفاهيم، فإن توسيع هذه العملية يمكن أن يتيح مراقبة نماذج جديدة واستكشاف الروابط السببية بين المفاهيم الداخلية المستنتجة والمخرجات المولدة، مما يعزز سلامة النماذج اللغوية الكبيرة وقابلية تفسيرها.