From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs

إليك ملخص تقني مفصل للورقة البحثية بعنوان "من الارتباطات إلى التنشيطات: مقارنة الهندسة الدلالية السلوكية وهندسة الحالة الخفية في النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تتناول الورقة سؤالاً جوهرياً في العلوم المعرفية وتفسير الذكاء الاصطناعي: إلى أي مدى يمكن استرداد الهندسة الدلالية الداخلية (الحالات الخفية) للنموذج اللغوي الكبير (LLM) من خلال سلوكه الملحوظ فقط؟

بينما تعامل العلوم المعرفية تقليدياً المعرفة الدلالية كبنية كامنة يتم استنتاجها فقط من خلال السلوك (مثل الارتباطات اللفظية)، توفر النماذج اللغوية الكبيرة إعداداً فريداً "قابل للملاحظة بالكامل" حيث تتوفر كل من السلوكيات والتمثيلات الداخلية. يستقصي المؤلفون ما إذا كانت المخرجات السلوكية المنفصلة (بدون الوصول إلى الاحتمالات "logits" أو الأوزان الداخلية) تحتوي على معلومات كافية لإعادة بناء البنية الدلالية الداخلية للنموذج. وبشكل محدد، يقارنون بين الهندسة الدلالية السلوكية (المستمدة من مهام الارتباط) مقابل هندسة الحالة الخفية عبر طبقات متعددة في عدة نماذج.

2. المنهجية

الإعداد التجريبي

• النماذج: ثمانية نماذج من نوع "transformer" لفك التشفير (decoder-only) مضبوطة للتعليمات (instruction-tuned) تتراوح أحجامها من 7 مليار إلى 14 مليار معلمة، بما في ذلك Falcon3، وGemma-2، وLlama-3.1، ومتغيرات Mistral، وPhi-4، وQwen2.5، وrnj-1.
• المفردات: مجموعة مشتركة مكونة من 5,000 اسم إنجليزي عالي التكرار مستمدة من معجم SUBTLEX-US ومتن C4.
• النطاق: جمعت الدراسة أكثر من 17.5 مليون تجربة عبر النماذج.

النماذج السلوكية

استُخدم نموذجان نفسيان لغويان لتوليد مصفوفات التشابه السلوكي ($S_{beh}$):

1. الاختيار القسري (Forced Choice - FC): يُعطى النموذج كلمة مفتاحية وقائمة من 16 كلمة مرشحة، ويختار الكلمتين الأكثر ارتباطاً دلالياً. يؤدي هذا إلى إنشاء مصفوفة (مثير-استجابة) كثيفة ومقيدة ($B_{FC}$).
2. الارتباط الحر (Free Association - FA): يُعطى النموذج كلمة مفتاحية ويُطلب منه توليد 5 كلمات مرتبطة بها بشكل متميز. يؤدي هذا إلى إنشاء مصفوفة (مثير-استجابة) أكثر تشتتاً ومفتوحة ($B_{FA}$).

• المعالجة: تمت إعادة وزن التكرارات الخام باستخدام معلومات متبادلة نقطية إيجابية (PPMI) لتقليل انحياز التكرار. تم حساب مصفوفات التشابه السلوكي عبر تشابه جيب التمام (cosine similarity) بين المتجهات الصفية الموزونة بـ PPMI.

استخراج الحالة الخفية

استُخرجت تمثيلات الحالة الخفية ($h_\ell$) لنفس المفردات عبر جميع الطبقات ($\ell$) باستخدام أربع استراتيجيات سياقية متميزة:

1. المتوسطة (Averaged): الكلمة مدمجة في 50 جملة طبيعية من متن C4 (متوسطة).
2. المعنى (Meaning): الكلمة مدمجة في مطالبة بنمط التعريف ("ما هو معنى {w}؟").
3. المهمة (FC): الكلمة مدمجة في مطالبة الاختيار القسري (بدون المرشحين).
4. المهمة (FA): الكلمة مدمجة في مطالبة الارتباط الحر.

• المعالجة المسبقة: تم توسيط المتجهات (mean-centering) للتخفيف من عدم التماثل (anisotropy) (تأثير المخروط في فضاءات الـ transformer) قبل حساب مصفوفات تشابه جيب التمام ($S_{hid}^\ell$).

مقاييس التقييم

1. تحليل تشابه التمثيل (RSA): معامل ارتباط بيرسون بين التشابهات الزوجية لمصفوفة الحالة الخفية والمصفوفات السلوكية/المرجعية.
2. تداخل أقرب جار (NN@k): كسر الجيران المتشاركين في أعلى-$k$ بين الحالات الخفية والفضاءات السلوكية.
3. انحدار ريدج للكلمات المستبعدة (Held-Out-Word Ridge Regression): مهمة تنبؤية حيث يتم التنبؤ بتشابهات الحالة الخفية لأزواج الكلمات غير المرئية باستخدام التشابهات السلوكية (FC/FA) جنباً إلى جنب مع القواعد المعجمية (FastText، BERT) ومعيار إجماع عبر النماذج.

3. المساهمات الرئيسية

1. إطار عمل المحاذاة بين السلوك والتنشيط: يقدم المؤلفون أول مقارنة منهجية بين الهندسة السلوكية للنماذج اللغوية الكبيرة (المستمدة من FC وFA) مقابل هندسة الحالة الخفية للطبقات عبر RSA وتداخل أقرب جار.
2. تفوق الاختيار القسري: يثبتون أن سلوك الاختيار القسري (FC) يتوافق بشكل أفضل بكثير مع هندسة الحالة الخفية مقارنة بالارتباط الحر (FA). يحقق FC ارتباطات RSA أعلى وقدرة تنبؤية أفضل في مهام الانحدار.
3. الاعتماد على السياق في المحاذاة: تكشف الدراسة أن الطبقة التي يتوافق فيها السلوك بشكل أفضل مع الحالات الخفية تعتمد على استراتيجية الاستخراج. تُظهر المطالبات المتوافقة مع المهمة (Task-aligned) ومطالبات المعنى ذروة المحاذاة في الطبقات المبكرة/المتوسطة، بينما تنقل استراتيجيات المتوسطة (السياق الطبيعي) ذروة المحاذاة إلى الطبقات الأعمق.
4. إمكانية استرداد الحالات الخفية: باستخدام انحدار ريدج، تثبت الورقة أن التشابه السلوكي (خاصة FC) يتنبأ بتشابهات الحالة الخفية غير المرئية بما يتجاوز ما يمكن تحقيقه باستخدام القواعد المعجمية (FastText/BERT) أو الإجماع عبر النماذج، مما يشير إلى أن المخرجات المنفصلة تحتفظ بمعلومات قابلة للاسترداد حول التنظيم الدلالي الداخلي.
5. إطلاق البيانات المفتوحة: أصدر المؤلفون مجموعة بيانات واسعة النطلة تضم أكثر من 17.5 مليون تجربة ارتباط والرمز البريدي الكامل لضمان قابلية التكرار.

4. النتائج الرئيسية

• ارتباطات RSA:
  • FC مقابل الحالات الخفية: تراوح متوسط ارتباط RSA لـ FC بين 0.346 (استراتيجية Averaged) و 0.463 (استراتيجية Task FC).
  • FA مقابل الحالات الخفية: أظهر FA توافقاً أضعف بكثير، حيث تراوح بين 0.140 و 0.199.
  • المعايير المرجعية: أظهر الإجماع عبر النماذج أعلى ارتباط إجمالي ($r \approx 0.79$)، مما يؤكد وجود فضاء دلالي فرعي "أفلاطوني" مشترك عبر النماذج، لكن ظل FC السلوكي يوفر إشارة فريدة وغير تافهة.
• القدرة التنبؤية (انحدار ريدج):
  • أدت إضافة ميزات السلوك (FC) إلى معيار مرجعي (FastText + BERT + Cross-Model) إلى تحسين درجة $R^2$ للتنبؤ بتشابه الحالة الخفية بمقدار +0.022 في المتوسط.
  • قدم FA مكاسب ضئيلة (+0.002).
  • وصل ذروة الأداء إلى $R^2 = 0.844$ لنموذج Llama-3.1-8B-Instruct تحت استراتيجية "المعنى".
• ديناميكيات الطبقات:
  • تبلغ ذروة محاذاة FC في الطبقات المتوسطة (حوالي الطبقات 10-12) عند استخدام المطالبات المتوافقة مع المهمة، مما يشير إلى أن هذه الطبقات تشفر القيود الدلالية الأساسية المطلوبة للمهمة.
  • يعتبر FA بشكل عام أضعف وأكثر ضجيجاً، ويرجع ذلك على الأرجح إلى الطبيعة المتفرقة وذات التوزيع المتطرف لاستجابات الارتباط الحر.

5. الأهمية والآثار

• التحقق من العلوم المعرفية: تثبت الدراسة الافتراض الجوهري للعلوم المعرفية بأن السلوك المهيكل مقيد بالحالات الداخلية. فهي تثبت أنه بالنسبة للنماذج اللغوية الكبيرة، يمكن للمسابير السلوكية "الصندوق الأسود" إعادة بناء جزء من الهندسة الدلالية "الصندوق الأبيض".
• التوجيه المنهجي: تشير النتائج إلى أن المهام السلوكية المقيدة (الاختيار القسري) هي أدوات قياس متفوقة لسبر أغوار البنية الدلالية الداخلية مقارنة بالمهام المفتوحة (الارتباط الحر). تعمل مجموعات المرشحين المنضبطة في FC على تركيز الكتلة الاحتمالية، مما ينتج نسبة إشارة إلى ضجيج أعلى.
• التفسير والسلامة: تعني النتائج أنه حتى بدون الوصول إلى الاحتمالات (logits) أو الأوزان، يمكن للمرء استنتاج جوانب هامة من التنظيم الدلالي الداخلي للنموذج. وهذا له آثار على تدقيق النماذج، واكتشاف الانحيازات، وفهم كيفية تنظيم النماذج للمعرفة.
• الهندسة العالمية: يدعم معيار الإجماع القوي عبر النماذج فرضية وجود فضاء دلالي فرعي مشترك ومنخفض الأبعاد عبر مختلف النماذج اللغوية الكبيرة، بينما توضح النتائج السلوكية كيفية رسم خرائط سلوك نموذج معين على هذه البنية المشتركة.

في الختام، تؤسس الورقة البحثية لفكرة أن الهندسة السلوكية هي وكيل قابل للاسترداد للهندسة الدلالية الداخلية، بشرًا ما كانت المهمة السلوكية مقيدة بما يكفي (مثل الاختيار القسري) لتقليل الضجيج وتعظيم المحاذاة بين المخرجات الملحوظة والتمثيلات الكامنة.