Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors

إليك ملخص تقني مفصل لورقة البحث بعنوان "خرائط النماذج اللغوية لتوزيعات (المطالبة-الاستجابة) عبر متجهات الاحتمالية اللوغاريتمية."

1. بيان المشكلة

مع ازدياد تنوع النماذج اللغوية الكبيرة (LLMs)، تبرز حاجة ماسة لأطر عمل يمكنها مقارنة سلوكياتها بشكل منهجي، لا سيما في إعدادات التوليد الشرطي (أي $p(y|x)$، حيث $y$ هو الاستجابة للمطالبة $x$).

تواجه الطرق الحالية لمقارنة النماذج اللغوية الكبيرة قيودًا محددة:

• البيانات الداخلية للنموذج: يصعب مقارنة الأوزان أو التنشيطات عبر بنيات فنية وفضاءات تمثيل مختلفة.
• النصوص المولدة: الطرق القائمة على مسافات التضمين (Embedding Distances) للمخرجات المولدة تكون عرضة لعشوائية عملية التوليد وتباين فضاءات التضمين.
• الاحتمالية اللوغاريتمية غير المشروطة: استخدمت الأعمال السابقة (مثل Oyama et al., 2025b) متجهات الاحتمالية اللوغاريتمية بناءً على التوزيعات غير المشروطة ($p(y)$). وهذا يفشل في التقاط التبعيات المحددة بين المدخل والمخرج الضرورية لمهام مثل الحوار والإجابة على الأسئلة.

تعالج الورقة الفجوة في مقارنة توزيعات الاحتمالية الشرطية للعديد من النماذج في فضاء مشترك وقابل للتفسير دون الاعتماد على توليد النصوص العشوائي.

2. المنهجية

يقترح المؤلفون إطار عمل يمثل النماذج اللغوية الكبيرة كمتجهات في فضاء إقليدي بناءً على احتمالاتها اللوغاريتمية عبر مجموعة محددة مسبقًا من أزواج (المطالبة-الاستجابة).

أ. متجهات الاحتمالية اللوغاريتمية الشرطية

بالنسبة لمجموعة بيانات مكونة من $N$ من أزواج (المطالبة-الاستجابة) $D = \{(x_s, y_s)\}_{s=1}^N$، يتم تمثيل النموذج اللغوي $p_i$ بمتجه $\ell_i \in \mathbb{R}^N$:
$$\ell_i = (\log p_i(y_1|x_1), \dots, \log p_i(y_N|x_N))^\top$$
لطرح متوسط الاحتمالية اللوغاريتمية وتوسيط البيانات، يتم إنشاء المتجه الممركز $\xi_i$.

ب. الأساس النظري: تقريب تباعد KL

المساهمة النظرية الجوهرية هي إثبات أن المسافة الإقليدية المربعة بين هذه المتجهات الممركزة تقرب تباعد كولباك - ليبلر (KL divergence) بين التوزيعات الشرطية لنموذجين، بمتوسط التوزيع المدخل:
$$KL(p_i, p_j) \approx \frac{1}{2N} \| \xi_i - \xi_j \|^2$$
هذا يسمح بتفسير المسافة في الفضاء المتجهي كمقياس للاختلاف التوزيعي.

ج. متجهات PMI (المعلومات المتبادلة النقطية)

لعزل التبعية بين المطالبة والاستجابة عن التوزيع غير المشروط للاستجابة، قدم المؤلفون متجهات PMI. ويُعرف هذا المتجه بأنه الفرق بين الاحتمالية الللوغاريتمية الشرطية وغير المشروطة:
$$\Delta \ell_{is} = \log p_i(y_s|x_s) - \log p_i(y_s)$$
يبرز هذا المتجه قوة العلاقة بين المدخل $x$ والمخرج $y$، مما يزيل فعليًا تأثير التحيز العام لتوليد النصوص في النموذج.

د. إزاحة المطالبة والتركيبية الجمعية

يحلل إطار العمل كيفية تحرك النماذج في هذا الفضاء المتجهي عند تعديل مطالبة المدخل (على سبيل المثال، إضافة عبارة "سلسلة الأفكار" CoT أو تكرار المطالبة). يبحث المؤلفون فيما إذا كانت هذه الإزاحات تظهر تركيبية جمعية، على غرار تضمينات الكلمات (على سبيل المثال، $v_{A+B} \approx v_A + v_B$).

3. المساهمات الرئيسية

1. خرائط النماذج الشرطية: إطار عمل جديد لرسم خرائط النماذج اللغوية الكبيرة بناءً على متجهات الاحتمالية اللوغاريتمية الشرطية، حيث تقرب المسافات تباعد KL بين التوزيعات الشرطية.
2. تحليل إزاحة المطالبة: إثبات أن تعديلات المطالبة تسبب إزاحات منهجية وقابلة للتنبؤ في مواقع النماذج داخل الفضاء المتجهي.
3. التركيبية الجمعية: اكتشاف أن آثار عمليات المطالبة المركبة (مثل إضافة CoT + تكرار المطالبة) هي تقريبًا جمعية في فضاء الاحتمالية اللوغاريتمية، مما يتيح التنبؤ بآثار المطالبة المركبة.
4. دمج متجهات PMI: تقديم متجهات PMI لتصفية ضوضاء التوزيع غير المشروط، مما يظهر أنها تعكس الاختلافات المتعلقة ببيانات التدريب بشكل أفضل في سياقات معينة.

4. النتائج التجريبية

قيم المؤلفون 552 نموذجًا لغويًا متاحًا للجمهور (حتى 70 مليار معلمة) باستخدام مجموعتي بيانات: Tulu-3 و Infinity-Instruct.

• البنية العالمية والسمات:
  • نجحت الخرائط في تجميع النماذج حسب عائلة البنية (على سبيل المثال، تشكل Llama و Mistral و Qwen مناطق متميزة).
  • الارتباط المكاني يتوافق مع الأداء (متوسط الدرجات في Open LLM Leaderboard v2).
• تصوير إزاحة المطالبة:
  • كشف تصوير النماذج تحت ظروف مطالبة مختلفة (Base, CoT, Repeat, Repeat+CoT) عن إزاحات منهجية.
  • الجمعية: وُجد أن متجه الإزاحة لـ "Repeat + CoT" هو تقريبًا مجموع متجهات إزاحة "Repeat" و "CoT" (متوسط خطأ التنبؤ النسبي $\approx 0.062$). يشير هذا إلى وجود بنية خطية في كيفية تأثير المطالبات على سلوك النموذج.
• خرائط PMI مقابل الخرائط الشرطية:
  • الخرائط الشرطية: تعكس السلوك العام للنموذج وأداءه.
  • خرائط PMI: تسلط الضل بشكل أفضل على مصدر بيانات التدريب. تتجمع النماذج المدربة على مجموعة بيانات محددة (مثل Tulu-3) بشكل وثيق عند تقييمها على نفس مجموعة البيانات في فضاء PMI، بينما يضعف هذا التجمع في الفضاء غير المشروط.
• التحقق التجريبي:
  • تقريب KL: أظهرت المسافة الإقليدية المربعة ارتباطًا قويًا ($\rho = 0.94$) مع تقديرات مونت كارلو لتباعد KL الحقيقي.
  • المسافة الدلالية: أظهرت المسافات القائمة على الاحتمالية اللوغاريتمية ارتباطًا إيجابيًا مع المسافات الدلالية القائمة على التضمين، لكنها قدمت استقرارًا أكبر عبر تجنب عشوائية التوليد.

5. الأهمية والآثار

• القدرة التنبؤية: تشير التركيبية الجمعية لإزاحات المطالبة إلى أنه يمكن للباحثين التنبؤ بالأثر السلوكي لاستراتيجيات هندسة المطالبة المعقدة والمركبة عن طريق جمع آثار العمليات الفردية، مما قد يتنبأ بتغيرات الأداء دون الحاجة لتشغيل الاستدلال الكامل.
• تحليل بيانات التدريب: توفر طريقة PMI أداة جديدة لتحليل كيفية تأثير بيانات تدريب محددة على سلوك النموذج، والتمييز بين القدرات العامة للنموذج والانحيازات الخاصة بمجموعة البيانات.
• الكفاءة: تسمح الطريقة بمقارنة مئات النماذج دون التكلفة الحسابية والضوضاء العشوائية الناتجة عن توليد آلاف النصوص لكل نموذج.
• فضاء موحد: يجسّر هذا العمل الفجوة بين تحليل النماذج غير المشروط ومهام التوليد الشرطي العملية، مما يوفر فضاءً هندسيًا موحدًا لدراسة تطور النماذج اللغوية وعمليات التقطير (Distillation).

6. القيود

• النطاق: يقتصر حاليًا على الأوزان المتاحة للجمعة؛ ولا يمكن تحليل النماذج المغلقة.
• تحيز البيانات: تركز التجارب على مجموعات البيانات ذات نمط التعليمات؛ ولم يتم التحقق من التعميم على مهام البرمجة، أو المهام متعددة اللغات، أو السياقات الطويلة.
• تقريب PMI: يستخدم حساب PMI تقريبًا للاحتمالية الهامشية قد لا يتطابق تمامًا مع التعريف الحقيقي، وتختلف فعاليته باختلاف مجموعة البيانات.
• الافتراضات الهندسية: يفترض تقريب KL أن النماذج قريبة من التوزيع المولد للبيانات؛ وقد تؤدي الانحرافات الكبيرة إلى تقليل الدقة.
• التصوير: تُستخدم الإسقاطات منخفضة الأبعاد (t-SNE/PCA) للتصوير، مما قد يؤدي إلى تشويه العلاقات الهندسية عالية الأبعاد.