On the Proper Treatment of Units in Surprisal Theory

ملخص تقني لورقة: "حول المعالجة السليمة للوحدات في نظرية المفاجأة"

1. بيان المشكلة

تفترض نظرية المفاجأة (Surprisal theory) أن الجهد المعرفي البشري يتحدد من خلال اللوغاريتم السالب لاحتمالية (المفاجأة) وحدة لغوية قادمة بناءً على سياقها. ومع ذلك، توجد فجوة منهجية حرجة في الأبحاث التجريبية الحالية:

• عدم التطابق: يتم تقسيم المحفزات التجريبية عادةً إلى وحدات مدفوعة لغوياً (مثل الكلمات أو المورفيمات)، لكن نماذج اللغة الحديثة سابقة التدريب (LMs) تعمل على أبجدية رموز ثابتة (مثل ترميز بايت-باير BPE) لا تتوافق مع هذه الوحدات اللغوية.
• النتيجة: يعتمد الباحثون حالياً على استدلالات (heuristics) عشووية ومرحلية لربط رموز النموذج بالوحدات اللغوية. هذه الإجراءات غالباً ما تخلط بين خيارين نمذجيين متميزين:
  1. مخزون الوحدات ($U$): تعريف الوحدة اللغوية (مثل كلمة، حرف، أو عبارة).
  2. مناطق الاهتمام (ROIs): النطاقات المحددة التي تُقيم التوقعات عليها (مثل تجميع مفاجآت مستوى الكلمة في مقاييس على مستوى الجملة).
• الخلل في النهج الحالي: تفترض المحاولات الأخيرة لصياغة هذا الربط (مثل Oh & Schuler, 2024; Pimentel & Meister, 2024) أن حدود الوحدات يمكن تحديدها من خلال تقسيم ثابت لأبجدية الرموز (على سبيل المثال، الفراغ يحدد دائماً حداً). يجادل المؤلفون بأن هذا غير كافٍ لغوياً (مثلاً، الفاصلة هي حد في "end, he" ولكنها جزء داخلي في "1,000") وغير متسق رياضياً عند التعامل مع الترميز المعتمد على السياق.

2. المنهجية

يقترح المؤلفون إطاراً رسمياً موحداً لفصل تعريف الوحدات عن عملية الترميز (tokenization)، مع اعتبار الترميز تفصيلاً تنفيذياً وليس عنصراً علمياً أولياً.

أ. الإطار الرسمي

• فصل الاهتمامات: تميز الورقة بين أبجدية الرموز ($\Sigma$) (رموز/حروف النموذج اللغوي الأصلية) ومخزون الوحدات ($U$) (الوحدات اللغوية التي يختارها الباحث).
• محلل الوحدات ($\rho$): هو خريطة عشوائية $\rho: \Sigma^* \to U^*$ تحول سلاسل الرموز إلى سلاسل وحدات. يفترض المؤلفون أن $\rho$ حتمية للأغراض العملية.
• احتمالية الدفع للأمام (Pushforward Probability): لاستخلاص توزيع احتمالي على الوحدات ($p_U$) من نموذج على مستوى الرموز ($p_\Sigma$)، يستخدمون عملية الدفع للأمام:
  $$p_U(u) = \sum_{\sigma \in \rho^{-1}(u)} p_\Sigma(\sigma)$$
  تقوم هذه العملية بجمع احتمالات جميع سلاسل الرموز التي ترسم إلى وحدة محددة $u$.

ب. نماذج اللغة المنقولة (Transduced Language Models)

للتعامل مع التحدي الحسابي المتمثل في الجمع عبر سلاسل رموز قد تكون لانهائية، يقدم المؤلفون المحوّلات ذات الحالة المحدودة (FSTs):

• مخازن الوحدات المنتظمة: يفترضون أن $U$ هي مجموعة فرعية "منتظمة" من السلاسل فوق أبجدية محدودة $\Xi$.
• المحوّل (Transducer) ($f$): يقوم محول محدود $f = h \circ \rho$ برسم خرائط لسلاسل الرموز $\Sigma^*$ إلى سلاسل فوق أبجدية محدلة $\Delta = \Xi \cup \{SEP\}$، حيث $SEP$ هو رمز فاصل.
• الخوارزمية: من خلال دمج النموذج اللغوي مع المحوّل، يمكنهم حساب توزيع الدفع للأمام بكفاءة باستخدام تقريبات البحث الشعاعي (beam search) (Snæbjarnarson et al., 2026). يسمح هذا بحساب المفاجأة لمخازن وحدات عشوائية دون الحاجة لإعادة تدريب النموذج اللغي.

ج. التصميم التجريبي

• مجموعة البيانات: مجموعة بيانات حركة العين متعددة اللغات (MECO)، وتحديداً الجزء الإنجليزي (46 قارئ، 12 مقتطفاً من ويكيبيديا).
• مخازن الوحدات المختبرة:
  1. الرموز (Tokens): رموز GPT-2 الأصلية.
  2. الحروف (Characters): الحروف الفردية.
  3. الكلمات غير السياقية: كلمات مقسمة بفواصل ثابتة (المسافة البيضاء)، مع اختبار كل من إسناد المسافة في المقدمة وفي النهاية.
  4. الكلمات السياقية: كلمات مقسمة باستخدام قواعد بن لغويات (Penn Treebank - PTB) (مثل التعامل مع علامات الترقيم مثل "1,000" مقابل "end, he").
• التحليل:
  • الأساس (Baseline): نماذج الجمع الخطي المعممة (GAMMs) لوغاريتمية طبيعية تتنبأ بأوقات القراءة، باستخدام طول الوحدة، ومفاجأة الـ unigram، وتأثيرات التدفق (spillover effects).
  • الهدف: الأساس بالإضافة إلى المفاجأة السياقية.
  • المقياس: التحسن في لوغاريتم الاحتمالية المتروكة (held-out log-likelihood $\Delta llh$) عبر التحقق المتبادل (leave-one-out cross-validation).

3. المساهمات الرئيسية

1. الفصل النظري: تفصل الورقة رسمياً بين اختيار الوحدات واختيار الترميز، مجادلة بأن اختيار الوحدة يجب أن يكون قراراً نموذجياً أساسياً مدفوعاً بالسؤال العلمي، وليس نتاجاً ثانوياً لبنية النموذج اللغوي.
2. الصيغة العامة: يقدم المؤلفون إطاراً "أحضر وحداتك الخاصة" باستخدام المحولات، مما يسمح للباحثين بتعريف مخازن وحدات عما دلت السياقية (مثل PTB) وحساب المفاجأة مباشرة من النماذج اللغوية سابقة التدريب.
3. نقد الاستدلالات الحالية: يوضحون أن النهج القائم على التقسيم الثابت (التعامل مع المسافة البيضاء كعلامة حدود عالمية) يفشل في التقاط الواقع اللغوي (مثل ارتباط علامات الترقيم) ويؤدي إلى عدم اتساق رياضي فيما يتعلق بهوية الوحدة.
4. أدوات عملية: يطلق المؤلفون كوداً ومحولات لتحويل النماذج على مستوى الرموز إلى نماذج على مستوى الحروف أو نماذج الكلمات الواعية بالسياق.

4. النتائج

قيم المؤلفون القدرة التنبؤية للمفاجأة عبر مخازن الوحدات الأربعة على ثلاثة مقاييس لوقت القراءة: التثبيت الأول (FF)، مدة التحديق (GD)، وإجمالي وقت القراءة (TRT).

• المخازن الشبيهة بالكلمات: حسنت المفاجأة بشكل كبير التنبؤ بأوقات القراءة لـ مدة التحديق وإجمالي وقت القراءة عبر جميع المخازن الشبيهة بالكلمات (الرموز، غير السياقية، والسياقية).
• التثبيت الأول: كانت المفاجأة ذات دلالة إحصائية للرموز، والكلمات السياقية، وغير السياقية (في النهاية)، ولكنها لم تكن كذلك للكلمات غير السياقية (في المقدمة). يشير هذا إلى أن إسناد المسافة البيضاء في المقدمة (الشائع في BPE) قد لا يتوافق مع المعالجة المعرفية المبكرة.
• مستوى الحروف: لم تظهر المفاجأة على مستوى الحروف أي تحسن معنوي في التنبؤ بأوقات القراءة. يعزو المؤلفون ذلك إلى حقيقة أن الحروف المفردة نادراً ما يتم التحديق فيها بشكل فردي؛ فالوحدة المعرفية للمعالجة أكبر من حرف واحد.
• السياقية مقابل غير السياقية: أدت مخازن الكلمات السياقية (التي تتعامل مع علامات الترقيم بشكل صحيح) عموماً إلى أداء مساوٍ أو أفضل قليلاً من غير السياقية، خاصة في حالات علامات الترقيم المعقدة، مما يؤكد الحاجة للتقسيم الحساس للسياق.
• عدم قابلية مقارنة الدرجات المطلقة: تسلط الدراسة الضوء على أن قيم لوغاريتم الاحتمالية المطلقة و $\Delta llh$ لا يمكن مقارنتها مباشرة عبر مخازن الوحدات المختلفة لأن المخازن تفرض مستويات تباين مختلفة في الملاحظات والمتنبئات الأساسية (مثل طول الوحدة).

5. الأهمية

• الدقة المنهجية: تؤسس الورقة لفكرة أن التعامل مع الترميز كقيد ثابت يحد من صحة الاستنتاجات النفسية اللغوية. يجب على الباحثين تعريف مخزن الوحدات الخاص بهم صراحةً.
• القابلية لإعادة الإنتاج والمرونة: من خلال توفير إطار عمل يعتمد على المحولات، يمكّن المؤلفون المجتمع من اختبار فرضيات حول وحدات لغوية محددة (المورفيمات، العبارات، وحدات الخطاب) دون التكلفة الباهظة لإعادة تدريب النماذج اللغوية من الصفر.
• الكفاية اللغوية: تدعم النتائج وجهة النظر القائلة بأن التقسيم الحساس للسياق (مثل PTB) يتفوق على تقسيم المحددات البسيط لنمذجة سلوك القراءة البشري، لا سيما فيما يتعلق بعلامات الترقيم.
• الاتجاهات المستقبلية: الإطار قابل للتوسع ليشمل متغيرات تابعة أخرى (الإشارات العصبية، المفاجأة في السياق المفقود) ولغات أخرى، بشرما أمكن إنشاء المحولات المناسبة لها.

باختصار، تجادل الورقة بأن الترميز هو تفصيل تنفيذي، بينما اختيار الوحدة هو خيار علمي. ومن خلال فصلهما عبر المحولات، يمكن للباحثين ضمان أن مقاييس المفاجأة لديهم تعكس بدقة الوحدات اللغوية التي يهدفون إلى دراستها.