Transducing Language Models

إليك ملخص تقني مفصل لورقة البحث "Transducing Language Models" (تحويل النماذج اللغوية) من إعداد Snæbjarnarson وآخرون.

1. بيان المشكلة: مشكلة عدم تطابق السلاسل النصية (String Mismatch)

تحدد النماذج اللغوية الكبيرة الحديثة (LLMs) توزيعات الاحتمالات عبر تسلسلات من الرموز (tokens) (التي غالبًا ما تكون وحدات فرعية مثل رموز Byte-Pair Encoded). ومع ذلك، تتطلب التطبيقات اللاحقة غالبًا مخرجات بتنسيقات مختلفة، مثل:

• الحروف/البايتات (Characters/Bytes): لعلم النفس اللغوي، أو تصحيح الإملاء، أو التحكم منخفض المستوى.
• الكلمات (Words): للتحليل اللغوي الذي يتطلب حدودًا صرفية (مثل معايير Penn Treebank).
• الأحماض الأمينية (Amino Acids): لعلوم الأحياء الحسابية (تحويل تسلسلات DNA إلى تسلسلات بروتينية).

التحدي الجوهري:
بينما يعد أخذ العينات من توزيع محول أمرًا سهلاً (أخذ عينة من تسلسل الرموز، ثم تطبيق التحويل)، فإن العمليات الأخرى تصبح مستعصية حسابيًا. وتحديدًا:

1. التقييم (Scoring): حساب احتمال سلسلة نصية محولة معينة $P(y)$ يتطلب جمع احتمالات جميع السلاسل المصدرية $x$ التي تؤدي إلى $y$ (المجموعة العكسية $f^{-1}(y)$). يمكن أن تكون هذه المجموعة ضخمة بشكل أسي أو لانهائية.
2. الاشتراط (Conditioning): حساب توزيع الرمز التالي $P(y_{t+1} | y_{1:t})$ يتطلب الهامش (marginalizing) عبر جميع البوادئ المصدرية التي تؤدي إلى البادئة المستهدفة الحالية.
3. التكيف (Adaptation): تعتمد الحلول الحالية غالبًا على معالجة لاحقة غير مدروسة (ad-hoc) أو إعادة تدريب النماذج، وهو أمر مكلف حاسوبيًا ويؤدي إلى فقدان التوزيع المتعلم للنموذج الأصلي.

2. المنهجية: النماذج اللغوية المحولة (Transduced Language Models)

يقترح المؤلفون إطار عمل حيث يتم تعريف النموذج اللغوي المحول ($p_Y$) كتركيب لنموذج لغوي مصدري ($p_X$) وتحويل حتمي من سلسلة إلى سلسلة ($f$)، مُرمز كـ محول حالات محدودة (Finite-State Transducer - FST).

$$p_Y(y) = \sum_{x \in f^{-1}(y)} p_X(x)$$

ولجعل هذا الأمر ممكنًا من الناحية الحسابية، قدمت الورقة استراتيجية تفكيك البادئة (Prefix Decomposition).

أ. الإطار النظري

بدلاً من الجمع عبر المجموعة اللانهائية من السلاسل المصدرية، يقوم المؤلفون بتفكيك المغطي المسبق (precover) $P(y)$ (مجموعة السلاسل المصدرية $x$ بحيث يكون $y$ بادئة لـ $f(x)$) إلى مجموعتين منفصلتين:

1. الناتج (Quotient - $Q(y)$): مجموعة من السلاسل المصدرية خالية من البادئات (prefix-free) حيث تؤدي كل امتداداتها إلى سلسلة تبدأ بـ $y$. بالنسبة لهذه السلاسل، تكون المساهمة هي احتمال البادئة للنموذج المصدر ($\vec{p}_X(x)$).
2. المتبقي (Remainder - $R(y)$): مجموعة من السلاسل المصدرية التي تؤدي تمامًا إلى $y$ (أو بادئة لـ $y$) ولكنها لا تغطي جميع الامتدادات. بالنسبة لهذه السلاسل، تكون المساهمة هي احتمال السلسلة ($p_X(x)$).

وبالتالي، يكون احتمال البادئة للمستهدف هو:
$$\vec{p}_Y(y) = \sum_{x \in Q(y)} \vec{p}_X(x) + \sum_{x \in R(y)} p_X(x)$$

ب. الخوارزميات

طورت الورقة خوارزميات لحساب $Q(y)$ و $R(y)$ بكفاءة باستخدام بنية الـ FST:

1. التفكيك الدقيق (BFS):

   • تقوم الخوارزمية بإجراء بحث بالعرض (Breadth-First Search) على السلاسل المصدرية.
   • تحافظ على "جبهة" (frontier) من حالات المحول ومخازن المخرجات المؤقتة.
   • لكل سلسلة مرشحة $x$، تقوم بثلاثة فحوصات:
     • هل هي أسطوانية (Cylinder)؟ هل تؤدي كل امتدادات $x$ إلى سلسلة تبدأ بـ $y$؟ إذا كانت الإجابة نعم، فإن $x \in Q(y)$.
     • هل هي عضو (Member)؟ هل تؤدي $x$ نفسها إلى سلسلة تبدأ بـ $y$؟ إذا كانت الإجابة نعم (وليست أسطوانية)، فإن $x \in R(y)$.
     • هل هي حية (Live)؟ هل يمكن توسيع $x$ لتغطية $y$ في النهاية؟ إذا لا، يتم استبعادها (pruning).
   • التحسين: تستخدم الخوارزمية التحديد الكسول (Lazy Determinization) و فحوصات الجبهة (Frontier-based checks) لتجنب بناء الآلة ذات التحديد الضخم صراحةً. كما تستخدم اختصارات IP-Universality (حالات Universal الخاصة بالإسقاط المدخل) لتصنيف السلاسل فورًا كأسطوانات دون الحاجة لعملية BFS كاملة.

2. التقريب عبر الاستبعاد (Pruning):

   • عندما يكون التفكيك كبيرًا جدًا، تقوم الخوارزمية بفرز المرشحين حسب احتمال بادئة المصدر وتستبعد تلك ذات الكتلة التراكمية المنخفضة (يتم التحكم في ذلك عبر عتبة $\tau$).
   • يوفر هذا حداً أدنى للاحتمال، حيث يتلاشى الخطأ مع اقتراب $\tau$ من الصفر.

3. شروط اللانهاية (Finiteness Conditions):

   • تثبت الورقة أنه إذا كان المحول أحادي البادئة الصارم (strict-prefix monotone) (مثل تحويل الرموز إلى بايتات)، فإن المتبقي يكون فارغًا والناتج يكون محدودًا.
   • بالنسبة للتحويلات غير الأحادية (مثل ترميز Penn Treebank)، تقدم الورقة شروطًا كافية (الأمان - Safety) تتضمن حالات IP-universal و الإغلاق المحدود لضمان تفكيك منتهٍ.

3. المساهمات الرئيسية

1. إطار عمل رسمي: تعريف دقيق للنماذج اللغوية المشتقة من تحويلات حتمية من سلسلة إلى سلسلة، مع التعامل مع التحويل كمكون أساسي وليس مجرد خطوة معالجة لاحقة.
2. خوارزميات فعالة:
   • خوارزمية دقيقة لحساب احتمالات البادئة وتوزيعات الرمز التالي عبر تفكيك الناتج والمتبقي.
   • خوارزمية تقريب عملية باستخدام استبعاد كتلة الاحتمال.
   • تحسينات مثل التحديد الكسول، تتبع الجبهة، واختصارات IP-universal التي تسرع الاستدلال بشكل كبير.
3. التحليل النظري: توصيف متى يكون التفكيك الدقيق ممكنًا (شروط اللانهاية) والعلاقة بين أحادية البادئة وحجم التفكيك.
4. التوافق التشغيلي: تحافظ النماذج المحولة على الواجهة التكرارية القياسية (توزيعات الرمز التالي)، مما يسمح باستخدامها مع أي نظام مصمم للنماذج اللغوية القياسية.

4. النتائج التجريبية

قيم المؤلفون إطار العمل على ثلاثة مجالات متميزة باستخدام نماذج مثل GPT-2 و LLaMA 3 و Phi-4:

1. الرموز إلى البايتات (Tokens to Bytes):

   • النتيجة: حققت توزيعات مطابقة تقريبًا للنماذج المرجعية الدقيقة (تباعد جينسن-شانون Jensen-Shannon Divergence < $10^{-4}$) مع استبعاد متوسط ($\tau \le 10^{-3}$).
   • الأداء: تراوح معدل الإنتاجية بين 1 إلى 80 بايت/ثانية اعتمادًا على عتبة الاستبعاد.
   • ملاحظة: هذا التحويل هو أحادي البادئة الصارم، مما يؤدي إلى متبقيات فارغة وكفاءة عالية.

2. الرموز إلى الكلمات الصرفية (Penn Treebank):

   • النتيجة: نجحت في نمذجة حدود الكلمات الحساسة للسياق (مثل التعامل مع "Dr." مقابل "3.50").
   • التحدي: هذا التحويل ليس أحادي البادئة، مما يؤدي إلى متبقيات غير فارغة وأحجام تفكيك أكبر.
   • الأداء: إنتاجية أقل مقارنة بتحويل الرموز إلى بايتات بسبب تعقيد مجموعة المتبقي، لكنه لا يزال قابلاً للتنفيذ.

3. DNA إلى الأحماض الأمينية (DNA to Amino Acids):

   • النتيجة: حولت نموذج لغة DNA إلى نموذج أحماض أمينية.
   • التحدي: الخريطة هي خريطة تركيبية (3 نيوكليوتيدات $\to$ حمض أميني واحد)، مما يؤدي إلى نمو مجموعة المرشحين بشكل أسي.
   • التخفيف: استخدمت تحديد سقف لعدد المرشحين ($n_{max}$) جنبًا إلى جنب مع الاستبعاد.
   • الأداء: أظهرت أن التقريبات العملية كافية لنمذجة التسلسلات البيولوجية.

النتيجة الرئيسية: أثبت التقريب المقترح (الاستبعاد) أنه يعطي تقديرات عالية الجودة (تباعد جينسن-شانون منخفض) بتكلفة حسابية أقل بكثير من الحصر الدقيق.

5. الأهمية والتأثير

• التكيف دون إعادة تدريب: يسمح للممارسين بتكييف النماذج المدربة مسبقًا القوية مع وحدات مخرجات محددة (بايتات، كلمات، بروتينات) دون تكلفة الضبط الدقيق أو إعادة التدريب.
• التوحيد النظري: يسد الفجوة بين نمذجة اللغة الاحتمالية ونظرية اللغات الرسمية (محولات الحالة المحدودة)، مما يوفر طريقة منهجية للتعامل مع "عدم تطابق السلاسل".
• التطبيقات:
  • علم النفس اللغوي: يتيح الحساب الدقيق لـ "الدهشة" (surprisal) على مستوى الكلمة من نماذج الرموز الفرعية.
  • المعلوماتية الحيوية: يسهل استخدام النماذج اللغوية الكبيرة لتحليل وتصميم البروتينات دون إعادة التدريب على تسلسلات الأحماض الأمينية.
  • التوليد المتحكم به: يسمح بالالتزام الصارم بقيود المخرجات (مثل الصيغ الكيميائية الصحيحة، أو هياكل قواعدية محددة) من خلال التركيب مع محولات FST مناسبة.
• الاتجاهات المستقبلية: يفتح الباب للاستفيد من التطورات في طرق الحالة المحدودة لتكييف النماذج اللغوية الكبيرة، بما في ذلك التطبيقات المحتملة في الاستدلال عبر الاتساق الذاتي (self-consistency reasoning) وتهميش التفسيرات المتعددة الصالحة للمدخلات.

باخت-صار، توفر هذه الورقة مجموعة أدوات متينة رياضيًا وفعالة حاسوبيًا لـ "تحويل" النماذج اللغوية الموجودة، مما يمكنها من التحدث بـ "اللغة" المطلوبة لتطبيقات محددة مع الحفاظ على معرفتها الاحتمالية الأصلية.