🤖 machine learning

LLM REgression with a Latent Iterative State Head

تُعد RELISH بنية خفيفة الوزن وفعالة من حيث عدد المعلمات، وتتفوق على الأساليب الحالية في مهام الانحدار النصي من خلال التنبؤ بالقيم القياسية مباشرة من تمثيلات النماذج اللغوية الكبيرة المجمدة عبر عملية تكرارية لصقل الحالة الكامنة، مما يتطلب جزءاً ضئيلاً فقط من المعلمات الإضافية القابلة للتدريب.

المؤلفون الأصليون: Yiheng Su, Matthew Lease

نُشر 2026-04-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yiheng Su, Matthew Lease

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً وعالمياً (وهو النموذج اللغوي الكبير، أو LLM) قد قرأ كل كتاب موجود على الإطلاق. هذا الأمين مذهل في فهم القصص، وكتابة الأشعار، والإجابة على الأسئلة بجمل كاملة.

ولكن الآن، لديك مهمة مختلفة له: أنت تحتاجه أن يعطيك رقماً واحداً فقط.

ربما تريد معرفة:

مدى تشابه هذين الجملتين؟ (درجة: من 0 إلى 5)
ما مدى جودة هذه الترجمة الآلية؟ (درجة: من 0 إلى 100)
ما مدى احتمالية نجاح هذا الفيلم؟ (درجة: من 0 إلى 10)

المشكلة: أمين المكتبة "كثير الكلام"

المشكلة هي أن أمين المكتبة هذا مدرب على التحدث بـ الكلمات، وليس الأرقام. إذا سألته: "ما مدى تشابه هاتين الجملتين؟"، فقد يحاول الإجابة عن طريق كتابة رقم مثل "4.5".

هذا يشبه مطالبة طباخ بقياس كمية الملح عن طريق كتابة كلمة "ملح" على ورقة بدلاً من أخذ قبضة بالمقدار الصحيح. هذا غير فعال ومعرض للأخطاء.

النهج "كثير الكلام" (التوليد التكراري - Autoregressive Decoding): يكتب أمين المكتبة "4.5". ولكن ماذا لو كتب "4.49" أو "4.500"؟ بالنسبة للكمبيوتر، هذه كلمات مختلفة تماماً، رغم أنها تعني الشيء نفسه تقريباً. يتشتت أمين المكتبة بسبب التنسيق.
نهج "التصويت" (الاستدلال المدرك للانحدار - Regression-Aware Inference): تطلب من أمين المكتبة كتابة 16 تخميناً مختلفاً ("4.5"، "4.6"، "4.4"...)، ثم تأخذ المتوسط. هذا دقيق، ولكنه بطيء ومرهق لأمين المكتبة.
نهج "الملخص البسيط" (الرؤوس التنبؤية - Predictive Heads): تقول لأمين المكتبة: "لا تكتب أي شيء. فقط انظر إلى الكتاب وأشر إلى مفتاح مخفي يتحكم في الرقم". استخدمت الطرق السابقة مفتاحاً بسيطاً جداً (مثل مصباح كهربائي واحد) يحاول تلخيص الكتاب بأكره في وهج واحد. وغالباً ما كانت تفقد التفاصيل الدقيقة.

الحل: RELISH (المُحسّن التكراري)

ابتكر مؤلفو هذه الورقة أداة جديدة تسمى RELISH. تخيل RELISH كـ عدسة مكبرة متخصصة وعالية التقنية توضع فوق عقل أمين المكتبة.

إليك كيف تعمل، باستخدام تشبيه بسيط:

1. "المراقب الصامت" (العمود الفق_ي المجمد - Frozen Backbone)

يبقى أمين المكتبة (الـ LLM) كما هو تماماً. نحن لا نعيد تدريبه ولا نغير شخصيته. هم "مجمدون" لأنهم يمتلكون بالفعل كل ما يحتاجونه من معرفة حول اللغة.

2. "المحقق التكراري" (الحالة الكامنة التكرارية - Latent Iterative State)

بدلاً من طلب كتابة رقم من أمين المكتبة، ترسل RELISH محققاً صامتاً (حالة كامنة) إلى داخل عقل أمين المكتبة.

الجولة الأولى: ينظر المحقق إلى الكلمات القليلة الأولى من الجملة ويشكل تخميناً تقريبياً.
الجولة الثانية: يعود المحقق، وينظر إلى الجملة كاملة مرة أخرى، ويتساءل: "مهلاً، هل فاتني شيء في المنتصف؟ دعني أعدل تخميني".
الجولة الثالثة: يقوم المحقق بجولة واحدة أخيرة، ويقوم بتنقيح تخمينه للمرة الأخيرة.

هذا هو الجزء "التكراري". على عكس الطرق السابقة التي كانت تكتفي بأخذ ملخص سريع بنظرة واحدة (مثل التحديق في لوحة فنية)، فإن RELISH تأخذ ثلاث نظرات دقيقة ومركزة، وتقوم بتنقيح فهمها مع كل تمريرة.

3. "المترجم" (المُنحدِر الخطي - Linear Regressor)

بمجرد أن يصبح لدى المحقق فهم داخلي مثالي ومنقح، يسلم هذا الفهم إلى حاسبة بسيطة (منحدِر خطي) والتي تقوم فوراً بتحويل هذا "الشعور" إلى رقم دقيق (مثلاً: 4.7).

لماذا يُعد RELISH تغييراً جذرياً في قواعد اللعبة؟

1. إنه وحش في السرعة (الكفاءة)

المنافسون: نهج "التصويت" يشبه طلب كتابة 16 مقالاً من أمين المكتبة للحصول على رقم واحد. إنه بطيء ويستهلك الكثير من الطاقة.
RELISH: يشبه محادثة واحدة مركزة. يحدث الأمر في تمريرة واحدة. إنه سريع للغاية.

2. إنه بطل خفيف الوزن (كفاءة المعلمات)

المنافسون: لجعل نهج "التصويت" يعمل بشكل أفضل، غالباً ما يتعين عليك تعليم أمين المكتبة حِيلاً جديدة، مما يتطلب إضافة كمية هائلة من الذاكرة الجديدة (المعلمات). إذا كان أمين المكتبة ضخماً (32 مليار معلمة)، فقد تحتاج لإضافة 0.4% أكثر من الذاكرة لمجرد القيام بالرياضيات.
RELISH: لا يضيف سوى "إضافة" صغيرة جداً (حوالي 0.01% إلى 0.04% من حجم الدماغ). إنه يشبه إضافة زوج واحد متخصص من النظارات لروبوت عملاق. إنه صغير جداً لدرجة أنه لا يكاد يزن شيئاً، ومع ذلك يجعل الروبوت يرى الأرقام بشكل مثالي.

3. إنه أذكى مما يبدو (الأداء)
في اختبارات الورقة البحثية، تفوق RELISH على كل الطرق الأخرى.

كان أفضل في تخمين "تشابه" الجمل.
كان أفضل في تقييم جودة الترجمات.
فعل ذلك عبر أحجام مختلفة من أمناء المكتبة (من نماذج 8B الصغيرة إلى العمالقة 32B).

الخلاصة

تخيل أنك بحاجة لقياس درجة حرارة الحساء.

الطريقة القديمة 1: اسأل الطباخ لوصف درجة الحرارة بالكلمات ("ساخن"، "ساخن جداً"، "حارق") ثم خمن الرقم. (غير دقيق).
الطريقة القديمة 2: اطلب من الطباخ تذوقه 16 مرة ثم خذ المتوسط. (بطيء).
الطريقة القديمة 3: ضع ميزان حرارة بسيطاً في الحساء يقرأ فقط "ساخن" أو "بارد". (بدائي جداً).
RELISH: تستخدم مسباراً عالي التقنية يغوص في الداخل، يفحص الحرارة، يعدل مستشعره، يفحص مرة أخرى، ثم يعطيك درجة الحرارة الدقيقة في ثانية واحدة.

RELISH هو ذلك المسبار عالي التقنية. إنه يسمح لنا باستخدام أذكى نماذج الذكاء الاصطناي في العالم لمهام حساب الأرقام الدقيقة دون إبطائها أو الحاجة لإعادة بناء عقولها. إنه سريع، رخيص، ودقيق بشكل مذهل.

إليك ملخص تقني مفصل لورقة البحث "LLM Regression with a Latent Iterative State Head (RELISH)".

1. بيان المشكلة

تعالج الورقة التحدي المتمثل في تكييف النماذج اللغوية الكبيرة (LLMs) لمهام الانحدار باللغة الطبيعية (التنبؤ بقيم عددية مستمرة من النص)، مثل التشابه النصي الدلالي (STS) وتقدير جودة الترجمة الآلية (MTQE).

تعاني النهج الحالية من عدم توافق جوهري بين نموذج (نص-إلى-نص) الخاص بالنماذج اللغوية الكبيرة وبين الطبيعة المستمرة للأهداف الانحدارية:

فك التشفير ذاتي الانحدار (ARD): يعامل الأرقام كرموز نصية (tokens). وهذا غير مثالي لأن أهداف نمذجة اللغة (الاعتلاج المتقاطع - cross-entropy) تعاقب عدم تطابق الرموز بدلاً من تقارب القيم العددية (على سبيل المثال، التنبؤ بـ "0.1" مقابل "0.9" لهدف هو "1.0" يُعامل كخطأ منفصل، وليس كخطأ عددي صغير).
الاستدلال المدرك للانحدار (RAIL): يحاول إصلاح (ARD) باستخدام قواعد قرار مثلى بايزية (مثل المتوسط البعدي) فوق توزيع المخرجات. ومع ذلك، يتطلب هذا الأمر أخذ عينات من مخرجات متعددة أو حصر المرشحين، مما يؤدي إلى تكالات استدلال عالية.
رؤوس التنبؤ (Predictive Heads): تقوم برسم خرائط لحالات النموذج المخفية مباشرة إلى أرق_ام عبر طبقة خطية أو شبكة عصبية متعددة الطبقات (MLP). ورغم كفاءتها، تعتمد الطرق الحالية على التجميع الساكن (مثل متوسط التجميع - mean pooling) لتمثيلات الرموز، وهو ما يفشل غالباً في استخراج الإشارات الدقيقة ذات الصلة بالانحدار والموزعة عبر التسلسل.

2. المنهجية: RELISH

يقترح المؤلفون RELISH (الرأس الحالة المتكررة الكامنة للانحدار)، وهي بنية خفيفة الوزن تتنبأ بالقيم القياسية مباشرة من تمثيلات النماذج اللغوية الكبيرة المجمدة دون توليد نصوص.

البنية الأساسية:

العمود الفقري المجمد: يتم تجميد العمود الفقري للنموذج اللغوي الكبير. يتم تمرير النص المدخل $x$ عبر النموذج للحصول على الحالات المخفية على مستوى الرمز $H(x) \in \mathbb{R}^{S \times d}$ .
الإسقاط (Projection): يتم إسقاط الحالات المخفية إلى بُعد الرأس $d_h$ لتشكيل ذاكرة مستوى الرمز $X(x)$ .
الحالة الكامنة المتكررة: بدلاً من ضغط التسلسل في متجه واحد فوراً، يحافظ RELISH على حالة مهمة كامنة قابلة للتعلم $r^{(0)}$ .
التحسين المتكرر: يتم تحديث الحالة الكامنة $L$ $L$ من المرات عبر الانتباه المتقاطع (cross-attention) على تمثيلات الرموز:
- $r^{(i)} = \text{Refine}(r^{(i-1)}, X(x))$
- يستخدم كتلة التحسين هيكلاً متبقياً (residual structure) بأسلوب المحولات (Transformer) مع انتباه متعدد الرؤوس (MHA)، حيث تعمل الحالة الكامنة كـ استعلام (query)، وتمثيلات الرموز كـ مفاتيح (keys) وقيم (values).
- يسمح هذا للنموذج بـ "الانتباه" بشكل متكرر لأجزاء محددة من تسلسل المدخلات لاستخلاص المعلومات ذات الصلة بالانحدار.
التنبؤ: يتم رسم الحالة النهائية المحسنة $r^{(L)}$ إلى تنبؤ قياسي عبر منحدر خطي: $\hat{y} = w^\top r^{(L)} + b$ .

التدريب:

يظل العمود الفقري للنموذج اللغوي الكبير مجمدًا.
يتم تدريب مصفوفة الإسقاط فقط، والحالة الكامنة الأولية، وكتل التحسين (MHA, FFN, LayerNorm)، والأوزان الخطية النهائية.
الهدف هو خسارة هوبر (Huber loss) على الأهداف المعيارية (للتعامل مع الاستقرار العددي والقيم المتطرفة).

3. المساهمات الرئيسية

بنية مبتكرة: تقديم RELISH، التي تستبدل استدلالات التجميع الساكن بآلية تحسين حالة كامنة متكررة باستخدام الانتباه المتقاطع. يسمح هذا بتلخيص أكثر قوة لتمثيلات مستوى الرمز من أجل التنبؤ القياسي.
مقارنة تجريبية موحدة: تقييم شامل عبر خمس مجموعات بيانات (STS-B, SICK-R، وثلاث مهام لتقدير جودة الترجمة WMT)، وأربعة أعمدة فقارية للنماذج اللغية الكبيرة (Llama 3.1 8B, Qwen3 8B/32B, Gemma 3 27B)، ونظامين للتدريب (المجمد و LoRA fine-tuned).
كفاءة المعلمات: يحقق RELISH أداءً يضاهي أحدث ما توصل إليه العلم (SOTA) مع بصمة عددية أصغر بكثير مقارنة بالبدائل القائمة على LoRA.
- RELISH: حوالي 3.4–3.7 مليون معلمة قابلة للتدريب (0.01–0.04% من النموذج).
- LoRA/RAFT: حوالي 21–134 مليون معلمة (0.26–0.42% من النموذج)، وتتوسع مع حجم النموذج.
مكاسب الأداء: يتفوق RELISH باستمرار على النماذج المرجعية من جميع العائلات الثلاث الرئيسية للانحدار (التوليدي، المدرك للانحدار، ورؤوس التنبؤ).

4. النتائج التجريبية

أداء التنبؤ: حقق RELISH أعلى الدرجات عبر جميع المقاييس (ارتباط بيرسون، ارتباط سبيرمان، و NRMSE المعياري).
- مقارنة بأفضل طريقة ثانية (RAFT)، حسّن RELISH ارتباط بيرسون بنسبة 6.7%، وارتباط سبيرمان بنسبة 7.2%، و NRMSE بنسبة 19.9%.
- تفوق باستمرار على التلقين ذاتي الانحدار (zero-shot و many-shot) والاستدلال المدرك للانحدار (RAIL/RAFT)، حتى عندما استخدمت تلك النماذج المرجعية تقنية LoRA fine-tuning.
الكفاءة:
- يحافظ RELISH على استدلال بمرور واحد (single-pass inference) (على عكس RAIL/RAFT التي تتطلب أخذ عينات).
- عدد معلماته ثابت بالنسبة لحجم العمود الفقري (يتوسع فقط مع البعد المخفي $d_h$ )، بينما ينمو عدد معلمات LoRA خطياً مع إجمالي حجم النموذج.
دراسات الاستئصال (Ablation Studies):
- التحسين المتكرر: يؤدي زيادة خطوات التحسين ( $L > 1$ ) إلى تحسين الأداء بشكل كبير مقارنة بتجميع الانتباه في خطوة واحدة ( $L=1$ )، مما يؤكد قيمة تحديثات الحالة المتكررة.
- دالة الخسارة: المكاسب هي بنيوية في المقام الأول؛ يعمل RELISH بشكل جيد مع كل من خسارة Huber و MSE، وإن كانت Huber توفر فوائد طفيفة في الاستقرار.
- حساسية المهمة: يظهر RELISH أكبر المكاسب في مهام تقدير جودة الترجمة الآلية (WMT)، حيث تكون الأخطاء الموضعية الدقيقة بالغة الأهمية، مقارنة بالتشابه النصي الدلالي (STS) الذي يعتمد أكثر على الدلالات العالمية.

5. الأهمية والآثار المترتبة

جسر الفجوة: نجح RELISH في سد الفجوة بين كفاءة رؤوس التنبؤ ودقة الاستدلال المدرك للانحدار، دون التكلفة الحسابية لأخذ العينات.
القابلية للتوسع: مع نمو النماذج اللغوية الكبيرة، يصبح الانحدار القائم على LoRA مكلفاً بشكل متزايد. يقدم RELISH حلاً قابلاً للتوسع حيث تظل تكلفة التكيف منخفضة بغض النظر عن حجم النموذج الأساسي.
تطبيقات أوسع: البنية قابلة للتطبيق على مهام متنوعة تتطلب مخرجات قياسية من النص، بما في ذلك:
- نمذجة المكافأة (RM): تعلم المكافآت القياسية لـ RLHF.
  व النموذج-كـ-حكم (LLM-as-a-Judge): توليد درجات قائمة على معايير للتقييم.
- تقدير الثقة: التنبؤ بدرجات عدم اليقين للنموذج.
فهم تمثيلات النماذج اللغوية الكبيرة: يشير نجاح RELISH إلى أن الحالات المخفية للنماذج اللغية الكبيرة تحتوي بالفعل على إشارات غنية ومناسبة للانحدار. لم يكن العائق في الطرق السابقة هو نقص المعرفة، بل عدم قدرة التجميع الساكن أو التوليد ذاتي الانحدار على استخراج وتكرير هذه الإشارات بفعالية.

في الختام، يمثل RELISH تحولاً جذرياً في انحدار النماذج اللغية الكبيرة، حيث يثبت أن التلخيص المتكرر القائم على الانتباه للتمثيلات المجمدة هو استراتيجية متفوقة على كل من توليد النصوص والتجميع الساكن، مما يوفر حلاً عالي الكفاءة والدقة للتنبؤ بالقيم المستمرة.