🤖 machine learning

Compositional Generalization in Autoregressive Models via Logit Composition

تقدم هذه الورقة استراتيجية مبدئية لتركيب اللوجيت (logit composition) للنماذج ذات الترتيب الذاتي، مستوحاة من طرق الانتشار، والتي تضمن التحكم الإسقاطي على الفضاءات الجزئية للمخرجات وتحافظ على تعميم الطول في ظل فرضيات الشروط المتجزئة.

المؤلفون الأصليون: Aakash Kumar, Maria Sofia Bucarelli, Emanuele Natale

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aakash Kumar, Maria Sofia Bucarelli, Emanuele Natale

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقًا من ثلاثة طهاة متخصصين للغاية يعملون في مطبخ.

الشيف "بيس" (الأساس/الخلفية): هذا الشيف بارع في اتباع الوصفة بدقة كما هي مكتوبة. إذا طلبت منه شطيرة سادة، فسيصنع شطيرة سادة مثالية. هو لا يضيف أي شيء إضافي.
الشيف "ماث" (الرياضيات): هذا الشيف ساحر في إضافة الجبن والتوابل، ولكن فقط إذا كانت الوصفة تطلب ذلك. إذا قالت الوصفة "أضف جبناً"، فسيقوم بذلك ببراعة. وإذا لم تذكر ذلك، فسيترك الشطيرة كما هي.
الشيف "كود" (البرمجة): هذا الشيف خبير في إضافة الخس والطماطم، ولكن فقط عندما تطلب الوصفة ذلك.

المشكلة:
عادةً، إذا أردت شطيرة تحتوي على كل من الجبن و الخس، فعليك توظيف شيف واحد ضخم يعرف القيام بكل شيء في وقت واحد. أو تحاول دمج الطهاة الثلاثة معاً عن طريق مزج مآزرهم (الأوزان) أو جعلهم يتناوبون الأدوار (التوجيه). ولكن غالباً ما يسبب هذا فوضى: قد يحاول الشيف "ماث" إضافة الجبن بينما يحاول الشيف "كود" إضافة الخس، أو قد يتجادلون حول كيفية إنهاء الشطيرة، مما يؤدي إلى كومة من الطعام الفوضوي وغير الصالح للأكل.

حل الورقة البحثية: "تركيب اللوجيت" (Logit Composition)
يقترح مؤلفو هذه الورقة طريقة جديدة لدمج هؤلاء الطهاة. بدلاً من مزج مآزرهم أو جعلهم يتناوبون الأدوار، هم يتركون الطهاة الثلاثة يصرخون باقتراحاتهم للمكون التالي في نفس الوقت، ولكن مع قاعدة خاصة:

القاعدة: نأخذ اقتراح الشيف "ماث"، ونضيف إليه اقتراح الشيف "كود"، ثم نطرح منه اقتراح الشيف "بيس".
السحر: بما أن الشيف "بيس" هو النسخة "السادة" فقط، فإن طرح صوته يلغي الضجيج.
- عندما تتطلب الوصفة جبناً، يكون الشيف "ماث" عالياً، والشيف "كود" هادئاً (لأنه لا يعرف شيئاً عن الجبن)، والشيف "بيس" محايداً. العملية الحسابية تعمل بحيث يكون القرار النهائي هو "أضف الجبن".
- عندما تتطلب الوصفة خسًا، يكون الشيف "كود" عالياً، والشيف "ماث" هادئاً، والشيف "بيس" محايداً. العملية الحسابية تعمل بحيث يكون القرار النهائي هو "أضف الخس".
- عندما لا تتطلب الوصفة أي شيء خاص، يكون الجميع هادئين، وتظل الشطيرة سادة.

لماذا ينجح هذا (سر "التجزئة" - Disjoint)
تجادل الورقة بأن هذا يعمل بشكل مثالي فقط إذا كانت وظائف الطهاة منفصلة (disjoint).

الشيف "ماث" يلمس فقط "خطوات الجبن".
الشيف "كود" يلمس فقط "خطوات الخس".
إنهما لا يحاولان القيام بوظيفة الآخر في نفس الوقت.

إذا حاول الشيف "ماث" إضافة الجبن بينما يحاول الشيف "كود" إضافة الخس، فقد يصطدمان ببعضهما البعض. ولكن إذا عرفا بالضبط متى يتحركان (على سبيل المثال: "أنا أعمل فقط في الخطوة 3، أنت تعمل فقط في الخطوة 5")، فيمكنهما العمل معاً بسلاسة دون قتال. تطلق الورقة على هذا اسم "الشرطيات العاملة" (Factorized Conditionals).

الضمان "الإسقاطي" (Projective Guarantee)
تثبت الورقة أنه إذا التزم الطهاة بمناطقهم المحددة، فإن الشطيرة النهائية (المخرج) ستكون تماماً كما لو كنت قد وظفت "شيفاً خارقاً" يعرف كلتا المهارتين ببراعة.

جزء "الجبن" من الشطيرة يأتي بنسبة 100% من الشيف "ماث".
جزء "الخس" يأتي بنسبة 100% من الشيف "كود".
جزء "الخبز" يأتي بنسبة 100% من الشيف "بيس".

هم لا يتداخلون مع بعضهم البعض. إنه يشبه الإسقاط: إذا نظرت إلى جزء الجبن فقط، فسيبدو تماماً كما صنعه الشيف "ماث". وإذا نظرت إلى الخس، فسيبدو تماماً كما صنعه الشيف "كود".

هل ينجح هذا للوصفات الطويلة؟ (تعميم الطول - Length Generalization)
اختبرت الورقة أيضاً ما إذا كان هذا ينجح مع الوصفات الطويلة جداً (مثل كتاب طبخ مكون من 100 صفحة) لم يره الطهاة من قبل. ووجدوا أنه طالما أن الطهاة يعرفون "مناطقهم" المحددة (على سبيل المثال: "أنا أتولى الخطوات من 10 إلى 20") وأن الوصفة تتبع نفس النمط، فإن الفريق المشترك يمكنه التعامل مع الوصفة الطويلة بنفس كفاءة الوصفة القصيرة. لن يرتبكوا لمجرد أن الكتاب أصبح أكثر سمكاً.

الاختبار في العالم الحقيقي
اختبر المؤلفون هذا مع نماذج ذكاء اصطناعي حقيقية (نماذج لغوية كبيرة):

أخذوا نموذجاً أساسياً (Gemma 2).
أخذوا نسخة تم ضبطها بدقة (fine-tuned) لمهام الرياضيات (Math).
أخذوا نسخة تم ضبطها بدقة لمهام البرمجة (Coding).
قاموا بدمجهما باستخدام قاعدة "الصرخة" الخاصة بهم.

النتيجة:
حصل النموذج المدمج الجديد على مهارة في البرمجة أفضل من خبير البرمجة وحده، وحافظ تقريباً على جميع مهارات خبير الرياضيات. لم يفقد قدرته على الرياضيات لمجرد أنه تعلم البرمجة. لقد كان وضع "أفضل ما في العالمين" دون الحاجة لإعادة تدريب الفريق بأك-مله من الصفر.

العائق
تعترف الورقة بأن هذا يعمل بشكل أفضل عندما تكون المهام منفصلة بوضوح. إذا حاولت دمج الكثير من الخبراء (مثل إضافة شيف "شعر" وشيف "تاريخ" إلى المزيج)، فقد يرتبك الفريق بشأن متى يتوقفون عن الكلام، مما يؤدي إلى كلام غير مفهوم. ولكن بالنسبة للمهارات الواضحة والمنفصلة، فإن هذا "التركيب اللوجيتي" (Logit Composition) هو طريقة مبدئية قوية لبناء أنظمة ذكاء اصطناعي نمطية.

ملخص تقني: التعميم التركيبي في النماذج ذاتية الانحدار عبر تركيب اللوغاريتمات (Logit Composition)

بيان المشكلة

لا يزال تركيب النماذج التوليدية المتخصصة لإنشاء أنظمة نمطية، وقابلة لإعادة الاستخدام، وقابلة للتحكم، يمثل تحديًا جوهريًا في أبحاث النماذج اللغوية الكبيرة (LLMs). تعمل النهج الحالية للنماذج ذاتية الانحدار (Autoregressive Models) عادةً في فضاء المعلمات (على سبيل المثال: استيفاء الأوزان، حساب المهام، أو الدمج القائم على التناثر) أو في فضاء البنية (على سبيل المثال: خليط الخبراء مع التوجيه الديناميكي). وبينما تجمع هذه الطرق بين نقاط التفتيش (Checkpoints) التي تم ضبطها دقيقًا، إلا أنها غالبًا ما تفتقر إلى ضمانات صريحة وثابتة فيما يتعلق بتوزيع المخرجات الناتج، أو تفشل في تقديم قاعدة مبدئية لكيفية تفاعل المكونات دون تداخل.

وعلى العكس من ذلك، أظهرت نماذج الانتشار (Diffusion Models) نجاحًا في التوليد التركيبي من خلال الجمع الخطي لدوال الدرجة (Score Functions)، وهو منظور تمت صياغته مؤخرًا من قبل برادلي وآخرون [2025] من خلال مفهوم التركيب الإسقاطي (Projective Composition). ومع ذلك، لم يتم توسيع هذا الإطار ليشمل النماذج ذاتية الاندرار، حيث يكون التوليد بطبيعته تسلسليًا ومشروطًا بسوابق (Prefixes) متطورة، مما يجعل قابلية تطبيق مهارات معينة تعتمد على الحالة الراهنة للتسلسل المولد.

المنهجية

يقترح المؤلفون استراتيجية التركيب الانتقائي للأنظمة ذاتية الانحدار (مثل المحولات/Transformers) والتي تعمل مباشرة في فضاء الاحتمالات بدلاً من فضاء المعلمات. بالنظر إلى نموذج خلفية $p_b$ ومجموعة من النماذج المتخصصة $\{p_1, \dots, p_k\}$ ، يتم تعريف النموذج المركب $\hat{p}$ من خلال قاعدة حسابية صريحة تُطبق على توزيعات الرمز التالي المشروطة:

$\hat{p}(y_t | x, y_{<t}) = \frac{1}{Z_t} p_b(y_t | x, y_{<t}) \prod_{i=1}^k \frac{p_i(y_t | x, y_{<t})}{p_b(y_t | x, y_{<t})}$

حيث $Z_t$ هو ثابت التطبيع. تعمل هذه الصيغة فعليًا على إضافة الاحتمالات اللوغاريتمية للخبراء وطرح الاحتمالات اللوغاريتمية لنموذج الخلفية.

الإطار النظري

يضع البحث شروطًا تكون تحتها عملية التركيب صحيحة بشكل مثبت وتحافظ على السلوكيات المتميزة للنماذج المكونة:

الشرط الموزع (فضاء الرموز): يحدد المؤلفون خاصية حيث يتم تقسيم فضاء التوليد إلى مجموعات منفصلة من مؤشرات الرموز (الأقنعة/Masks). إذا عمل كل نموذج متخصص $p_i$ بشكل مستقل على قناعه المخصص $M_i$ وتطابق مع نموذج الخلفية $p_b$ في أماكن أخرى، فإن التركيب يكون إسقاطيًا. وهذا يعني أن التوزيع الهامشي للنموذج المركب على أي قناع $M_i$ هو نفسه توزيع النموذج المتخصص $p_i$ .
قابلية تحليل المهارة (الإعداد التسلسلي): إدراكًا بأن المهام ذاتية الانحدار (مثل البراهين المثلثية) تعتمد على تاريخ الرموز المولدة، قدم المؤلفون مفهوم قابلية تحليل المهارة (Skill Factorizability). يكون النموذج قابلًا لتحليل المهارة إذا كان سلوكه يمكن تفكيكه إلى مرحلة خلفية، ومرحلة مهارة محددة (معرفة بأوقات التوقف $\tau_1, \tau_2$ )، ثم العودة إلى الخلفية.
التحليل المشترك: لكي تعمل مجموعة من النماذج بشكل صحيح، يجب أن تكون فتراتها النشطة (حيث تبتعد عن الخلفية) منفصلة زوجيًا. تحت هذا الشرط، يطبق النموذج المركب كل مهارة بالضبط خلال فترتها المخصصة ويعود إلى نموذج الخلفية في حالات أخرى.
التوسيع في فضاء السمات: تم توسيع الإطار ليشمل فضاءات السمات المجردة عبر خريطة قابلة للعكس $D$ . إذا كانت توزيعات الدفع (Pushforward distributions) تحقق خاصية الشروط الموزعة في فضاء السمات، فإن التركيب يظل صالحًا، مما يسمح بدمج نماذج قد لا تملك نطاقات رموز منفصلة ولكن تملك نطاقات "مفاهيمية" منفصلة.
التعميم على الطول: يجادل البحث بأنه إذا كانت افتراضات التحليل وضمانات المكونات تسري بانتظام عند طول مستهدف، فإن النموذج المركب يرث سلوك التعميم على الطول الخاص بمكوناته.

الصلة بدمج النماذج

يرسم المؤلفون رابطًا نظريًا بين تركيب فضاء الاحتمال الخاص بهم وحساب المهام (Task Arithmetic) (إلهاركو وآخرون [2023]). لقد أثبتوا أنه في الإعداد الخطي، فإن إضافة متجهات المهام في فضاء المعلمات يكافئ رياضيًا التركيب الضربي لتوزيعات المخرجات. يشير هذا إلى أن النجاح التجريبي لتقنيات دمج النماذج قد يُفسر من خلال مبدأ تركيب إضافي حيث تؤثر تحديثات المهام على مناطق منفصلة من فضاء المخرجات.

المساهمات الرئيسية

إطار عمل مبدئي: تقديم إطار عمل في فضاء الاحتمالات لتركيب النماذج ذاتية الانحدار، مما يوسع مفهوم التركيب الإسقاطي من نماذج الانتشار إلى التوليد التسلسلي.
ضمانات الصحة: تحديد شروط محددة (الشرط الموزع والتحليل المشترك) التي يكون تحتها التركيب صحيحًا بشكل مثبت، مما يضمن أن المكونات تحافظ على التحكم في فضاءاتها المخصصة دون تداخل.
التعميم على الطول: إثبات أن التركيب يحافظ على سلوك التعميم على الطول عندما تسري افتراضات التحليل بانتظام عند الطول المستهدف.
الجسر النظري: الربط بين الإطار المقترح وطرق دمج النماذج الحالية (تحديدًا حساب المهام)، مما يوفر تفسيرًا نظريًا لسبب نجاح بعض قواعد الدمج التجريبية.
التحقق التجريبي: التحقق من نهجهم في كل من المهام الاصطناعية واختبارات النماذج اللغوية الكبيرة.

النتائج

يتحقق المؤلفون من نهجهم من خلال إعدادين تجريبيين أساسيين:

مهمة لعبة متحكم بها: في مهمة استبدال الحروف حيث تدربت النماذج على استبدال رموز محددة (مثل 'A' $\leftarrow$ 'B'، 'C' $\leftarrow$ 'D')، حقق النموذج المركب نجاحًا بنسبة 100% في أداء كلا التحويلين في آن واحد. أكد هذا أن عامل التركيب يدمج المهارات المنفصلة بشكل صحيح.
اختبارات النماذج اللغوية الكبيرة (LLM): باستخدام نموذج Gemma 2 2B كنموذج أساسي ( $p_{base}$ $p_{ba se}$ ) وخبيرين تم ضبطهما دقيقًا ( $p_{math}$ $p_{ma t h}$ و $p_{coding}$ $p_{co d in g}$ )، قام المؤلفون بتركيب نموذج $\hat{p}$ $\overset{p}{^}$ واختبروه في أربعة اختبارات مرجعية:
- البرمجة (Coding): في اختبارات HumanEval+ و MBPP+، تفوق النموذج المركب على خبير البرمجة وحده (30.5 مقابل 24.4 و 39.4 مقابل 38.1، على التوالي).
- الرياضيات (Mathematics): في اختبارات GSM8K و MATH، احتفظ النموذج المركب بأداء كبير من خبير الرياضيات (41.2 مقابل 50.2 و 24.2 مقابل 25.5)، مما أظهر أن مهارة البرمجة لم تتداخل بشكل كارثي مع الاستدلال الرياضي.
- القيود: يشير المؤلفون إلى أن تركيب أكثر من خبيرين أدى إلى تدهور حاد في جودة التوليد، ويرجع ذلك على الأرجح إلى عدم الاستقرار في التنبؤ برمز نهاية التسلسل (End-of-sequence) وسلوك الإنهاء.

الأهمية والادعاءات

يدعي البحث تقديم فهم مبدئي لسبب ومتى ينجح تركيب ودمج النماذج في الأنظمة ذاتية الانحدار. ومن خلال نقل التركيز من فضاء المعلمات إلى فضاء الاحتمالات، يحدد المؤلفون الظروف التي تظل فيها التفاعلات بين النماذج مستقرة وغير متداخلة.

تكمن الأهمية في تقديم قاعدة تركيب صريحة وثابتة مع ضمانات نظرية، مما يتناقض مع طرق التوجيه الديناميكي أو متوسط المعلمات التجريبي. يشير العمل إلى أن تركيب النماذج ذاتية الانحدار يمكن فهمه كعملية احتمالية مهيكلة، مما قد يتيح بناء نماذج لغوية كبيرة أكثر نمطية وقابلية للتحكم. ومع ذلك، يظل المؤلفون متواضعين، حيث يقرون بأن افتراضات التحليل الخاصة بهم قد لا تتحقق تمامًا في الممارسة العملية لجميع النماذج المدربة مسبقًا وأن التقييم التجريبي محدود النطاق حاليًا.