💬 NLP

PROMPT2BOX: Uncovering Entailment Structure among LLM Prompts

تقدم الورقة البحثية PROMPT2BOX، وهو إطار عمل مبتكر يقوم بتضمين مطالبات النماذج اللغوية الكبيرة (LLM) في فضاء تضمين صندوقي (box embedding space) لالتقاط علاقات الخصوصية التي تتجاوز مجرد التشابه الموضوعي، مما يتيح تحليلاً أكثر دقة لنقاط الضعف وتحسيناً في التجميع الهرمي مقارنة بالطرق التقليدية القائمة على المتجهات.

المؤلفون الأصليون: Neeladri Bhuiya, Shib Sankar Dasgupta, Andrew McCallum, Haw-Shiuan Chang

نُشر 2026-03-24

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Neeladri Bhuiya, Shib Sankar Dasgupta, Andrew McCallum, Haw-Shiuan Chang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يحاول معرفة أي الطلاب في الفصل يعانون في مادة معينة، مثل "كتابة القصص".

الطريقة القديمة: خريطة "التشابه" (التمثيل الشعاعي - Vector Embeddings)

حالياً، يستخدم معظم الباحثين أداة تعمل كـ خريطة تشابه. فهم يأخذون كل موضوع كتابة يُعطى للطالب ويرسمونه على خريطة بناءً على مدى تشابه الكلمات.

المشكلة: إذا طلبت من طالب "اكتب قصة" وطلبت من آخر "اكتب قصة من 500 كلمة عن روبوت يقع في الحب"، فإن الخريطة القديمة تراهما في نفس النقطة تقريباً لأن كلاهما يحتوي على كلمات "اكتب"، "قصة"، و"روبوت".
النتيجة: ينظر المعلم إلى الخريطة ويرى بقعة حمراء كبيرة (تعني أداءً سيئاً) تغطي كلا الموضوعين. فيفكر: "أوه، هذا الطالب سيء في كتابة القصص".
الواقع: قد يكون الطالب بارعاً حقاً في كتابة القصص العامة، لكنه سيء جداً في المهمة المحددة والصعبة المتمثلة في كتابة "قصة حب روبوت". الخريطة القديمة ضبابية للغاية لدرجة أنها لا تستطيع رؤية الفرق بين "طلب عام" و"لغز محدد ومعقد". إنها تعامل السؤال البسيط واللغز المعقد كأنهما شيء واحد.

الطة الجديدة: PROMPT2BOX (طريقة "الصندوق")

أدرك مؤلفو هذه الورقة البحثية، PROMPT2BOX، أن الأوامر (Prompts) ليست مجرد نقاط على خريطة؛ بل هي حاويات ذات أحجام مختلفة.

فكر في الأمر (الأمر/الطلب) كأنه صندوق:

صندوق كبير (أمر عام): "اكتب قصة". هذا الصندوق ضخم. يمكنه احتواء أي نوع من القصص. من السهل وضع إجابة جيدة داخل صندوق كبير.
صندوق صغير (أمر محدد): "اكتب قصة من 500 كلمة عن روبوت يقع في الحب". هذا الصندوق صغير جداً ومحدد للغاية. من الأصعب بكثير وضع إجابة مثالية داخل صندوق ضيق وصغير كهذا.

سحر "احتواء الصناديق":
إن عبقرية PROMPT2BOX تكمن في أنه يفهم أن الصندوق الصغير يتسع داخل الصندوق الكبير.

إذا استطعت كتابة قصة عن روبوت يقع في الحب (الصندوق الصغير)، فقد أثبتت تلقائياً أنك تستطيع كتابة قصة (الصندوق الكبير).
ولكن، إذا استطعت كتابة قصة (الصندوق الكبير)، فهذا لا يعني بالضرورة أنك تستطيع كتابة قصة حب الروبوت المحددة (الصندوق الصغير).

كيف يساعد في تحديد نقاط الضعف

عندما يستخدم الباحثون هذه "خريطة الصناديق" الجديدة:

يرون أن الطالب يبلي بلاءً حسناً في الصندوق الكبير (القصص العامة).
يرون أن الطالب يفشل في الصندوق الصغير (قصص حب الروبوتات).
ولأن الصندوق الصغير موجود داخل الصندوق الكبير، فإن الخريطة توضح بوضوح: "الطالب ليس سيئاً في القصص؛ هو فقط سيء في هذا النوع المحدد والصعب من القصص."

لماذا يهم هذا الأمر؟

في العالم الحقيقي، نماذج اللغات الكبيرة (LLMs) مثل تلك التي تشغل برامج الدردشة الآلية هي مثل هؤلاء الطلاب. يحتاج المطورون لمعرفة أين تفشل النماذج بدقة حتى يتمكنوا من تدريبها بشكل أفضل.

بدون PROMPT2BOX: قد يعتقد المطورون: "نموذجنا سيء في الكتابة"، ويضيعون الوقت في إعادة تدريبه على كل شيء.
مع PROMPT2BOX: يمكن للمطورين القول: "نموذجنا رائع في الكتابة العامة، لكنه يعاني تحديداً من 'مغامرات الروبوتات الرومانسية'". ومن ثم يمكنهم إصلاح تلك المشكلة الصغيرة والمحددة فقط.

التشبيه البصري

تخيل أنك تنظر إلى مدينة:

الخريطة القديمة (المتجهات): تظهر لك صورة ضبابية حيث تبدو المدينة بأكملها كمنطقة رمادية واحدة كبيرة. لا يمكنك التمييز ما إذا كان الازدحام المروري في وسط المدينة أم في شارع جانبي صغير.
الخريطة الجديدة (الصناديق): تظهر لك نموذجاً ثلاثي الأبعاد حيث كل حي عبارة عن صندوق واضح ومتميز. يمكنك رؤية أن صندوق "وسط المدينة" ضخم ومليء بالزحام، ولكن زقاق "قصة حب الروبوت" هو صندوق صغير وضيق حيث يشهد ازدحاماً مرورياً خانقاً تماماً.

الملخص

PROMPT2BOX هي أداة جديدة تتوقف عن معاملة جميع الأسئلة كنقاط متساوية على الخريطة. بدلاً من ذلك، تعاملها كـ صناديق ذات أحجام مختلفة. من خلال فهم أن السؤال المحدد هو "صندوق صغير داخل صندوق كبير"، تساعدنا الأداة على تحديد المواضع التي تضعف فيها نماذج الذكاء الاصطناعي بدقة، مما يسمح لنا بإصلاح مشاكلها المحددة بدلاً من التخمين حول قدراتها العامة.

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "PROMPT2BOX: الكشف عن بنية الاستلزام بين مطالبات النماذج اللغوية الكبيرة (LLM)".

1. بيان المشكلة

تعتمد الطرق الحالية لتحليل نقاط ضعف النماذج اللغوية الكبيرة (LLM) على تضمين المطالبات (Prompts) في فضاءات متجهية وتجميعها بناءً على التشابه الموضوعي. ومع ذلك، تعاني التضمينات المتجهية (Vector Embeddings) من قصور حاسم: فهي تلتقط بشكل أساسي التشابه الدلالي بينما تفشل في نمذجة الخصوصية والعلاقات غير المتماثلة (الاستلزام/Entailment).

فجوة الخصوصية: المطالبات التي تشترك في موضوع واحد ولكنها تختلف في القيود (مثل: "اكتب قصة" مقابل "اكتب قصة رومانسية عن روبوت بطول 500 كلمة") غالباً ما يتم رسمها في مواقع متجهية متشابهة.
النتيجة: يؤدي هذا إلى تحليل غامض لنقاط الضعف. فإذا فشل النموذج في التعامل مع مطالبات محددة وصعبة ولكنه نجح في المطالبات العامة، فإن التجميع المتجهي قد يدمج هذه الدرجات (Averaging)، مما يحجب نمط الفشل المحدد أو يصنف الموضوع بأكمله خطأً كإخفاق.
الهدف: يسعى المؤلفون إلى تطوير تمثيل لا يلتقط فقط موضوع المطالبة، بل مدى خصوصيتها أيضاً، مما يتيح اكتشاف بنى الاستلزام (حيث تستلزم مطالبة محددة مطالبة أخرى عامة).

2. المنهجية: PROMPT2BOX

الابتكار الجوهري هو رسم خرائط للمطالبات في فضاء تضمين الصندوق (Box Embedding Space) بدلاً من الفضاء المتجهي.

أ. تمثيل تضمين الصندوق

بدلاً من تمثيل المطالبة كنقطة $v \in \mathbb{R}^D$ ، يقوم PROMPT2BOX بتمثيلها كمتوازي مستطيلات محاذٍ للمحاور (Axis-aligned hyper-rectangle) يتم تعريفه بواسطة:

متجه المركز ( $c$ ): يلتقط الموقع الدلالي (مشابه للتضمينات المتجهية).
متجه العرض ( $\delta$ ): يلتقط النطاق الدلالي.
- المطالبات العامة (قيود أقل) يتم تمثيلها بـ صناديق أكبر.
- المطالبات المحددة (قيود أكثر) يتم تمثيلها بـ صناديق أصغر.

الاستلزام عبر الاحتواء:
تعمل العلاقة الهندسية بين الصناديق على نمذجة الاستلزام بشكل طبيعي. إذا كانت المطالبة (أ) تستلزم المطالبة (ب) (أي أن أ أكثر تحديداً من ب)، فإن صندوق (أ) يكون محتوياً داخل صندوق (ب) ( $Box(A) \subseteq Box(B)$ ).

حجم التقاطع: يقيس التشابه الدلالي.
احتمالية الاحتواء: تقيس قوة الاستلزام. إذا كان $Box(A) \subseteq Box(B)$ ، فإن الاحتمال الشرطي $P(B|A)$ يقترب من 1.

ب. بنية التدريب

يستخدم النظام مشفراً مدرباً لرسم خرائط المطالبات النصية إلى معاملات الصندوق.

المُشفر (Encoder): يعتمد على (Sentence Transformer - MPNet-base) مع رأسي MLP ينتجان متجهات المركز والعرض.
التحسين (Optimization): يستخدم صيغة Gumbel Box لجعل عمليات الحد الأدنى والحد الأقصى (min/max) الصعبة لتقاطع الصناديق قابلة للاشتقاق.
دالة الخسارة (Loss Function): هدف تعلم تبايني (Contrastive Learning) يعمل على تعظيم حجم التقاطع للأزواج المتشابهة وفرض الاحتواء لأزواج الاستلزام.

ج. تنسيق وتخليق البيانات

يتطلب تدريب تضمينات الصندوق بيانات استلزام، وهي نادرة. قام المؤلفون بتخليق مجموعة بيانات واسعة النطاق باستخدام أربعة مصادر:

Infinity Instruct: للارتباط الدلالي العام (أزواج المطالبة والاستجابة).
MultiNLI: للاستلزام على مستوى الجملة (المقدمة والفرضية).
WildChat (مُخلق): استُخدم GPT-4.1 لتوليد أشجار تعليمات هرمية، مما خلق علاقات (أب-ابن) أي (عام-إلى-محدد).
SURI: استُخدم لإنشاء علاقات "الأشقاء" (مطالبات تشترك في "أب" واحد ولكن بقيود مختلفة) لتعليم النموذج التمييز بين المطالبات المرتبطة وغير المستلزمة لبعضها.
استراتيجية الربط (Linkage Strategy): خطوة مبتكرة لمحاذاة الفضاء الدلالي لبيانات التعليمات-الاستجابة مع التسلسل الهرمي للاستلزام، مما يمنع النموذج من تعلم تمثيلات منفصلة.

د. تقليل الأبعاد (BOX-SNE)

لتصور تضمينات الصناديذ عالية الأبعاد في بُعدين، اقترح المؤلفون تقنية BOX-SNE. بخلاف t-SNE (الذي يقلل تباعد KL لمسافات النقاط)، تعمل BOX-SNE على تحسين مواقع الصناديق منخفضة الأبعاد للحفاظ على:

أحجام التقاطع (التشابه).
علاقات الاحتواء (الاستلزام).

3. المساهمات الرئيسية

إطار عمل PROMPT2BOX: أول طريقة لتضمين مطالبات LLM في فضاء صندوقي لالتقاط التشابه الدلالي والخصوصية/الاستلزام معاً.
مجموعات بيانات الاستلزام الاصطناعية: مسار لتخليق بيانات تعليمات هرمية وعلاقات الأشقاء لتدريب مشفرات الصنبة على نطاق واسع.
BOX-SNE: تقنية مبتكرة لتقليل الأبعاد مصممة خصيصاً لتضمينات الصناديق للحفاظ على الاحتواء الهندسي.
مقاييس تقييم جديدة: مقاييس لتقييم التشابه، الاستلزام، وترتيب الخصوصية في تمثيلات المطالبات.

4. النتائج التجريبية

قيم المؤلفون PROMPT2BOX مقابل النماذج المتجهية المرجعية (باستخدام تشابه جيب التمام) ومرجع متجه قائم على المعيار (CSDelta) عبر عدة مهام:

المقاييس الجوهرية:
- STS-B (التشابه): قدمت نماذج الصندوق أداءً تنافسياً مع النماذج المتجهية المرجعية.
- FollowBench & SURI (الاستلزام/الخصوصية): تفوقت نماذج الصندوق بشكل كبير على المتجهات. على سبيل المثال، في FollowBench (استرجاع التعليمات الأكثر تحديداً)، حقق نموذج Box دقة قدرها 73.8% مقابل 64.0% للمتجهات.
- الدراسة الاستئصالية (Ablation): أدى حذف بيانات الاستلزام أو بيانات الربط إلى تدهور الأداء، مما يثبت ضرورة كل من هندسة الصندوق وبيانات التدريب المحددة.
التنبؤ بالدرجات (UltraFeedback):
- باستخدام انحدار k-NN للتنبؤ بدرجات LLM على مطالبات غير مرئية، حقق نموذج Box أقل جذر متوسط مربعات (RMSE) بلغ (1.5280)، متفوقاً على النماذج المتجهية (1.6059) والنماذج العشوائية. يشير هذا إلى أن فهم خصوصية المطالبة يحسن القدرة على التنبؤ بأداء النموذج.
التجميع الهرمي:
- اكتشاف نقاط الضعف: حدد PROMPT2BOX 8.9% أكثر من مجموعات نقاط الضعف مقارنة بالنماذج المتجهية.
- محاذاة الخصوصية: كان الارتباط بين عمق التسلسل الهرمي وخصوصية التعليمات أقوى بنسبة 33% لنماذج Box (توافق بنسبة 70.04%) مقارنة بالمتجهات (52.71%).
- التصور: فصلت التصورات ثنائية الأبعاد مجموعات البيانات بوضوح حسب الصعوبة (على سبيل المثال، ظهرت مطالبات WildBench كصناديق أصغر وأكثر تحديداً من مطالبات WildChat، وهو تمييز فُقد في تصورات t-SNE المتجهية).

5. الأهمية والتأثير

تحليل دقيق لنقاط الضعف: يسمح PROMPT2BOX للمطورين بالتمييز بين "النموذج سيء في هذا الموضوع" وبين "النموذج سيء في تنوعات محددة ومقيدة من هذا الموضوع". وهذا أمر بالغ الأهمية لجمع البيانات المستهدفة والضبط الدقيق (Fine-tuning).
ما وراء المتجهات: يتحدى هذا العمل الافتراض بأن التضمينات المتجهية كافية لجميع مهام معالجة اللغات الطبيعية، موضحاً أن العلاقات غير المتماثلة (الاستلزام) تتطلب تمثيلات قائمة على المناطق (Region-based).
التطبيقات: إن القدرة على تقدير خصوصية المطالبة وصعوبتها لها تطبيقات واسعة في:
- توجيه النماذج (LLM Routing): إرسال المطالبات المحددة إلى نماذج متخصصة.
- التقييم: اختيار مطالبات أصعب لاختبار قدرات النماذج (Stress-test).
- الأمان: تحديد القيود المحددة التي تؤدي إلى مخرجات غير آمنة.
- القابلية للتفسير: تصور "فضاء الحلول" لقدرات النماذج اللغوية الكبيرة.

باختصار، يوفر PROMPT2BOX إطاراً بديهياً هندسياً ومنضبطاً رياضياً لفهم البنية الهرمية لمطالبات النماذج اللغوية الكبيرة، مما يحسن بشكل كبير من اكتشاف نقاط ضعف النماذج مقارنة بالأساليب التقليدية القائمة على المتجهات.