Example-Guided Prompting for Document-Level Text Simplification
تُثبت هذه الورقة أن تعزيز المطالبات بأمثلة مسترجعة لتبسيط المستندات يحسن بشكل كبير جودة تبسيط النصوص على مستوى المستند في النماذج اللغوية الكبيرة، محققاً أداءً منافساً أو متفوقاً على الأنظمة المتخصصة الخاضعة للإشراف دون الحاجة إلى ضبط دقيق خاص بالمهمة.
المؤلفون الأصليون:Marina Litvak, Ariel Perstin, Ilan Shtilman, Michael Färber
تخيل أنك تحاول تعليم روبوت كيفية إعادة كتابة قصة معقدة لكي يفهمها طفل صغير. هذا هو عالم تبسيط النصوص، وهو مجال يقوم فيه علماء الحاسوب بتعليم الآلات كيفية أخذ كتابات كثيفة موجهة للبالغين وتحويلها إلى شيء واضح وسهل القراءة، دون فقدان المعنى الأصلي. لفترة طويلة، كانت الطريقة المثلى للقيام بذلك هي تدريب الروبوت على آلاف الأمثلة المحددة حتى يحفظ القواعد. ولكن مؤخرًا، وصل نوع جديد من الروبوتات فائقة الذكاء يسمى النماذج اللغوية الكبيرة (LLM). هذه النماذج تشبه الطلاب العباقرة الذين يمكنهم اتباع التعليمات وتعلم حيل جديدة بمجرد قراءة أمر (Prompt)، دون الحاجة إلى إعادة تدريبهم من الصفر. ومع ذلك، حتى هذه الروبوتات الذكية قد ترتبك أحيانًا عندما يُطلب منها إعادة كتابة كتاب كامل أو مقال دفعة واحدة؛ فقد يغيرون المعنى، أو يفقدون تسلسل القصة، أو يجعلونها بسيطة للغاية في بعض الأجزاء وصعبة للغاية في أجزاء أخرى. السؤال الكبير الذي يطرحه الباحثون هو: كيف نعطي هذه الروبوتات أفضل توجيه ممكن للقيام بمهمة مثالية؟
تقدم هذه الورقة حلاً ذكيًا يسمى التوجيه الموجه بالأمثلة (EGP). فكر في الأمر على هذا النحو: إذا طلبت من طالب كتابة ملخص لمقال علمي معقد، يمكنك ببساطة إعطاؤه مجموعة من القواعد المكتوبة ("أمر توجيهي"). ولكن ماذا لو قدمت له أيضًا بضعة أمثلة لكيفية قيام طلاب آخرين بتبسيط مقالات مماثلة بنجاح؟ وجد الباحثون أن إعطاء الروبوت "أوراق مرجعية" من الأمثلة الواقعية يحقق نتائج مذهلة. لقد اختبروا هذه الفكرة باستخدام مجموعة من المقالات الإخبارية التعليمية تسمى مجموعة بيانات OneStopEnglish. أخذوا وثائق معقدة وطلبوا من خمسة روبوتات مختلفة من أحدث ما توصلت إليه التكنولوجيا تبسيطها. في إحدى المجموعات، حصلت الروبوتات على التعليمات المكتوبة فقط. وفي المجموعة الأخرى، حصلت الروبوتات على التعليمات بالإضافة إلى ثلاثة أمثلة مشابهة لوثائق تم تبسيطها بشكل صحيح بالفعل.
كانت النتائج كاشفة للغاية. فعندما عُرضت هذه الأمثلة على الروبوتات، أدت عملها بشكل أفضل بكثير بشكل عام. وتحديداً، ارتفع معدل أداء الروبوت المسمى Claude Haiku 4.5 من 40.78 إلى 44.84، كما حافظ على المعنى الأصلي للنص بشكل أفضل بكثير مما كان عليه من قبل. كما تحسنت روبوتات أخرى مثل Gemini 2.0 Flash و Sonar بشكل ملحوظ. في الواقع، سمحت هذه الحيلة البسيطة المتمثلة في عرض الأمثلة لهذه الروبوتات بالتفوق على الأنظمة القديمة المتخصصة التي تم تدريبها خصيصًا لهذه المهمة لسنوات أو مطابقة أدائها. ومع ذلك، اكتشفت الورقة أيضًا أن هذه الحيلة لا تنجح مع كل روبوت؛ فقد ساء أداء نموذج واحد، وهو Llama 3.2، عند عرضه للأمثلة، مما يشير إلى أن ليس كل الروبوتات تعرف كيفية استخدام "الورقة المرجعية" بفعالية. وتشير الدراسة إلى أنه بينما يساعد عرض الأمثلة الروبوتات على البقاء وفية للمعنى الأصلي، فإنه يجعل النص أحيانًا أقل "سهولة في القراءة" مما لو خمنوا بأنفسهم، مما يخلق توازنًا دقيقًا بين الحفاظ على دقة القصة وتبسيطها. في النهاية، يوضح المؤلفون أنه بالنسبة للعديد من الروبوتات القوية، فإن النظر في كيفية حل الآخرين لمشكلات مماثلة يعد معلمًا أفضل من مجرد قراءة قائمة من القواعد.
ملخص تقني: التوجيه القائم على الأمثلة لتبسيط النصوص على مستوى المستند
بيان المشكلة
يمثل تبسيط النصوص على مستوى المستند تحديًا كبيرًا للنماذج اللغوية الكبيرة (LLMs). فخلافًا لإعادة الكتابة على مستوى الجملة، والتي تركز على التحولات المحلية، يتطلب التبسيط على مستوى المستند تغييرات منسقة عبر جمل متعددة للحفاظ على تماسك الخطاب، والأمانة الدلالية، وسهولة القراءة المتسقة طوال النص بالكامل. وبينما توفر النماذج اللغوية الكبيرة القائمة على التوجيه (Prompt-based) بديلًا مرنًا للنماذج الخاضعة للإشراف، إلا أنها غالبًا ما تعاني مع التحولات المعقدة على مستوى المستند. فالاعتماد فقط على التعليمات النصية يؤدي غالبًا إلى عدم اتساق جودة التبسيط، حيث لا توفر التعليمات وحدها توجيهًا كافيًا للتحولات الهيكلية والأسلوبية الدقيقة المطلوبة.
تستخدم الأساليب الحالية، مثل التوليد المعزز بالاسترجاع (RAG)، المستندات المسترجعة عادةً لتوفير معرفة واقعية أو سياق خارجي. ومع ذلك، يتطلب تبسيط المستندات توجيهًا حول كيفية تحويل النص بدلاً من مجرد معلومات واقعية إضافية. وهناك فجوة في استخدام الاسترجاع لتوفير أنماط التحويل خصيصًا لتبسيط المستندات دون الحاجة إلى ضبط دقيق (Fine-tuning) خاص بالمهمة.
المنهجية: التوجيه القائم على الأمثلة (EGP)
يقترح المؤلفون التوجيه القائم على الأمثلة (EGP)، وهو إطار عمل للعمل أثناء الاستدلال مصمم لتعزيز التوجيهات القياسية بأمثلة مسترجعة لتبسيط المستندات.
الآلية الجوهرية
الاسترجاع: بالنظر إلى مستند مدخل معقد، يقوم النظام باسترجاع أكثر k (حيث k=3) من أزواج تبسيط المستندات الأكثر تشابهًا دلاليًا من مجموعة متوازية للتبسيط. يستخدم هذا الاسترجاع التضمينات الكثيفة وتشابه جيب التمام (Cosine Similarity).
التعزيز: يتم دمج الأمثلة المسترجعة في التوجيه (Prompt) جنباً إلى جنب مع المستند المستهدف والتعليمات النصية.
التوليد: يعالج النموذج اللغوي الكبير هذا التوجيه المثرى، مستفيدًا من الأمثلة المسترجعة لتحديد وتطبيق أنماط التبسيط ذات الصلة الملاحظة في سياقات مماثلة.
القيد: يتم استبعاد المستند المدخل الذي يتم تقييمه صراحةً من مجموعة الاسترجاع لمنع تسرب البيانات.
الإعداد التجريبي
مجموعة البيانات: مجموعة بيانات OneStopEnglish (Vajjala and Luˇci´c, 2018)، وتحديدًا إعداد التبسيط من المستوى المتقدم إلى المستوى الابتدائي.
النماذج: تم تقييم خمسة من النماذج اللغوية الكبيرة الحديثة: GPT-4o-mini، وClaude Haiku 4.5، وGemini 2.0 Flash، وSonar، وLlama 3.2.
المقارنات المرجعية (Baselines):
التوجيه المقتصر على النص (Prompt-only): تم اختيار استراتيجية توجيه قائمة على القيود كمرجع أساسي بعد أن أظهرت التجارب الأولية أنها حققت أعلى درجات SARI.
النماذج الخاضعة للإشراف/التخطيط: تمت المقارنة مع نموذج T5 (Raffel et al., 2020) ونموذج PlanSimp (Cripwell et al., 2023)، وهو نظام قائم على التخطيط.
مقاييس التقييم:
جودة التبسيط: مقياس SARI (Xu et al., 2016).
الحفاظ على الدلالة: مقياس BERTScore (Zhang et al., 2019) ومقياس LENS (Maddela et al., 2023).
تُظهر التجارب أن منهجية EGP تحسن باستمرار عملية التوليد القائمة على التوجيه فقط عبر معظم النماذج، وتحقق أداءً تنافسيًا أو متفوقًا مقارنة بالأنظمة المتخصصة الخاضعة للإشراف.
مكاسب الأداء: أدى دمج الأمثلة المسترجعة إلى تحسين جودة التبسيط (SARI) لأربعة من النماذج الخمسة التي تم تقييمها.
أظهر Claude Haiku 4.5 التحسن الأكثر أهمية، حيث ارتفع مقياس SARI من 40.78 إلى 44.84، مع تحسين الحفاظ على الدلالة (BERTScore وLENS) أيضًا.
أظهر Gemini 2.0 Flash وSonar أيضًا مكاسبًا ثابتة.
أظهر GPT-4o-mini تحسينات أصغر ولكنها ثابتة.
كان Llama 3.2 استثناءً، حيث شهد تدهورًا ملحوظًا في الأداء عبر جميع المقاييس، مما يشير إلى أن ليس كل النماذج اللغوية الكبيرة يمكنها دمج الأمثلة المسترجعة بفعالية.
المقارنة مع المراجع المرجعية: تفوقت نماذج EGP عمومًا على أو تساوت مع أنظمة T5 وPlanSimP المتخصصة.
حقق Claude Haiku 4.5 + EGP أعلى درجة SARI (44.84)، متفوقًا على PlanSimp (42.02) وT5 (30.0).
من حيث الحفاظ على الدلالة، تفوق GPT-4o-mini وClaude Haiku 4.5 بشكل كبير على كل من T5 وPlanSimp في مقياس LENS، حيث تفوقا على المرجع القائم على التخطيط بأكثر من 20 نقطة.
المقايضات: لوحظت مقايضة واضحة بين سهولة القراءة والحفاظ على الدلالة. فبينما حسنت EGP باستمرار المقاييس الموجهة نحو الدلالة (BERTScore، LENS)، إلا أنها لم تحقق دائمًا أكبر المكاسب في مقاييس سهولة القراءة (FKGL، FRE). يبدو أن الأمثلة المسترجعة تشجع عمليات التبسيط "المحافظة" التي تظل أقرب إلى بنية المستند الأصلي ومعناه، مما يعطي الأولوية للأمانة على حساب التقليل العنيف لسهولة القراءة.
الأهمية والمساهمات
يقدم البحث ثلاث مساهمات رئيسية:
اقتراح EGP: تقديم التوجيه القائم على الأمثلة كنهج جديد للعمل أثناء الاستدلال لتبسيط النصوص على مستوى المستند. وخلافًا لتقنية RAG التقليدية التي توفر التأسيس الواقعي، تستخدم EGP الاسترجاع لتوفير توجيه التحويل، مما يمكّن النماذج اللغوية الكبيرة من استغلال أنماط التبسيط دون الحاجة إلى ضبط دقيق خاص بالمهمة.
التحقق التجريبي: إثبات أن EGP يعزز باستمرار التوليد القائم على التوجيه فقط عبر العديد من النماذج اللغوية الكبيرة الحديثة. وتظهر النتائج أن هذا النهج القائم على الاسترجاع يمكن أن يحقق أداءً منافسًا أو متفوقًا على الأنظمة المتخصصة (T5) أو الأنظمة القائمة على التخطيط (PlanSimp)، رغم عدم اشتراطه لبيانات تدريب خاصة بمهمة التبسيط.
تحليل اعتماد النموذج: تحديد أن فعالية التوجيه القائم على الأمثلة تعتمد بشكل كبير على النموذج اللغوي الكبير الأساسي. وتوضح الدراسة أن التكامل الناجح للأمثلة المسترجعة ليس مضمونًا؛ فهو يعتمد على قدرة النموذج المحددة على استخدام المعلومات السياقية أثناء التوليد. ويشير هذا الاكتشاف إلى أن جودة الاسترجاع وحدها ليست كافية، ويشير إلى العوامل المعمارية أو خصائص التدريب كعوامل حاسمة للبحوث المستقبلية.
يخلص المؤلفون إلى أن الأمثلة المسترجعة تعمل كآلية فعالة للتحكم في توليد النصوص من خلال توجيه التحويل. وهذا المنظور يتجاوز تبسيط النصوص، ومن المحتمل أن ينطبق على مهام التوليد المتحكم بها الأخرى حيث توضح الأمثلة التحولات المرغوبة بدلاً من توفير معلومات واقعية.
القيود
يقر المؤلفون بعدة قيود:
نطاق مجموعة البيانات: اقتصرت التجارب على مجموعة بيانات OneStopEnglish (أخبار تعليمية باللغة الإنجليزية)، ولا يزال تعميم النتائج على مجالات أو لغات أو أساليب أخرى غير مؤكد.
مقاييس التقييم: الاعتماد على المقاييس الآلية (SARI، BERTScore، إلخ) والتي قد لا تلتقط تمامًا الأحكام البشرية المتعلقة بالتماسك، أو الاتساق الواقعي، أو ملاءمة الجمهور.
تكوين الاسترجاع: استخدمت الدراسة تكوين استرجاع واحد ومجموعة بيانات واحدة. وقد تؤثر الاختلافات في استراتيجيات الاسترجاع، أو أحجام المجموعات، أو مقاييس التشابه على النتائج.
تباين النماذج: يشير الانخفاض الكبير في الأداء الملاحظ في Llama 3.2 إلى أن الطريقة ليست فعالة عالميًا عبر جميع بنيات النماذج اللغوية الكبيرة، مما يستدعي مزيدًا من البحث حول سبب دمج بعض النماذج للأمثلة بشكل أفضل من غيرها.