🤖 AI

TATRA: Training-Free Instance-Adaptive Prompting Through Rephrasing and Aggregation

تُعد TATRA طريقةً للتلقين (prompting) لا تتطلب تدريباً ولا بيانات، حيث تقوم ببناء أمثلة قليلة التخصيص لكل حالة من خلال إعادة الصياغة والتجميع الفوري، محققةً أداءً هو الأفضل في مجاله (state-of-the-art) في اختبارات الاستدلال والتصنيف دون الحاجة إلى تحسين خاص بالمهمة أو بيانات مصنفة.

المؤلفون الأصليون: Bartosz Dziuba, Kacper Kuchta, Paweł Batorski, Przemysław Spurek, Paul Swoboda

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bartosz Dziuba, Kacper Kuchta, Paweł Batorski, Przemysław Spurek, Paul Swoboda

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول الحصول على أفضل إجابة ممكنة من أمين مكتبة ذكي جداً، ولكنه متقلب المزاج قليلاً (وهو النموذج اللغوي الكبير أو LLM). تسأله سؤالاً، فيعطيك إجابة رائعة. ولكن إذا سألت نفس السؤال تماماً مع تغيير بسيط في الصياغة — مثل استبدال كلمة "سعيد" بكلمة "مبتهج" — فقد يعطيك فجأة إجابة مختلفة تماماً وأسوأ.

هذه هي المشكلة التي يحلها بحث TATRA. إنه يشبه "المترجم السحري" الذي يساعدك على الحصول على أفضل إجابة من أمين المكتبة دون الحاجة إلى توظيف فريق من المحررين أو دراسة مكتبة من الأسئلة السابقة أولاً.

إليك كيف يعمل TATRA، مقسماً إلى تشبيهات بسيطة:

1. المشكلة: أمين المكتبة حساس

تحاول معظم الأساليب الحالية إصلاح أمين المكتبة عبر دراسة آلاف الأسئلة الماضية (مجموعة بيانات تدريبية) لإيجال "الطريقة المثالية الوحيدة" لطرح السؤال.

الطريقة القديمة: تخيل استئجار فريق من الباحثين لقراءة 10,000 كتاب فقط لمعرفة الجملة المثالية للسؤال عن "التفاح". وبمجرد أن يجدوا تلك الجملة، يستخدمونها لكل سؤال يتعلق بالتفاح.
العيب: إذا لم تكن تملك تلك الـ 10,000 كتاب (بيانات مصنفة)، أو إذا احتجت للسؤال عن "البرتقال" غداً، فسيتعين عليك بدء عملية البحث بأكملها من جديد. إنها عملية بطيئة، مكلفة، وغير مرنة.

2. حل TATRA: نهج "التمويل الجماعي"

يقول TATRA: "لماذا نحتاج إلى مكتبة من الأسئلة الماضية؟ دعونا نطلب من أمين المكتبة مساعدتنا في طرح السؤال بشكل أفضل، الآن!"

يفعل ذلك عبر ثلاث خطوات ذكية، تشبه لعبة "التليفون المقطوع" ولكن مع لمسة خاصة:

الخطوة أ: ممثل "الارتجال" (توليد الأمثلة)

بدلاً من البحث عن أمثلة في كتاب، يطلب TATRA من النموذج اللغوي الكبير أن يرتجل بعض الأمثلة في اللحظة ذاتها.

التشبيه: تخيل أنك بحاجة لشرح "ما هو القط" لأمين المكتبة. بدلاً من قراءة قاموس، تسأل أمين المكتبة: "مهلاً، هل يمكنك تأليف ثلاث قصص قصيرة عن القطط الآن؟". سيقوم أمين المكتبة بإنشاء هذه القصص فوراً. ثم يستخدم TATRA هذه القصص الجديدة والمبتكرة كـ "ورقة غش" لمساعدة أمين المكتبة على فهم ما تريده.

الخطوة ب: لعبة "إعادة الصياغة" (الترادف)

يعرف TATRA أن أمين المكتبة حساس تجاه الصياغة. لذا، يأخذ سؤالك الأصلي ويطلب من النموذج اللغوي إعادة كتابته بـ 10 طرق مختلفة، مثل لعبة "قلها بطريقة أخرى".

التشبيه: تسأل: "هل هذا الفيلم جيد؟"
- النسخة 1: "هل استمتعت بهذا الفيلم؟"
- النسخة 2: "هل كان هذا العمل السينمائي ناجحاً؟"
- النسخة 3: "كيف تقيم هذه التجربة السينمائية؟"
- ... وهكذا.
  هذا يضمن أنه إذا ارتبك أمين المكتبة بسبب صياغة معينة، فإن نسخة أخرى قد تكون هي المفتاح.

الخطوة ج: "صندوق الاقتراع" (التجميع)

الآن، يقوم TATRA بتشغيل كل هذه النسخ المختلفة (السؤال الأصلي + الـ 10 إعادة صياغات) عبر أمين المكتبة، باستخدام "ورقة الغش" المرتجلة.

التشبيه: تخيل أن لديك 11 شخصاً مختلفاً (السؤال الأصلي + 10 إعادة صياغات) يسألون أمين المكتبة نفس السؤال. سيعطي أمين المكتبة 11 إجابة. ثم يقوم TATRA بإجراء تصويت. إذا قال 9 أشخاص "نعم، الفيلم جيد"، وقال 2 "لا"، فإن TATRA يتجاهل الشخصين المختلفين ويعطيك إجابة "نعم".

لماذا يعد هذا أمراً هاماً؟

لا يتطلب واجباً منزلياً (خالٍ من التدريب): لا تحتاج إلى مجموعة بيانات من الأمثلة المصنفة. يمكنك التوجه إلى أمين المكتبة مع أي مهمة جديدة (مثل "تشخيص هذا المرض النادر" أو "حل هذه المسألة الرياضية") وسيقوم TATRA ببناء السياق في اللحظة ذاتها.
ليس "مقاساً واحداً للجميع" (متكيف مع الحالة): الأساليب القديمة تنشئ "مطالبة" (Prompt) مثالية واحدة لمهمة كاملة. أما TATRA فينشئ مطالبة مخصصة لكل سؤال تطرحه. إنه يشبه امتلاك خياط شخصي لكل زيّ ترتديه، بدلاً من شراء بدلة واحدة تناسب الجميع.
المتانة: نظرًا لأنه يصوت على العديد من الصياغات المختلفة، فلا يهم إذا كان أمين المكتبة يمر بـ "يوم سيء" مع هيكل جملة معين؛ فالتصويت بالأغلبية يقلل من حدة الأخطاء.

الخلاصة

فكر في TATRA كـ شريك محادثة ذكي وذاتي التصحيح. بدلاً من محاولة إيجاد السؤال المثالي مرة واحدة وإلى الأبد، فإنه يطرح السؤال بطرق عديدة، ويخلق أمثلته الخاصة لتوضيح السياق، ويستمع إلى أغلبية الإجابات ليعطيك النتيجة الأكثر موثوقية.

إنه يثبت أنك لست بحاجة إلى مكتبة ضخمة من البيانات الماضية للحصول على نتائج رائعة؛ بل تحتاج فقط إلى طريقة ذكية لطرح السؤال الآن.

إليك ملخص تقني مفصل لورقة البحث بعنوان "TATRA: التلقين المتكيف مع الحالات عبر إعادة الصياغة والتجميع بدون تدريب".

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة (LLMs) تحسينات كبيرة في المحاذاة، ومع ذلك لا يزال أداؤها حساسًا للغاية لصياغة التلقين (Prompt). يمكن للتغييرات الطفيفة في اختيار الألفاظ، أو التنسيق، أو الترتيب —مع الحفاظ على المعنى الدلالي— أن تسبب تقلبات حادة في الأداء.
تحاول طرق هندسة التلقين الآلية (APE) الحالية التخفيف من ذلك، لكنها تعاني من ثلاثة عيوب رئيسية:

الاعتماد على البيانات: تتطلب معظم هذه الطرق مجموعة بيانات تدريبية مصنفة خاصة بالمهمة لتحسين التلقينات.
التحسين الاستاتيكي (الثابت): تعمل عادةً عبر حلقات تحسين مكلفة ومتكررة لإنتاج تلقين واحد على مستوى مجموعة البيانات، والذي يُعاد استخدامه لجميع المدخلات.
الافتقار إلى القدرة على التكيف: يجب إعادة تشغيلها من البداية لكل مهمة جديدة، وهي لا تتكيف مع حالات المدخلات الفردية.

يرى المؤلفون أن النموذج الحالي المتمثل في البحث عن تلقين "مثالي" واحد لمجموعة بيانات كاملة هو نموذج غير أمثل مقارنة ببناء تلقينات فعالة ومحددة لكل حالة (instance) بشكل فوري.

2. المنهجية: TATRA

TATRA (التلقين المتكيف مع الحالات عبر إعادة الصياغة والتجميع بدون تدريب) هو طريقة تلقين خالية من الحاجة لمجموعات بيانات، تقوم ببناء تلقينات قليلة الأمثلة (few-shot) محددة لكل حالة دون الحاجة إلى أي بيانات تدريب مصنفة أو تحسين قائم على التدرج (gradient-based optimization).

يتكون خط العمل من خمسة مكونات أساسية يتم تنفيذها بشكل مستقل لكل حالة اختبار:

تعليمات النظام (System Instruction): يقدم المستخدم تعليمات رفيعة المستوى توضح المهمة، والمخرجات المسموح بها، والسلوك المتوقع.
توليد الأمثلة داخل السياق (In-Context Example Generation):
- بدلاً من استرجاع الأمثلة من مجموعة تدريب، يستخدم TATRA نموذج لغوي (المولد - Generator) لتخليق مجموعة صغيرة من $k$ من الأمثلة قليلة الأمثلة بشكل فوري.
- يتم توجيه المولد لإنشاء أمثلة متوازنة عبر تسميات المهمة، مع الالتزام بقواعد تنسيق صارمة وقيود أسلوبية (مثل صفات محددة للمشاعر للعلامات الإيجابية والسلبية).
- يتم تصفية الأمثلة المولدة لإزالة الأخطاء (مثل عدم تطابق العلامات).
إعادة صياغة المدخلات (Input Paraphrasing):
- للحماية من التباين اللغوي وهشاشة التلقين، يتم إعادة صياغة المدخل الاختبار $x$ عدد $n$ من المرات بواسطة نموذج لغوي لإعادة الصياغة.
- تحافظ هذه الصياغات على المعنى الدلالي والمعلومات الحرجة للمهمة (مثل القيم الرياضية أو المشاعر) مع تغيير الصياغة السطحية.
- ينشئ هذا مجموعة مرشحة $C(x) = \{x, x^{(p)}_1, \dots, x^{(p)}_n\}$ .
تقييم التلقين (Prompt Evaluation):
- يقوم نموذج لغوي مجمد (المقيم - Evaluator) بتقييم المدخل الأصلي وجميع $n$ من الصياغات باستخدام الأمثلة المولدة وتعليمات النظام.
- تُكرر هذه العملية $r$ من المرات (تشغيلات مستقلة) لجمع تنبؤات متنوعة.
التجميع (التصويت بالأغلبية - Aggregation):
- يتم تحديد التنبؤ النهائي عبر التصويت بالأغلبية غير الموزون على جميع التنبؤات البالغ عددها $(n+1) \times r$ .
- في حالة التعادل، يتم اختيار التنبؤ الناتج عن المدخل الأصلي (غير المعاد صياغته).

التمييز الجوهري: على عكس الطرق التي تعمل على تحسين تلقين واحد لمجموعة بيانات، يقوم TATRA بتوليد تلقين فريد (بما في ذلك الأمثلة) لكل عينة مدخلات، مما يجعله "لكل عينة" و"خالٍ من التدريب" حقاً.

3. المساهمات الرئيسية

خالٍ من مجموعات البيانات ومن التدريب: يعد TATRA أول طريقة في مجموعة المقارنة الخاصة به تكون في آن واحد خالية من مجموعات البيانات (لا تتطلب بيانات مصنفة) وخالية من التدريب (لا تتطلب تعلم تعزيزي أو تحسين التدرج)، ومع ذلك يدعم التلقين قليل الأمثلة.
البناء المتكيف مع الحالة: يثبت أن تخليق الأمثلة داخل السياق بشكل فوري لكل مدخل محدد هو أكثر فعالية من تشغيل حلقات تحسين طويلة للعثور على تلقين استاتيكي واحد.
المتانة عبر إعادة الصياغة: من خلال تجميع التنبؤات عبر عدة صياغات وأمثلة تخليقية، يقلل TATRA بشكل كبير من الحساسية تجاه صياغة التلقين والتباينات السطحية.
التعميم عبر النماذج: يفصل المنهج بين مولد الأمثلة والمقيم، مما يظهر أن الأمثلة التخليقية المولدة من عائلة نماذج واحدة (مثل Llama) يمكن أن تعزز بفعالية أداء عائلة أخرى (مثل Qwen).

4. النتائج التجريبية

قام المؤلفون بتقييم TATRA على ثلاث فئات من المعايكات، ومقارنته بقواعد قوية مثل APE و APO و PRL و GPS و PIAST.

تصنيف النصوص:
- تم التقييم على 7 مجموعات بيانات (SST-2, CR, MR, SST-5, AG's News, TREC, SUBJ).
- النتيجة: حقق TATRA أفضل متوسط دقة (84.19%) عبر جميع مجموعات البيانات، متفوقاً على الطرق التي تعتمد على بيانات التدريب (مثل APO و PRL و PIAST).
- مكاسب ملحوظة: +7 نقاط في TREC مقارنة بأقوى المنافسين.
الاستدلال الرياضي:
- تم التقيים على GSM8K و DeepMath و MATH500.
- النتيجة: حقق TATRA أداءً رائداً (SOTA) في GSM8K (94.67%) و DeepMath (27.43%)، متفوقاً على الطرق التي تعمل على تحسين التلقينات صراحة لهذه المهام (مثل GPS و PRL).
- في MATH500 (خارج نطاق التوزيع)، ظل TATRA منافساً (42.47%)، متفوقاً على قواعد تحسين التعليمات.
المهام المتخصصة في المجال:
- تم التقييم على MedQA (الأسئلة الطبية). على الرغم من عدم امتلاك TATRA لبيانات تدريب خاصة بـ MedQA (على عكس GPS الذي تم تدريبه عليها)، ظل TATRA منافساً لقواعد تحسين التعليمات، مما يثبت قابلية نقل أمثلته التخليقية.
دراسات الاستئصال (Ablation Studies):
- التوسع (Scaling): يتوسع الأداء إيجابياً مع حجم نموذج المقيم (3B $\to$ 14B).
- عبر النماذج: استخدام مولد أضعف (Llama-8B) مع مقيم أقوى (Qwen-7B) أعطى نتائج أفضل من استخدام نفس النموذج لكليهما، مما يشير إلى أن الأمثلة التخليقية فعالة عالمياً.
- المعلمات الفائقة (Hyperparameters): المنهج قوي تجاه الاختلافات في عدد الأمثلة ( $k$ ) وعدد الصياغات ( $n$ )، حيث تم العثور على أفضل المقايضات عند $k=16$ و $n=10$ للتشغيلات القياسية.

5. الأهمية والخاتمة

يتحدى TATRA الافتراض السائد في هندسة التلقين الآلية بأن الوصول إلى مجموعة بيانات تدريب مصنفة ضروري لتحقيق أداء عالٍ. من خلال تحويل التركال من التحسين على مستوى مجموعة البيانات إلى التخليق على مستوى الحالة الواحدة، يوضح المؤلفون أن:

التعلم قليل الأمثلة التخليقي: يمكن للنماذج اللغوية الكبيرة توليد أمثلة عالية الجودة وذات صلة بالمهمة دون بيانات حقيقية (ground truth).
تقليل التباين: يعد تجميع التنبؤات عبر الصياغات والتشغيلات المتعددة آلية قوية لتقليل التباين وتثبيت مخرجات النماذج اللغوية الكبيرة دون الحاجة للتدريب.
العملية: بالنسبة للتطبيقات الواقعية حيث تكون البيانات المصنفة نادرة أو غير موجودة (المهام الآنية)، يوفر TATRA حلاً قوياً وسهل الاستخدام يضاهي أو يتجاوز أداء طرق التحسين المعقدة التي تتطلب الكثير من البيانات.

تخلص الورقة إلى أن "البناء لكل حالة من الأمثلة الفعالة داخل السياق" هو عامل أكثر حسمًا للمتانة من "حلقات التحسين الطويلة والمكلفة" المستخدمة في الطرق الحالية المتطورة.