💬 NLP

Self-Improving In-Context Learning

تقترح هذه الورقة طريقة لمعايرة وقت الاختبار للتعلم داخل السياق، تعمل على تحسين تضمينات المطالبات المستمرة من خلال تعظيم مؤشر ثقة ذاتي التوجيه مستمد من الاحتمالات اللوغاريتمية للنموذج، مما يؤدي إلى تحسين الأداء في كل من مهام التصنيف والتوليد دون الحاجة إلى الضبط الدقيق، أو توليد الرموز، أو بيانات خارجية.

المؤلفون الأصليون: Baturay Saglam, Dionysis Kalogerias

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Baturay Saglam, Dionysis Kalogerias

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً ولكنه متوتر قليلاً (وهو نموذج الذكاء الاصطناعي) يجلس أمام اختبار. يعطي المعلم الطالب بعض المسائل الأمثلة وإجاباتها (تسمى "نماذج توضيحية") مباشرة قبل السؤال الحقيقي. من المفترض أن ينظر الطالب إلى هذه الأمثلة، ويكتشف النمط، ثم يحل المسألة الجديدة. وهذا ما يسمى "التعلم في السياق" (In-Context Learning).

المشكلة هي أن هذا الطالب هش للغاية؛ فإذا قمت بتغيير ترتيب الأمثلة، أو إذا كُتبت الأمثلة بطريقة ركيكة قليلاً، فقد يرتبك الطالب ويفشل، حتى لو كان يعرف الإجابة.

تقترح هذه الورقة البحثية حيلة ذكية لمساعدة الطالب على الأداء بشكل أفضل قبل بدء الاختبار مباشرة، دون تعليمه أي شيء جديد أو تغيير دماغه.

الفكرة الجوهرية: ضبط "الحالة الذهنية"

عادةً، عندما نريد تحسين أداء الذكاء الاصطناعي، فإننا نقوم بأحد أمرين:

نعلمه حقائق جديدة (الضبط الدقيق - Fine-tuning): مثل إعطاء الطالب كتاباً مدرسياً جديداً بالكامل.
نختار أمثلة أفضل (الاختيار - Selection): مثل البحث عن مسائل تدريبية مثالية.
نعيد ترتيب الأمثلة (الترتيب - Ordering): مثل ترتيب المسائل التدريبية بترتيب أكثر منطقية.

لكن هذه الورقة تفعل شيئاً مختلفاً. فهي لا تتعامل مع "المطالبة" (Prompt) -أي الأمثلة- كنص ثابت، بل كـ "حالة شعورية" أو "جو عام" مستمر يشعر به الذكاء الاصطناعي. فكر في المطالبة كتردد راديو؛ النص الذي تقرأه هو مجرد الملصق الموجود على قرص الضبط، لكن الذكاء الاصطناعي في الواقع "يسمع" التشويش وقوة الإشارة (التمثيل الرياضي - Embedding) الكامنة تحت ذلك.

أدرك المؤلفون أنه حتى قبل أن يحاول الذكنا الاصطناعي الإجابة على السؤال الجديد، فإنه قد "فكر" بالفعل في الأمثلة؛ حيث قام بتخصيص درجة ثقة لإجاباته الخاصة على تلك الأمثلة.

حيلة "التحسين الذاتي"

إليك التشبيه لخطوات منهجيتهم:

الفحص الصامت: ينظر الذكاء الاصطناعي إلى الأمثلة ويهمس لنفسه: "لو كنت سأجيب على هذه الأمثلة، ما مدى ثقتي بنفسي؟". هو لا يكتب الإجابات فعلياً، بل يتحقق فقط من ثقته الداخلية.
"الدفعة": يستخدم الباحثون أداة رياضية (تسمى التحسين من الدرجة صفر - Zeroth-Order Optimization) لتدفع "قرص الراديو" (التمثيل الرياضي للمطالبة) برفق شديد. يسألون: "إذا حركت القرص قليلاً جهة اليسار، هل سيشعر الذكاء الاصطناعي بثقة أكبر تجاه الأمثلة؟ ماذا عن جهة اليمين؟".
التسلق: يستمرون في دفع القرص في الاتجاه الذي يجعل الذكاء الاصطناعي يشعر بمزيد من الثقة تجاه الأمثلة. إنهم يقولون له أساساً: "يا ذكاء اصطناعي، عدّل تركيزك قليلاً بحيث تصبح هذه الأمثلة أكثر وضوحاً بالنسبة لك".
النتيجة: بمجرد أن يشعر الذكاء الاصطناعي بالثقة القصوى تجاه الأمثلة، يطرحون عليه السؤال الحقيقي. ولأن الذكاء الاصطناعي أصبح الآن "مضبوطاً" بشكل أفضل على النمط، فإنه يحل المسألة الجديدة بدقة أكبر.

لماذا هذا الأمر مميز؟

تسلط الورقة الضوء على ثلاث قدرات خارقة لهذه الطريقة:

لا حاجة لمعرفة جديدة: هم لا يحتاجون لإعادة تدريب الذكاء الاصطناعي أو تغذيته ببيانات جديدة، بل يقومون فقط بتعديل "إعدادات" المطالبة الحالية.
تعمل مع كل شيء: معظم الطرق السابقة كانت تعمل فقط مع أسئلة الاختيار من متعدد (مثل "هل هذا صحيح أم خطأ؟"). أما هذه الطريقة فتعمل أيضاً مع الكتابة الحرة. سواء كان المطلوب من الذكاء الاصطناعي اختيار حرف أو كتابة قصيدة، فإن هذا "الضبط" يساعده.
التحقق الذاتي: تستخدم الطريقة "درجة الثقة" الخاصة بالذكاء الاصطناعي كدليل. الأمر يشبه طالباً يخوض اختباراً تجريبياً، فيدرك أنه مهزوز في بعض المفاهيم، فيقوم بتعديل تركيزه ذهنياً حتى يبدو الاختبار التجريبي سهلاً. وبمجرد أن يصبح التدريب سهلاً، يتجه نحو الاختبار الحقيقي.

النتائج

اختبر الباحثون هذه الطريقة في مجموعة متنوعة من المهام الصعبة، من نسخ الأنماط إلى حل الألغاز المنطقية.

النتيجة: أدى الذكاء الاصطناعي "المضبوط" دائماً تقريباً إلى أداء يماثل أو يتفوق على أداء الذكاء الاصطناعي الأصلي.
الدليل: وجدوا رابطاً مباشراً: كلما ارتفعت "درجة الثقة" للذكاء الاصطناعي في الأمثلة، ارتفعت أيضاً درجته في الاختبار الفعلي. وهذا يثبت أن الطريقة ليست مجرد تخمين، بل إنها تساعد الذكاء الاصطناعي فعلياً على فهم المهمة بشكل أفضل.

باختصار

تخيل أنك تحاول ضبط راديو قديم لالتقاط محطة ضعيفة الإشارة. لا يمكنك تغيير المحطة نفسها، ولا يمكنك إضافة مكبرات صوت جديدة. ولكن يمكنك تدوير قرص الضبط (التمثيل الرياضي للمطالبة) حتى يختفي التشويش وتصبح الموسيقى (النمط) واضحة تماماً.

هذه الورقة تمنحنا طريقة لإيجاد ذلك "التدوير" المثالي للذكاء الاصطناعي تلقائياً، مما يجعله أكثر ذكاءً في اتباع التعليمات دون الحاجة أبداً للعودة إلى المدرسة.

ملخص تقني: التعلم داخل السياق ذاتي التحسين

بيان المشكلة

يتيح التعلم داخل السياق (ICL) للنماذج اللغوية الكبيرة (LLMs) أداء مهام جديدة من خلال التكيّف مع مطالبة (prompt) قليلة الأمثلة دون تحديث معاملات النموذج. ومع ذلك، فإن هذه القدرة هشة للغاية؛ حيث يتأثر الأداء بشدة باختيار الأمثلة، وتنسيقها، وترتيبها. تندرج طرق التحسين الحالية في وقت الاختبار ضمن ثلاث فئات عامة: اختيار الأمثلة، وترتيب الأمثلة، ومعايرة المخرجات. تشترك هذه النهج في قيود هيكلية: فهي غالبًا ما تعمل على قرارات منفصلة على مستوى المطالبة، أو تتطلب مجموعة تسمية محددة مسبقًا (مما يقيدها بمهام التصنيف)، أو تعتمد على بيانات خارجية وداخليات النموذج. بناءً على ذلك، هناك نقص في طرق المعايرة العامة في وقت الاختبار التي يمكنها تحسين التعلم داخل السياق لكل من مهام التصنيف والإنشاء الحر دون الحاجة إلى ضبط دقيق (finetuning) أو موارد خارجية.

المنهجية

يعالج الأسلوب المقترح، التعلم داخل السياق ذاتي التحسين (Self-Improving In-Context Learning)، هذه القيود من خلال تحسين التضمينات المستمرة (continuous embeddings) لمطالبة ثابتة قليلة الأمثلة في وقت الاختبار. وتتمثل الاستراتيجية الجوهرية في التعامل مع المطالبة كصندوق أسود وتعديل مصفوفة تضمينها بشكل تكراري لتعظيم مؤشر ثقة ذاتي التوجيه مستمد بالكامل من تنبؤات النموذج نفسه.

1. إشارة التحسين (مؤشر الثقة)

يعتمد الأسلوب على ملاحظة أن الاحتمالات اللوغاريتمية التي يخصصها النموذج لمخرجاته الموضحة (والتي يمكن الحصول عليها عبر تمريرة أمامية واحدة باستخدام التوجيه للمعلم - teacher-forced forward pass - دون توليد الرموز) توفر إشارة ذات معنى لجودة استدلال المهمة. يتم صياغة هذه الإشارة كمؤشر عددي محدود $f(X)$ ، حيث $X$ هي مصفوفة تضمين المطالبة. والمؤشر هو عبارة عن مزيج خطي موزون من ثلاثة مكونات:

الثقة التنبؤية المطلقة ( $\bar{C}$ ): متوسط متوسط هندسي معياري الطول للاحتمالات الرمزية عبر جميع نطاقات المخرجات الموضحة. يضمن هذا القابلية للمقارنة عبر التسميات ذات الأطوال المختلفة.
المتانة المجمعة ( $R$ ): مقياس لهشاشة الذيل. بدلاً من الاعتماد فقط على المتوسط، يحسب هذا المكون مئينيًا ثابتًا (مثل المئين العاشر) لجميع احتمالات الرموز الحقيقية عبر جميع الأمثلة الموضحة. وهذا يعاقب الحالات التي قد تبدو فيها التسمية واثقة في المتوسط ولكنها تحتوي على رموز متطرفة ذات احتمالية منخفضة.
كسب المعلومات ( $G$ ): مقياس للتحسن التدريجي. يتتبع ما إذا كانت ثقة النموذج تزداد مع معالجة الأمثلة اللاحقة، مما يعكس الطبيعة التسلسلية للاستدلال الذاتي التكراري للمهمة.

يتم تعريف المؤشر النهائي كالتالي: $f(X) = \alpha\bar{C}(X) + \beta R(X) + \gamma G(X)$ ، مع أوزان مجموعها 1.

2. التحسين من الدرجة الصفرية (Zeroth-Order Optimization)

بما أن المؤشر غير سلس (non-smooth) وأن الانتشار العكسي (backpropagation) عبر النموذج مكلف للغاية في وقت الاختبار، يستخدم الأسلوب التحسين من الدرجة الصفرية (تحديدًا التنعيم الغاوسي - Gaussian smoothing) لتقدير تدرج المؤشر بالنسبة لتضمينات المدخلات.

العملية: يقدر الخوارزمية التدرج من خلال تقييم المؤشر على التضمينات الحالية وعلى التضمينات المضطربة بواسطة ضوضاء عشوائية مأخوذة من توزيع غاوسي.
القيود: لمنع التضمينات من الانحراف إلى مناطق خارج التوزيع (out-of-distribution)، يستخدم الأسلوب:
- تقليم التدرج (Gradient Clipping): للحد من التحديثات الكبيرة.
- قيد تشابه جيب التمام (Cosine Similarity Constraint): لضمان بقاء التضمينات المحدثة قريبة اتجاهيًا من الأصل.
- بوابة المؤشر الأولية: يتم تخطي التحسين إذا كانت قيمة المؤشر الأولية منخفضة جدًا، لأن إشارة التدرج تكون مسطحة أسيًا بالقرب من الصفر.
النطاق: تقتصر الاضطرابات على منطقة الأمثلة الموضحة في المطالبة؛ ولا يتم اضطراب رموز الاستعلام (query tokens)، لأن احتمالاتها اللوغاريتمية ليست جزءًا من حساب المؤشر بموجب الانتباه السببي (causal attention).

3. المعايرة في وقت الاختبار

الإجراء بالكامل قابل للتطبيق المباشر (plug-and-play). فهو لا يتطلب الوصول إلى معاملات النموذج، ولا بيانات خارجية، ولا مجموعة تسمية محددة مسبقًا، ولا توليد رموز أثناء مرحلة التحسين. إنه يعمل فقط على تضمينات المدخلات والاحتمالات اللوغاريتمية للنموذج.

المساهمات الرئيسية

التدخل في فضاء التضمين: يقترح البحث استراتيجية مختلفة جوهريًا عن هندسة المطالبات المنفصلة من خلال التدخل مباشرة في مصفوفة تضمين المطالبة المستمرة، مما يعيد تشكيل توزيع المخرجات مع الحفاظ على المدخلات القابلة للقراءة البشرية.
مؤشر مستقل عن المهمة: مؤشر الثقة المقترح قابل للتطبيق على كل من مهام التصنيف والإنشاء الحر، مما يتجاوز القيد الهيكلي للنماذج المرجعية التي تتطلب مجموعات تسمية محدودة.
ως إشارة ذاتية التوجيه: يستمد الأسلوب إشارة التحسين الخاصة به حصريًا من تنبؤات النموذج على الأمثلة المقدمة، مما لا يتطلب تسميات حقيقية للاستعلام أو معلم خارجي (oracle).
كفاءة الدرجة الصفرية: باستخدام التحسين من الدرجة الصفرية، يتجنب الأسلብ التكلفة الحسابية للانتشار العكسي والعبء الذاكري لتخزين التدرجات، مما يجعله قابلاً للتطبيق في وقت الاختبار على النماذج الكبيرة.

النتائج التجريبية

تم تقييم الطريقة باستخدام ICLEval، وهو معيار مصمم لعزل قدرة التعلم داخل السياق (ICL) عن المعرفة المسبقة باستخدام سلاسل هاش (hash strings) ومهام تعلم القواعد. شمل التقييم 12 مهمة (النسخ الدقيق وتعلم القواعد) عبر ثلاثة نماذج: Llama 3.1-8B، وQwen3-4B، وGemma 2-2B.

الأداء: طابقت الطली المقترحة النموذج الأساسي أو حسنته باستمرار عبر جميع المهام والنماذج، ولم تتسبب أبدًا في أي تراجع.
- Llama 3.1-8B: تحسنت دقة المتوسط من 0.67 إلى 0.71 (+6.0%).
- Qwen3-4B: تحسنت دقة المتوسط من 0.65 إلى 0.72 (+10.8%).
- Gemma 2-2B: تحسنت دقة المتوسط من 0.45 إلى 0.48 (+6.7%).
الدلالة الإحصائية: أكدت اختبارات McNemar أحادية الجانب وجود تحسينات ذات دلالة إحصائية لجميع النماذج الثلاثة ( $p < 0.05$ ).
المقارنة مع النماذج المرجعية: في الجزء الخاص بالتصنيف، تفوق الأسلوب أو كافأ النماذج المرجعية المخصصة للتصنيف (مثل Contextual Calibration، وDC-PMI، وDEmO) في معظم المهام، رغم عمله بدون مساحة تسمية محددة مسبقًا.
الارتباط بين المؤشر والأداء: وُجد ارتباط إيجابي ذو دلالة إحصائية بين التحسن في قيمة المؤشر وزيادة الدقة اللاحقة عبر المهام، مما يؤكد أن المؤشر يمثل إشارة تحسين موثوقة.

الأهمية والادعاءات

يدعي البحث أن الطريقة المقترحة تثبت أن الاحتمالات اللوغاريتمية للأمثلة الموضحة تشكل سطح تحسين موثوق للتعلم داخل السياق. إن اتجاه الصعود في هذا السطح يتوافق مع الأداء اللاحق، مما يشير إلى أن ثقة النموذج الداخلية على أمثلته الخاصة هي إشارة كافية للتحسين الذاتي.

يؤكد المؤلفون أن هذا النهج متعامد (orthogonal) مع العائلات الموجودة لتحسين التعلم داخل السياق (الاختيار، الترتيب، المعايرة) ويمكن دمجه معها. تكمن أهمية الطريقة في قدرتها على تحسين موثوقية التعلم داخل السياق دون:

الضبط الدقيق لمعاملات النموذج.
توليد الرموز أثناء مرحلة المعايرة.
الحاجة إلى مجموعة تسمية محددة مسبقًا (مما يسمح بالتطبيق على الإنشاء الحر).
الوصول إلى بيانات خارجية أو داخليات النموذج بخلاف طبقة التضمين.

يشير العمل إلى أن معايرة التضمين في وقت الاختبار هي آلية قابلة للتطبيق وعامة لتعزيز متانة التعلم داخل السياق عبر أنواع المهام ومقاييس النماذج المتنوعة.