🤖 AI

Boosting In-Context Learning in LLMs Through the Lens of Classical Supervised Learning

تقدم هذه الورقة البحثية "المعايرة الخاضعة للإشراف" (Supervised Calibration - SC)، وهي إطار عمل لتقليل الخسارة يعمل على تعزيز التعلم في السياق (In-Context Learning) في النماذج اللغوية الكبيرة من خلال تعلم تحويلات تآلفية مثلى لكل فئة لتصحيح الانحيازات المنهجية وتغيير اتجاهات حدود القرار، مما يحقق أداءً رائدًا عبر نماذج وبيانات متعددة.

المؤلفون الأصليون: Korel Gundem, Juncheng Dong, Dennis Zhang, Vahid Tarokh, Zhengling Qi

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Korel Gundem, Juncheng Dong, Dennis Zhang, Vahid Tarokh, Zhengling Qi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً ومطلعاً (وهو النموذج اللغوي الكبير أو LLM) لم يزر بلدتك من قبل. تريد منه مساعدتك في فرز مجموعة من الرسائل إلى فئات: "سعيد"، "حزين"، أو "غاضب".

لتعليمه، لا تعطيه كتاباً مدرسياً. بدلاً من ذلك، تعرض عليه بضعة أمثلة فقط في تلك اللحظة: "هذه رسالة عن جرو، إنها سعيدة. وهذه رسالة عن لعبة مكسورة، إنها حزينة". هذا ما يسمى التعلم في السياق (In-Context Learning - ICL). أمين المكتبة ذكي بما يكفي لتخمين النمط وفرز بقية الرسائل.

ومع ذلك، هناك مشكلة. أحياناً، يرتبك أمين المكتبة بسبب كيفية عرضك للأمثلة. ربما تحمس كثيراً لأمثلة "السعادة" وبدأ يطلق عليها "سعيدة" حتى لو كانت حزينة. أو ربما ارتبك بسبب ترتيب الرسائل التي عرضتها. تصبح توقعاته منحازة وغير مستقرة.

الطريقة القديمة: مجرد تحريك خط المرمى

في السابق، حاول الباحثون إصلاح ذلك باستخدام تقنية تسمى معايرة الهامش للعلامات (Label Marginal Calibration).

التشبيه: تخيل أمين المكتبة واقفاً عند خط النهاية (حد القرار) وهو يحاول التقاط الرسائل. إذا كان يلتقط الكثير من رسائل "السعادة"، فإن الطريقة القديمة تخبره ببساطة: "مهلاً، حرك خط النهاية قليلاً إلى اليسار لتمسك برسائل "سعادة" أقل".

العيب: هذه الطريقة تعمل فقط إذا كان أمين المكتبة صحيحاً في معظم الأحيان ولكنه متحمس أكثر من اللازم. ولكن ماذا لو كان أمين المكتبة مخطئاً تماماً؟ ماذا لو كان يعتقد أن "الحزن" هو في الواقع "سعادة"؟ مجرد تحريك الخط لن يساعد. إنه بحاجة إلى الالتفاف والوقوف في الاتجاه الآخر. الطرق القديمة لم تستطع فعل ذلك؛ كان بإمكانها فقط إزاحة الخط، وليس قلب منظور أمين المكتبكة بالكامل.

الطريقة الجديدة: المعايرة الخاضعة للإشراف (Supervised Calibration - SC)

تقدم هذه الورقة البحثية طريقة جديدة تسمى المعايرة الخاضعة للإشراف (SC). بدلاً من مجرد إخبار أمين المكتبة بتحريك الخط، تعمل SC كـ مدرب ذكي يعيد تدريب عقل أمين المكتبة باستخدام الأمثلة التي قدمتها له بالفعل.

إليك كيف يعمل الأمر، مقسماً إلى خطوات بسيطة:

1. لعبة التدريب "النيابية"

يدرك المدرب أنه لا يمكنه طلب مساعدة خارجية من أمين المكتبة (لا يُسمح ببيانات جديدة). لذا، ينشئ لعبة تدريب باستخدام الأمثلة التي قدمتها بالفعل.

يأخذ الأمثلة التي قدمتها، ويخفي واحداً منها، ثم يطلب من أمين المكتبة تخمين هذا المثال باستخدام الأمثلة الأخرى.
بما أن أمين المكتبة يعرف الإجابة (لأنها كانت موجودة في قائمتك الأصلية)، يمكنه التحقق مما إذا كان تخمينه صحيحاً أم لا.
هذا يخلق مجموعة بيانات مصغرة من "التخمين مقابل الواقع" في تلك اللحظة.

2. تعديل "القلب والإمالة"

الآن، ينظر المدرب إلى أخطاء أمين المكتبة.

الإزاحة (The Shift): إذا كان أمين المكتبة مندفعاً جداً، يقوم المدرب بتعديل الأساس (التحيز).
القلب (الجزء السحري): إذا كان أمين المكتبة مقلوباً تماماً (يعتقد أن الحزن = سعادة)، يمكن للمدرب قلب حد القرار. يمكنه القول: "في الواقع، لهذه المهمة المحددة، عندما تكون الإشارة عالية، فهذا يعني 'حزين'، وليس 'سعيد'".
المقياس (The Scale): يمكنه أيضاً مط أو تقليص ثقة أمين المكتبة. إذا كان أمين المكتبة مفرط الثقة، يخبره المدرب بأن يكون أكثر تواضعاً.

هذا يشبه امتلاك مدرب لا يمكنه فقط تحريك خط المرمى، بل يمكنه أيضاً إخبار اللاعب بالركض في الاتجاه المعاكس إذا كان يركض في الاتجاه الخاطئ!

3. شبكات الأمان (التنظيم - Regularization)

بما أن أمين المكتبة يرى فقط بضعة أمثلة، فقد يصبح واثقاً جداً في قواعده الجديدة والغريبة. لمنع ذلك، يضيف المدرب قاعدتي أمان:

ثبات السياق (Context Invariance): يتحقق المدرب: "هل يعطي أمين المكتبة نفس الإجابة إذا قمنا بخلط ترتيب الأمثلة؟". إذا تغيرت الإجابة بشكل كبير، يقول المدرب: "اهدأ، كن متسقاً".
منطقة الثقة (Trust Region): يقول المدرب: "لا تغير رأيك بشكل جذري إلا إذا كنت متأكداً". هذا يمنع أمين المكتبة من المبالغة في رد الفعل تجاه مثال واحد غريب.

لماذا يهم هذا؟

اختبرت الورقة البحثية هذا "المدرب" (SC) على ثلاثة أنواع مختلفة من أمناء المكتبات (LLMs) وتسع مهام فرز مختلفة.

النتيجة: تفوقت طريقة SC باستمرار على الطرق القديمة.
لحظة "الذهول": في مهمة صعبة تسمى SST-5 (فرز مراجعات الأفلام إلى 5 فئات)، كان أمناء المكتبة القدامى يصيبون بنسبة 25% فقط. رفعت طريقة SC هذه النسبة إلى 44%.
كيف؟ في تلك الحالة المحددة، كان أمين المكتبة مرتبكاً لدرجة أنه كان يخمن بشكل عكسي تقريباً. أدركت طريقة SC ذلك، وقلبت حد القرار، وفجأة بدأ أمين المكتبة يصيب في توقعاته.

الملخص

فكر في التعلم في السياق كطلب مساعدة من صديق ذكي للعب لعبة جديدة عبر إظهار بضعة أمثلة له.

الإصلاح القديم: "مهلاً، أنت تخمن 'أ' كثيراً، خمن 'ب' أكثر قليلاً". (يعدل التحيز فقط).
الإصلاح الجديد (SC): "انتظر، أنت تلعب اللعبة بشكل معكوس! دعنا نقلب استراتيجيتك، ونعدل ثقتك، ونتأكد من أنك لا ترتبك بسبب ترتيب البطاقات".

تسمح هذه الإطار الجديد لنماذج الذكاء الاصطناعي بأن تكون أكثر قوة، واستقراراً، ودقة، حتى عندما يتم إعطاؤها أمثلة قليلة جداً للتعلم منها. إنها تحول "لعبة التخمين" إلى "استراتيجية مبدئية".

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تعزيز التعلم في السياق (In-Context Learning) في النماذج اللغوية الكبيرة من خلال منظور التعلم الخاضع للإشراف الكلاسيكي."

1. بيان المشكلة

تمتلك النماذج اللغوية الكبيرة (LLMs) قدرات قوية في التعلم في السياق (ICL)، مما يسمح لها بالتكيف مع مهام جديدة باستخدام أمثلة قليلة. ومع ذلك، غالبًا ما تعاني تنبؤات الـ ICL من تحيزات نظامية (مثل تحيز الأغلبية في التسميات، وتحيز الحداثة، والحساسية للقوالب)، مما يؤدي إلى عدم استقرار وعدم دقة في أداء التصنيف.

تحاول طرق المعايرة الحالية، والتي تعتمد أساسًا على هوامش التسميات (Label-Marginal - LM) (مثل المعايرة السياقية، والمعايرة بالدفعات)، تصحيح هذه التحيزات عن طريق تقدير المسبق الداخلي للنموذج وتعديل الاحتمالات. وقد حدد المؤلفون قصورًا نظريًا حاسمًا في هذه الطرق:

محدودية الإزاحة فقط (The Shift-Only Limitation): في مساحة الـ "لوجيت" (logit space)، تُعد طرق الـ LM مكافئة رياضيًا لـ إزاحة حد القرار (إضافة حد انحياز) دون تغيير اتجاهه.
النتيجة: إذا كان النموذج الأساسي غير متوافق بشدة (على سبيل المثال، يتنبأ باتجاه الفئة الخاطئة باستمرار)، فإن إزاحة العتبة لا يمكنها إصلاح الخطأ. في الحالات القصوى، أقصى ما يمكن أن تحققه هذه الطرق هو التخمين العشوائي، حتى لو كان النموذج الأساسي خاطئًا بشكل منهجي. وتبرز هذه المشكلة بشكل خاص في مهام التصنيف متعدد الفئات حيث يمكن أن يكون دقة النموذج الأساسي منخفضة جدًا (مثل 22% في SST-5).

2. المنهجية: المعايرة الخاضعة للإشراف (Supervised Calibration - SC)

يقترح المؤلفون المعايرة الخاضعة للإشراف (SC)، وهو إطار عمل يعامل معايرة الـ ICL كمسألة تعلم خاضع للإشراف كلاسيكية. بدلاً من مجرد إزاحة الـ "لوجيت"، تتعلم الـ SC تحويلًا تآلفيًا (affine transformation) مثاليًا (قياس وإزاحة) للاحتمالات التنبؤية للنموذج اللغوي الكبير.

المكونات الأساسية:

تقريب الـ "لوجيت" التآلفي (Affine-Logit Approximation):
- تقوم الـ SC بنمذجة الـ $L^*_c(x)$ الحقيقي كتحويل تآلفي لـ $m_c(x)$ الخاص بالنموذج الأساسي:
  $L_c(x; \theta_c) = w_c \cdot m_c(x) + b_c$
- هنا، $b_c$ هو حد الانحياز (إزاحة الحد)، و $w_c$ هو عامل القياس (scaling factor).
- الابتكار الرئيسي: يسمح عامل القياس $w_c$ للنموذج بـ إعادة توجيه حد القرار. إذا كان $w_c$ سالبًا، فإن النموذج يقوم فعليًا بقلب اتجاه التنبؤ، مما يصحح الحالات التي يكون فيها النموذج الأساسي خاطئًا بشكل منهجي.
توليد البيانات البديلة (Leave-Subset-Out):
- نظرًا لعدم توفر بيانات خارجية مصنفة في بيئة الـ ICL الصرفة، تقوم الـ SC بتوليد مجموعة بيانات تدريب بديلة مباشرة من أمثلة السياق المقدمة ( $C_k$ ).
- باستخدام استراتيجية استبعاد المجموعات الفرعية (leave-subset-out)، تكرر الطريقة عبر مجموعات فرعية من السياق لإنشاء أزواج تدريب: (لوجيتات النموذج اللغوي المستمدة من سياق فرعي، والتسمية الحقيقية من المثال المستبعد). وهذا يسمح بتدريب نموذج المعايرة دون الحاجة لبيانات خارجية.
استراتيجيات التنظيم (Regularization Strategies):
لمعالجة التباين العالي المتأصل في التعلم من أمثلة قليلة وحساسية الـ ICL لترتيب السياق، قدمت الـ SC نوعين من المنظمات الجديدة:
- منظم ثبات السياق (Context-Invariance Regularizer): يشجع التنبؤات المعايرة على البقاء متسقة بغض النظر عن الترتيب أو التكوين المحدد للسياق الفرعي المستخدم لتوليد الـ "لوجيتات". ويتم تحقيق ذلك عن طريق تقليل الإنتروبيا المتقاطعة المتماثلة بين التنبؤات من سياقات فرعية مختلفة.
- منظم منطقة الثقة الاتجاهية (Directional Trust-Region Regularizer): يقيد المعلمات المتعلمة ( $w_c, b_c$ ) للبقاء ضمن "منطقة ثقة" تتماشى مع الاتجاه الأصلي للنموذج اللغوي الكبير. هذا يمنع التصحيح المفرط (الإفراط في التخصيص للضوضاء) عندما يكون النموذج الأساسي موثوقًا بالفعل، بينما يسمح بتصحيح هجومي عندما يكون النموذج الأساسي ضعيفًا.
التجميع (Ensembling):
يجمع التنبؤ النهائي النتائج من عدة معايرات تم تدريبها على أحجام سياق مختلفة وعينات سياق فرعي متعددة، مما يحسن الاستقرار والمتانة بشكل أكبر.

3. المساهمات الرئيسية

التوحيد والنظرة العامة: تقدم الورقة إطارًا موحدًا يوضح أن طرق الـ LM الحالية هي حالات خاصة من الـ SC (حيث يتم تثبيت عامل القيست $w_c$ عند 1). وتعمم الـ SC هذه الطرق من خلال تعلم كل من الانحياز والقياس.
إعادة توجيه حد القرار: على عكس العمل السابق، يمكن لـ SC قلب حد القرار (عبر عوامل قياس سالبة)، مما يمكنها من تصحيح النماذج اللغوية الكبيرة غير المتوافقة بشدة حيث تفشل عملية إزاحة العتبة البسيطة.
التنظيم المبتكر: إن تقديم منظمات ثبات السياق ومنطقة الثقة الاتجاهية يعالج تحديدًا عدم الاستقرار وطبيعة ندرة البيانات في الـ ICL.
التدريب البديل: طريقة لتوليد بيانات التدريب للمعايرة باستخدام أمثلة السياق المتوفرة فقط، مما يلغي الحاجة إلى مجموعات بيانات خارجية.

4. النتائج التجريبية

قيم المؤلفون الـ SC على 9 مجموعات بيانات (بما في ذلك SST-5، وAGNews، وTREC) باستخدام 3 نماذج لغوية كبيرة (Mistral-7B، وLlama-2-7B، وQwen2-7B) في إعدادات 4-shot، و8-shot، و16-shot.

أداء رائد (State-of-the-Art): تفوقت الـ SC باستمرار على جميع النماذج المرجعية (Base LLM، وContextual Calibration، وDomain-Context Calibration، وBatch Calibration) من حيث مقياس Macro-F1 والدقة.
- متوسط الربح: حققت الـ SC متوسط ربح مطلق قدره +11.1% فوق النموذج الأساسي و +7.1% فوق أقوى طريقة منافسة (Batch Calibration).
- اختراق محدد: في مجموعة بيانات SST-5 (مهمة تحليل مشاعر صعبة مكونة من 5 فئات) مع نموذج Qwen2-7B في إعداد 8-shot، حقق النموذج الأساسي دقة تقارب 24%. رفعت الـ SC هذه الدقة إلى 44%، أي ما يقرب من مضاعفة الأداء.
التحقق من الآلية: أكد تحليل المعلمات المتعلمة أن الـ SC نجحت في تعلم عوامل قياس سالبة (على سبيل المثال، $w \approx -0.19$ ) لفئات معينة، مما أدى فعليًا إلى عكس اتجاه حد القرار لتصحيح الأخطاء النظامية للنموذج الأساسي.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة عامل القياس (تثبيت $w=1$ ) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة إعادة التوجيه.
- أظهرت كلتا الطريقتين التنظيميتين (منطقة الثقة والثبات) أنهما مكملتان لبعضهما البعض وضروريتان للأداء الأمثل.
القابلية للتوسع: توسعت الطريقة بفعالية مع النماذج الأكبر (LLaMA-13B)، مع الحفاظ على المكاسب أو تحسينها مع زيادة سعة النموذج.

5. الأهمية

تغير هذه الورقة بشكل جذري نموذج معايرة الـ ICL من التعديل الاحتمالي (إزاحة المسبقات) إلى التقريب الوظيفي الخاضع للإشراف (تعلم التحويلات التآلفية).

المتانة: تعالج مشكلة "هشاشة" الـ ICL عندما يكون النموذج الأساسي غير متوافق مع المهمة، وهو سيناريو فشلت فيه الطرق السابقة.
الكفاءة: تحقق هذه المكاسب دون الحاجة إلى ضبط دقيق (fine-tuning) أو بيانات خارجية مصنفة، معتمدة فقط على السياق المقدم.
الأثر العملي: من خلال تمكين النماذج اللغوية الكبيرة من تصحيح أخطائها النظامية في إعدادات التعلم من أمثلة قليلة، تجعل الـ SC عملية الـ ICL أكثر موثوقية للتطبيقات الواقعية حيث يكون جمع مجموعات بيانات ضخمة مصنفة أمرًا مكلفًا أو مستحيلاً.

باختصار، تقدم المعايرة الخاضعة للإشراف (Supervised Calibration) حلاً ذا أسس نظرية وفعالية عالية للتحيزات النظامية في النماذج اللغوية الكبيرة، مستفيدة من مبادئ التعلم الخاضع للإشراف الكلاسيكي لإطلاق الإمكانات الكاملة للتعلم في السياق.