💬 NLP

An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages

تثبت هذه الورقة تجريبيًا أن التعلم داخل السياق متعدد الأمثلة (many-shot in-context learning) يحسن الترجمة الآلية للغات ذات الموارد المنخفضة بشكل كبير، حيث يوفر استرجاع الأمثلة القائم على خوارزمية BM25 مكاسب جوهرية في كفاءة البيانات من خلال مضاهاة أداء مجموعات أمثلة أكبر بكثير غير مسترجعة.

المؤلفون الأصليون: Yinhan Lu, Gaganpreet Jhajj, Chen Zhang, Anietie Andy, David Ifeoluwa Adelani

نُشر 2026-04-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yinhan Lu, Gaganpreet Jhajj, Chen Zhang, Anietie Andy, David Ifeoluwa Adelani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طباخ بارع ولكنه غير متمرس (نموذج لغوي كبير) كيفية طهي طبق محدد ونادر من قرية نائية لم يسبق له رؤيتها من قبل. هذه القرية تتحدث لغة لا يعرفها الطباخ، ولا توجد كتب طبخ مكتوبة بتلك اللغة.

هذه الورقة البحثية تدور حول كيفية تعليم هذا الطباخ باستخدام الأمثلة بدلاً من كتاب مدرسي كامل. أراد الباحثون معرفة ما إذا كان إعطاء الطباخ مزيدًا ومزيدًا من الأمثلة (مثل إظهار 1,000 وصفة مختلفة له) سيساعده على الطبخ بشكل أفضل، وكيفية القيام بذلك دون استهلاك ثروة من الكهرباء.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. المشكلة: "المطبخ الفارغ"

معظم نماذج الذكاء الاصطناي يتم تدريبها على "الإنترنت"، وهو مليء باللغات الإنجليزية والفرنسية والصينية، ولكنه فقير جدًا في لغات مثل أنانج (Anaang)، أو إيفيك (Efik)، أو تمازيغت. الأمر يشبه أن يكون لدى الطباخ مكتبة ضخمة من كتب الطبخ الفرنسية ولكن صفر من الكتب حول كيفية إعداد الأطببة النيجيرية أو الكيتشوا (Quechua). عندما تطلب من الطباخ ترجمة هذه اللغات، فإنه عادة ما يخمن بشكل سيئ.

2. الحل: التعلم بـ "العديد من الأمثلة" (Many-Shot Learning)

بدلاً من مجرد عرض مثال واحد أو اثنين للطباخ (وهو ما يسمى "التعلم بالقليل من الأمثلة" أو few-shot)، حاول الباحثون عرض مئات أو حتى آلاف الأمثلة عليه مباشرة قبل طلب الترجمة منه.

التشبيه: تخيل أنك تحاول تعلم لهجة جديدة. إذا همس شخص ما بجملة واحدة في أذنك، فقد تخطئ فيها. ولكن إذا جلست في غرفة بها 1,000 شخص يتحدثون تلك اللهجة، فستبدأ في التقاط الإيقاع، والمصطلحات، والقواعد بشكل طبيعي.
النتيجة: وجدت الورقة البحثية أن المزيد من الأمثلة = طبخ أفضل. ومع زيادة عدد الأمثلة من 1 إلى 1,000، تحسنت جودة ترجمة الذكاء الاصطناعي بشكل ملحوظ، وفي بعض الأحيان تضاعفت دقتها.

3. العقبة: "البوفيه الباهظ"

هناك مشكلة في عرض 1,000 مثال: وهو أنها مكلفة وبطيئة.

التشبيه: تخيل أن على الطباخ قراءة 1,000 بطاقة وصفة قبل طهي وجبة واحدة. يستغرق ذلك وقتًا طويلاً، وتكلفة الورق باهظة جدًا. بالنسبة للمجتمعات الصغيرة، هذا "البوفيه" باهظ الثمن للغاية.

4. الخدعة السحرية: "أمين المكتبة الذكي" (BM25)

سأل الباحثون: هل نحتاج حقًا لعرض 1,000 وصفة عشوائية على الطباخ؟ أم يمكننا فقط عرض أفضل 50 وصفة؟

استخدموا أداة بحث بسيطة تسمى BM25 (فكر فيها كـ أمين مكتبة ذكي). بدلاً من تسليم الطباخ كومة عشوائية من 1,000 بطاقة، يقوم أمين المكتبة بالنظر في الطبق المحدد الذي تريد طبخه ويجد أكثر 50 وصفة مشابهة من تلك الكومة.

النتيجة: كان هذا نقطة تحول جذري.
- 50 مثالاً تم اختيارها بذكاء عملت بنفس كفاءة 250 مثالاً عشوائياً.
- 250 مثالاً تم اختيارها بذكاء عملت بنفس كفاءة 1,000 مثال عشوائي.
لماذا هذا مهم: ستحصل على نفس الترجمة عالية الجودة ولكن باستخدام أقل من ربع (4 إلى 10 مرات أقل) من قدرة الحوسبة. إنه يشبه الحصول على وجبة فاخرة دون الحاجة لقراءة المكتبة بأكملها.

5. اختبار "كتاب الطبخ الأجنبي" (اختلاف المجال)

اختبر الباحثون أيضًا ما إذا كان نوع المثال يهم. استخدموا أمثلة من ويكيبيديا (مواضيع يومية) مقابل أمثلة من الكتاب المقدس (نصوص دينية).

التشبيه: إذا كنت تريد تعلم كيفية طلب الطعام في مطعم، فإن قراءة كتاب طبخ أمر جيد. أما قراءة نص ديني فقد يساعدك في بعض الكلمات، لكنه لن يعلمك كيفية طلب برجر.
النتيجة: بشكل عام، كانت أمثلة ويكيبيديا أفضل لأنها تطابقت مع الطبيعة "اليومية" للاختبار. ومع ذلك، بالنسبة لبعض اللغات، كانت أمثلة الكتاب المقدس مفيدة بشكل مثير للدهشة. الأمر يشبه القول: "إذا لم يكن لديك قائمة طعام للمطعم، فإن النص الديني أفضل من لا شيء!"

6. "ترتيب البطاقات" (التعلم المنهجي)

تساءلوا عما إذا كان ترتيب الأمثلة يهم. هل يجب عليك عرض أسهل الوصفات للطباخ أولاً، ثم الصعبة؟ أم الصعبة أولاً؟

النتيجة: لم يكن الأمر مهمًا حقًا. سواء تم ترتيب الأمثلة حسب الطول أو تم خلطها عشوائيًا، فقد قدم الطباخ نفس الأداء. محتوى الأمثلة كان أكثر أهمية بكثير من الترتيب.

الخلاصة الكبرى

تثبت هذه الورقة أنه بالنسبة للغات التي يتجاهلها الذكاء الاصطناعي عادةً، فإن إعطاء الذكاء الاصطناعي كمية هائلة من السياق يساعده على التعلم.

ومع ذلك، لست بحاجة لتزويده بـ كل شيء. إذا استخدمت أداة بحث بسيطة لاختيار الأمثلة الأكثر صلة، يمكنك الحصول على نفس النتائج الرائعة بتكلفة أقل بكثير. وهذا يجعل من الممكن للمجتمعات ذات الموارد المحدودة استخدام تقنيات الذكاء الاصطناعي المتقدمة دون الحاجة إلى ميزانية حاسوب خارق.

باختاً: لتعليم الذكاء الاصطناي لغة نادرة، لا تلقِ به فقط في آلاف الكتب العشوائية. وظّف أمين مكتبة ذكي ليختار أفضل 50 كتابًا، وسيقوم الذكاء الاصطناعي بطهي ترجمة مثالية.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "دراسة تجريبية للتعلم داخل السياق متعدد الأمثلة لترجمة اللغات ذات الموارد المنخفضة."

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات قوية في معالجة اللغات الطبيعية، لا سيال عبر التعلم داخل السياق (ICL)، حيث تتكيف النماذج مع المهام باستخدام أمثلة قليلة (few-shot). ومع ذلك، لا يزال الأداء بالنسبة للغات ذات الموارد المنخفضة (LRLs) دون المستوى الأمثل بسبب محدودية التمثيل أثناء مرحلة ما قبل التدريب.

بينما أظهر أسلوب "الأمثلة المتعددة" (many-shot prompting) الأخير (باستخدام مئات أو آلاف الأمثلة) وعوداً في رفع مستوى الأداء، فإنه يواجه تحديين حرجين لمجتمعات اللغات ذات الموارد المنخفضة:

تكلفة الاستدلال: معالجة آلاف الأمثلة لكل استعلام هي عملية مكلفة حوسبياً وغالباً ما تكون تعجيزية لمجتمعات الموارد المنخفضة.
اختيار الأمثلة: من غير الواضح كيفية اختيار الأمثلة بكفاءة من مجموعات كبيرة لتعظيم الأداء دون تحمل التكلفة الكاملة لأخذ العينات العشوائية على نطاق واسع.
تأثيرات النطاق والترتيب: تأثير البيانات الخارجة عن النطاق (مثل النصوص الدينية مقابل ويكيبيديا) وتأثير ترتيب الأمثلة (مثل من القصير إلى الطويل) على توسيع نطاق الأمثلة المتعددة ليس مفهوماً بشكل جيد للغات ذات الموارد المنخفضة للغاية.

2. المنهجية

أجرى المؤلفون دراسة تجريبية منهجية ركزت على 10 لغات ذات موارد منخفضة حقاً تمت إضافتها مؤخراً إلى معيار FLORES+. وتشمل هذه اللغات لغات نيجيرية (Anaang، Efik، Ibibio، Oro)، والعربية السودانية، والإميكوا (Emakhuwa)، واللادين (Ladin)، وكيريول موريشيوس (Mauritian Creole)، والتامازيغت، والكيوتشوا (Quechua).

الإعداد التجريبي:

النماذج: تم التقييم على أربعة نماذج لغوية كبيرة: Gemini 2.5 Flash، و GPT-4.1، و Llama 3.3 70B، و Gemma 3 27B.
المهمة: الترجمة الآلية في اتجاهين: من الإنجليزية إلى اللغة ذات المورد المنخفض (eng $\to$ X) ومن اللغة ذات المورد المنخفض إلى الإنجليزية (X $\to$ eng).
توسيع عدد الأمثلة (Shot Scaling): تم اختبار $k \in \{0, 1, 5, 10, 25, 50, 100, 250, 500, 1000\}$ مثالاً لكل مطالبة (prompt).
المقاييس: التقييم الأساسي باستخدام chrF++ (درجة n-gram للحروف)، مع استخدام spBLEU كمقياس ثانوي.

ثلاث تجارب أساسية:

تحليل التوسع: قياس مكاسب الأداء مع زيادة عدد الأمثلة المختارة عشوائياً من 0 إلى 1,000 مثال.
اختيار الأمثلة: مقارنة أخذ العينات العشوائي مقابل استرجاع BM25 (بناءً على تشابه نص المصدر الإنجليزي) لتحديد ما إذا كان بإمكان عدد أقل من الأمثلة عالية الجودة مضاهاة أداء العديد من الأمثلة العشوائية.
النطاق والترتيب:
- عدم تطابق النطاق: مقارنة الأمثلة داخل النطاق (ويكيبيديا) مع الأمثلة خارج النطاق (ترجمات الكتاب المقدس) للغات التي تتوفر لها بيانات الكتاب المقدس.
- الترتيب: اختبار ما إذا كان فرز الأمثلة حسب الطول (من القصير إلى الطويل مقابل من الطويل إلى القصير) يؤثر على جودة الترجمة، مستلهمين ذلك من التعلم المنهجي (curriculum learning).

3. المساهمات الرئيسية

دراسة منهجية للأمثلة المتعددة للغات ذات الموارد المنخفضة: تعد هذه واحدة من أولى الدراسات الشاملة التي تطبق التعلم داخل السياق متعدد الأمثلة (حتى 1,000 مثال) خصيصاً للغات ذات الموارد المنخفضة للغاية، متجاوزة قيود الأمثلة القليلة التقليدية (أقل من 20 مثالاً).
كفاءة البيانات عبر الاسترجاع: أثبتت الدراسة أن الاسترجاع القائم على BM25 يحسن كفاءة البيانات بشكل كبير. وتوضح الدراسة أن 50 مثالاً مسترجعاً عبر BM25 تؤدي تقريباً نفس أداء 250 مثالاً مختاراً عشوائياً، وأن 250 مثالاً من نوع BM25 تضاهي 1,000 مثال عشوائي.
رؤى النطاق: قدمت أدلة تجريبية على أنه بينما تعتبر البيانات داخل النطاق متفوقة بشكل عام، فإن البيانات خارج النطاق (مثل النصوص الدينية) يمكن أن تحقق مكاسب كبيرة لبعض اللغات ذات الموارد المنخفضة عندما تكون البيانات داخل النطاق شحيحة.
عدم أهمية الترتيب: وجدت الدراسة أن ترتيب الأمثلة (الفرز بناءً على الطول) له تأثير ضئيل على أداء الأمثلة المتعددة، مما يشير إلى أن الصلة الدلالية (عبر الاسترجاع) أكثر أهمية من الترتيب الهيكلي.

4. النتائج الرئيسية

أ. تأثيرات التوسع

مكاسب الأداء: يتحسن الأداء عموماً بشكل خطي لوغاريتمي مع زيادة عدد الأمثلة.
الاتجاهية: المكاسب أكبر بكثير في اتجاه eng $\to$ X (الترجمة إلى اللغات ذات الموارد المنخفضة) مقارنة باتجاه X $\to$ eng. بالنسبة لـ eng $\to$ X، شهدت بعض اللغات زيادة في الأداء بأكثر من الضعف (على سبيل المثال، شهدت التامازيغت زيادة قدرها +35.6 في chrF++ من 0 إلى 1,000 مثال).
الاختلاف بين النماذج: تفوقت النماذج المملوكة (Gemini 2.5 Flash، GPT-4.1) باستمرار على النماذج مفتوحة الأوزان (Llama 3.3، Gemma 3) في إعدادات الأمثلة المتعددة. غالباً ما فشلت النماذج مفتوحة الأوزان أو تراجع أداؤها عند $k=500$ أو $k=1000$ بسبب قيود نافذة السياق وضعف اتباع التعليمات مع السياق الضخم.

ب. اختيار الأمثلة (BM25 مقابل العشوائي)

تفوق الاسترجاع: تفوق الاسترجاع القائم على BM25 في جانب المصدر الإنجليزي باستمرار على الاختيار العشوائي، خاصة عند أعداد الأمثلة المنخفضة ( $k=5$ إلى $k=50$ ).
تقليل التكلفة: تشير نتائج "التكافؤ" (50 BM25 $\approx$ 250 عشوائي؛ 250 BM25 $\approx$ 1,000 عشوائي) إلى أنه يمكن للمجتمعات تحقيق أداء عالٍ بتكلفة استدلال أقل بكثير من خلال استخدام طرق استرجاع بسيطة.

ج. النطاق والترتيب

النطاق: توسعت الأمثلة داخل النطاق (ويكيبيديا) بشكل أفضل عموماً من الأمثلة خارج النطاق (الكتاب المقدس). ومع ذلك، بالنسبة للغات مثل Efik وIbibio، قدمت بيانات الكتاب المقدس نتائج تنافسية أو متفوقة، مما يشير إلى أن البيانات خارج النطاق هي بديل قابل للتطبيق عند عدم توفر البيانات داخل النطاق.
الترتيب: لم يظهر فرز الأمثلة حسب الطول (من القصير إلى الطويل أو من الطويل إلى القصير) أي تأثير معتبر على جودة الترجمة مقارنة بالترتيب العشوائي أو الافتراضي.

5. الأهمية والآثار المترتبة

القابلية للتوسع العملي: توفر النتائج خارطة طريق لمجتمعات اللغات ذات الموارد المنخفضة للاستفادة من النماذج اللغوية الكبيرة دون تكاليف باهظة. من خلال استخدام الاسترجاع البسيط (BM25) لاختيار مجموعة فرعية أصغر من الأمثلة، يمكن لهذه المجتمعات تحقيق أداء يقارب أداء المطالبات الضخمة ذات الأمثلة العشوائية.
تخصيص الموارد: تسلط الدراسة الضوء على أنه بالنسبة للغات ذات الموارد المنخفضة، فإن جودة المثال (الصلة) أكثر أهمية من مجرد الكمية بمجرد الوصول إلى حد معين.
القيود والعمل المستقبلي: أشار المؤلفون إلى أن الدراسة اعتمدت على أزواج ترجمة متمحورة حول الإنجليزية ومقاييس تلقائية (chrF++)، والتي قد تكون أقل موثوقية للغات ذات الموارد المنخفضة. كما أكدوا على التكلفة العالية لرسوم واجهة برمجة التطبيقات (أكثر من 30,000 دولار) المطلوبة للدراسة، مما يبرز الحاجة لتجاوز حاجز إعادة الإنتاج للباحثين في مجال الموارد المنخفضة.

في الختام، تؤكد الورقة أن التعلم داخل السياق متعدد الأمثلة فعال للغاية للترجمة الآلية للغات ذات الموارد المنخفضة، بشرط استخدام اختيار الأمثلة القائم على الاسترجاع لتحسين المقايضة بين الأداء وتكلفة الاستدلال.