🤖 AI

In-Context Examples Suppress Scientific Knowledge Recall in LLMs

تُظهر هذه الورقة أن إضافة أمثلة ضمن السياق إلى النماذج اللغوية الكبيرة يمكن أن يثبط قدرتها على استرجاع وتطبيق المعرفة العلمية الكامنة، مما يجعلها تعتمد بدلاً من ذلك على ملاءمة الأنماط التجريبية حتى عندما تكون الأمثلة ناتجة عن الصيغ الأساسية الصحيحة.

المؤلفون الأصليون: Chaemin Jang, Woojin Park, Hyeok Yun, Dongman Lee, Jihee Kim

نُشر 2026-05-01

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Chaemin Jang, Woojin Park, Hyeok Yun, Dongman Lee, Jihee Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: عندما تجعلك الأمثلة تنسى ما تعرفه

تخيل أنك طالب عبقري حفظت قوانين الفيزياء، والكيمياء، والاقتصاد. أنت تعرف تماماً كيفية حل مسألة باستخدام الصيغ الصحيحة. ولكن بعد ذلك، يعطيك معلمك اختباراً بلمسة مختلفة: قبل أن تحل المسألة، يعرض عليك 10 أمثلة لمسائل مشابهة مع إجاباتها.

قد تظن: "رائع! هذه الأمثلة ستساعدني على تذكر القواعد بشكل أفضل".

لقد اكتشفت هذه الورقة البحثية أن العكس هو الصحيح. فعندما يرى الذكاء الاصطناعي (النماذج اللغوية الكبيرة) تلك الأمثلة، فإنه في الواقع يتوقف عن استخدام القوانين العلمية التي حفظها ويبدأ في التخمين بناءً على الأنماط الموجودة في الأمثلة. الأمر يشبه طباخاً ماهراً، بعد رؤية بضع صور لطبق ما، ينسى الوصفة ويحاول فقط تخمين المكونات بمجرد النظر إلى الصور.

يطلق المؤلفون على هذا اسم "إزاحة المعرفة" (Knowledge Displacement). فالأمثلة لا تعزز المعرفة، بل تزحزحها من مكانها.

الطريقتان اللتان يفكر بهما الذكاء الاصطناعي

تصف الورقة البحثية "نمطين" مختلفين يستخدمهما الذكاء الاصطناعي لحل المسائل العلمية:

"نمط الكتاب المدرسي" (القائم على المعرفة):
- كيف يعمل: يرى الذكاء الاصطناعي مسألة (مثل: "ما مدى سرعة تبريد هذا الجسم؟")، فيتعرف على الكلمات المفتاحية، ثم يستخرج الصيغة الصحيحة من ذاكرته (قانون نيوتن للتبريد). ثم يقوم بحساب الإجابة خطوة بخطوة باستخدام الرياضيات.
- التشبيه: هذا يشبه الميكانيكي الذي يسمع ضجيجاً غريباً في المحرك، فيعرف بالضبط الجزء المعطل بناءً على سنوات من التدريب، ويقوم بإصلاحه باستخدام الأداة المناسبة.
"نمط النمط" (القائم على الأمثلة):
- كيف يعمل: يتجاهل الذكاء الاصطناعي الصيغ الرياضية. بدلاً من ذلك، ينظر إلى الـ 10 أمثلة المقدمة في "المطالبة" (Prompt) ويحاول إيجاد اختصار أو اتجاه معين. يخمن الإجابة بقوله: "في الأمثلة، عندما ارتفع الرقم، انخفضت الإجابة، لذا سأفعل الشيء نفسه".
- التشبيه: هذا يشبه ميكانيكياً لم يدرس المحركات قط، لكنه ينظر إلى 10 صور لسيارات بأجزاء معطلة. يخمن الإصلاح بقوله: "في كل هذه الصور، كان الإطار فارغاً، لذا سأخمن فقط أن الإطار فارغ"، دون فهم لماذا يصدر المحرك ذلك الضجيج.

الاكتشاف: عندما تعطيه أمثلة (حتى لو كانت صحيحة)، فإنه ينتقل دائماً تقريباً من "نمط الكتاب المدرسي" إلى "نمط النمط". إنه يتوقف عن ممارسة العلم الحقيقي ويبدأ في ممارسة "مطابقة الأنماط".

المفاجأة: أحياناً يساعد، وأحياناً يضر

اختبر الباحثون هذا على 60 مسألة علمية مختلفة عبر خمسة مجالات: الاقتصاد، الكيمياء، الفيزياء، الأحياء، والعلوم الجيولوجية. ووجدوا أنه بينما كان الذكاء الاصطناعي ينتقل دائماً إلى "نمط النمط"، إلا أن النتيجة على الدرجة النهائية كانت مختلفة لكل مادة.

إليك كيف سارت الأمور:

حالة "الضرر" (الاقتصاد والكيمياء):
- ماذا حدث: كان الذكاء الاصطناعي يعرف الصيغ تماماً. وعندما عُرضت عليه الأمثلة، توقف عن استخدامها وبدأ في تخمين الأنماط.
- النتيجة: انخفضت الدرجة بشكل كبير.
- التشبيه: تخيل عبقري رياضيات يعرف جدول الضرب تماماً. إذا عرضت عليه بعض الأمثلة لـ $2 \times 2 = 4$ ، فقد يتوقف عن التفكير في "2 ضرب 2" ويبدأ في التخمين "ربما تكون 5؟" فقط لأن الأمثلة بدت بشكل معين. لقد أخطأ في الإجابة لأنه نسي القاعدة التي كان يعرفها بالفعل.
حالة "المساعدة" (العلوم الجيولوجية):
- ماذا حدث: كان الذكاء الاصطناعي يعرف الصيغة ولكنه كان سيئاً في تذكر الأرقام المحددة (مثل كثافة الصخور). كان يستمر في تخمين الأرقام الخاطئة. وعندما عُرضت عليه الأمثلة، توقف عن محاولة استرجاع الأرقام واكتفى بالنظر إلى الأنماط في الأمثلة لتخمين الإجابة.
- النتيجة: ارتفعت الدرجة.
- التشبيه: تخيل طالباً يعرف وصفة طبخ ولكنه ينسى دائماً كمية الملح التي يجب إضافتها. إذا عرضت عليه 10 صور للطبق النهائي، فقد يتوقف عن محاولة تذكر كمية الملح ويكتفي بتقليد الطعم من الصور. سيقدم طبقاً أفضل، لكنه لم يتعلم الوصفة فعلياً؛ لقد حالفه الحظ فقط مع النمط.
حالة "عدم التغيير" (الفيزياء والأحياء):
- ماذا حدث: انتقل الذكاء الاصطناعي بين الأنماط، لكن "نمط النمط" كان بنفس جودة "نمط الكتاب المدرسي" لهذه المسائل المحددة.
- النتيجة: بقيت الدرجة كما هي.
- التشبيه: الأمر يشبه قيادة السيارة. يمكنك القيادة باستخدام نظام تحديد المواقع (GPS) (نمط الكتاب المدرسي) أو باتباع سيارة صديقك (نمط النمط). إذا كان صديقك يقود بشكل مثالي، فستصل في نفس الوقت. لكنك لا تزال لا تستخدم الـ GPS بعد الآن.

لماذا يحدث هذا؟

وجدت الورقة البحثية أن "نمط الكتاب المدرسي" لدى الذكاء الاصطناعي هش للغاية، فهو يعتمد على الكلمات المفتاحية.

إذا قالت المسألة "فائض المستهلك" (Consumer Surplus)، يفكر الذكاء الاصطناعي في "صيغة اقتصادية".
إذا غيرت الكلمات إلى "موجة ألفا" (اسم وهمي لنفس المفهوم)، ينسى الذكاء الاصطناعي الصيغة تماماً.

ومع ذلك، فإن "نمط النمط" لا يهتم بالكلمات، بل ينظر فقط إلى الأرقام. لذا، عندما تعطي الذكما الاصطناعي أمثلة تحتوي على أرقام، فإنه ينتقل فوراً إلى نمط النمط لأنه أسهل، حتى لو كانت الأمثلة متوافقة تماماً مع القواعد التي يعرفها بالفعل.

التحذير الرئيسي للمستخدمين

تختتم الورقة البحثية بتحذير لأي شخص يستخدم الذكاء الاصطناعي في العلوم:

لا تفترض أن إعطاء الأمثلة للذكاء الاصطناعي سيساعده على استخدام معرفته.
في الواقع، قد يفعل العكس تماماً. قد يجعل الذكاء الاصطناعي يتوقف عن التفكير كعالم ويبدأ في التفكير كمخمن. أحياناً يحالف هذا المخمن الحظ ويحصل على درجة أفضل، ولكن غالباً ما يحصل على درجة أسوأ لأنه نسي القواعد التي كان من المفترض أن يعرفها.

باختصار: الأمثلة لم تعلم الذكاء الاصطناعي أي شيء جديد؛ بل جعلته فقط ينسى ما كان يعرفه بالفعل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الأمثلة داخل السياق تثبط استرجاع المعرفة العلمية في النماذج اللغوية الكبيرة (LLMs)".

1. بيان المشكلة

تتقصى هذه الورقة ظاهرة غير متوقعة في النماذج اللغوية الكبيرة (LLMs) عند تطبيقها على الاستدلال العلمي: التعلم داخل السياق (In-Context Learning - ICL) يمكن أن يثبط، بدلاً من أن يعزز، المعرفة العلمية المدربة مسبقاً في النموذج.

بينما يُستخدم التعلم داخل السياق على نطاق واسع لتحسين الأداء عبر تقديم أمثلة، تفترض المؤلفة أن المهام التي تتطلب استعادة البنية الكامنة (استنتاج المعلمات المخفية من البيانات قبل تطبيق قانون مجال معين) تؤدي إلى تغيير استراتيجية التفكير لدى النموذج. فبدلاً من استرجاع وتطبيق الصيغة العلمية الصحيحة من أوزانها المدربة مسبقاً (الاشتقاق القائم على المعرفة - Knowledge-Driven Derivation)، ينتقل النموذج نحو الملاءمة القائمة على الأمثلة (Example-Driven Fitting) (أي تقريب خرائط المدخلات والمخرجات عبر التعرف على الأنماط).

والأهم من ذلك، أن هذا التثبيط يحدث حتى عندما تكون الأمثلة المقدمة داخل السياق ناتجة عن نفس الصيغة العلمية التي يعرفها النموذج بالفعل، مما يعني عدم وجود تعارض بين الأمثلة والمعرفة المسبقة للنموذج.

2. المنهجية

بناء المعيار المرجعي (Benchmark)

قام المؤلفون ببناء معيار مرجعي متوازن الصعوبة يتكون من 60 مهمة لاستعادة البنية الكامنة عبر خمسة مجالات علمية:

المجالات: البيولوجيا، الكيمياء، الاقتصاد، الفيزياء، وعلوم الأرض (12 مهمة لكل مجال).
هيكل المهمة: تتبع كل مهمة بنية محددة: $X \to \Theta \to Y$ $X \to Θ \to Y$ .
- $X$ (الملاحظات): البيانات الخام المقدمة للنموذج.
- $\Theta$ (المتغيرات الكامنة): المعلمات المخفية (مثل ثوابت التفاعل، أو معاملات المرونة) التي يجب استنتاجها باستخدام قوانين المجال.
- $Y$ (الهدف): الكمية النهائية المراد حسابها باستخدام المعلمات المستنتجة.
التعقيد: تختلف المهام في عدد الملاحظات، والمتغيرات الكامنة، وتنسيقات المعادلات (خطية، غير خطية، كسرية، إلخ) لضمان أن النتائج ليست ناتجة عن أنواع معينة من المعادلات.

الإعداد التجريبي

النماذج: أُجريت التجارب على أربعة نماذج: GPT-5.2 (الأساسي)، Claude Sonnet 4.6، Llama 4 Maverick، وDeepSeek V3.2.
الحالات:
- الصفرية (Zero-Shot): يحل النموذج المهمة باستخدام "سلسلة الأفكار" (CoT) فقط دون أمثلة.
- الـ 10 أمثلة (10-Shot): يتم تزويد النموذج بـ 10 أزواج من (مدخل-مخرج) ناتجة عن نفس الصيغة الأساسية للحالة الاختبارية (دون تقديم الاشتقاقات الوسيطة).
تصنيف الاستراتيجية: يقوم مصنف آلي (تم التحقق منه بواسطة مقيمي بشر بنسبة اتفاق 98%) بتصنيف مسار "سلسلة الأفكار" (CoT) إلى ثلاثة أنماط:
1. البارامتري ( $S_{know}$ ): يسترجع صيغة مسمى ويشتق الإجابة جبرياً.
2. التجريبي ( $S_{emp}$ ): يطابق نمطاً مع الأمثلة دون استدعاء قوانين المجال.
3. الهجين (Hybrid): يستخدم صيغة ما ولكنه يعاير المعاملات بناءً على الأمثلة.

تحليلات إضافية

التمويه الدلالي (Semantic Decoy): استبدال المصطلحات الخاصة بالمجال (مثل "فائض المستهلك" $\to$ "غاما راد") لاختبار ما إذا كان استرجاع المعرفة يعتمد على الإشارات السطحية.
التمثيلات الداخلية: تحليل الحالات المخفية للنماذج مفتوحة المصدر (Qwen, Mistral, Llama) لمراقبة التحولات في فضاء التمثيل.
التدخلات: اختبار تقنيات التوجيه الهيكلي (مثل فرض إعلان الصيغة، أو التوجيه السلبي) لمعرفة ما إذا كان يمكن الحد من هذا الإزاحة.

3. المساهمات الرئيسية

اكتشاف إزاحة المعرفة: أظهر المؤلفون أن إضافة أمثلة متسقة داخل السياق تؤدي باستمرار إلى تحويل الحوسبة بعيداً عن الاشتقاق القائم على المعرفة ( $S_{know}$ ) نحو الملاءمة القائمة على الأمثلة ( $S_{emp}$ ) عبر جميع المجالات.
إطار تنافس الاستراتيجيات: اقترحوا إطاراً يفسر سبب تباين تأثيرات الدقة. التحول في الاستراتيجية موحد، لكن النتيجة تعتمد على الفجوة النوعية بين الاستراتيجية المزاحة (المعرفة المسبقة) والاستراتيجية البديلة (الملاءمة التجريبية).
معيار مرجعي شامل: معيار جديد مكون من 60 مهمة صُمم خصيصاً لجعل التنافس بين الاستدلال العلمي وملاءمة الأنماط قابلاً للملاحظة، مع تغطية تنوع في التعقيدات الهيكلية.

4. النتائج الرئيسية

أ. تحول موحد في الاستراتيجية، تباين في الدقة

أدت إضافة 10 أمثلة إلى تقليل حصة المسارات البارامترية ( $S_{know}$ ) بنسبة تتراوح بين 6 إلى 20 نقطة مئوية عبر جميع المجالات. ومع ذلك، اختلف التأثير على الدقة النهائية بشكل كبير:

الاقتصاد: انخفضت الدقة بشكل ملحوظ (−15.7 نقطة مئوية). هنا، كانت استراتيجية $S_{know}$ هي الأفضل (دقة 88.3%). والتحول إلى الملاءمة التجريبية (دقة 41.7%) تسبب في خسارة هائلة في الأداء.
علوم الأرض: بدا أن الدقة قد تحسنت (+13.3 نقطة مئوية). هنا، كانت استراتيجية $S_{know}$ ضعيفة (دقة 49.2%) لأن النموذج غالباً ما يسترجع الصيغة الصحيحة ولكنه يستخدم معلمات افتراضية خاطئة. التحول إلى الملاءمة التجريبية سمح للنموذج بالاستكمال (interpolation) بشكل صحيح من الأمثلة، مما أخفى فقدان الاستدلال العلمي.
الفيزياء والبيولوجيا: ظلت الدقة مستقرة نسبياً. في الفيزياء، كان التحول صغيراً؛ وفي البيولوجيا، أدت الاستراتيجية التجريبية إلى أداء مشابه للاستراتيجية البارامترية.

الاستنتاج: لا يتخلى النموذج عن المعرفة بشكل انتقائي حيث تكون خاطئة؛ بل يتخلى عنها في كل مكان، بغض النظر عما إذا كانت الاستراتيجية الجديدة أفضل أم أسوأ.

ب. الآلية: استرجاع المعرفة المحفز بالمفردات

كشفت تجربة التمويه الدلالي أن $S_{know}$ يتم تحفيزه بواسطة المفردات السطحية (الكلمات المفتاحية للمجال) بدلاً من التحليل الرياضي العميق.

عندما تم استبدال المصطلحات المتخصصة بأسماء مستعارة، انهارت دقة الحالة الصفرية (Zero-Shot) (إلى 3–14%).
ومع ذلك، استعادت أداء الـ 10 أمثلة جزءاً من قوتها (إلى 22–40%)، مما يثبت أن $S_{emp}$ تعمل على الأنماط الرقمية بمعزل عن المفردات.
الآثار المترتبة: مجرد وجود الأمثلة الرقمية ينشط المسار التجريبي، مما يطغى على مسار المعرفة المحفز بالمفردات.

ج. تقارب التمثيلات الداخلية

أظهر تحليل الحالات المخفية أنه تحت ظروف الـ 10 أمثلة، تقاربت مساحات التمثيل للمجالات المختلفة.

في الحالة الصفرية (Zero-Shot)، كانت المجالات تشغل مناطق متميزة (مما يفعل دوائر معرفية محددة).
في حالة الـ 10 أمثلة (10-Shot)، اقتربت المجالات من بعضها البعض، وخاصة علوم الأرض التي أظهرت أقوى تحول. يشير هذا إلى أن النموذج ينتقل إلى دائرة ملاءمة أنماط مستقلة عن المجال عند وجود أمثلة.

د. فشل التخفيف

فشلت تدخلات التوجيه القياسية (مثل تسمية الصيغة صراحة، أو التوجيهات السلبية ضد الملاءمة) في منع الإزاحة بشكل شامل. فعندما كانت المعرفة المسبقة هي الاستراتيجية المثلى (كما في الاقتصاد)، لم تستطع أي كمية من الأمثلة المتسقة استعادة الأداء الذي فُقد بمجرد وجود تلك الأمثلة.

5. الأهمية والآثار المترتبة

تحذير للممارسين: تحذر الورقة من أنه في التطبيقات العلمية، قد يؤدي تقديم أمثلة داخل السياق إلى إزاحة المعرفة التي يُفترض بها دعمها. إن الاعتماد فقط على دقة (النهاية إلى النهاية) أمر خطير، حيث يمكن أن يخفي فقدان الاستدلال العلمي (على سبيل المثال، في علوم الأرض، حصل النموذج على الإجابة الصحيحة للسبب الخاطئ).
طبيعة الاستدلال العلمي في النماذج اللغوية: تشير الدراسة إلى أن الاستدلال العلمي في النماذج اللغوية هو غالباً قائم على التعرف (يُحفز بالكلمات المفتاحية) بدلاً من كونه قائماً على الاستدلال (الاشتقاق الرياضي). وهذا يجعله هشاً وسهل التجاوز بواسطة الاختصار الحسابي المتمثل في مطابقة الأنماط.
تعلم الاختصارات الأوسع: تُصنف هذه الظاهرة كحالة من حالات "تعلم الاختصارات" (Shortcut Learning)، حيث تلجأ النماذج إلى أسهل استراتيجية متاحة حسابياً (ملاءمة الأمثلة) بدلاً من الاستراتيجية الأكثر مبدأً (الاشتقاق من القوانين)، حتى عندما يكون هذا الاختصار دون المستوى الأمثل.
التوجهات المستقبلية: يدعو المؤلفون إلى إجراء دراسات ميكانيكية (مثل "ترقيع التنشيط" - activation patching) لتحديد الدوائر المحددة المسؤولة عن هذا التنافس، ووضع مقاييس تقييم جديدة يمكنها التمييز بين النجاح "القائم على المعرفة" والنجاح "القائم على الأمثلة".