💬 NLP

Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation

تقدم هذه الورقة البحثية ARC-JSD، وهي طريقة فعالة حاسبياً تستخدم تباعد جينسن-شانونون (Jensen-Shannon Divergence) لنسب الاستجابات المولدة بدقة إلى أجزاء سياقية محددة في أنظمة التوليد المعزز بالاسترجاع (RAG) دون الحاجة إلى ضبط دقيق، مع توفير رؤى ميكانيكية حول رؤوس الانتباه وطبقات MLP المحددة المسؤولة عن هذا النسب.

المؤلفون الأصليون: Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

نُشر 2026-02-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول معرفة أي شاهد بالضبط في غرفة مزدحمة قدم القطعة الجوهرية من الأدلة التي حلت جريمة ما.

في عالم الذكاء الاصطناعي، وتحديداً في تقنية "التوليد المعزز بالاسترجاع" (RAG)، يمثل هذا مشكلة ضخمة. تقنية RAG هي أسلوب يجعل الذكاء الاصطناعي (مثل ChatGPT) لا يعتمد فقط على ذاكرته؛ بل "يبحث" عن المعلومات في مكتبة من المستندات أولاً، ثم يكتب إجابته.

المشكلة: تأثير "المكتبة الفوضوية"
عندما يعطيك الذكاء الاصطناعي إجابة، فإنه غالباً ما ينظر إلى عشرات الجمل المختلفة في آن واحد. إذا قال الذكاء الاصطناعي: "عاصمة فرنسا هي باريس"، وكان ينظر إلى كتاب مدرسي ضخم، فكيف نعرف أي جملة محددة هي التي علمته ذلك؟

الطرق الحالية لإيجاد هذه "الجملة الدالة على الجريمة" هي إما:

بطيئة جداً: تتطلب من الذكاء الاصطناعي أن "يعيد التفكير" في الإجابة بأكملها مئات المرات، عبر تغيير كلمة واحدة في كل مرة ليرى ما سيحدث.
مكلفة للغاية: تتطلب من البشر الجلة هناك وتصنيف كل جملة يدوياً.

الحل: ARC-JSD (طريقة "صدى المعلومات")

ابتكر الباحثون طريقة جديدة تسمى ARC-JSD. لفهم كيفية عملها، دعونا نستخدم تشبيهين.

1. اختبار "المكون المفقود" (المنطق الجوهري)

تخيل أنك تتذوق حساءً معقداً. أنت تريد أن تعرف ما إذا كان الثوم هو السبب في طعمه الشهي.

الطريقة القديمة: سيتعين عليك طهي 100 دفعة مختلفة من الحساء، كل منها يحتوي على كمية مختلفة قليلاً من الثوم، ثم مقارنتها جميعاً. (هذا ما تفعله طرق الذكاء الاصطناعي الحالية—إنه أمر مرهق!)
طريقة ARC-JSD: تأخذ ملعقة من الحساء، ثم تأخذ ملعقة أخرى من نفس الحساء ولكن بدون الثوم. تقارن بين "ملف النكهة" (توزيع الاحتمالات) بين الاثنين. إذا تغيرت النكهة بشكل جذري، فقد وجدت مكونك. أما إذا ظلت النكهة كما هي تقريباً، فإن الثوم لم يكن مهماً.

2. "تباعد جينسن-شانون" (شريط القياس)

كيف تقيس ذلك "التغير في النكهة" رياضياً؟ يستخدمون شيئاً يسمى تباعد جينسن-شانون (JSD).

فكر في JSD كأنه جهاز ضبط موسيقي (Tuner) شديد الحساسية. إذا عزفت وتراً (السياق الكامل) ثم عزفت نفس الوتر ولكن مع حذف نوتة واحدة (الجملة التي نختبرها)، يقيس JSD مدى تغير "التناغم" في الموسيقى.

إذا ظل التناغم مثالياً، فهذه النوتة لم تكن جزءاً من الأغنية.
أما إذا أصبح التناغم فجأة "نشازاً" أو مختلفاً تماماً، فهذه النوتة كانت أساسية.

لماذا يعد هذا أمراً هاماً؟

1. سريع وفعال (وحش السرعة)
بما أنهم لا يقومون بإعادة تدريب الذكاء الاصطناعي أو القيام بمئات "عمليات التذوق"، فإن هذه الطريقة أسرع بـ ثلاث مرات من الطرق السابقة. إنه يشبه العثور على المكون المفقود من خلال شم رائحة سريعة بدلاً من طهي 100 قدر من الحساء.

2. يطل على ما وراء الكواليس (رؤية الأشعة السينية)
لم يكتفِ الباحثون بإيجاد الجمل، بل استخدموا هذه الطريقة للنظر داخل "دماغ" الذكاء الاصطناعي. لقد اكتشفوا أن بعض "التروس" (تسمى رؤوس الانتباه - Attention Heads و طبقات MLP) مسؤولة خصيصاً عن التعامل مع هذه المعلومات المسترجعة. إنه يشبه اكتشاف أن السيارة تحتوي على ترس محدد لا يعمل إلا عند استخدام نظام الملاحة (GPS).

3. يوقف "الهلوسة" (جهاز كشف الكذب)
بما أننا نستطيع الآن تحديد الجملة التي يستخدمها الذكاء الاصطناعي بدقة، يمكننا "التحكم" في الذكاء الاصطناعي. إذا حاول الذكاء الاصطناعي قول شيء ليس له "صدى" قوي من النص المقدم، يمكننا كشفه. هذا يساعد في منع الذكاء الاصطناعي من اختلاق أشياء (الهلوسة).

الملخص باختصار

توفر هذه الورقة البحثية طريقة أسرع، وأرخص، وأكثر دقة لإثبات أن الذكاء الاصطناعي يقول الحقيقة بالفعل بناءً على الحقائق التي أُعطيت له، بدلاً من مجرد تأليف قصة مقنعة. إنها تحول الذكاء الاصطناعي من "صندوق أسود" يخرج الإجابات فحسب، إلى باحث شفاف يمكنه توجيه إصبعه والقول: "أنا أعرف هذا بسبب هذه الجملة هنا تحديداً".

ملخص تقني: إسناد الاستجابة إلى السياق (ARC-JSD)

نُشر كبحث في مؤتمر ICLR 2026

1. بيان المشكلة

تعمل تقنية التوليد المعزز بالاسترجاع (RAG) على تحسين دقة النماذج اللغوية الكبيرة (LLM) من خلال توفير سياق خارجي. ويتطلب تحقيق موثوقية عالية في أنظمة RAG شرطاً حاسماً وهو إسناد السياق (context attribution): أي القدرة على تحديد الأجزاء المحددة من السياق المسترجع التي استُخدمت بالفعل لتوليد الاستجابة.

تعاني طرق الإسناد الحالية من عيبين رئيسيين:

الكثافة الحسابية: تتطلب الطرق مثل إسناد الميزات القائم على التدرج (gradient-based feature attribution) أو تدريب النماذج البديلة الخطية (مثل ContextCite) عمليات ضبط دقيق واسعة النطاق، أو انتشار عكسي (back-propagation)، أو مئات من عمليات التمرير الأمامي، مما يجعلها بطيئة ومكلفة.
التعقيد/عدم الدقة: تعتمد طرق وقت الاستدلال الحالية غالباً على نمذجة معقدة قد تفشل في استيعاب العلاقات غير الخطية في كيفية معالجة النماذج للمعلومات.

2. المنهجية: ARC-JSD

يقترح المؤلفون ARC-JSD (إسناد الاستجابة إلى السياق عبر تباعد جينسن-شانون)، وهي طريقة مبتكرة لا تتطلب تدريباً وتعتمد فقط على الاستدلال.

الآلية الجوهرية: تعتمد الطريقة على "افتراض الإسناد عند الاستدلال": إذا أدى حذف جزء من السياق إلى تغيير توزيع احتمالية الاستجابة المولدة بشكل كبير، فإن هذا الجزء يعد أساسياً لترسيخ المعلومة.
اختيار المقياس (JSD): بدلاً من استخدام تباعد KL (الذي يتسم بعدم التماثل وعدم الاستقرار العددي عندما تقترب الاحتمالات من الصفر) أو التباين الكلي (Total Variation) (الذي يتجاهل أين انتقلت الكتلة الاحتمالية)، استخدم المؤلفون تباعد جينسن-شانون (JSD). يتميز JSD بكونه متماثلاً، ومحدوداً في النطاق $[0, \log 2]$ ، وخالياً من القياس (scale-free)، مما يجعله مثالياً لمقارنة التباعد عبر الطبقات والنماذج المختلفة.
العملية:
1. توليد استجابة $R$ باستخدام السياق الكامل $C$ والاستعلام $Q$ .
2. لكل جملة $c_i$ في السياق، يتم إجراء عملية استبعاد واحدة (حذف $c_i$ ).
3. حساب JSD بين توزيع الاستجابة الأصلي $P(R|C, Q)$ وتوزيع الاستجابة المستبعدة $P(R|C_{ablated}, Q)$ .
4. ترتيب الجمل حسب درجات JSD الخاصة بها؛ حيث تحدد الدرجة الأعلى الجزء الأكثر أهمية في السياق.
التكامل الآلي: وسع المؤلفون هذا المفهوم ليشمل البنية الداخلية للنموذج باستخدام عدسة اللوجيت (Logit Lens). ومن خلال تطبيق JSD على مخرجات رؤوس الانتباه (attention heads) وطبقات MLP الفردية، يمكنهم تحديد المكونات الداخلية المسؤية بدقة عن سلوك الإسناد.

3. المساهمات الرئيسية

خوارزمية إسناد فعالة: تطوير ARC-JSD، التي لا تتطلب تدريباً دقيقاً، ولا تدرجات (gradients)، ولا نمذجة بديلة، مما يسمح بدمجها المباشر في مسارات RAG الحالية.
التفسير الآلي: إجراء دراسة منهجية كشفت أن إسناد السياق مدفوع بشكل أساسي بـ رؤوس الانتباه وطبقات MLP في الطبقات المتوسطة والعليا من نموذج الـ Transformer.
الحد من الهلوسة: إثبات أنه من خلال استخدام درجات JSD كـ "بوابات ثقة" (confidence gates) لحجب رؤوس الانتباه/طبقات MLP غير الموثوقة، يمكن تقليل معدل الهلوسة بشكل كبير.
التحقق الرياضي: تقديم مقارنة صارمة تظهر تفوق JSD على مقاييس KL وWasserstein وTotal Variation وMMD في سياق سلوك فك ترميز النماذج اللغوية الكبيرة (LLM decoding).

4. النتائج

الدقة: أظهرت ARC-JSD دقة فائقة عبر عدة اختبارات مرجعية (TyDi QA، وHotpot QA، وMuSiQue)، متفوقة على النماذج المرجعية السابقة بمتوسط قدره 10.7% في دقة إسناد السياق.
الكفاءة: حققت الطريقة تسريعاً يصل إلى 3 أضعاف مقارنة بالطرق القائمة على النماذج البديلة أو التدرج.
القوة والتعميم: أكدت التقييمات على مقاييس نماذج مختلفة (من Qwen2-1.5B إلى Gemma2-9B) والنماذج الأكبر (LLaMA-3.1-8B) قدرة الطريقة على التعميم.
التحكم في الهلوسة: في التجارب على Hotpot QA، أدى استخدام بوابات JSD إلى تقليل معدل الهلوسة بنحو 39% مع الحفاظ على درجات F1 الواقعية.
التحقق الآلي: أظهر موقع المكونات الحرجة بناءً على JSD ارتباط سبيرمان عالياً مع "الربح الدلالي" (semantic gain) (وهو مقياس يقيس المساهمة المباشرة للطبقة في الإجابة الصحيحة)، مما يؤكد النتائج الآلية.

5. الأهمية

ينقل هذا العمل تقنية RAG من كونها "صندوقاً أسود" نحو نظام شفاف وقابل للتحكم. ومن خلال توفير طريقة خفيفة الوزن لتدقيق لماذا قال النموذج شيئاً ما، تعزز ARC-JSD من موثوقية وقابلية تفسير الذكاء الاصطناعي في المجالات عالية الخطورة مثل الطب والقانون. علاوة على ذلك، فإن القدرة على التحكم في الطبقات الداخلية لقمع الهلوسة توفر مساراً جديداً لـ "توجيه" النماذج اللغوية الكبيرة أثناء الاستدلال دون التكلفة الباهظة لإعادة التدريب.