💬 NLP

Integrated and Cross-Architecture Interpretation of LLM Reasoning

تقدم هذه الورقة إطار عمل الاستدلال المتكامل عبر البنى الهيكلية (IAR)، والذي يجمع بين تحليل ذروة المعلومات المتبادلة المعاير بنطاق التردد مع تداخل نسبة التفكير العميق ومقاييس استقرار جاكارد لتوفير منهجية موحدة وقابلة للتعميم لتفسير أنماط الاستدلال عبر مختلف بنيات النماذج اللغوية الكبيرة والمجالات.

المؤلفون الأصليون: Leonardo Matthew Yauw, Wei-Bin Kou, Yujiu Yang

نُشر 2026-05-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Leonardo Matthew Yauw, Wei-Bin Kou, Yujiu Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد ساحرًا يؤدي خدعة معقدة. يمكنك رؤية النتيجة النهائية (الأرنب داخل القبعة) وتسمع شرح الساحر المنطوق ("الآن، راقبوا جيدًا بينما أخرج الأرنب..."). لكن لا يمكنك رؤية الحركات السرية التي تحدث داخل القبعة أو عملية التفكير الداخلي للساحر.

لفترة طويلة، حاول الباحثون معرفة كيف "تفكر" النماذج اللغوية الكبيرة (LLMs) لحل المشكلات الصعبة مثل المعادلات الرياضية أو ألغاز البرمجة. يمكنهم رؤية الكلمات التي يكتبها الذكاء الاصطناوي (سلسلة الاستنتاج)، لكن العمل الذهني الفعلي الذي يحدث داخل عقل الكمبيوتر يظل "صندوقًا أسود".

تقترح هذه الورقة البحثية، بعنوان "التفسير المتكامل وعابر البنى للاستنتاج في النماذج اللغوية الكبيرة" (Integrated and Cross-Architecture Interpretation of LLM Reasoning)، طريقة جديدة للنظر داخل ذلك الصندوق الأسود. يرى المؤلفون، ليوناردو ماثيو ياو، ووي-بين كو، ويوجيو يانغ، أن النظر إلى دليل واحد فقط ليس كافيًا. بدلاً من ذلك، قاموا ببناء حقيبة أدوات تحقيق مكونة من ثلاثة أجزاء تسمى IAR (الاستنتاج المتكامل وعابر البنى) لفهم كيفية استنتاج نماذج ذكاء اصطناعي مختلفة.

إليك كيف تعمل طريقتهم، مشروحة عبر تشبيهات بسيطة:

الأدلة الثلاثة لحقيبة أدوات التحقيق IAR

أدرك الباحثون أن الطرق السابقة كانت تشبه محاولة حل لغز باستخدام نصف الأدلة فقط. لقد جمعوا بين ثلاثة "مجسات" مختلفة للحصول على الصورة الكاملة:

1. كاشف لحظة "آها!" (MIP)

التشبيه: تخيل أنك تستمع إلى محاضرة. معظم الوقت، يكون المتحدث مجرد مكمل للمساحة. ولكن في بعض الأحيان، يقول شيئًا يربط تمامًا بمفتاح الإجابة. تلك الكلمة المحددة هي لحظة "آها!" (لحظة الإدراك).
العلم: يستخدم الفريق أداة تسمى ذروة المعلومات المتبادلة (MIP). تقوم بمسح مخرجات الذكاء الاصطناعي للعثور على كلمات (رموز/tokens) محددة تحمل أكبر قدر من المعلومات حول الإجابة الصحيحة.
العقبة: لجعل هذا يعمل على أنواع مختلفة من نماذج الذكاء الاصطناوي، كان عليهم "معايرة" الأداة، مثل ضبط التركيز في عدسة الكاميرا، حتى لا تصبح ضبابية في بعض النماذج أو حادة جدًا في أخرى.

2. متتبع "التفكير العميق" (DTR)

التشبيه: تخيل طالبًا يحل مسألة رياضية. بعض الخطوات سهلة وتحدث فورًا (تفكير سطحي). خطوات أخرى تتطلب من الطالب التوقف، وحك رأسه، والتفكير بعمق قبل كتابة أي شيء (تفكير عميق).
العلم: يستخدمون أداة تسمى نسبة التفكير العميق (DTR). تقيس هذه الأداة مقدار "العمل الحسابي" الذي يحدث داخل طبقات النموذج قبل اختيار كلمة أخيرة. إذا تم اتخاذ قرار بشأن كلمة ما بعد معالجتها عبر العديد من الطبقات العميقة، فهي "كلمة تفكير عميق".

3. فحص "الاتساق" (استقرار جاکارد - Jaccard Stability)

التشبيه: إذا سألت طالبًا نفس السؤال الصعب ثلاث مرات، هل سيستخدم نفس الخطوات الرئيسية بالضبط لحله؟ إذا فعل ذلك، فمن المرجح أنه يفهم المفهوم حقًا. أما إذا كان يخمن بشكل مختلف في كل مرة، فقد يكون الأمر مجرد حظ.
العلم: يطلب الباحثون من الذكاء الاصطناوي نفس المشكلة ثلاث مرات مع تغييرات طفيفة. يتحققون مما إذا كانت كلمات "آها!" (من الخطوة 1) تظهر في نفس المواضع في كل مرة. إذا كانت كذلك، فإن الاستنتاج مستقر وحقيقي. أما إذا تغيرت بشكل كبير، فقد يكون الاستنتاج مجرد ضربة حظ.

الاكتشاف الكبير: جمع الأدلة معًا

الاكتشاف الأكثر إثارة في الورقة هو ما يحدث عند دمج هذه الأدلة.

تأثير "المُرشح" (الفلتر):
وجد الباحثون أن كلمات "آهَا!" (MIP) هي دائمًا مجموعة فرعية خاصة وصغيرة من كلمات "التفكير العميق" (DTR).

فكر في الأمر بهذه الطريقة: تخيل مصنعًا ينتج 1,000 قطعة (أفكار عميقة). معظمها مجرد أجزاء قياسية. لكن 50 منها فقط هي التروس الحرجة التي تجعل الآلة تعمل بالفعل.
تعمل أداة MIP كمرشح (فلتر) للعثور على تلك التروس الـ 50 الحرجة داخل كومة الـ 1,000 فكرة عميقة.
لماذا هذا مهم: في السابق، اعتقد الناس أن "التفكير العميق" يعني "الاستنتاج الجيد". توضح هذه الورقة أنه ليس بالضرورة أن تفكير النموذج بعمق يعني أنه يفكر بشكل صحيح. أنت بحاجة إلى مرشح "آها!" للعثور على الأفكار الصعبة الصحيحة.

الاختبار عبر نماذج مختلفة

لم يختبر الفريق هذا على نموذج واحد فقط. بل اختبروه على ثلاثة نماذج مختلفة (Qwen-7B، وQwen-14B، وLlama-8B) عبر أربعة أنواع من المهام: الرياضيات، والبرمجة، والمنطق، والمنطق العام.

النتائج:

نمط عالمي: عمل "تأثير المرشح" (حيث تكون كلمات "آها!" الحرجة جزءًا صغيرًا من الأفكار العميقة) بنفس الطريقة عبر جميع النماذج الثلاثة، رغم اختلاف بنائها. وهذا يشير إلى وجود طريقة عالمية لكيفية استنتاج نماذج الذكاء الاصطناوي.
الحظ مقابل الحقيقة: استطاعوا التمييز بين النموذج الذي حل المشكلة حقًا وبين الذي حالفه الحظ.
- الاستنتاج الحقيقي: وجد النموذج بعض كلمات "آها!" المحددة جدًا وتمسك بها باستمرار.
- التخمين المحظوظ: أنتج النموذج الكثير من كلمات "آها!"، لكنها كانت مبعثرة، وغير متسقة، ولم تتطابق عبر المحاولات المختلفة.
الفشل "الصامت": أحيانًا يخطئ النموذج في الإجابة ولكنه لا يزال ينتج سلسلة استنتاج. وجد الفريق أنه في هذه الحالات، كانت كلمات "آها!" إما مفقودة أو غير مستقرة.

ماذا يعني هذا (وما لا يعني)

ما تدعيه الورقة:

يمكننا الآن رؤية أين وكيف تستنتج نماذج الذكاء الاصطناوي من خلال النظر إلى كلمات محددة ومدى عمق تفكير النموذج فيها.
هذه الطريقة تعمل عبر أنواع مختلفة من نماذج الذكاء الاصطناوي، وليس لمجرد علامة تجارية واحدة.
يمكننا التمييز بين النموذج الذي يفهم المشكلة حقًا وبين الذي يقوم فقط بالتخمين أو الهلوسة.

ما لا تدعيه الورقة:

هي لا تقول إن هذا سيجعل الذكاء الاصطناوي أكثر ذكاءً في المستقبل.
لا تدعي أن هذا يمكن استخدامه لتشخيص الصحة العقلية البشرية أو القضايا السريرية.
لا تعد بأننا نستطيع الآن "إصلاح" أخطاء الاستنتاج في الذكاء الاصطناوي فورًا؛ بل تعطينا فقط طريقة أفضل لرؤيتها.

ملخص

فكر في هذه الورقة كأنها اختراع لنظارات جديدة. قبل ذلك، عندما كنا ننظر إلى ذكاء اصطناوي يحل مسألة رياضية، كنا نرى ضبابًا من الكلمات. مع هذه النظارات الجديدة (إطار عمل IAR)، يمكننا رؤية اللحظات المحددة التي يقوم فيها الذكاء الاصطناوي بعمله الحقيقي بوضوح، والتمييز بين البصيرة العبقرية والتخمين المحظوظ، والتأكيد على أن "أسلوب التفكير" هذا هو جزء أساسي من كيفية عمل هذه الآلات، بغض النظر عن العلامة التجارية التي تنتمي إليها.

ملخص تقني: التفسير المتكامل وعابر البنى للتحليل الاستدلالي للنماذج اللغوية الكبيرة (LLM)

1. بيان المشكلة

يعوق تفسير عملية الاستدلال في النماذج اللغوية الكبيرة (LLM) عدم تماثل جوهري: فبينما تكون سلاسل الاستدلال المولدة (المخرجات) قابلة للملاحظة، تظل المسارات الحسابية الداخلية التي تنتجها غامضة. تعاني طرق التفسير الحالية من قصورين رئيسيين:

عزل المجسات (Probes): تعتمد الطرق الحالية على مجسات منفردة توفر رؤى جزئية. تحدد قمم المعلومات المتبادلة (MIP) الرموز (tokens) ذات المحتوى المعلوماتي العالي بالنسبة للإجابة النموذجية عند طبقة المخرجات، لكنها تتجاهل عمق الحوسبة المطلوب لإنتاجها. وفي المقابل، يقيس معدل التفكير العميق (DTR) العمق الحسابي عبر التباين بين الطبقات، ولكنه ينطلق على عدد كبير جداً من الرموز بحيث لا يصلح كإشارة تمييزية لأهمية الاستدلال بمفرده.
الافتقار إلى التحقق عابر البنى: غالباً ما تقتصر التحليلات السابقة على عائلة نماذج واحدة، مما يجعل من الصعب التمييز بين خصائص الاستدلال الجوهرية والسمات الناتجة عن البنية المعمارية (architectural artifacts).

2. المنهجية: إطار عمل IAR

يقترح المؤلفون إطار عمل الاستدلال المتكامل وعابر البنى (IAR)، وهو مسار موحد يحلل الاستدلال عبر ثلاثة محاور: صلة الاستدلال، العمق الحسابي، والمتانة تجاه الضجيج.

2.1 عزل الرموز الحاسمة للاستدلال (طبقة المخرجات)

يعمل الإطار أولاً على عزل الرموز الحاسمة للاستدلال باستخدام MIP معاير عرض النطاق الترددي (Bandwidth-Calibrated MIP):

تقدير HSIC: يتم تقدير المعلومات المتبادلة (MI) بين تمثيل الرمز عند المخرجات وتمثيل الإجابة النموذجية باستخدام معيار الاستقلال هيلبرت-شميت (HSIC) مع نواة Gaussian RBF.
معايرة عرض النطاق (Bandwidth Calibration): لمنع انهيار النواة (تشبع التشابهات)، يتم معايرة عرض النطاق ( $\sigma$ ) لكل بنية معمارية. بالنسبة لنماذج Qwen، يُستخدم $\sigma=50$ ثابت؛ أما بالنسبة لنموذج Llama-8B، فتُطبق طريقة الحد الأدنى الوسيط (median heuristic) لكل مسألة بناءً على مسافات الحالة الخفية.
كشف القمم: تحدد قاعدة Tukey IQR غير معلمية الرموز "الحاسمة للاستدلال" ( $P_q$ ) حيث تتجاوز المعلومات المتبادلة قيمة $Q3 + 1.5 \times IQR$ .

2.2 تحليل المسار عبر الطبقات (العمق الحسابي)

يتتبع الإطار بعد ذلك العمق الحسابي لهذه الرموز باستخدام DTR:

تباعد جينسن-شانون (JSD): يتم حساب التباعد بين التوزيع التنبؤي لكل طبقة خفية والطبقة النهائية.
طبقة الاستقرار (Settling Layer): يُعرف الرمز بأنه عميق حسابياً (DTR-deep) إذا استقر توزيعه التنبؤي (JSD < العتبة) فقط في الطبقات العليا من الشبكة.
تحليل التداخل: يقوم الإطار بإجراء تحليل تداخل على مستوى المجموعات بين مجموعة MIP (المتمثلة في $P_q$ $P_{q}$ ) ومجموعة DTR-deep (المتمثلة في $D_q$ $D_{q}$ ). ويختبر فرضيتين:
- الاستقلالية ( $H_1$ ): رموز MIP مبعثرة عبر الرموز العميقة والضحلة.
- الاحتواء ( $H_2$ ): $P_q \subseteq D_q$ ، مما يعني أن MIP هي مجموعة فرعية نادرة وذات صلة بالاستدلال من ضمن الرموز العميمة حسابياً.

2.3 التحقق من جودة الاستدلال (المتانة تجاه الضجيج)

للتحقق من أن الرموز المحددة تعكس استدلالاً حقيقياً وليس نواتج عشوائية، يستخدم الإطار مقياس استقرار Jaccard ثلاثي الاتجاه:

التوليد العشوائي: يتم توليد ثلاث سلاسل استدلال مستقلة (ببذور عشوائية مختلفة) لكل مسألة.
مقياس الاستقرار ( $J_3$ ): يتم تقسيم تقاطع مجموعات MIP عبر التوليدات الثلاثة على اتحادها.
التصنيف: تُصنف المسائل إلى حقيقية (Genuine) (إجابة صحيحة وبنية MIP مستقرة)، ومحظوظة (Lucky) (إجابة صحيحة ولكن بنية MIP غير مستقرة)، وصامتة (Silent) (إجابة خاطئة) بناءً على الصحة و $J_3$ .
التمييز: يتم اختبار إحصائيات MIP الإجمالية (عدد القمم، النسبة، الكثافة) لمعرفة ما إذا كانت تميز المسائل الحقيقية عن المسائل المحظوظة/الصامتة باستخدام اختبارات Mann–Whitney U.

3. الإعداد التجريبي

النماذج: ثلاثة نماذج استدلال من عائلة DeepSeek-R1-Distill وهي: Qwen-7B، وQwen-14B، وLlama-8B.
المجالات: الرياضيات (GSM8K)، البرمجة (MBPP)، المنطق (BBH Boolean Expressions)، والمعلومات العامة (CommonsenseQA).
فك التشفير (Decoding): حتمي (Greedy) للتحليل الخاص بالكشف والتداخل؛ وعشوائي (Sampling, $T=0.7$ ) للاستقرار والتمييز النوعي.

4. النتائج الرئيسية

أسفرت التجارب عن أربع نتائج أساسية عبر البنى الثلاثة والمجالات الأربعة:

القابلية للكشف (RQ1): يعد كشف MIP المعاير بعرض النطاق قابلاً للتطبيق عبر البنى المختلفة ولكنه يظهر حساسية مشروطة. يُظهر Llama-8B كشفاً موحداً عبر جميع المجالات. بينما تُظهر نماذج Qwen انقساماً: كشف عالٍ في المهام الرمزية (الرياضيات، البرمجة) ولكن كشف شبه معدوم في مهام اللغة الطبيعية (المنطق، المعلومات العامة) لنموذج Qwen-7B، ويُعزى ذلك إلى التفاعل بين أبعاد التضمين (embedding dimensionality) وعرض نطاق النواة.
الاحتواء (RQ2): مدعومة بقوة فرضية الاحتواء ( $H_2$ ). الرموز المحددة بواسطة MIP هي مجموعة عالية الدقة (دقة حوض الرموز $\approx 0.82$ ) من رموز DTR-deep. وهذا يؤكد أن الرموز الحاسمة للاستدلال هي كثيفة حسابياً، وأن MIP يعمل كمرشح (filter) قابل للتفسير لمجموعة الرموز العميقة الأوسع التي يحددها DTR.
الاستقرار (RQ3): في حين أن وجود MIP مستقر بالنسبة للعينة (الحدث الثنائي لكشف القمم قابل للتكرار)، فإن هوية رموز MIP تحديداً هشة بالنسبة للعينة (استقرار Jaccard منخفض، $J_3 \approx 0.09–0.28$ ). يشير هذا إلى وجوب تقييم جودة الاستدلال عبر الإحصائيات الإجمالية بدلاً من هويات الرموز المحددة.
التمييز النوعي (RQ4): تميز إحصائيات MIP الإجمالية الاستدلال الحقيقي عن التخمين المحظوظ. ومن المثير للدهشة، فإن المسائل الحقيقية تظهر رموز MIP أقل، وأكثر تشتتاً، وأضعف من المسائل المحظوظة. يدعم هذا "رؤية اقتصاد الاستدلال" حيث تعتمد الحلول الحقيقية على عدد قليل من الركائز الحادة، بينما تنتج المسارات المحظوظة نشاط معلومات متبادلة منتشر وكثيف. هذا التمييز قابل للنقل عبر البنى، وإن تفاوتت أحجام التأثير (الأقوى في Qwen-14B).

5. الأهمية والمساهمات

يدعي البحث المساهمات التالية:

إطار عمل موحد: قدم إطار IAR، وهو نموذج يحلل الاستدلال بشكل مشترك عبر الربط بين الصلة، والعمق، والمتانة، متجاوزاً بذلك عمليات الفحص المنفردة.
رؤية تركيبية: أثبت أن MIP وDTR ليسا مقياسين متنافسين بل هما مقياسان تركيبيان؛ حيث يقوم MIP بفلترة الرموز العميقة حسابياً التي يحددها DTR لإيجاد المجموعة ذات الصلة بالاستدلال.
التعميم عبر البنى: قدم أول دليل على وجود نمط استدلال قابل للنقل (احتواء MIP ضمن رموز DTR-deep) عبر عائلات نماذج ومقاييس مختلفة (Qwen وLlama).
الدقة المنهجية: أثبت ضرورة التقييم العشوائي متعدد البذور ومعايرة عرض النطاق لتجنب الآثار الناتجة عن البنية المعمارية، مما يعمق فهم "رموز التفكير" في النماذج اللغوية الكبيرة.

يخلص المؤلفون إلى أنه بينما تكون هويات الرموز الفردية غير مستقرة، فإن الخصائص الإحصائية الإجمالية لآثار الاستدلال تقدم إشارة قوية وثابتة عبر البنى للتمييز بين الاستدلال الحقيقي والنجاح العشوائي.