💻 computer science

DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition

تقدم هذه الورقة DMDIntel، وهو إطار عمل جديد لقابلية التفسير يستفيد من تفكيك الأنماط الديناميكية لتفكيك الحالات الخفية للنماذج اللغوية الكبيرة إلى أنماط بارزة وتصنيف الرموز المدخلة، مما يظهر أداءً فائقاً على طرق الإسناد المتطورة مثل تحليل المكونات الرئيسية (PCA)، والتدرجات المتكاملة (integrated gradients)، وSHAP عبر مجموعات بيانات وعائلات نماذج متعددة.

المؤلفون الأصليون: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

نُشر 2026-08-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد ساحرًا يُخرج أرنبًا من قبعة. أنت ترى القبعة، وترى الأرنب، لكن السحر يحدث في اللحظة الخاطفة بينهما، مختبئًا داخل أكمام الساحر. لفترة طويلة، كان الذكاء الاصطناي هو ذلك الساحر. نحن نعطيه جملة، وهو يعطينا إجابة، ولكن لا أحد يعرف حقًا كيف قرر تلك الإجابة. الذكنا الاصطناعي هو "صندوق أسود"، والعلماء يائسون لاستراق النظر بداخله لمعرفة أي الكلمات التي اهتم بها الكمبيوتر حقًا. هذا المجال يسمى "القابلية للتفسير" (interpretability). لكي تفهم الورقة البحثية الجديدة، عليك أولاً أن تعرف شيئين: كيف يقرأ الذكاء الاصطناعي النص، وكيف نحاول عادةً التلصص على ما بداخله.

نماذج الذكاء الاصطناي، وتحديدًا تلك التي تسمى "النماذج اللغوية الكبيرة" (LLMs)، لا تقرأ الكلمات كما نفعل نحن. بدلاً من ذلك، تحول كل كلمة إلى قائمة طويلة من الأرقام (متجه/vector) وتمررها عبر سلسلة من الطبقات، مثل سباق التتابع. في كل طبقة، تتغير الأرقام قليلاً، حيث تمزج معنى الكلمة الحالية مع الكلمات التي سبقتها. وبحلول نهاية السباق، يمتلك النموذج مجموعة نهائية من الأرقام التي تقرر الإجابة. عادةً، لمعرفة أي الكلمات كانت مهمة، يستخدم العلماء أدوات تنظر إلى الحالة "الساكنة" للنموذج — مثل التقاط صورة واحدة لسباق التتابع وتخمين من كان يركض بأقصى سرعة. لكن هذه الورقة البحثية تقترح أن النظر في صورة واحدة يغفل القصة الكاملة. فهي تجادل بأن علينا مشاهدة "فيلم" السباق، ومراقبة كيفية تطور الأرقام من خطوة إلى أخرى، لأن سر تفكير الذكاء الاصطناعي يكمن في تلك الحركة.

هنا يبرز DMDINTEL، وهي طريقة جديدة قدمها أموغ جوشي وفريقه من المعهد الهندي للتكنولوجيا في كهاراجبور وجامعة مانشستر. فكر في المعالجة الداخلية للذكاء الاصطناعي ليس كقائمة ثابتة من الأرقام، بل كنهر متدفق. بينما يقرأ الذكاء الاصطناعي جملة، فإن "المياه" (المعلومات المخفية) تتماوج وتغير شكلها مع كل كلمة جديدة. استخدم الباحثون أداة رياضية تسمى تفكيك النمط الديناميكي (DMD) — والتي اختُرعت في الأصل لدراسة كيفية دوران المياه في ميكانيكا السوائل — لرسم خرائط هذه التماوجات.

إليك كيف يعمل تشبيه "النهر" هذا في الممارسة العملية: عندما يقرأ الذكاء الاصطناعي جملة، تخلق الحالات المخفية للكلمات نمطًا معقدًا ومتماوجًا. يقوم DMDINTEL بتفكيك هذا النمط إلى عدد قليل من "الأنماط" أو الأشكال البسيطة والمتكررة، تمامًا كما يمكن وصف موجة معقدة في المحيط بأنها مزيج من بعض أشكال الموجات الأساسية. وجد الفريق أنه من خلال مراقبة كيفية نمو هذه الأشكال أو تقلصها أو تذبذبها أثناء قراءة الذكاء الاصطناعي للجملة، استطاعوا تحديد الكلمات التي كانت "المحركات" للقرار النهائي. لقد عاملوا الذكاء الاصطناعي كـ نظام ديناميكي، مما يعني أنهم نظروا في التغير بين كلمة وأخرى، وليس فقط في الكلمة نفسها.

اختبر الباحثون هذه الفكرة على ثلاث عائلات مختلفة من نماذج الذكاء الاصطناي (Llama و Qwen و Mistral) وثلاث مهام مختلفة: تحديد ما إذا كان التقييم إيجابيًا أم سلبيًا، وكشف الأخبار المزيفة، ورصد خطاب الكراهية. وقارنوا طريقة "فيلم النهر" الخاصة بهم بطرق "الصورة الثابتة" القديمة، والتي تشمل تقنيات مثل "التدرجات المتكاملة" (Integrated Gradients)، و"SHAP"، و"تحليل المكونات الرئيسية" (PCA).

تشير النتائج إلى أن DMDINTEL هو محقق أفضل بكثير. في تجاربهم، وجدت الطريقة الجديدة الكلمات الأكثر أهمية (الحقيقة الأرضية) باستمرار أكثر من الطرق الأخرى. على سبيل المثال، عندما كان الذكاء الاصطناعي يقرر ما إذا كان التقييم سلبيًا، صنف DMDINTEL بشكل صحيح كلمات مثل "قمامة" و"غير قادر" كأهم المحركات، بينما تشتتت الطرق الأخرى أحيانًا بكلمات أقل أهمية مثل "مجدول" أو "مؤتمر". تُظهر الورقة البحثية أن مراقبة تطور أفكار الذكاء الاصطناي تجعل DMDINTEL يلتقط منطق الجملة بشكل أفضل. وهي تشير إلى أن استدلال الذكاء الاصطناي لا يتعلق فقط بالكلمات الساكنة؛ بل بكيفية تدفق المعنى وتحوله أثناء بناء الجملة.

ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس حلاً سحريًا لكل مشكلات الذكاء الاصطناي. فطريقتهم تعمل بشكل أفضل عندما يقرأ الذكاء الاصطناي جملة ويعطي إجابة بسيطة (مثل مهمة التصنيف). وهم يعترفون بأنه إذا بدأ الذكاء الاصطناي في كتابة قصة طويلة أو ترجمة كتاب كامل كلمة بكلمة، فإن الرياضيات تصبح معقدة لأن الذكاء الاصطناي يبدأ في تغذية كلماته الجديدة عائدةً إلى النظام. ولكن بالنسبة لمهمة محددة مثل شرح سبب تصنيف الذكاء الاصطناي لجملة ما على أنها "خطاب كراهية" أو "أخبار مزيفة"، فإن هذه الطريقة الجديدة لمراقبة رقص الأرقام توفر صورة أكثر وضوحًا ودقة لعقل الآلة.

ملخص تقني: DMDINTEL – تفسير النماذج اللغوية الكبيرة عبر تفكيك الأنماط الديناميكي

1. بيان المشكلة

تتناول الورقة البحثية تحدي القابلية للتفسير (interpretability) في النماذج اللغوية الكبيرة (LLMs)، وتحديداً فيما يتعلق بـ إسناد المدخلات (input attribution) في مهام التصنيف. وبينما تعد الطرق التقليدية مثل التدرج المتكامل (Integrated Gradients - IG)، وSHAP، وتحليل المكونات الرئيسية (PCA) فعالة في تحديد أي الرموز (tokens) ينتبه إليها النموذج، يرى المؤلفون أن لها قيوداً جوهرية:

المعالجة المنفصلة: غالباً ما تعامل الرموز ككيانات منفصلة ومعزولة.
الافتقار إلى السياق الزمني: تفشل هذه الطرق في التقاط التطور التسلسلي للمعلومات الكامنة أثناء معالجة النموذج للتسلسل رمزاً تلو الآخر.
اللقطات المجزأة: توفر رؤية استاتيكية (ثابتة) لعملية الاستنتاج بدلاً من تقديم سرد مستمر لكيفية تطور الحالات الخفية لتشكيل التنبؤ.

يركز عمل التفسير الآلي (mechanistic interpretability) الحالي على سبر الحالة الاستاتيكي أو رسم خرائط الدوائر المحددة، لكنه يعاني في نمذجة التدفق الديناميكي للمعلومات عبر التسلسل.

2. المنهجية: إطار عمل DMDINTEL

يعامل إطار العمل المقترح، DMDINTEL، النموذج اللغوي الكبير (LLM) من نوع "المفكك فقط" (decoder-only) والمضبط بدقة تحت الإشراف، كـ نظام ديناميكي ذي زمن منفصل. يقوم الإطار بنمذجة تطور الحالات الخفية كتدفق في فضاء التضمين (embedding space)، مقرباً دالة النموذج غير الخطية $F$ باستخدام مؤثر بديل خطي.

سير العمل الأساسي

صياغة النظام الديناميكي:
يتم نمذجة انتقال حالة النموذج كـ $h_{t+1} \approx F(w_{\le t})$ ، حيث $h_t$ هي الحالة الخفية عند الرمز $t$ . يقرب المؤلفون هذا الانتقال باستخدام علاقة خطية $h_{t+1} = A h_t$ ، حيث $A$ هو مؤثر خطي بديل.
بناء مصفوفة البيانات وإزالة الضجيج:
- اختيار الطبقة: يختار خوارزمية (Algorithm 1) طبقة مفكك مثالية ( $\ell^*$ ) عبر تحليل تشابه جيب التمام بين الحالات الخفية للرموز ومتجه "انحياز التعليمات" (المستمد من مطالبة فارغة). توازن الطبقة المختارة بين دقة رموز المدخلات وانحياز اتباع التعليمات، وعادة ما تقع عند نقطة الانعطاف حيث يبدأ التشابه مع متجه انحياز التعليمات في الارتفاع بشكل حاد.
- إزالة الانحياز: لعزل إشارة جملة المدخلات الفعلية عن قالب المطالبة (prompt template)، يطرح المؤلفون متجه انحياز التعليمات ( $b$ ) من الحالات الخفية: $\hat{h}_i = h_i - b$ .
- تكوين المصفوفة: تشكل الحالات الخفية منزوعة الانحياز مصفوفة بيانات $X$ .
تفكيك الأنماط الديناميكي (DMD):
- DMD القياسي: يتم تقريب المؤثر الخطي $A$ من مصفوفة البيانات. ينتج عن تحليله للقيم الذاتية (eigendecomposition) أنماط DMD (هياكل مكانية-زمانية) وقيم ذاتية (تحدد النمو، والاضمحلال، والتذبذب).
- DMD عالي الرتبة (HODMD): لالتقاط التبعيات طويلة المدى والديناميكيات الزمنية التي قد يفتقدها DMD القياسي (الذي يفترض أن $h_{t+1} = A h_t$ هي عملية ماركوفية)، يستخدم المؤلفون أيضاً HODMD. يقوم هذا بإنشاء مصفوفة هانكل (Hankel matrix) من لقطات متراكمة، مما يسمح للنظام بنمذجة الحالات الخفية كمجموع خطي من الخطوات الزمنية السابقة.
إسناد المدخلات (ترتيب الرموز):
- ترتيب الأنماط: يتم ترتيب الأنماط حسب أهميتها الديناميكية، وتحديداً باستخدام مقدار السعة النمطية الأولية أو متوسط مقدار السعة عبر الزمن.
- تسجيل الرموز (Token Scoring): لكل رمز $w_t$ ، يُقاس المساهمة عبر تغير الحالة $\Delta h_t = h_t - h_{t-1}$ . يتم حساب إسقاط القياس (scalar projection) لهذا التغير على أعلى $k$ من الأنماط المهيمنة. مجموع أحجام هذه الإسقاطات عبر الأنماط العليا يعطي درجة الإسقاط ( $s_t$ ) للرمز.
- المخرج النهائي: يتم ترتيب الرموز بناءً على درجات الإسقاط الخاصة بها لتحديد المحركات الأكثر تأثيراً في تنبؤ النموذج.

3. المساهمات الرئيسية

إطار عمل DMDINTEL: تقديم خط معالجة لإسناد المدخلات يقوم بتفكيك الحالات الخفية للنماذج اللغوية الكبيرة إلى أنماط مكانية-زمانية قابلة للتفسير لترتيب رموز المدخلات.
المنظور الديناميكي: أول عمل يحلل التطور التسلسلي للحالات الخفية في النماذج اللغوية الكبيرة (decoder-only) كنظام ديناميكي خصيصاً لإسناد المدخلات.
التحقق التجريبي: تقييم واسع النطاق عبر ثلاث عائلات من النماذج (Llama-3.2-3B, Qwen3-4B, Mistral-7B) وثلاث مجموعات بيانات متنوعة لتصنيف النصوص (Sentiment, HateXplain, FakeEdit).
تفوق الأداء: إثبات أن DMDINTEL يتفوق باستمرار على النماذج المرجعية (baselines) مثل PCA وIG وSHAP في تحديد الرموز الحقيقية مع الحفاظ على أهميتها المرتبة.

4. النتائج التجريبية

قيم المؤلفون إطار العمل باستخدام العدد المتطابق (Matched Count - MC)، والتداخل المرجح بالرتبة (Rank-Biased Overlap - RBO)، والاستدعاء عند k (Recall@k) مقابل الترتيب الحقيقي (GT) الناتج عن GPT-4.1.

تحليل المشاعر (Sentiment Analysis): حقق HODMD مع ترتيب السعة المتوسط زمنياً أفضل أداء. يعزو المؤلفون ذلك إلى الحاجة لعوامل التأخير (delay factors) لالتقاط ديناميكيات العبارات متعددة الكلمات، والتي يفتقدها DMD القياسي. تفوق DMDINTEL على PCA وIG وSHAP في جميع المقاييس.
HateXplain وFakeEdit: أثبت DMD القياسي مع الترتيب القائم على السعة أنه الأكثر فعالية. يشير المؤلفون إلى أنه في هذه المهام، حيث تقود كلمات رئيسية محددة (مثل مصطلحات خطاب الكراهية أو الشخصيات السياسية) عملية التصنيف، فإن تطور الحالة يتبع عملية قريبة من ماركوف (near-Markovian) لا تتطلب الذاكرة الممتدة لـ HODMD. حقق DMDINTEL أعلى قيمة لـ Recall@10، مستعيداً معظم رموز الحقيقة الأرضية.
التحليل النوعي: أظهر DMDINTEL توافقاً قوياً مع الحقيقة الأرضية (GT)، حيث رتب باستمرار الرموز ذات الصلة دلالياً (مثل "trash"، "unable"، "fa**ot") بالقرب من القمة. في المقابل، ركز IG غالباً على مجموعات فرعية ضيقة من الكلمات النابية بينما أغفل السياق، بينما أظهر SHAP أحياناً رموزاً منطقية سياقياً ولكنها غائبة عن الحقيقة الأرضية.
الدقة (الاضطراب/Fidelity): في تجارب حجب الرموز (token-masking)، تسبب DMDINTEL باستمرار في انخفاضات كبيرة في دقة النموذج وثقته (غالباً ما كان يحتل المرتبة الأولى أو الثانية)، مما يؤكد أن الرموز المحددة هي بالفعل عوامل حاسمة في عملية اتخاذ القرار في النموذج.
المتانة: أظهرت الطريقة استقراراً عبر عائلات نماذج مختلفة وكانت غير حساسة نسبياً للتغيرات الصغيرة في مؤشر الطبقة المختارة ( $\ell^*$ ).

5. الأهمية والادعاءات

تدعي الورقة أن DMDINTEL يوفر عدسة أكثر قوة وفعالية لإسناد المدخلات مقارنة بالطرق الاستاتيكية أو القائمة على التدرج التقليدية. من خلال النظر إلى النموذج اللغوي الكبير كنظام ديناميكي، يلتقط إطار العمل السرد المستمر لاستنتاج النموذج بدلاً من اللقطات المجزأة.

يؤكد المؤلفون أن:

الحالات الخفية للنماذج المضبوطة بدقة، عند تفكيكها إلى أبعاد أقل من الأنماط المكانية-الزمانية، تكشف عن أنماط قابلة للتفسير تعمل كمؤشرات قوية لتدفق المعلومات.
يسمح هذا المنظور الديناميكي بتحديد الرموز التي تقود تصنيف المخرجات بدقة أعلى، خاصة في المهام التي يكون فيها السياق التسلسلي أو المحفزات على مستوى الرمز أمراً حاسماً.
ينجح النهج في سد الفجوة بين سلوك النموذج المعقد غير الخطي والهياكل الخطية القابلة للتفسير (الأنماط) دون الحاجة إلى معرفة مسبقة بالمعادلات الحاكمة للنظام.

6. القيود

يقر المؤلفون بحدود معينة لعملهم الحالي:

نطاق المهام: يتم تقييم إطار العمل حالياً فقط في مهام التصنيف ذات المخرجات القصيرة (1-2 رمز). ويُلاحظ أن تطبيق هذا على التوليد التلقائي (مثل الترجمة الآلية) يعد أمراً صعباً لأن الرموز المولدة تُعاد تغذيتها في النموذج، مما يعقد صياغة مصفوفة DMD.
نطاق النماذج: تركز الدراسة على النماذج المضبطة بدقة تحت الإشراف لمهام محددة. أما النماذج العامة المضبطة للتعليمات (instruction-tuned) التي تصدرها الشركات، فلا تزال غير مستكشفة في هذا السياق.