💬 NLP

Truth as a Trajectory: What Internal Representations Reveal About Large Language Model Reasoning

تقدم هذه الورقة البحثية "الحقيقة كمسار" (TaT)، وهي طريقة جديدة للتفسير تحلل الإزاحات الهندسية على مستوى الطبقات في النماذج اللغوية الكبيرة بدلاً من التنشيطات الساكنة، مما يميز بفعالية بين الاستدلال الصحيح والأنماط الزائفة من خلال التغلب على قيود الميزات متعددة الدلالات والمغالطات اللفظية.

المؤلفون الأصليون: Hamed Damirchi, Ignacio Meza De la Jara, Ehsan Abbasnejad, Afshar Shamsi, Zhen Zhang, Javen Shi

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hamed Damirchi, Ignacio Meza De la Jara, Ehsan Abbasnejad, Afshar Shamsi, Zhen Zhang, Javen Shi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول معرفة ما إذا كان الطالب يفهم حقاً مسألة رياضية أم أنه مجرد يخمن الإجابة بناءً على الكلمات التي يراها.

إذا نظرت فقط إلى الإجابة النهائية التي يكتبها، فسيكون من الصعب التمييز بينهما؛ فقد يحصل على الإجابة الصحيحة بالصدفة، أو قد يحصل على إجابة خاطئة رغم فهمه للمفهوم.

تقدم هذه الورقة البحثية طريقة جديدة لـ "الاسترقاق للنظر داخل عقل" النماذج اللغوية الكبيرة (LLMs) — وهي روبوتات الدردشة الذكية التي نستخدمها اليوم. فبدلاً من مجرد النظر إلى الإجابة النهائية، يقترح المؤلفون مراقبة الرحلة بأكملها التي يتخذها الذكاء الاصطائي للوصول إلى هناك.

إليك تفصيل فكرتهم، "الحقيقة كمسار" (Truth as a Trajectory)، باستخدام تشبيهات بسيطة.

1. الطريقة القديمة: أخذ لقطة ثابتة

المشكلة:
في الوقت الحالي، يحاول الباحثون فهم الذكاء الاصطناعي عبر أخذ "لقطة" لعقله في لحظة واحدة (عادةً في منتصف عملية المعالجة). يسألون: "هل هذا النمط الفكري المحدد 'سام' أم 'صحيح'؟"

العيب:
يقول المؤلفون إن هذا يشبه محاولة الحكم على فيلم من خلال النظر إلى إطار واحد فقط.

إذا رأى الذكاء الاصطناعي كلمة "سم"، فقد تصرخ اللقطة الثابتة "خطر!" حتى لو كانت الجملة هي "نبات اللبلاب السام خطير الملمس" (وهي جملة تعليمية آمنة).
عقل الذكاء الاصطناعي فوضوي؛ فهو يخلط بين الحقائق، والقواعد اللغوية، والكلمات المحددة، وكل ذلك في آن واحد. اللقطة الواحدة تكون مزدحمة للغاية بحيث يصعب معها معرفة ما إذا كان الذكاء الاصطناعي يقوم بـ التفكير المنطقي أم أنه مجرد يكرر نمطاً حفظه.

2. الطريقة الجديدة: مشاهدة الفيلم (المسار)

الحل:
يقترح المؤلفون أنه لا ينبغي لنا النظر إلى إطار واحد. بدلاً من ذلك، يجب أن نشاهد الفيلم بأكمله لكيفية تغير أفكار الذكاء الاصطناعي من الكلمة الأولى إلى الأخيرة، طبقة تلو الأخرى.

وقد أطلقوا على هذا الاسم "الحقيقة كمسار" (Truth as a Trajectory).

التشبيه: المتنزه مقابل السكران
تخيل شخصين يحاولان المشي من أسفل تلة إلى قمتها (الإجابة الصحيحة).

المتنزه (التفكير الصحيح): يسير في مسار سلس وثابت. قد يتعرج قليلاً لتجنب الصخور، لكن اتجاهه العام ثابت. إنه يحرز تقدماً نحو الهدف.
السكران (التفكير الزائف): يتعثر، ويدور حول نفسه، ويأخذ خطوات واسعة للخلف، ثم يندفع للأمام فجأة. مساره متعرج، فوضوي، ومليء بالمنعطفات الحادة والمفاجئة.

تجادل الورقة بأن التفكير الصحيح يترك "بصمة" هندسية سلسة في عقل الذكاء الاصطناعي أثناء معالجة المعلومات. أما التفكير الخاطئ (أو الهلوسة) فيترك بصمة متعرجة وفوضوية.

3. كيف فعلوا ذلك: قياس "الخطوات"

بدلاً من سؤال "بماذا يفكر الذكاء الاصطناعي الآن؟"، سألوا: "كيف تغير تفكير الذكاء الاصطناعي من الخطوة الأخيرة إلى هذه الخطوة؟"

الإزاحة (Displacement): قاموا بقياس "الخطوة" التي اتخذها الذكاء الاصطناعي بين الطبقات.
السرعة والانحناء (Velocity & Curvature): نظروا في مدى سرعة تغيير الذكاء الاصطناعي لرأيه ومدى حدة انعطافه.

ووجدوا أنه عندما يفكر الذكاء الاصطناعي بشكل صحيح، فإن "خطواته" الداخلية تكون سلسة ومتسقة. وعندما يخمن أو يكذب، تكون خطواته الداخلية متقطعة وعشوائية.

4. النتائج: لماذا هذا مهم؟

اختبر الباحثون ذلك في مهام مختلفة:

الألغاز المنطقية: هل يمكن للذكاء الاصطناعي حل لغز؟
السمية: هل الذكاء الاصطناعي فظ أو مسيء؟

النجاح الكبير:
كانت الطرق القديمة (اللقطات الثابتة) سهلة الخداع؛ فإذا غيرت الكلمات قليلاً، كانت تفشل. أما طريقة "المسار" الجديدة فكانت مثل المحقق الخارق.

استطاعت التمييز بين شخص ينطق بكلمة سيئة (مثل اقتباس شخصية شريرة في قصة) وبين شخص ينوي أن يكون سيئاً.
نجحت الطريقة حتى عندما كان الذكاء الاصطناعي يتحدث عن موضوع جديد تماماً لم يسبق له رؤيته؛ فقد تعرفت على شكل التفكير الجيد، وليس فقط على كلمات محددة.

5. الخلاصة

فكر في عقل الذكاء الاصطناعي كخط تجميع في مصنع.

الطريقة القديمة: تفحص المنتج في نهاية الخط. إذا بدا جيداً، تفترض أن المصنع يعمل بشكل جيد.
الطريقة الجديدة (TaT): تراقب حزام النقل. ترى ما إذا كانت الأجزاء يتم تجميعها بسلاسة أم أن الآلة تتعطل وتخرج قطعاً بشكل عشوائي.

لماذا يعد هذا أمراً بالغ الأهمية؟
هذا يعني أنه يمكننا بناء أنظمة سلامة أفضل للذكاء الاصطناعي. فبدلاً من مجرد حظر الكلمات السيئة، يمكننا اكتشاف ما إذا كان الذكاء الاصطناعي يفكر بطريقة خطيرة أو غير منطقية، حتى لو كان يستخدم لغة مهذبة. يساعدنا هذا على الوثوق بالذكاء الاصطناعي ليس فقط لأنه يقول الشيء الصحيح، بل لأننا نستطيع رؤيته وهو يفعل الشيء الصحيح.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الحقيقة كمسار: ما تكشفه التمثيلات الداخلية عن استدلال النماذج اللغوية الكبيرة".

1. بيان المشكلة

تعتمد طرق التفسير الحالية للنماذج اللغوية الكبيرة (LLMs) بشكل أساسي على فرضية التمثيل الخطي (LRH). يعامل هذا النموذج التمثيلات المخفية (hidden states) كنقاط ثابتة في فضاء التنشيط، بافتراض أن خصائص مثل صحة الاستدلال أو السمية يمكن اكتشافها عبر مجسات خطية (linear probes) عند طبقة واحدة محددة.

حدد المؤلفون عدة قيود حرجة لهذا النهج الثابت:

تعدد الدلالات (Polysemanticity): تكون التنشيطات مشبعة بميزات مختلطة (المحتوى المعجمي، البنية النحوية، آثار المهمة)، مما يجعل المجسات الخطية تلتصق بالارتباطات السطحية (مثل الرموز/الكلمات المحددة) بدلاً من هياكل الاستدلال الكامنة.
نقص التعميم: المجسات المدربة على مجموعة بيانات واحدة غالباً ما تفشل في التعميم على مجموعات أخرى لأن "هندسة الحقيقة" غالباً ما تكون مرتبطة بمهمة معينة ومتعامدة عبر المجالات المختلفة.
الثبات مقابل الديناميكية: الاستدلال عملية ديناميكية من الصقل المتكرر، لكن المجسات الثابتة تتجاهل التطور الزمني للتمثيلات عبر الطبقات.
غموض اختيار الطبقة: لا توجد طريقة منهجية لاختيار الطبقة التي يجب فحصها، وغالباً ما تكون نتائج التدخل غير متسقة.

تتمثل المشكلة الجوهرية في عدم القدرة على التمييز بين نموذج يتبع أنماط استدلال صحيحة ونموذج يعتمد على استدلالات سطحية ومضللة، لا سيما في المجالات ذات الأهمية الحرجة للسلامة.

2. المنهجية: الحقيقة كمسار (TaT)

يقترح المؤلفون إطار عمل "الحقيقة كمسار" (Truth as a Trajectory - TaT)، وهو إطار يعيد صياغة استدلال النماذج اللغوية الكبيرة باعتباره نظاماً ديناميكياً بدلاً من مجرد مجموعة من اللقطات الثابتة.

المفهوم الجوهري

بدلاً من تحليل التنشيطات الخام ( $h_{\ell}$ ) عند طبقة معينة، يعمل TaT على نمذجة عملية الاستدلال كمسار مستمر عبر فضاء التمثيل. يركز الإطار على متجهات الإزاحة عبر الطبقات:
$\Delta h_{\ell} = h_{\ell+1} - h_{\ell}$
هذا التحول مدفوع بـ فرضية القاعدة المميزة (Privileged Basis Hypothesis). فمن خلال أخذ الفرق بين الطبقات المتتالية، يقوم هذا الأسلوب بتخفيف المكونات الثابتة عالية المقدار (مثل هوية الرمز أو محتوى المطالبة/Prompt) ويعزل التحديثات المتبقية النشطة ( $f_{\theta}(h_{\ell})$ ) التي تمثل عملية الاستدلال النشطة للنموذج.

البنية الهندسية

بناء المسار: بالنسبة لتسلسل مدخلات معين، يستخرج النموذج تسلسل متجهات الإزاحة عبر جميع الرموز وجميع الطبقات، مما يشكل تسلسلاً زمنياً موحداً $S_i$ .
نمذجة الديناميكيات: تقوم شبكة الذاكرة الطويلة قصيرة المدى (LSTM) خفيفة الوزن بمعالجة هذا التسلسل. تم اختيار LSTM لنمذجة التبعيات التسلسلية للتحديثات الهندسية بشكل صريح، ولتطوير قدرة على التقاط الثوابت الهيكلية غير الخطية التي قد تغفل عنها المقاييس الكينماتيكية البسيطة (مثل السرعة أو الانحناء وحده).
التصنيف: يتم تمرير الحالة المخفية النهائية لشبكة LSTM عبر رأس خطي للتنبؤ بصحة الاستدلال (على سبيل المثال: صحيح مقابل خاطئ، سام مقابل حميد).

التمييز الرئيسي

على عكس الأعمال السابقة التي تحلل المتجهات الثابتة أو المقاييس الكينماتيكية البسيطة (السرعة، التسارع)، يتعلم TaT حدود القرار مباشرة على "منوع" (manifold) ديناميكيات المسار، حيث يلتقط كيفية تطور التمثيلات بدلاً من مكان استقرارها.

3. المساهمات الرئيسية

التفسير القائم على المسار: تقديم TaT، الذي ينقل التركيز من تحليل الطبقات الثابتة إلى التطور الهندسي الدينماكي للاستدلال عبر الرسم البيائي الحسابي بأكمله.
الثوابت الهندسية عبر المهام: إثبات أن تحليل متجهات الإزاحة يكشف عن ثوابت هيكلية للاستدلال الصحيح تتجاوز الأنماط المعجمية والمطالبات المحددة للمهام.
الكشف عن السلوك القوي: توسيع تحليل المسار ليشمل الخصائص السلوكية المعقدة مثل السمية، مما أظهر قدرة فائقة على التمييز بين النية السامة والاستخدام الحميد للمفردات السامة (مثل الكلمات داخل علامات الاقتباس).
التحقق التجريبي: تقديم أدلة واسعة النطاق على أن تحليل المسار يتفوق على كل من المجسات الخطية الثابتة وقدرات النموذج الأصلية في التعلم من الصفر (Zero-shot) أو التعلم من أمثلة قليلة (Few-shot) في اكتشاف صحة الاستدلال.

4. النتائج التجريبية

قيم المؤلفون TaT على معايير متنوعة (الاستدلال المنطقي، الأسئلة والأجوبة، الواقعية، والسمية) عبر بنيات كثيفة (Llama-3.1-8B, Qwen2.5) وبنيات خليط الخبراء (MoE).

التعميم خارج نطاق التوزيع (OOD Generalization):
- أظهر TaT المدرب على مجموعة بيانات واحدة (مثل ARC-Challenge) قدرة أفضل بكثير على التعميم لمجموعات بيانات غير مرئية مقارنة بالمجسات الخطية.
- أظهرت المجسات الخطية دقة عالية داخل نطاق التوزيع (In-distribution) ولكنها شهدت انخفاضاً حاداً في الأداء في مهام خارج نطاق التوزيع، مما يشير إلى الإفراط في التخصيص للأنماط المعجمية الخاصة بمجموعة البيانات.
- تفوق TaT باستمرار على أداء النموذج الأصلي في حالات التعلم من الصفر (Zero-shot) والتعلم من أمثلة قليلة (Few-shot)، مما يثبت أن البنية الهندسية للصحة هي إشارة أقوى من مخرجات النموذج السطحية.
اكتشاف السمية:
- في معيار ToxiGen (المصمم ليكون مستقلاً عن الكلمات المفتاحية)، تفوق TaT بشكل كبير على المجسات الخطية ونماذج المسار الخام.
- نجح TaT في التمييز بين النية السامة وبين استخدام المفردات السامة في سياق أو اقتباس، بينما بالغت نماذج التنشيط الخام في تقدير الكلمات السامة المحددة.
دراسات الاستئصال (Ablation Studies):
- الإزاحة مقابل التنشيط الخام: كان استخدام متجهات الإزاحة (TaT) أمراً حاسماً؛ حيث حققت مسارات التنشيط الخام أداءً جيداً داخل نطاق التوزيع ولكنها فشلت في التعميم، مما أكد أن المحتوى الثابت يتداخل مع إشارات الاستدلال.
- البنية الشبكية: أدى تقليص المسار إلى طبقة واحدة أو رمز واحد إلى تدهور الأداء، مما يثبت أن كل من العمق (تطور الطبقات) والسياق (تسلسل الرموز) ضروريان للإشارة.
- ثبات الترتيب: تفوق نموذج (Set MLP) الذي لا يعتمد على الترتيب على LSTM، مما يؤكد أن تسلسل التحديثات (الديناميكيات الزمنية) هو ما يحمل الإشارة التمييزية.
- المقارنة مع LoRA: تفوق TaT على التكيف منخفض الرتبة (LoRA) في مهام التعميم، مما يشير إلى أن تعديل الأوزان (LoRA) يؤدي إلى الإفراط في التخصيص، بينما مراقبة الهندسة (TaT) تلتقط الثوابت القوية.

5. الأهمية والآثار المترتبة

ما وراء المجسات الثابتة: تتحدى الورقة فرضية التمثيل الخطي السائدة في سياق الاستدلال، مقترحة أن "الصحة" هي خاصية ديناميكية يُمكن التقاطها بشكل أفضل عبر الإزاحة الهندسية.
السلامة والمراقبة: يوفر TaT أداة قوية لمراقبة سلامة النماذج اللغوية الكبيرة. يمكنه اكتشاف الاستدلال المضلل أو النية السامة حتى عندما يستخدم النموذج مفردات "آمنة" أو عندما يتغير هيكل المطالبة، مما يعالج عقبة رئيسية في نشر النماذج في البيئات عالية المخاطر.
توقيع مستقل عن المهمة: تشير النتائج إلى وجود توقيع عام للمعلومات حول صحة الاستدلال داخل هندسة مسار الاستدلال، مما يمهد الطريق لأدوات تفسير أكثر موثوقية.
الاتجاهات المستقبلية: يقترح المؤلفون استخدام TaT كأداة قراءة لعمليات التدخل السببي (مثل "ترقيع التنشيط" - Activation Patching) لتحديد مكونات الدائرة البرمجية المسؤولة عن أخطاء الاستدلال، مما يربس بين الهندسة الكلية والتفسير الآلي الدقيق.

6. القيود

التكلفة الحسابية: يتطلب TaS استخراج التنشيطات عبر جميع الطبقات والرموز، وهو أمر أكثر تكلفة من الفحص أحادي الطبقة (رغم أن المؤلفين يشيرون إلى أن العبء الإضافي ضئيل مقارنة بعملية التمرير الأمامي الأساسية في النشر الواقعي).
الميزات الضمنية: بينما يكتشف LSTM "الصحة"، فإن الميزات الهندسية المحددة التي يتعلمها تظل ضمنية وتفتقر إلى التفسير المباشر مثل رؤوس الانتباه أو الدوائر الفردية.
متطلبات بيانات التدريب: لا تزال الطريقة تتطلب التدريب على مجموعات بيانات قابلة للتعميم، على عكس بعض المقاييس الكينماتيكية النظرية التي تهدف إلى أن تكون خالية من التدريب.