💬 NLP

Where Does Reasoning Break? Step-Level Hallucination Detection via Hidden-State Transport Geometry

تقترح هذه الورقة إطار عمل للكشف عن الهلوسة على مستوى الخطوة، يحدد أخطاء الاستدلال باعتبارها انحرافات موضعية في هندسة نقل الحالة الخفية، وذلك باستخدام معلم يعتمد على تحليل المكونات الرئيسية التبايني (PCA) وطالب (BiLSTM) مُقطّر للتفوق على خطوط الأساس الحالية في تحديد موقع الخطأ الأول أثناء الاستدلال بمرور واحد.

المؤلفون الأصليون: Tyler Alvarez, Ali Baheri

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tyler Alvarez, Ali Baheri

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن نموذج لغة كبير (LLM) يحل مسألة رياضية معقدة أو يكتب قصة، يشبه متنزهاً يسير على ممر جبلي ضيق ومعبد جيداً. طالما بقي المتنزه على المسار، فهو يتحرك "بشكل صحيح". ولكن في بعض الأحيان، يتخذ المتنزه منعطفاً خاطئاً. وبمجرد خروجه عن المسار، قد يتجول بعيداً، ليستقر في النهاية عند مسار يبدو مشابهاً، لكنه الآن تائه. المشكلة هي أنه بحلول الوقت الذي يصل فيه إلى النهاية، قد يدعي بثقة أنه وصل إلى القمة، رغم أنه اتخذ منعطفاً خاطئاً قبل أميال.

تقدم هذه الورقة البحثية، بعنوان "أين ينكسر الاستدلال؟" (Where Does Reasoning Break?)، طريقة جديدة لرصد تلك اللحظة التي يخرج فيها المتنزه عن المسار بالضبط، بدلاً من مجرد التحقق مما إذا كان قد وصل إلى وجهة خاطئة.

إليك تفصيل نهجهم باستخدام تشبيهات بسيطة:

1. المشكلة: فحص الرحلة بأكملها مقابل المنعطف الخاطئ

معظم الطرق الحالية لرصد "الهلوسة" في الذكاء الاصطناعي (اختلاق المعلومات) تشبه مرشداً سياحياً لا ينظر إلا إلى الصورة النهائية للرحلة. يقول المرشد: "هذه الصورة تبدو غريبة؛ الرحلة بأكملها كانت فاشلة".

العيب: لا يمكنهم إخبارك أين أخطأ المتنزه. هل كانت الخطوة 2؟ أم الخطوة 50؟
الهدف: يريد المؤلفون رصد الخطوة الأولى التي يخرج فيها المتنزه عن المسار، حتى يمكن إصلاح الخطأ فوراً.

2. الفكرة الجوهرية: مسار "الحالة الخفية" (Hidden State Trajectory)

يعامل المؤلفون عملية التفكير الداخلي للذكاء الاصطناعي (حالاته الخفية) ليس كقائمة من الكلمات، بل كـ فيلم لحركة عبر مساحة عالية الأبعاد.

المتعدد الاستقرار (The Stable Manifold): تخيل "الاستدلال الصحيح" كطريق سريع سلس وغير مرئي. عندما يفكر الذكاء الاصطناعي بشكل صحيح، يظل "فيلمه" الداخلي ملتصقاً بهذا الطريق السريع.
الانحراف (The Excursion): عندما يرتكب الذكاء الاصطناعي خطأً، يقفز فيلمه الداخلي فجأة بعيداً عن الطريق السريع. إنه "انحراف موضعي"؛ قفزة غريبة ومفاجئة في البيانات.
الرؤية الثاقبة: حتى لو حاول الذكاء الاصطناعي لاحقاً التصرف بشكل طبيعي مرة أخرى، فإن تلك القفزة الأولى تترك ندبة هندسية يمكن قياسها.

3. النظام المكون من جزأين: المعلم والطالب

تقترح الورقة نظاماً يضم شخصيتين: المعلم والطالب.

المعلم (النظارات السحرية)

كيف يعمل: المعلم هو أداة تشخيصية فائقة الذكاء تمتلك "ورقة غش". هو يعرف بالضبط أي الخطوات في استدلال الذكاء الاصطناعي كانت صحيحة وأيها كانت خاطئة (لأنه تم تدريبه باستخدام تسميات توضيحية/Labels).
الخدعة: يستخدم نظارات خاصة تسمى Contrastive PCA. تخيل النظر إلى غرفة مزدحمة حيث يرتدي الجميع قمصاناً بألوان مختلفة. تقوم نظارات المعلم بتصفية كل "الضجيج" (مثل لون القمصان، أو حجم الغرفة، أو موضوع المحادثة) وتُركز فقط على الاتجاه المحدد الذي يحدث فيه "المنعطف الخاطئ".
النتيجة: يمكن للمعلم رصد اللحظة التي يخرج فيها الذكاء الاصطناعي عن الطريق السريع بدقة مذهلة.
العائق: المعلم عديم الفائدة في العالم الحقيقي لأنه يحتاج إلى ورقة الغش (التسميات) ليعمل. لا يمكنك إعطاء ذكاء اصطناعي ورقة غش أثناء قيامه بحل مشكلة لك بالفعل.

الطالب (المحقق الميداني)

كيف يعمل: الطالب هو نموذج خفيف الوزن وقابل للنشر، مصمم للعمل بدون ورقة غش. يحاول تعلم ما يراه المعلم، لكنه لا يملك سوى الوصول إلى "الفيلم" الخام لتفكير الذكاء الاصطناعي.
التدريب: يتم تدريب الطالب من خلال مراقبة المعلم. يتعلم محاكاة "درجة عدم الاستقرار" الخاصة بالمعلم.
الهدف: من المفترض أن يكون الطالب هو الأداة التي نستخدمها فعلياً في الحياة الواقعية لرصد الأخطاء في تمريرة واحدة.

4. الاكتشاف الكبير: مشكلة "الهامش" (The Margin Problem)

أجرت الورقة العديد من التجارب ووجدت نتيجة مفاجئة:

في الفصل الدراسي (داخل النطاق - In-Domain): عندما يتم اختبار الطالب على نفس نوع الذكاء الاصطناعي والبيانات التي تدرب عليها، فإنه يعمل بشكل رائع. إنه يرصد المنعطفات الخاطئة بنفس كفاءة المعلم تقريباً.
في البرية (عبر النماذج/مجموعات البيانات - Cross-Model/Dataset): عندما يتم اختبار الطالب على نموذج ذكاء اصطناعي مختلف أو نوع مختلف من المشكلات، فإنه ينهار. تنخفض كفاءته لتصل إلى مستوى التخمين العشوائي.

لماذا؟
يشرح المؤلفون ذلك باستخدام مفهوم "هامش النقل" (Transport Margin).

تخيل أن "المسار الصحيح" هو منطقة آمنة واسعة، وأن "المنعطف الخاطئ" هو منحدر صخري.
المعلم يرى فجوة كبيرة وواضحة (هامش واسع) بين المنطقة الآمنة والمنحدر.
الطالب يتعلم التعرف على المنحدر، لكنه يتعلم التعرف عليه بناءً على "نسيج" الأرض المحدد في غرفة التدريب.
عندما تنقل الطالب إلى غرفة جديدة (نموذج ذكاء اصطناعي جديد)، يتغير نسيج الأرض. يصاب الطالب بالارتباك لأنه كان يبحث عن النسيج الخاطئ، وليس عن المسافة الفعلية إلى المنحدر.
الاستنتاج: العائق المركزي لجعل هذا الأمر يعمل في العالم الحقيقي ليس في العثور على الخطأ، بل في تعليم الطالب التعرف على حجم الفجوة (الهامش) بغض النظر عن شكل نسيج الأرض.

الملخص

تعيد هذه الورقة صياغة اكتشاف الهلوسة في الذكاء الاصطناعي كـ مسألة هندسية. فبدلاً من السؤال "هل هذه الجملة صحيحة؟"، تسأل "هل اتخذت حركة الذكاء الاصطناعي الداخلية للتو قفزة غريبة بعيداً عن الطريق السريع؟".

لقد أثبتوا رياضياً أن "نظاراتهم السحرية" (Contrastive PCA) هي أفضل وسيلة لرصد هذه القفزات. لقد بنوا "طالباً" للقيام بالمهمة في العالم الحقيقي، لكنهم اكتشفوا أن الطالب يفشل حالياً عندما تتغير البيئة. وتخلص الورقة إلى أنه لإصلاح ذلك، نحتاج إلى تعليم الطالب الحفاظ على المسافة الهندسية (الهامش) بين الصواب والخطأ، بدلاً من مجرد حفظ الأنماط المحددة لبيانات التدريب.

ملخص تقني: أين ينكسر الاستدلال؟ كشف الهلوسة على مستوى الخطوة عبر هندسة نقل الحالات الخفية

1. تعريف المشكلة

غالبًا ما تهلوس النماذج اللغوية الكبيرة (LLMs) أثناء مهام الاستدلال متعددة الخطوات، حيث تولد خطوات وسيطة تبدو متسقة ولكنها غير صحيحة، مما يؤدي إلى انتشار الأخطاء إلى المخرج النهائي. تعاني طرق الكشف الحالية من ثلاث عيوب رئيسية:

التجميع على مستوى المسار (Trace-Level Aggregation): تخصص معظم أدوات الكشف (مثل الإنتروبيا الدلالية، والاتساق الذاتي، وSelfCheckGPT) درجة ثقة واحدة للمخرج بأكمله، وتفشل في تحديد موقع أول خطأ بدقة.
العبء الحسابي عند الاستدلال (Inference Overhead): تتطلب طرق مثل الاتساق الذاتي عمليات تمرير أمامي متعددة وأخذ عينات، وهو أمر مكلف حاسوبيًا.
الجمود مقابل الديناميكية: تركز تقنيات الفحص الحالية غالبًا على العبارات الواقعية الثابتة بدلاً من ديناميكيات مسار استدلال يتكشف تدريجيًا.

يفترض البحث أن كشف اللحظة الدقيقة التي ينكسر فيها الاستدلال (تحديد موقع أول خطأ) في تمريرة أمامية واحدة هو شرط مسبق للنشر الموثوق. التحدي الجوهري يكمثل في تحديد مكان انحراف سلسلة الاستدلال عن المسار المتماسك دون الاعتماد على مدققين خارجيين، أو أخذ عينات، أو تسميات وقت الاستدلال.

2. المنهجية: GeoReason

يقترح المؤلفون إطار عمل GeoReason، الذي يعامل تسلسل التمثيلات الخفية في تمريرة أمامية واحدة كمسار في فضاء التمثيل. يتم تأطير الهلوسة ليس كخطأ دلالي، بل كـ انحراف موضعي في تكلفة النقل بعيدًا عن متشعب مستقر من الانتقالات المتماسكة محليًا.

يتكون النظام من مكونين: المعلم المشروط بالتسمية (Label-Conditioned Teacher) والطالب القابل للنشر (Deployable Student).

2.1. المعلم (الحد التشخيصي الأعلى)

المعلم هو نموذج غير قابل للنشر يُستخدم لقياس وجود إشارة هندسية في الحالات الخفية. ويعمل كما يلي:

تطبيع المسار (Trace Normalization): بالنسبة للمسار المسمى، يحسب المعلم نظام إحداثيات محلي ممركز حول "البادئة الصحيحة" (الخطوات التي تسبق أول خطأ). يقوم بتطبيع الحالات الخفية بالنسبة للمتوسط والتباين لهذه الخطوات الصحيحة.
عدسة تحليل المكونات الرئيسية التبايني (cPCA): يتعلم المعلم مصفوفة إسقاط $U$ $U$ باستخدام cPCA. هذه العدسة مُحسّنة لتعظيم الفصل بين توزيع الانتقالات الصحيحة ( $P_0$ $P_{0}$ ) وانتقالات أول خطأ ( $P_1$ $P_{1}$ ) مع كبح اتجاهات التباين العالي المتأصلة في الاستدلال الصحيح.
- تهدف الدالة إلى تعظيم الفصل في النقل: $\Gamma(U) = \text{Tr}(U^\top M U)$ ، حيث $M = (\mu_1 - \mu_0)(\mu_1 - \mu_0)^\top + C_1 - \alpha C_0$ .
استخراج الميزات الهندسية: في الفضاء المسقط، يستخرج المعلم كتلة ميزات لكل خطوة، تشمل:
- الموقع: المسافة من المتشعب الصحيح.
- الحركة: السرعة ( $\|\Delta z_t\|$ ) والتسارع ( $\|\Delta^2 z_t\|$ ).
- الاستمرارية الاتجاهية: تشابه جيب التمام بين ناقلات الانتقال المتتالية.
التسجيل (Scoring): تقوم شبكة MLP خفيفة الوزن برسم خرائط لهذه الميزات الهندسية إلى احتمالية الهلوسة على مستوى الخطوة.

2.2. الطالب (الكاشف القابل للنشر)

الطالب هو نموذج BiLSTM قابل للنشر مصمم للعمل دون تسميات وقت الاستدلال، أو أخذ عينات، أو مدققين خارجيين.

البنية: يأخذ الحالات الخفية الخام كمدخلات ويخرج احتمالات على مستوى الخطوة.
التدريب عبر التقطير (Distillation): يتم تدريب الطالب لإعادة إنتاج إشارة عدم الاستقرار الخاصة بالمعلم باستخدام مزيج من:
1. خسارة الإشراف (Supervised Loss): خسارة التقاطع الثنائي المتوافق القياسي على تسميات الخطوات.
2. تقطير المعرفة (Knowledge Distillation): تباعد كولباك - ليبلر (KL) بين توزيعات احتمالية الطالب والمعلم (الأهداف الناعمة).
3. تقطير الميزات (Feature Distillation): رأس مساعد يجبر الطالب على مطابقة التمثيلات الهندسية للمعلم.
الاستدلال: يقوم الطالب بعملية تمرير أمامي واحدة. الخطأ الأول المتوقع هو الخطوة الأولى التي تتجاوز فيها الاحتمالية عتبة $\theta$ .

3. المساهمات النظرية

يقدم البحث ثلاثة ضمانات نظرية رئيسية:

مثالية cPCA (النظرية 3.1): يثبت أن تحليل المكونات الرئيسية التبايني هو الإسقاط الأمثل لتعظيم الفصل في النقل بين حالات الخطأ الأول والحالات الصحيحة تحت هدف مسافة Wasserstein التربيعية 2.
حد التحديد الموضعي (النظرية 3.2): يثبت أن التحديد الموضعي لأول خطأ في تمريرة واحدة مضمون إذا أحدث الخطأ الأول "هامش نقل" إيجابيًا فوق الانتقالات الصحيحة السابقة. لا يشترط أن يظل الخطأ شاذًا للأبد؛ فالتحديد يتطلب فقط أن تخلق الخطوة الخاطئة الأولى انحرافًا يمكن كشفه.
شرط التقطير (الافتراض 3.3): يختزل الاتفاق بين المعلم والطالب في شرط الحفاظ على الهامش. إذا حافظ الطالب على هامش قرار المعلم تحت تحولات التوزيع، فسيكون مؤشر الخطأ الأول متطابقًا.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات ProcessBench وPRM800K وHaluEval وTruthfulQA.

4.1. الأداء داخل النطاق (In-Domain)

الكشف على مستوى الخطوة: تفوق كلا النموذجين على النماذج المرجعية القائمة على الإنتروبيا، والفحص، والانتباه. حقق المعلم أعلى AUROC في ثلاثة من أربعة مجموعات بيانات (على سبيل المثال، 96.0 في TruthfulQA). حقق الطالب أفضل أداء في PRM800K (99.8 AUROC).
تحديد موقع أول خطأ: تفوق المعلم والطالب بشكل كبير على النماذج المرجعية في تحديد الخطوة الدقيقة التي انكسر فيها الاستدلال. على سبيل المثال، حقق الطالب دقة 96.8% في TruthfulQA.

4.2. التعميم وعقبات النشر

النقل عبر النماذج (Cross-Model Transfer): أظهر المعلم أداءً مستقرًا عبر عائلات نماذج مختلفة (Qwen, Llama, Mistral)، مما يؤكد وجود إشارة هندسية في المساحات الخفية بغض النظر عن النموذج المحدد.
انهيار الطالب (Student Collapse): أدى الطالب أداءً جيدًا عند اختباره على نفس النموذج الذي تدرب عليه، ولكنه انهار إلى أداء يقارب العشوائية (AUROC ~33–58%) عند تقييمه على عائلات نماذج أو مجموعات بيانات مختلفة.
التحليل: يعزو البحث هذه الفجوة إلى فشل الطالب في الحفاظ على هامش النقل تحت تحول التوزيع. بينما يلتقط المعلم إشارة عدم استقرار ميكانيكية متأصلة في هندسة الأخطاء، يتعلم الطالب إشارة تمثيلية تمتص الخصائص الفريدة لترميز النموذج، مما يؤدي إلى الفشل في التعميم عند تغير التوزيع الأساسي.

5. الأهمية والادعاءات

يزعم البحث إعادة صياغة كشف الهلوسة على مستوى الخطوة كمسألة ديناميكيات المسار بدلاً من التحقق الدلالي الثابت.

التأطير الهندسي: يقدم رؤية جديدة حيث تُعتبر الهلوسات "انحرافات موضعية" في تكلفة نقل الحالة الخفية، وهي متميزة عن المتشعب المستقر للاستدلال المتماسك.
التشخيص مقابل القابلية للنشر: من خلال الفصل بين وجود الإشارة (المعلم) والقدرة على استردادها دون تسميات (الطالب)، حدد المؤلفون العقبة المركزية أمام النشر: الحفاظ على هامش النقل التبايني تحت تحول التوزيع.
الصرامة النظرية: يوفر العمل أول تبرير نظري لاستخدام cPCA في هذا السياق ويضع الشروط التي يكون فيها التحديد الموضعي في تمريرة واحدة مضمونًا رياضيًا.

يخلص المؤلفون إلى أنه بينما تعد الإشارة الهندسية لكشف أول خطأ قوية وقابلة للنقل (كما أظهر المعلم)، فإن طرق التقطير الحالية غير كافية للنشر عبر المجالات لأنها تفشل في الحفاظ على الهامش الحرج المطلوب لحدود القرار الموثوقة.