💬 NLP

Hallucination as an Anomaly: Dynamic Intervention via Probabilistic Circuits

تقدم الورقة البحثية PCNET، وهي طريقة قائمة على الدوائر الاحتمالية تكتشف الهلوسة كشذوذ هندسي في التدفق المتبقي للنموذج اللغوي الكبير لتمكين التدخل الديناميكي المستهدف عبر PC-LDCD، مما يقلل من الهلوسة بشكل كبير مع الحفاظ على سلامة التوليدات الصحيحة دون الحاجة إلى تعديل أوزان النموذج أو استخدام أدوات تحقق خارجية.

المؤلفون الأصليون: Erik Nielsen, Elia Cunegatti, Marcus Vukojevic, Giovanni Iacca

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Erik Nielsen, Elia Cunegatti, Marcus Vukojevic, Giovanni Iacca

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغوي كبير (LLM) كأنه راوٍ موهوب وسريع الكلام. هذا الراوي قد قرأ كل شيء تقريبًا كُتب على الإطلاق، لكنه أحيانًا، في حماسته لإنهاء القصة، يخترع حقائق تبدو مثالية ولكنها خاطئة تمامًا. يُطلق على هذا "الهلوسة" (Hallucination).

تقدم الورقة البحثية التي قدمتها نظامًا جديدًا يسمى PCNET و PC-LDCD لحل هذه المشكلة. إليك كيفية عمل ذلك، مشروحًا من خلال تشبيهات بسيطة.

المشكلة: خطأ "التصحيح الأعمى"

تخيل أنك تقوم بتحرير فيلم. تلاحظ أن الممثل يقول أحيانًا السطر الخطأ.

الطرق القديمة: كانت الطريقة القديمة لإصلاح هذا هي توظيف محرر، يقوم كلما سمع خطأً محتملًا بأن يمسك بالسيناريو ويعيد كتابة سطر الممثل فورًا. المشكلة؟ لم يكن المحرر جيدًا في تمييز الفرق بين الخطأ الحقيقي وبين جملة إبداعية وصحيحة. لذا، انتهى به الأمر بإعادة كتابة جمل الممثل الصحيحة أيضًا، مما أفسد الفيلم. تطلق الورقة على هذا اسم "عدم التماثل بين الكشف والتصحيح" (Detection-Correction Asymmetry): الأدوات التي تجيد رصد الأخطاء كانت خرقاء جدًا في إصلاحها دون إفساد الأشياء الجيدة.

الحل: نظام سلامة يتكون من خطوتين

يقترح المؤلفون نهجًا أكثر ذكاءً يتكون من خطوتين، يعمل كحارس أمن ومحرر متخصص يعملان معًا.

الخطوة 1: حارس الأمن (PCNET)

أولاً، قاموا ببناء كاشف خاص يسمى PCNET.

التشبيه: تخيل أن عقل الراوي عبارة عن ساحة رقص ضخمة ومزدحمة. عندما يقول الحقيقة، فإنه يرقص في منطقة محددة ومعتادة ("المنطوق الحقائقي" أو factual manifold). وعندما يبدأ في الكذب أو الهلوسة، فإنه ينزلق إلى زاوية غريبة وفارغة من الغرفة حيث لا يرقص أحد.
كيف يعمل: PCNET يشبه حارس أمن يمتلك خريطة مثالية لساحة الرقص. هو لا يحتاج للتخمين أو طلب المساعدة من الآخرين. إنه ينظر إلى "حركة رقص" الراوي الحالية (الحالة المخفية في ذاكرة الكمبيوتر) ويحسب فورًا: "هل هذا الراقص في المنطقة الآمنة أم في الزاوية الغريبة؟"
السحر: يقوم بذلك باستخدام خدعة رياضية تسمى "الدائرة الاحتمالية" (Probabilistic Circuit). وهذا يسمح له بمعرفة الإجابة فورًا دون الحاجة إلى تشغيل ملايين المحاكاة أو سؤال خبير خارجي. إذا كان الراقص في "الزاوية الغريبة"، فإن الحارس يطلق إنذارًا صامتًا.

الخطوة 2: المحرر المتخصص (PC-LDCD)

إذا أطلق الحارس الإنذار، يتدخل نظام ثانٍ يسمى PC-LDCD.

التشبيه: بدلاً من أن يمسك المحرر بالسيناريو ويعيد كتابة المشهد بأكمله (مما يفسد التدفق)، يتدخل هذا المحرر فقط عندما يقول الحارس ذلك. عندما يضع الحارس علامة على احتمال وجود كذبة، يتوقف المحرر لجزء من الثانية. ينظر إلى الكلمات القليلة التالية التي قد يقولها الراوي ويسأل نفسه: "إذا اخترت هذه الكلمة، هل سأبقي الراقص في المنطقة الآمنة، أم سأدفعه أكثر نحو الزاوية الغريبة؟"
النتيجة: إنه يختار الكلمة التي تبقي القصة على المسار الصحيح. إذا لم يطلق الحارس إنذارًا، فلا يفعل المحرر شيئًا، تاركًا الراوي يتدفق بشكل طبيعي.

لماذا يعد هذا أمرًا بالغ الأهمية

اختبرت الورقة هذا النظام على أربعة نماذج ذكاء اصطناعي مختلفة (تتراوح من الحجم الصغير إلى المتوسط) وأربعة أنواع مختلفة من الاختبارات (مثل الإجابة على الأسئلة العامة، وفهم الاستيعاب، والتحقق مما إذا كان الذكاء الاصطناعي يقول الحقيقة).

كشف فائق الدقة: كان "حارس الأمن" (PCNET) دقيقًا للغاية. استطاع رصد الهلوسة بدقة شبه مثالية (تصل إلى 99% في بعض الاختبارات)، وهو أفضل بكثير من الطرق السابقة التي كانت تعتمد فقط على التخمين بناءً على احتمالات الكلمات.
عدم الإفساد العرضي: نظرًا لأن "المحرر" (PC-LDCD) لا يتدخل إلا عندما يكون الحارس متأكدًا، فقد أوقف المشكلة القديمة المتمثلة في إصلاح الأشياء التي لم تكن مكسورة.
- الإحصائية: الطرُق القديمة أفسدت حوالي 54% من الإجابات الصحيحة التي حاولت إصلاحها. أما النظام الجديد فقد أفسد حوالي 54% من إجمالي المحاولات (مما يعني أنه أنقذ الكثير من الإجابات الصحيحة مقارنة بالسابق) ونجح في حماية 79% من عمليات التوليد الصحيحة التي كانت تُفسد سابقًا.
صدق أفضل: في اختبار "TruthfulQA" (المصمم لخداع الذكاء الاصطناعي لجعله يكذب)، حصل النظام الجديد على أعلى الدرجات في كونه صادقًا ومعلوماتيًا في ثلاثة من أصل أربعة نماذج تم اختبارها.

الملخص

فكر في هذه الورقة كأنها ابتكار إشارة مرور ذكية للذكاء الاصطناعي.

الطريقة القديمة: شرطي يوقف كل سيارة للتحقق مما إذا كانت مسرعة، مما يؤدي غالبًا إلى إيقاف السيارات التي تسير بشكل مثالي، مما يسبب ازدحامًا مروريًا.
الطريقة الجديدة: مستشعر يوقف فقط السيارات التي تتجاوز السرعة بالفعل، مما يسم يترك الجميع يقودون بسلاسة.

النتيجة هي ذكاء اصطناعي أقل عرضة للكذب، ولكنه أيضًا أقل عرضة للارتباك أو التلعثم عندما يحاول قول الحقيقة. لقد جعل المؤلفون هذا الكود متاحًا للآخرين لاستخدامه.

ملخص تقني: الهلوسة كشذوذ عبر الدوائر الاحتمالية

بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) من الهلوسة، حيث تولد مخرجات بليغة ولكنها غير صحيحة واقعيًا. وبينما تُظهر طرق الكشف الحالية (مراقبة عدم اليقين) وطرق التصحيح (هندسة التمثيل) نتائج واعدة بشكل فردي، فإن الجمع بينهما يكشف عن حد أساسي يُسمى عدم التماثل بين الكشف والتصحيح (Detection-Correction Asymmetry). غالبًا ما تطبق تقنيات التصحيح الحالية ناقلات التوجيه (steering vectors) بشكل عشوائي على كل رمز (token). هذا التعديل المستمر للحالات الكامنة يدفع التنشيطات بعيدًا عن "المنطوِئ" (manifold) المُدرب مسبقًا، مما يؤدي إلى تدهور الطلاقة وإفساد التوليدات الصحيحة أصلاً. تجادل الورقة بأن التصحيح غير المقيّد (un-gated correction) يمكن أن يفسد ما بين 26% و90% من التوليدات الواقعية، مما يستلزم إطار عمل يفصل بين الكشف والتصحيح للحفاظ على سلامة المخرجات الواقعية.

المنهجية

يقترح المؤلفون إطار عمل يتكون من مرحلتين: PCNET للكشف القابل للتتبع عن الشذوذ، و PC-LDCD للتصحيح المقيد والمحافظ على المنطوِئ.

1. PCNET: الكشف عن الشذوذ الكامن القابل للتتبع

إن PCNET عبارة عن دائرة احتمالية (PC) مدربة كمقدر لكثافة التوزيع فوق إسقاط منخفض الأبعاد لتدفق البقايا (residual stream) في النموذج اللغوي الكبير.

البنية: يتم إسقاط الحالة الخفية النهائية للنموذج ( $h \in \mathbb{R}^{D_{LLM}}$ ) عبر عنق زجاجة لطبقة متعددة الطبقات (MLP) إلى فضاء كامن مدمج ( $z \in \mathbb{R}^{D_{PC}}$ ). تقوم PCNET بنمذجة توزيع الاحتمال المشترك $P(z)$ في هذا الفضاء.
الهيكل: الدائرة عبارة عن رسم بياني موجه غير حلقي (DAG) يتكون من عقد إدخال، وعقد جمع، وعقد ضرب. وعلى عكس الدوائر الاحتمالية القياسية، تستخدم عقد الإدخال مزيجًا غير متجانس من توزيعات غاوس (Gaussian)، و لابلاس (Laplace)، و ستودنت-تي (Student-T) لالتقاط الهندسة المعقدة وذات الذيول الثقيلة لتمثيلات النماذج اللغوية الكبيرة.
التدريب: يتم تحسين PCNET وعنق الزجاجة للإسقاط بشكل مشترك باستخدام هدف مركب: حد توليدي (الاحتمال السلبي اللوغاريتمي على الحالات الواقعية) وحد تبايني هامشي (دفع الحالات المهلوسة إلى مناطق منخفضة الكثافة). يظل النموذج اللغوي الأساسي مجمدًا.
الاستدلال: تحسب PCNET الاحتمال السلبي اللوغاريتمي (NLL) الدقيق لحالة كامنة في تمريرة أمامية واحدة دون الحاجة إلى أخذ عينات أو مُحقِّق خارجي. يشير الـ NLL المرتفع إلى شذوذ هندسي، مما يشير إلى انحراف عن "المنطوِئ الواقعي".

2. PC-LDCD: التصحيح المحافظ على المنطوِئ

يستخدم PC-LDCD (فك التشفير التبايني لكثافة الكامن عبر الدوائر الاحتمالية) نظام PCNET كبوابة ديناميكية للتدخل فقط عند الضرورة.

البوابة الديناميكية: عند كل خطوة فك تشفير، يتم حساب الـ NLL للحالة الحالية. إذا تجاوز الـ NFF عتبة مُعايرة $\tau$ ، يتم تفعيل التدخل. إذا اعتُبرت الحالة واقعية (NLL منخفض)، يستمر فك التشفيم القياسي دون تغيير، مما يحافظ على سلوك النموذج الأساسي.
الاستشراف المنفصل (Discrete Lookahead): عند اكتشاف شذوذ، يقوم النظام بتعليق فك التشفير القياسي. ويقوم بإجراء بحث استشرافي لـ $k$ -من المرشحين في فضاء الرموز المنفصل. يتم اختيار الرمز الأمثل عن طريق تعظيم الاحتمال اللوغاريتمي المعاقب:
$\text{Score}_{LDCD}(c_i) = \log P_{LM}(c_i | x_{<t}) - \beta_t \cdot \text{SNLL}(f_\phi(h(c_i)_{t+1}))$
هنا، $\beta_t$ هو معامل قوة ديناميكي يعتمد على درجة الشذوذ، و $\text{SNLL}$ هو الـ NLL للحالة المستقبلية الافتراضية. يتباين هذا النهج مع الثقة التوليدية مقابل الكثافة اللوغاريتمية الدقيقة للمنطوِئ المتعلم، حيث يتدخل فقط لمنع المسار من التعمق في المناطق المهلوسة.

المساهمات الرئيسية

التحقيق التجريبي في عدم التماثل بين الكشف والتصحيح: تُظهر الورقة بشكل منهجي أن هندسة التمثيل غير المقيدة تفسد التوليدات الواقعية، مما يثبت الضرورة الرياضية للتدخلات المقيدة.
الكشف عن الشذوذ الكامن القابل للتتبع (PCNET): قدم المؤلفون PCNET، مبرهنين على أن تقدير الكثافة الدقيق فوق منطوِئ كامن تم تدريبه تباينيًا يحدد الهلوسة بمساحة تحت المنحنى (AUROC) تضاهى أحدث المعايير عبر نماذج ومعايير متنوعة، دون الحاجة لأخذ عينات أو تعديلات في الأوزان.
التصحيح المحافظ على المنطوِئ (PC-LDCD): يحقق استراتيجية فك التشفير المعتمدة على كثافة المنطوِئ أدنى معدل فساد وأعلى معدل حفظ بين الطرق التي تم تقييمها، حيث يصحح الهلوسة بنجاح مع ترك التوليدات الصحيحة دون مساس.

النتائج التجريبية

تم تقييم الإطار على أربعة نماذج لغوية كبيرة (تتراوح من 1 مليار إلى 8 مليارات معلمة) وأربعة معايير (CoQA، و SQuAD v2.0، و TriviaQA، و TruthfulQA).

أداء الكشف: حققت PCNET كشفًا شبه مثالي للهلوسة في CoQA و SQuAD v2.0 و TriviaQA، مع وصول درجات AUROC إلى 99%. وقد تفوقت بشكل كبير على النماذج المرجعية مثل Token-NLL و Semantic Entropy Probes (SEP) و HaloScope، خاصة في المعايير القائمة على المعرفة والمعايير العدائية.
فعالية التصحيح:
- الحفظ: خفض PC-LDCD متوسط معدل فساد التوليدات الواقعية إلى 53.7% وحقق معدل حفظ قدره 79.3%، متفوقًا بشكل ملحوظ على النماذج المرجعية غير المقيدة.
- الصدق (Truthfulness): في TruthfulQA، حقق PC-LDCD أعلى درجات في True+Info و MC2 و MC3 في ثلاثة من أصل أربعة نماذج. وقد حسّن بشكل ملحوظ قيم MC2 و MC3 (المقاييس التي تقيس عدم اليقين المعاير عبر عدة إكمالات صادقة)، مما يشير إلى أنه ينتج توزيعات مخرجات أكثر صدقًا وقوة بدلاً من مجرد إزاحة ثقة الإجابة الواحدة.
- الأسئلة والأجوبة القياسية: في معايير الأسئلة والأجوبة القياسية، ظل PC-LDCD منافسًا، حيث عادل أو تتبع عن قرب أفضل النماذج المرجعية (على سبيل المثال، تحقيق SQuAD EM 0.87 على Mistral-7B).
الكفاءة: لا تتطلب الطريقة أي استرجاع خارجي أو تحديثات للأوزان. وأظهرت دراسات الاستئصال (Ablation studies) أن أداء الكشف القريب من الأمثل يمكن تحقيقه باستخدام 100 عينة تدريب فقط وبُعد إسقاط قدره 128.

الأهمية والادعاءات

تدعي الورقة أنه من خلال صياغة الهلوسة كشذوذ هندسي على منطوِئ واقعي واستخدام الدوائر الاحتمالية لتقدير الكثافة الدقيق، فإنه من الممكن حل التوتر بين الكشف والتصحيح. تكمن الأهمية الأساسية في آلية البوابة (gating mechanism): من خلال توجيه التصحيحات حصريًا إلى فضاء الرموز المنفصل فقط عندما ينحرف الهندسة الكامنة، يتجنب النهج "الانهيار الدلالي" الناتج عن التعديل المستمر العشوائي.

يضع المؤلفون عملهم كخطوة نحو نشر موثوق للنماذج اللغوية الكبيرة في المجالات عالية المخاطر، مقدمين إشارة عدم يقين أحادية المسار ومنضبطة لا تعتمد على الثقة المفرطة لاحتمالات الرموز أو العبء الحسابي لأخذ العينات متعدد المسارات. وهم يقرون بالقيود، بما في ذلك الحاجة إلى مجموعة معايرة صغيرة من الحالات المصنفة، والنطاق الحالي للتقييم المقتصر على النماذج حتى 8 مليارات معلمة، مما يترك تساؤلاً مفتوحًا حول الفصل الهندسي في النماذج الأكبر حجمًا.