💬 NLP

MultiHaluDet: Multilingual Hallucination Detection via LLM Hidden State Probing

يُعد MultiHaluDet إطار عمل جديداً ثلاثي المراحل وغير مرتبط بلغة محددة، يعمل على كشف الهلوسة متعددة اللغات في النماذج اللغوية الكبيرة المجمدة عبر فحص مسارات الحالة الخفية الكاملة باستخدام بنية انتباه هجينة، محققاً أداءً هو الأفضل في فئته وتعميماً قوياً عبر اللغات ذات الموارد العالية والمتوسطة والمنخفضة دون الحاجة إلى ضبط دقيق خاص بكل لغة.

المؤلفون الأصليون: Riasad Alvi, Nurul Labib Sayeedi, Md. Faiyaz Abdullah Sayeedi

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Riasad Alvi, Nurul Labib Sayeedi, Md. Faiyaz Abdullah Sayeedi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا جدًا ومتعدد اللغات (نموذج لغوي كبير، أو LLM)، يحب سرد القصص والإجابة على الأسئلة. أحيانًا، يكتسب هذا الروبوت ثقة عالية ولكنه يختلق أشياءً من خياله تمامًا. تُسمى هذه الحقائق المختلقة "هلوسات" (Hallucinations).

يقدم البحث أداة جديدة تسمى MULTIHALUDET (كشف الهلوسة متعدد اللغات). فكر في الأمر ليس كمدقق حقائق يبحث عن الإجابة في جوجل، بل كـ جهاز كشف كذب يستمع إلى نبضات قلب الروبوت.

إليك كيف يعمل، مقسمًا إلى مفاهيم بسيطة:

١. المشكلة: لماذا تفشل الطرق القديمة؟

كانت الطرق السابقة لكشف الأكاذيب تشبه سؤال الروبوت: "هل أنت متأكد؟"

فخ الثقة: إذا قال الروبوت: "أنا متأكد بنسبة 100%"، فإن الطرق القديمة كانت تعتقد أنه يقول الحقيقة. لكن البحث يظهر أن الروبوت يمكن أن يكون مخطئًا وبكل ثقة. الأمر يشبه كاذبًا لبقًا ومقنعًا للغاية.
فخ الفحص الأحادي: كانت الطرق الأخرى تنظر إلى جزء واحد فقط من عقل الروبوت (طبقة واحدة) أو فقط إلى الكلمة النهائية التي نطق بها. يجادل البحث بأن الأكاذب غالبًا ما تختبئ في "رحلة" عملية التفكير، وليس في الوجهة النهائية فقط.

٢. الحل: الاستماع إلى "موجات الدماغ"

لا يسأل MULTIHALUDET الروبوت عما يفكر فيه، بل يتحسس "الحالات الخفية" الداخلية للروبوت أثناء تفكيره.

التشبيه: تخيل أن الروبوت يكتب قصة.
- الطريقة القديمة: تقرأ الجملة النهائية لترى ما إذا كانت منطقية.
- MULTIHALUDET: يراقب يد الروبوت وهي تكتب كل حرف، ويشعر بالضغط، والسرعة، والتردد عند كل خطوة. إنه يبحث عن "الارتعاشات" في عملية الكتابة التي تشير إلى كذبة، حتى لو بدت الجملة النهائية مثالية.

٣. كيف يعمل (المراحل الأربع)

يعمل النظام مثل وكالة تحريات مكونة من أربع خطوات:

المسح (استخراج الميزات): يجيب الروبوت على سؤال ما. يقوم النظام بتجميد الروبوت (دون تغيير دماغه) ويسجل "فيديو" لأفكاره الداخلية أثناء انتقاله من الطبقة الأولى في دماغه إلى الطبقة الأخيرة.
عدسة الزووم (الانتباه متعدد المقاييس): لا يكتفي النظام بالنظر إلى الفيديو بأكمله أو إلى إطار واحد فقط. بل يستخدم "عدسة زووم" للنظر إلى الصورة الكبيرة والتفاصيل الدقيقة في آن واحد. إنه يبحث عن التحولات المفاجئة أو الأنماط الغريبة في كيفية تطور أفكار الروبوت.
اجتماع الفريق (المتعلم التجميعي - Ensemble Meta-Learner): بدلًا من وجود محقق واحد يتخذ القرار، يستخدم النظام فريقًا من الخبراء المختلفين (مثل محقق يعتمد على الأشجار، ومحقق يعتمد على الرياضيات، ومحقق عصبي). جميعهم يصوتون على ما إذا كان الروبوت يكذب أم لا.
شبكة الأمان (التكديس خارج الطيات - Out-of-Fold Stacking): لضمان عدم غش الفريق عبر حفظ الإجابات، يتدربون بطريقة تجعلهم لا يرون أسئلة الاختبار أثناء التدريب. هذا يضمن أنهم يتعلمون حقًا كيفية رصد الأكاذيب، وليس مجرد حفظ الحقائق.

٤. القوة الخارقة متعددة اللغات

معظم أجهزة كشف الكذب تعمل بشكل جيد في اللغة الإنجليزية فقط. أما MULTIHALUDET فهو مميز لأنه يعمل في الفرنسية، والبنجالية، والأمهرية (وهي لغة ذات موارد رقمية قليلة جدًا) دون الحاجة إلى إعادة تدريبه لكل لغة.

النتيجة: يعمل في الفرنسية بشكل يقارب جودة عمله في الإنجليزية. وفي البنجالية والأمهرية، لا يزال يؤدي عملًا رائعًا، وهو أفضل بكثير من أي طريقة سابقة، رغم أن الروبوت قد لا يكون "فصيحًا" بنفس القدر في تلك اللغات. هذا يثبت أن "ارتعاشات" الكذب تبدو متشابهة في عقل الروبوت، بغض النظر عن اللغة التي يتحدثها.

٥. النتائج

اختبر البحث هذه الأداة على مجموعتين كبيرتين من الأسئلة (HaluEval و TriviaQA).

الدرجة: بينما حققت أفضل الطرق السابقة حوالي 95% من الصحة، وصل MULTIHALUDET إلى 98.5%.
المتانة: عمل النظام بنفس الكفاءة على نوعين مختلفين من أدمغة الروبوتات (Mistral-7B و LLaMA2-7B)، مما يثبت أنه ليس مجرد ضربة حظ مع نموذج محدد.

٦. العيوب (القيود)

البحث صريح بشأن ما لا يستطيع فعله:

الوصول للبيانات المفتوحة فقط (White-Box Only): يجب أن تكون قادرًا على رؤية ما بداخل عقل الروبوت لاستخدامه. لا يمكنك استخدامه على الروبوتات المغلقة والسرية (مثل GPT-4) حيث لا يمكنك رؤية "نبض القلب" الداخلي.
الجهد الكبير: يتطلب الأمر من الروبوت القيام بـ "تمريرة أمامية" كاملة (التفكير في الإجابة بأكملها) وتسجيل جميع البيانات، مما يستهلك ذاكرة حاسوبية أكثر من مجرد سؤال الروبوت: "هل أنت متأكد؟".

الملخص

MULTIHALUDET هو سماعة طبية عالية التقنية للذكاء الاصطناعي. بدلًا من الوثوق بما "يقوله" الذكاء الاصطناعي، فإنه يستمع إلى كيفية "تفكيره". من خلال تحليل الأنماط المعقدة والدقيقة لأفكاره الداخلية عبر لغات عديدة، يمكنه رصد متى يقوم الروبوت باختلاق الأمور بدقة مذهلة.

ملخص تقني: MULTIHALUDET

بيان المشكلة

تشكل الهلوسة في النماذج اللغوية الكبيرة (LLMs) عائقًا حاسمًا أمام نشرها بشكل موثوق، لا سيما في السياقات غير الإنجليزية والمحدودة الموارد. تواجه طرق الكشف الحالية قيودًا كبيرة:

الطرق القائمة على الأدلة: تعتمد على الاسترجاع الخاري، مما يؤدي إلى زمن انتقال حوسبي والاعتماد على جودة الاسترجاع.
الاستدلالات القائمة على الثقة: (مثل احتمالات اللوجيت، والاعتلاج/الإنتروبي) غالبًا ما تفشل في التقاط التناقضات الواقعية العميقة، حيث يمكن أن تظهر الهلوسة كاختلاقات على المستوى الدلالي حتى عندما يظهر النموذج ثقة عالية في المخرجات.
طرق سبر الحالة الداخلية: غالبًا ما تركز على رموز (tokens) مفردة أو طبقات محددة، وتواجه صعوبة عندما تتوزع الرموز غير الواقعية عبر التسلسلات أو عندما تختلف النماذج في العمق. علاوة على ذلك، تفتقر هذه الطرق كثيرًا إلى المتانة عبر اللغات المتنوعة نمطيًا دون ضبط دقيق خاص بكل لغة.

المنهجية: MULTIHALUDET

يقترح المؤلفون MULTIHALUDET، وهو إطار عمل رباعي المراحل وخاضع للإشراف، مصمم للكشف عن الهلوسة متعددة اللغات من خلال سبر مسارات الحالة المخفية الكاملة للنماذج اللغوية الكبيرة المجمدة. يعمل إطار العمل دون الحاجة إلى ضبط دقيق خاص باللغة.

1. استخراج الميزات القائم على النموذج اللغوي الكبير (LLM)

تبدأ العملية بتمرير مطالبات مهيكلة عبر نموذج لغوي كبير مجمد ومكمم لاستخراج ت tensors الحالة المخفية $\{H^{(l)}\}_{l=0}^L$ .

أخذ عينات الطبقة الديناميكي: لضمان التوافق مع النماذج ذات الأعماق المتفاوتة ( $L$ )، تقوم استراتيجية أخذ العينات الديناميكية برسم خرائط الطبقات إلى عدد مستهدف ثابت ( $K=32$ ). يتضمن ذلك رسم الخرائط المتطابقة للنماذج الضحلة، والتكرار للحشو، والتدخل الموحد للنماذج العميقة.
الميزات المتسلسلة لكل طبقة: لكل طبقة تم أخذ عينات منها، يستخرج إطار العمل واصفات مدمجة من تمثيل الرمز الأخير ومتوسط التسلسل. تشمل هذه الواصفات الإحصاءات التوزيعية (مثل $\ell_2$ norm، والمتوسط، والانحراف المعياري، والتخلخل/Sparsity، والتفرطح/Kurtosis، والانحراف المطلق عن الوسيط/MAD) لالتقاط تطور الديناميكيات الداخلية.
سبر العمق القائم على المرتكزات (Anchor-Based): لتمكين المقارنة عبر البنى المختلفة، يتم استخراج الميزات من أربع طبقات "مرتكزة" تقابل كسور العمق النسبية (المراحل المبكرة، والمتوسطة، والمتأخرة)، مما يضمن تمثيلًا دلاليًا متسقًا بغض النظر عن إجمالي عمق النموذج.
متجه الميزة العالمي: يقوم متجه عالمي بتجميع احتمالات الرمز التالي، وإحصاءات اللوجيت، ومسارات معيار الطبقة، وحدود التفاعل بين الميزات (cross-feature interaction) بين الثقة في المخرجات والهندسة الداخلية.

2. بنية MultiHaluDet

تتم معالجة الميزات المستخرجة من خلال بنية تعلم عميق:

الانتباه متعدد المقاييس (Multi-Scale Attention): يتم إسقاط المدخلات المتسلسلة ومعالجتها عند دقات زمنية متعددة. يقوم بوابة موضعية متعلمة بدمج المساهمات من مقاييس مختلفة، مما يثري معلومات الطبقة دقيقة التفاصيل بسياق متعدد المقاييس.
مشفر ترانسفورمر مرجح بالطبقات: يقوم متجه أهمية قابل للتعلم بتعديل التسلسل المدمج قبل ترميزه بواسطة مجموعة من طبقات Pre-LN Transformer. يسمح هذا للنموذج بالانتباه إلى أعماق محددة في النموذج اللغوي الكبير والتقاط التبعيات طويلة المدى بين الطبقات.
تجميع الانتباه الذاتي (Self-Attention Pooling): بد แทนًا من متوسط التجميع (mean pooling)، تقوم آلية انتباه متعلمة بتعيين درجات صلة لكل موضع، مما يسمي اختيار العمق التكيفي للمدخلات للتركيز على الطبقات الأكثر إخبارًا.
الدمج المبوب (Gated Fusion): يتم دمج التمثيل المتسلسل مع متجه الميزة العالمي. تقوم بوابة سيجمويد (sigmoid gate) بإعادة وزن العناصر لكل عنصر لتقليل الأبعاد غير المفيدة قبل تمرير النتيجة إلى المصنف.

3. التكديس خارج الأُطر (Out-of-Fold - OOF Stacking)

لمنع تسرب البيانات والحصول على تمثيلات عميقة غير منحازة، يستخدم إطار العمل نظام التكديس K-fold OOF. يتم تدريب نسخة جديدة من النموذج على $K-1$ من الأطر لتوليد تمثيلات الدمج المبوب للأطر المحجوزة. تشكل ميزات OOF هذه مصفوفة تدريب قوية للمتعلم الفوقي (meta-learner).

4. المتعلم الفوقي التجميعي (Ensemble Meta-Learner)

تُستخدم ميزات OOF العميقة كمدخل لمجموعة متنوعة من المصنفات (أشجار تعزيز التدرج، الغابات العشوائية، SVM، MLP، والانحدار اللوجستي). يقوم نموذج انحدار لوجستي فوقي بتكديس تقديرات الاحتمالية لهذه المتعلمات الأساسية، مما يكيف تكوين المجموعة التجميعية وفقًا لقوة التمييز لكل مكون.

5. التكيف متعدد اللغات

لتقييم التعميم عبر اللغات، تم ترجمة مجموعات البيانات الإنجليزية (HaluEval و TriviaQA) إلى الفرنسية (عالية الموارد)، والبنغالية (متوسطة الموارد)، والأمهرية (منخفضة الموارد) باستخدام Gemini 2.5 Flash. ضمن التقييم البشري الصارم والترجمة العكسية السلامة الدلالية. يعالج النموذج اللغوي الكبير المجمد هذه المدخلات أصليًا في مساحات الرموز الخاصة بها، مما يسمح للكاشف بسبر إشارات الهلوسة غير المرتبطة باللغة.

المساهمات الرئيسية

تصميم إطار العمل: تقديم MULTIHALUDET، وهو إطار عمل رباعي المراحل يجمع بين استخراج الميزات الديناميكي، والانتباه متعدد المقاييس، وتوليد ميزات OFF العميقة، والتعلم الفوقي التجميعي المتعلم لالتقاط الأنماط الدقيقة والواسعة لعدم الاتساق الواقعي.
مكاسب الأداء: إثبات أداء الكشف الذي يحقق أحدث ما توصل إليه العلم (state-of-the-art) على معايير HaluEval و TriviaQA باستخدام Mistral-7B و LLaMA2-7B، محققًا ما يصل إلى 98.55% AUROC.
التعميم عبر اللغات: تقييم شامل يظهر أن إطار العمل يحافظ على إشارات كشف قوية عبر مستويات لغوية متنوعة نمطيًا (الفرنسية، البنغالية، الأمهرية) دون الحاجة إلى ضبط دقيق خاص باللغة.

النتائج

أداء المعايير المرجعية: يتفوق MULTIHALUDET بشكل كبير على 13 طريقة أساسية، بما في ذلك الطرق القائمة على الثقة (P(True), AvgProb)، والطرق القائمة على الاتساق (INSIDE, Unigram)، وطرق السبر الأخرى (SAPLMA, MIND, Neural ODEs/CDEs/SDEs).
- في HaluEval مع LLaMA2-7B، حقق 98.55% AUROC، مقارنة بـ 92.8% لأفضل طريقة أساسية تالية (Neural CDEs).
- في TriviaQA مع LLaMA2-7B، حقق 98.26% AUROC، مقارنة بـ 83.7% لأفضل طريقة تالية.
المتانة عبر البنى: على عكس الطرق الأساسية التي تعاني من انخفاض الأداء عند الانتقال من Mistral-7B إلى LLaMA2-7B، حافظ MULTIHALUDET على فعالية متطابقة تقريبًا عبر البنى.
المتانة عبر اللغات:
- الفرنسية: ظل الأداء مرتفعًا (96.2% في HaluEval)، متأخرًا عن قواعد اللغة الإنجليزية بفارق ضئيل فقط.
- البنغالية: أظهر تدهورًا محكومًا (89.1% في HaluEval) ولكنه تفوق بشكل كبير على الطرق الأساسية (78.4%).
- الأمهرية: رغم أنها لغة منخفضة الموارد حيث تكافح النماذج الأساسية في الاستدعاء الواقعي، حقق MULTIHALUDET نسبة 78.5% في HaluEval، محافظًا على تفوق قوي على الاختيار العشوائي وقواعد الثقة القياسية.
دراسات الاستئصال (Ablation Studies): تسبب إزالة آلية التكديس OOF في أكبر انخفاض في الأداء (~~10%)، يليه إزالة الانتباه متعدد المقاييس (~~7%). أدى استبدال سبر المسار بتمثيل الطبقة النهائية الثابت إلى انخفاض بنسبة ~5%، مما يؤكد ضرورة تحليل تطور الحالة المخفية الكاملة.

الأهمية والقيود

يدعي البحث أن MULTIHALUDET يثبت أن سبر الحالة الداخلية يمكن أن يكشف بفعالية عن الهلوسة عبر لغات وبنى نماذج متنوعة دون ضبط دقيق. وهو يعالج قصور الطرق الحالية التي تفشل في التقاط الاختلاقات على المستوى الدلالي في السياقات غير الإنجليزية.

ومع ذلك، يقر المؤلفون بوجود قيود محددة:

متطلب "الصندوق الأبيض" (White-Box): يتطلب إطار العمل الوصول إلى الحالات المخفية واللوجيتات الداخلية، مما يجعله غير قابل للتطبيق على النماذج المملوكة "الصندوق الأسود" (مثل GPT-4 و Claude).
الأعباء الحوسبية: رغم أنه يتجنب الضبط الدقيق، إلا أن استخراج ومعالجة حالات مخفية لكامل العمق يترتب عليه أعباء ذاكرة غير ضئيلة ويتطلب عمليات تمرير أمامي كاملة.
آثار الترجمة: تعتمد التقييمات متعددة اللغات على مجموعات بيانات مترجمة. ورغم أن ضمان الجودة كان صارمًا، فإن المطالبات الأصلية التي تحدث طبيعيًا في اللغات منخفضة الموارد قد تكشف عن فروق دقيقة قد لا تلتقطها بالكامل المعايير المترجمة.