💬 NLP

Text Corpora as Concept Fields: Black-Box Hallucination and Novelty Measurement

تقدم هذه الورقة "حقول المفاهيم" (Concept Fields)، وهو إطار عمل "صندوق أسود" قابل للعزو إلى المتون، يقوم بنمذجة النص كحقول انزياح محلي في فضاء التضمين لتوفير درجات احتمالية قابلة للتفسير للكشف عن الهلوسة وقياس الجدة دون الاعتماد على المكونات الداخلية للنموذج.

المؤلفون الأصليون: Nicholas S. Kersting, Vittorio Castelli, Chieh Ting Yeh, Xinzhu Wang, Saad Taame

نُشر 2026-05-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nicholas S. Kersting, Vittorio Castelli, Chieh Ting Yeh, Xinzhu Wang, Saad Taame

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الكتب، ولكن بدلاً من قراءة الكلمات، تقوم بتحويل كل جملة إلى إحداثي فريد على خريطة عملاقة غير مرئية. في هذه الخريطة، تكون الجمل التي تحمل معانٍ متشابهة قريبة من بعضها البعض، بينما تكون الجمل المختلفة بعيدة عن بعضها.

تقدم هذه الورقة البحثية طريقة جديدة للتحقق مما إذا كانت الجملة التي كتبها ذكاء اصطنا-عي (أو إنسان) منطقية بناءً على تلك المكتبة. وقد أطلقوا على هذه الخريطة اسم "حقل المفاهيم" (Concept Field).

إليك كيف يعمل ذلك، مقسماً إلى تشبيهات بسيطة:

1. "نهر الأفكار" (حقل المفاهيم)

تخيل أن المكتبة ليست مجرد كومة ثابتة من الكتب، بل هي نهر متدفق.

التدفق: إذا قرأت جملة عن "شراء سيارة"، فإن النهر يتدفق بشكل طبيعي نحو الجملة التالية المرجحة، مثل "قيادتها إلى المنزل".
التيار: ابتكر المؤلفون نظاماً يرسم "تيار" هذا النهر. هم لا ينظرون فقط إلى جملة واحدة؛ بل ينظرون إلى التغير (الفرق/delta) بين جملة وأخرى.
الخريطة: قاموا ببناء قاعدة بيانات (تسمى VSDB) تخزن هذه الجمل و"التيار" الذي يربط بينها. وهذا ينشئ حقلاً حيث يكون لكل نقطة اتجاه وسرعة، مما يمثل كيف تتدفق الأفكار عادةً في تلك المكتبة المحددة.

2. "فحص البوصلة" (تقييم الهلوسة)

الآن، تخيل أن ذكاءً اصطناعياً يكتب قصة جديدة. كيف نعرف ما إذا كان يكذب (يهلوس) أم يلتزم بالحقائق؟

الاختبار: تأخذ جملة الذكاء الاصطناعي وتتحقق مما إذا كانت تتبع "تيار" النهر.
الدرجة (Zeta): يحسب النظام درجة تسمى Zeta. فكر في الأمر كالانحراف في البوصلة.
- درجة منخفضة: جملة الذكاء الاصطناعي تتدفق تماماً مع النهر. إنها "متجذرة" (مستندة إلى المصدر).
- درجة عالية: جملة الذكاء الاصطناعي تسبح عكس التيار أو تقفز خارج النهر تماماً. إنها "غير متجذرة" (هلوسة أو قفزة إبداعية جامحة).
منطقة "عدم التأكد": أحياناً يكون النهر ضبابياً أو الخريطة غير مكتملة. يمكن للنظام أن يقول: "أنا لست متأكداً"، بدلاً من فرض إجابة خاطئة. هذا نظام "فرز": متجذر (Grounded)، غير متجذر (Ungrounded)، أو غير متأكد (Unsure).

3. "مختبر الفيزياء" (مثال المقذوفات ثنائي الأبعاد)

لإثبات نجاح فكرتهم، أجرى المؤلفون اختباراً بسيطاً باستخدام الفيزياء، وليس النصوص.

الإعداد: قاموا بمحاكاة 1,000 كرة تُقذف في الهواء بزوايا مختلفة. ورسموا مسار كل كرة.
النتيجة: أنشأوا "خريطة رياح" (حقل المفاهيم) توضح أين تذهب الكرات عادةً.
الاختبار: عندما قذفوا كرة تتبع نفس قوانين الفيزياء، قالت الخريطة: "نعم، هذا يتناسب مع النمط!". وعندما قذفوا كرة بها "مقاومة هواء" (قاعدة فيزيائية مختلفة)، صرخت الخريطة: "لا! هذا لا يتناسب مع النمط!".
النقطة الجوهرية: أثبت هذا أن رياضياتهم تعمل مع النصوص أيضاً. إذا تغير "تدفق" الأفكار، فإن النظام يكتشف ذلك.

4. مكتبتان مختلفتان، أداة واحدة

اختبر المؤلفون هذه الفكرة على مكتبتين مختلفتين تماماً:

المكتبة القانونية (CFR): وهي مجموعة من اللوائح الفيدرالية الأمريكية. هنا، "التدفق عكس التيار" أمر سيء (فهو بمثابة كذب). استخدموا النظام لكشف هلوسات الذكاء الاصطنا-عي في النصوص القانونية.
مكتبة القصص (Project Gutenberg): وهي مجموعة من الروايات الكلاسيكية. هنا، "التدفق عكس التيار" يمكن أن يكون أمراً جيداً (فهو يمثل الإبداع). استخدموا النظام للكشف عن متى يكتب الذكاء الاصطنا-عي شيئاً جديداً ومبدعاً، بدلاً من مجرد نسخ القصص القديمة.

السر السحري: نفس الرياضيات نجحت في كلتا الحالتين. الدرجة العالية تعني "مختلف عن المكتبة" في كلتا الحالتين. في القانون، هذا تحذير؛ وفي القصص، هذه ميزة.

5. لماذا هذا الأمر مميز (ميزة "الصندوق الأسود")

معظم كاشفات الذكاء الاصطنا-عي تحاول التلصص على داخل عقل الذكاء الاصطنا-عي (الصندوق الأبيض) أو تطلب من الذكاء الاصطنا-عي الحكم على نفسه (وهو أمر غالباً ما يكون غير موثوق).

هذه الطريقة هي "صندوق أسود" (Black Box): هي لا تهتم بكيفية عمل الذكاء الاصطنا-عي. هي فقط تنظر إلى المخرجات وتقارنها بـ المكتبة.
سريعة وغير مكلفة: لا تحتاج إلى حواسيب فائقة باهظة الثمن. هي تحتاج فقط إلى حاسوب قياسي وبيانات المكتبة.
قابلة للتتبع: إذا قال النظام إن جملة ما هي هلوسة، فيمكنه الإشارة إلى الجمل المحددة في المكتبة التي تثبت ذلك. الأمر يشبه القول: "لقد قلت س، لكن المكتبة تقول ص، وإليك رقم الصفحة".

6. إيجاد الأنماط الخفية ("الدوامات")

بحث المؤلفون أيضاً في شكل النهر.

المصادر والمصبات: وجدوا أماكن تبدو فيها العديد من الأفكار وكأنها تبدأ (مثل النافورة) أو تنتهي (مثل المصرف).
الدوامات: وجدوا أماكن تبدو فيها الأفكار وكأنها تدور حول موضوع مركزي دون التقدم للأمام.
لماذا يهم ذلك: هذه ليست مجرد أرقام؛ بل تمثل أنماطاً خفية في كيفية حديث البشر وكتابتهم. على سبيل المثال، قد تكون "الدوامة" موضوعاً يتحدث عنه الناس كثيراً ولكن لا يبدو أنهم يحلونه أبداً.

الملخص

بنى المؤلفون خريطة لكيفية تدفق الأفكار في مجموعة محددة من النصوص. وابتكروا بوصلة تخبرك ما إذا كانت الجملة الجديدة تتبع هذا التدفق أم تبتعد عنه.

إذا كنت تتحقق من الحقائق، فإن الانحراف يعني كذبة.
إذا كنت تتحقق من الإبداع، فإن الانحراف يعني فكرة جديدة.
يعمل النظام بسرعة، ولا يحتاج لمعرفة كيف يفكر الذكاء الاصطنا-عي، ويمكنه شرح سبب اتخاذه لقرار ما من خلال الإشارة إلى النص الأصلي.

ملخص تقني: المتون النصية كحقول مفاهيمية

بيان المشكلة
تعتمد الطرق الحالية للكشف عن هلوسات النماذج اللغوية الكبيرة (LLMs) أو تقييم مدى الارتكاز (groundedness) على مقاييس داخلية للنماذج (white-box)، أو مقاييس الشذوذ (perplexity) للنماذج (grey-box)، أو نهج الصندوق الأسود (black-box) الذي يتطلب معايرة مكثفة (مثل استخدام نموذج لغوي كحكم). هذه الحلول الحالية غالباً ما تكون مكلفة، وتعتمد على بنية معينة، أو تفتقر إلى التفسير التشغيلي. علاوة على ذلك، فإن العديد من النهج الهندسية في فضاء التضمين (embedding space) تقتصر على المقارنات الثنائية (مثل DTow) أو تفتقر إلى آلية لمراعاة عدم اليقين المحلي داخل المتن. يقترح المؤلفون تحولاً من رؤية الهلوسة كفشل ثنائي إلى مفهوم أوسع وهو الارتكاز (groundedness): أي ما إذا كان المخرج مدعوماً بمتن مستهدف. ينطبق هذا الإطار على كل من الامتثال (حيث يكون الانحراف سلبياً) والإبداع (حيث يكون الانحراف إيجابياً).

المنهجية
المساهمة الجوهرية هي الحقل المفاهيمي (Concept Field)، وهو حقل انجراف محلي مع تقدير لعدم اليقين عند كل نقطة في فضاء تضمين الجمل. تسير المنهجية وفق الخطوات التالية:

قاعدة بيانات المتجهات التسلسلية (VSDB): يقدم المؤلفون طبقة تخزين تحتفظ بتضمينات جمل ذات أبعاد ثابتة جنباً إلى جنب مع بيانات وصفية لموقع التسلسل ومعلومات "الفرق التالي" ( $\Delta_{i,j} = v_{p+1} - v_p$ ). يتيح هذا للنظام التعامل مع المتن ليس فقط كحقيبة من الجمل، بل كمجموعة من المسارات في فضاء التضمين.
بناء الحقل المفاهيمي: باستخدام VSDB، يحسب المؤلفون كثافة احتمالية محلية لانتقالات الجمل. من خلال معاملة المتن كـ "حقل متجهي"، يحددون "تدفقاً" (flow) يمثل المفهوم التالي الأكثر احتمالاً بناءً على الجملة الحالية. يتم تقدير هذا الحقل باستخدام استكمال الوزن العكسي للمسافة (IDW) عبر أقرب الجيران في فضاء التضمين.
آلية التسجيل ( $\zeta$ ): لتقييم انتقال جملة مرشحة، يحسب النظام متوسط المسافة المطلقة لدرجة Z ( $\zeta$ $ζ$ ) بين الفرق المرصود والتقدير الغاوسي المحلي للحقل المفاهيمي.
- تشير قيمة $\zeta$ الصغيرة إلى توافق إحصائي مع تدفق المتن (مرتكز).
- تشير قيمة $\zeta$ الكبيرة إلى ابتعاد عن تدفق المتن (غير مرتكز أو مبتكر).
- التسجيل هو "صندوق أسود" بالكامل (لا يتطلب معرفة داخلية للنموذج)، ومنسوب للمتن (يمكن تتبعه وصولاً إلى جمل محددة في المتن)، ويسمح بتفسير احتمالي مباشر.
التحليل الهندسي: يستكشف المؤلفون التباعد (divergence) والدوران (curl) للحقل المفاهيمي في التجمعات الكثيفة. يشير التباعد العالي إلى "مصادر المنطق" (نقاط البداية الشائعة) أو "بالوعات المنطق" (الاستنتاجات الشائعة)، بينما يشير الدوران العالي إلى "مواضيع ضمنية" أو مناطق تدور فيها المتجهات حول مفهوم مركزي دون تدفق خطي واضح.

المساهمات الرئيسية

الحقل المفاهيمي عبر VSDB: تمثيل على مستوى المتن لتدفق تسلسل الجمل مع عدم يقين محلي، مُنفذ من خلال قاعدة بيانات متجهات تسلسلية مبتكرة.
الكشف الانتقائي عن الارتكاز: سياسة فرز (مرتكز / غير مرتكز / غير متأكد) بناءً على عتبات $\zeta$ . يحقق هذا النهج معدلات خطأ قوية في الحالات المقبولة مع الحفاظ على "سلة غير متأكد" للانتقالات الغامضة.
القوة عبر المجالات: تدعم نفس الآلية كلاً من فحوصات الامتثال (للكشف عن الهلوسة في النصوص القانونية) وفحوصات الابتكار (للكشف عن الانحرافات الإبداعية في الأدب) دون الحاجة لإعادة معايرة العتبات.
هندسة المتن: أدلة نوعية على أن السمات الطوبولوجية (التباعد/الدوران) في الحقل المفاهيمي تتوافق مع أنماط دلالية ذات معنى، مثل تدفقات الاستدلال الشائعة أو مناطق التجنب.

النتائج التجريبية
قيم المؤلفون هذا النهج في إعدادين واسعي النطاق:

CFR (مدونة اللوائح الفيدرالية): متن واقعي/قانوني استُخدم لاختبار الكشف عن الهلوسة. تم اختبار النظام على أزواج جمل أعيدت صياغتها بواسطة نماذج لغوية كبيرة، للتمييز بين تلك التي حافظت على المعنى (مرتكزة) وتلك التي غيرت الدلالات (غير مرتكزة).
Project Gutenberg: متن أدبي عام استُخدم لاختبار الكشف عن الابتكار، حيث يُعد "عدم الارتكاز" ( $\zeta$ عالية) سمة مرغوبة في الكتابة الإبداعية.

النتائج الأدائية:

التصنيف الانتقائي: تحت سياسة فرز (على سبيل المثال، $\zeta_{low}=1, \zeta_{high}=3.75$ )، حققت الطريقة درجة F1 بلغت 0.978 ومساحة تحت المنحنى (AUC) بلغت 0.984 على مجموعة بيانات CFR مع تغطية تقارب 56% (حيث تم تصنيف 44% من الأمثلة كـ "غير متأكد").
المقارنة مع الخطوط المرجعية: تفوق "الحقل المفاهيدي" أو عادل الخطوط المرجعية التي استخدمت المسافة البسيطة بين أقرب جار (المسافة الإقليدية أو جيب التمام) على VSDB. والأهم من ذلك، بينما تطلبت الخطوط المرجعية القائمة على المسافة ضبطاً خاصاً بعتبات المتن، حافظ الحقل المفاهيدي على أداء وتفسير ثابت للعتبات عبر كل من مجالي CFR وGutenberg.
سلوك التغطية والمخاطرة: أظهرت الطريقة توازنات مماثلة بين التغطية والمخاطرة عبر كلا المجالين، مما يدعم الادعاء بأن التفسير الاحتمالي لـ $\zeta$ ينتقل بفعالية بين المتون الواقعية والإبداعية.
الرؤى الهندسية: كشف التحليل النوعي للتباعد والدوران عن تجمعات متماسكة دلالياً (مثل "GOOOOAAALL!!" كبالوعة منطق في التعليقات الرياضية، أو عبارات تنظيمية محددة كمصادر/بالوعات منطق في CFR).

الأهمية والادعاءات
يزعم البحث أن الحقول المفاهيمية توفر إشارة سريعة، خفيفة الوزن، وقابلة للتفسير للارتكاز والابتكار، وهي مكملة لنهج "النموذج اللغوي كحكم" والكواشف ذات الصندوق الأبيض.

القابلية للتفسير: على عكس الأحكام ذات الصندوق الأسود، يمكن تتبع كل درجة من خلال الجمل القريبة في المتن، مما يوفر القدرة على التفسير.
الكفاءة: بمجرد الفهرسة، تكون الطريقة أسرع وأرخص (لا تستهلك رموز API) من التقييم القائم على النماذج اللغوية، حيث تعمل على وحدات المعالجة المركزية العادية.
الاستقلالية اللغوية: النهج غير مرتبط ببنيات نماذج محددة، مما يجعله قابلاً للتطبيق على مختلف لغات العالم.
التواضع: يصف المؤلفون التحليل الهندسي (التباعد/الدوران) بأنه "مولد للفرضيات" بدلاً من كونه نتيجة كمية حاسمة. كما يقرون بأن جودة الحقل المفاهيدي تعتمد على البيانات، مشيرين إلى أن المتون المتسقة منطقياً (مثل القوانين) تنتج حقولاً أكثر موثوقية من بيانات الإنترنت المشوشة. يُقدم العمل كخطوة تأسيسية، تاركاً المجال للمجتمع العلمي لتحسين مخططات التضمين وطرق الاستكمال.