LLMpedia: A Transparent Framework to Materialize an LLM's Encyclopedic Knowledge at Scale
يكشف مشروع LLMpedia أن المعرفة الموسوعية الحقيقية للنماذج اللغوية الكبيرة أقل بكثير مما تشير إليه المعايير القياسية، وذلك من خلال إنشاء موسوعة مفتوحة بالكامل وخالية من الاسترجاع مكونة من مليون مقال تكشف عن فجوات جوهرية في الواقعية وتحيزات موضوعية عبر عائلات النماذج المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً عبقرياً، موسوعياً، قرأ كل الكتب تقريباً في العالم. تسأله سؤالاً محدداً، مثل "من فاز بكأس العالم عام 1998؟" فيجيب بشكل مثالي. تسأله سؤالاً آخر، مثل "ما هي عاصمة فرنسا؟" فيجيب بشكل صحيح مرة أخرى. بناءً على هذه الاختبارات، قد تستنتج أن صديقك يعرف كل شيء بدقة تقترب من المثالية.
لكن ماذا يحدث عندما تطلب منه كتابة سيرة ذاتية كاملة مكونة من 2000 كلمة لشخصية تاريخية عشوائية، أو شرح موضوع معقد لم يُسأل عنه مباشرة من قبل؟ هل لا يزال يعرف كل شيء، أم أنه يبدأ في اختلاق الأمور؟
هذه هي قصة LLMpedia، وهو مشروع جديد قرر التوقف عن طرح أسئلة المعلومات العامة البسيطة، وبدلاً من ذلك، طلب من نماذج الذكاء الاصطناعي كتابة موسوعتها الخاصة من الصفر.
المشكلة: فخ "برامج المسابقات"
لسنوات، اختبرنا نماذج الذكاء الاصطناعي (مثل تلك التي تشغل روبوتات الدردشة) باستخدام "المعايير المرجعية" (benchmarks). فكر في هذه المعايير كأنها اختبارات معيارية أو برامج مسابقات. يختار الباحثون قائمة من الأسئلة (على سبيل المثال: "ما هو الرمز الكيميائي للذهب؟") ويرون كم عدد الأسئلة التي يجيب عليها الذكاء الاصطناعي بشكل صحيح.
تجادل الورقة البحثية بأن هذه الاختبارات مضللة؛ فهي تعاني من "تحيز التوافر" (Availability Bias). الأمر يشبه اختبار طاهٍ فقط على قدرته على صنع أومليت مثالي؛ فإذا نجح في اختبار الأومليت، ستفترض أنه طاهٍ ماهر، ولكن إذا طلبت منه طهي مأدبة كاملة ومعقدة من ذاكرته دون وصفة، فقد يحرق الحساء أو يقدم لك حذاءً.
المعايير المرجعية تختبر فقط ما اعتقد الباحثون بضرورة السؤال عنه، وهي تغفل عن المساحات الشاسعة وغير المستكشفة لما يعرفه الذكاء الاصطتاعي بالفعل ولكنه لم يُسأل أبداً عن شرحه.
التجربة: بناء مكتبة من الذاكرة
لإصلاح ذلك، بنى الباحثون LLMpedia. بدلاً من طرح أسئلة محددة على الذكاء الاصطناعي، أعطوه "بذرة" (موضوعاً أولياً، مثل "فانيفار بوش"، وهو مخترع حقيقي في الحياة الواقعية) وقالوا له: "اكتب مقالاً موسوعياً عن هذا الشخص. ثم، انظر إلى الروابط الموجودة داخل مقالك، واختر شخصاً جديداً ذُكر هناك، واكتب مقالاً عنه. استمر في فعل ذلك."
لقد فعلوا ذلك دون السماح للذكاء الاصطناعي بالبحث عن الإجابات على الإنترنت، حيث أجبروه على الاعتماد كلياً على ذاكرته الداخلية (معرفته البارامترية).
- النطاق: قاموا بتوليد ما يقرب من مليون مقال عبر ثلاثة نماذج مختلفة من الذكاء الاصطناğı.
- الطريقة: الأمر يشبه لعبة "الهاتف المكسور" حيث ينقل الذكاء الاصطناعي الشعلة من موضوع إلى آخر، متوسعاً للخارج مثل شجرة تنمو أغصانها.
النتائج الصادمة
عندما تحققوا من الحقائق في هذه المليون مقالة، بدت الصورة مختلفة تماماً عن نسبة "الدقة التي تتجاوز 90%" التي تظهر في برامج المسابقات.
- الانخفاض في الدقة: بالنسبة لأفضل نموذج (gpt-5-mini)، انخفضت الدقة في المواضيع التي تمتلك صفحات على ويكيبيديا من نسبة 90%+ المتوقعة إلى 74.7% فقط. هذه فجوة هائلة.
- مشكلة "الحدود" (The Frontier Problem): عندما كتب الذكاء الاصطناعي عن مواضيع لا توجد لها صفحات على ويكيبيديا (الحدود)، انهارت الدقة لتصل إلى 63.2%. كان الذكاء الاصطناعي يخترع حقائق بثقة عن أشياء لا يعرفها حقاً.
- "فخ الاستحواذ" (The Capture Trap): قارن الباحثون بين موسوعة الذكاء الاصطناعي المفتوحة والشفافة الخاصة بهم وبين Grokipedia (موسوعة ذكاء اصطناعي شهيرة أنشأتها xAI).
- Grokipedia كانت تبدو مشابهة جداً لويكيبيديا (مثل طالب ينسخ واجب منزلي من معلمه). كانت مشابهة جداً في الصياغة ولكنها سجلت معدلاً عالياً من الأخطاء الواقعية.
- LLMpedia كانت تبدو مختلفة وفريدة (مثل طالب يكتب مقاله الخاص). كانت أقل تشابهاً مع ويكيبيديا ولكنها كانت أكثر دقة من الناحية الواقعية بكثير.
- التشبيه: Grokipedia تشبه طالباً حفظ الكتاب المدرسي جيداً بحيث يمكنه تسميعه، ولكن إذا سألته سؤالاً مختلفاً قليلاً، فإنه يرتبك. أما LLMpedia فهي تشبه طالباً يفهم المفاهيم حقاً، حتى لو شرحها بكلماته الخاصة.
لماذا يهم هذا الأمر؟
تكشف الورقة البحثية عن "فخ الاستحواذ". إذا كان الذكاء الاصطناعي مشابهاً جداً لويكيبيديا، فقد يكون مجرد نسخ لصياغة ويكيبيديا بدلاً من استخدام معرفته الخاصة، وهذا يخفي حقيقة أن الذكاء الاصطناعي قد يكون يهلوِس (يختلق أموراً) أو يرتبك بشأن من هو من.
من خلال جعل عمليتهم مفتوحة تماماً (عرض كل أمر، وكل مسودة، وكل عملية تحقق من الحقائق)، أثبت فريق LLMpedia أن:
- المعايير المرجعية تكذب: الدرجات العالية في الاختبارات لا تعني أن الذكاء الاصطناعي موثوق في الكتابة الطويلة في العالم الحقيقي.
- الذاكرة هشة: نماذج الذكاء الاصطناعي بارعة في الإجابة على أسئلة محددة، لكنها تعاني في صياغة سرد متسق وواقعي عبر نص طويل.
- الشفافية هي المفتاح: نحن بحاجة لرؤية كيف يولد الذكاء الاصطناعي المعلومات، وليس فقط ماذا يقول، لنتمكن من الوثوق به.
الخلاصة
اعتبر LLmpedia بمثابة "اختبار جهد" لذاكرة الذكاء الاصطناعي. لقد أظهر لنا أنه بينما يتفوق أصدقاؤنا من الذكاء الاصطناعي في أسئلة المعلومات العامة، إلا أنهم لا يزالون عرضة لتأليف القصص عندما يُطلب منهم كتابة كتاب كامل من الصفر. تدعو الورقة البحثية إلى طريقة جديدة لاختبار الذكاء الاصطناعي: ليس فقط عبر طرح الأسئلة، بل عبر مراقبتهم وهم يبنون المعرفة ورؤية ما إذا كان بإمكانهم الحفاظ على حقائقهم مستقيمة عندما لا يمسك أحد فوق رؤوسهم ورقة اختبار.
باختصار: لا تثق في الذكاء الاصطناعي لمجرد أنه اجتاز الاختبار. راقبه وهو يكتب قصة، وقد تجد أنه لا يزال يتعلم كيف يقول الحقيقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.