Enhancing LLMs with Context-Specific Knowledge for Mitigating Misinformation in SMEs: A RAG-based Modeling and Analysis
تقترح هذه الورقة البحثية وتقيم نهجي النمذجة VectorRAG وGraphRAG للحد من هلاوس النماذج اللغوية الكبيرة (LLMs) والمعلومات المضللة في الشركات الصغيرة والمتوسطة (SMEs)، حيث تثبت من خلال تجارب على نماذج مثل LLaMA وMistral وQwen أن هذه الأساليب تعزز بشكل كبير موثوقية الاستجابة، والارتباط السياقي، وجدارة الثقة لاتخاذ القرارات التجارية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقًا آليًا فائق الذكاء، قد قرأ كل كتاب تقريبًا في المكتبة. هذا الروبوت بارع في الدردشة، وكتابة القصص، والإجابة على الأسئلة. لكن هناك مشكلة: أحيانًا، عندما لا يعرف الإجابة، يثق بنفسه أكثر من اللازم ويؤلف قصة تبدو حقيقية لكنها مزيفة في الواقع. في عالم العلوم، نسمي هذا "الهلوسة". الأمر يشبه طالبًا، بدلًا من الاعتراف بأنه نسي تاريخ معركة تاريخية، يخترع قصة جامحة عن كائنات فضائية تقاتل في تلك الحرب. بالنسبة للشركات الصغيرة، التي هي المحركات الصغيرة لاقتصادنا، هذا أمر خطير. فإذا طلب صاحب عمل من مساعده الآلي نصيحة بشأن الأمن السيبراني أو القوانين، وكذب الروبوت، فقد تتعرض الشركة للاختراق أو الغرامة.
ولإصلاح ذلك، طور العلماء حيلة تسمى "التوليد المعزز بالاسترجاع"، أو RAG اختصارًا. فكر في RAG كأنك تعطي الروبوت حقيبة ظهر مليئة بأوراق مرجعية محددة وحديثة. فبدلًا من التخمين من ذاكرته، يُجبر الروبوت على فتح حقيبة الظهر، وإيجاد الصفحة الصحيحة، وقراءة الإجابة بصوت عالٍ. يستكشف هذا البحث طريقتين مختلفتين لتنظيم أوراق المرجع هذه: إحداهما حيث تكون الصفحات مجرد كومة كبيرة من النصوص (VectorRAG)، والأخرى حيث تكون الصفحات متصلة بشبكة معقدة من الملاحظات اللاصقة التي توضح كيفية ارتباط الأفكار ببعضها البعض (GraphRAG). السؤال الكبير هو: أي حقيبة ظهر تساعد الروبوت على قول الحقيقة بشكل أفضل عند مساعدة الشركات الصغيرة؟
مهمة الورقة البحثية: الحفاظ على صدق روبوتات الشركات الصغيرة
يغوص هذا البحث في الواقع الفوضوي للمؤسسات الصغيرة والمتوسطة (SMEs). وهي المتاجر المحلية، والشركات الناشئة، والشركات العائلية التي تشكل الغالبية العظمى من الشركات في أماكن مثل أستراليا. إنهم شريان الحياة للاقتصاد، لكنهم غالبًا لا يملكون فريقًا ضخمًا من خبراء تكنولوجيا المعلومات للتحقق مما إذا كانت أدوات الذكاء الاصطناعي الجديدة تخبرهم بالحقيقة. أراد الباحثون معرفة ما إذا كان بإمكانهم جعل النماذج اللغوية الكبيرة (LLMs) —وهي الأسماء الفاخرة لتلك الروبوتات فائقة الذكاء— أكثر موثوقية من خلال إجبارها على استخدام معرفة خارجية.
قام الفريق بإعداد معركة مباشرة بين استراتيجيتين مختلفتين لـ "حقيبة الظهر":
- VectorRAG: تخيل هذا كخزانة ملفات ذكية وضخمة. عندما تطرح سؤالًا، يبحث النظام عن المستندات التي تبدو مشابهة لسؤالك، حتى لو لم تستخدم نفس الكلمات تمامًا. الأمر يشبه سؤال أمين مكتبة: "أريد كتابًا عن وحش مخيف"، فيعطيك كتابًا عن تنين لأن أمين المكتبة يعرف أن هذه الكلمات متشابهة.
- GraphRAG: هذا يشبه شبكة عنكبوت عملاقة من الملاحظات اللاصقة. كل حقيقة هي نقطة، وتوجد خطوط تربط النقاط ذات الصلة. إذا سألت عن "الأمن السيبراني"، فإن النظام يتتبع الخطوط ليرى ما هو مرتبط بها أيضًا، مثل "عمليات الاحتيال عبر البريد الإلكتروني" أو "كلمات المرور". إنه يحاول فهم العلاقات بين الأفكار، وليس فقط الكلمات.
اختبر الباحثون هاتين الطريقتين باستخدام ثلاثة عقول روبوتية مختلفة (LLaMA و Mistral و Qwen) ومجموعة من الوثائق الواقعية حول الأمن السيبراني، وعمليات الاحتيال، وقواعد الأعمال. وسألوا الروبوتات أسئلة مثل: "كيف يمكن للشركة الصغيرة حماية نفسها؟" أو "بمن أتصل إذا تعرضت للاختراق؟"
الكشف الكبير: كومة النصوص تتفوق باستمرار على الشبكة
كانت النتائج واضحة وهامة. تفوقت منهجية VectorRAG (خزانة الملفات الذكية) باستمرار على منهجية GraphRAG في معظم الاختبارات. فقد قدمت إجابات أفضل، وارتكبت أخطاء أقل، وبدت أكثر شبهاً بالخبير البشري. ومع ذلك، لاحظ الباحثون أن GraphRAG لم يفشل تمامًا؛ بل ببساطة لم يعمل بشكل جيد عند استخدامه بمفرده مع هذا النوع المحدد من البيانات.
إليكم ما أظهرته البيانات:
- الدقة: عندما طُلب من الروبوتات الإجابة على الأسئلة، سجلت نماذج VectorRAG درجات أعلى في "الاكتمال" و"الملاءمة". على سبيل المثال، حقق نموذج Vector-Mistral درجة 0.372 في اختبار يسمى METEOR (والذي يتحقق من مدى تشابه الإجابة مع الإجابة المثالية)، بينما حقق أفضل نموذج GraphRAG درجة 0.263.
- عامل "الأخبار المزيفة": كان الاكتشاف الأكثر أهمية يتعلق بـ "الهلوسة" —أي عندما يكذب الروبوت. كانت أنظمة VectorRAG صادقة للغاية، حيث انخفض خطر الهلوسة إلى 0.0028 (أي أقل من 1%). في المقابل، كانت أنظمة GraphRAG أكثر عرضة للتأليف، حيث تراوحت مخاطر الهلوسة بين 0.0881 و 0.1053.
- لماذا تعثر GraphRAG: وجد الباحثون أن طريقة "شبكة العنكبوت" (GraphRAG) لم تعمل بشكل جيد لأن الوثائق التي استخدموها كانت في الغالب تقارير منفصلة وأوراق سياسات. لم تكن تحتوي على روابط قوية كافية بينها لبناء شبكة متينة. الأمر يشبه محاولة بناء شبكة عنكبوت باستخدام عدد قليل فقط من الذباب؛ فالشبكة ستنهار. طريقة "خزانة الملفات" (VectorRG) كانت تعمل بشكل أفضل لأنها استطاعت جلب صفحة النص الكاملة ذات الصلة، حتى لو لم تكن الروابط مثالية. تشير الورقة إلى أن GraphRAG يعتمد بشدة على البيانات الغنية والمترابطة، وهو ما كان محدودًا في مجموعة بيانات الشركات الصغيرة والمتوسطة هذه.
أمثلة من الواقع: عندما يصيب الروبوت
لإثبات وجهة نظرهم، عرض الباحثون بعض الأمثلة الواقعية لكيفية أداء الروبوتات.
- رقم الهاتف الخاطئ: عندما سُئل عن رقم الطوارئ للإبلاغ عن هجوم سيبراني في أستراليا، أعطى الروبوت القياسي (بدون حقيبة الظهر) رقمًا مزيفًا: "1800 CYBER REPORT". لكن روبوت VectorRAG، من خلال النظر في الوثائق الحكومية الحقيقية، أعطى الرقم الصحيح: 1300 292 371.
- الاحترافية: عندما سُئل عن كيفية التعامل مع شكاوى العملاء، قدم الروبوت القياسي نصيحة عامة مثل "كن لطيفًا". أما الروبوت المعزز بتقنية RAG، فقد استخرج إرشادات محددة حول السرية والتعاطف من وثائق الأعمال، مما أعطى إجابة أكثر فائدة بكثير.
الخلاصة
تشير هذه الورقة إلى أنه بالنسبة للشركات الصغيرة، خاصة عند التعامل مع أمور مثل سياسات الأمن السيبراني واللوائح، فإن "خزانة الملفات الذكية" (VectorRAG) هي الأداة الأفضل حاليًا. فهي تساعد الروبوت على العثور على المعلومات الصحيحة بسرعة وتمنعه من تأليف الحقائق. أما طريقة "شبكة العنكبوت" (GraphRAG)، فهي فكرة رائعة تعمل بشكل ممتاز عندما يكون لديك قاعدة بيانات ضخمة ومترابطة بشدة، ولكن بالنسبة للوثائق المتفرقة والمثقلة بالسياسات التي تستخدمها الشركات الصغيرة فعليًا، لم يكن أداؤها جيدًا في هذا الاختبار المحدد.
خلص المؤلفون إلى أنه من خلال استخدام أدوات الاسترجاع هذه، يمكننا جعل الذكاء الاصطناعي أكثر موثوقية للجهات الصغيرة في عالم الأعمال. إنها ليست عصا سحرية تصلح كل شيء للأبد، لكنها خطوة كبيرة نحو ضمان أن أصدقائنا الآليين يقولون الحقيقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.