Evaluation of LLMs in retrieving food and nutritional context for RAG systems
تقيم هذه الورقة أربعة من النماذج اللغوية الكبيرة ضمن نظام التوليد المعزز بالاسترجاع لبيانات الأغذية والتغذية، حيث وجدت أنه بينما تنجح هذه النماذج في ترجمة استعلامات اللغة الطبيعية إلى مرشحات بيانات وصفية مهيكلة لتقليل الجهد اليدوي، إلا أن موثوقيتها تنخفض عند التعامل مع الاستعلامات المعقدة التي تتضمن قيوداً تتجاوز النطاق التمثيلي للبيانات الوصفية الأساسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة ومغبرة تحتوي على كل وصفة، وحقيقة غذائية، وملصق غذائي في سلوفينيا. هذه المكتبة ضخمة للغاية ومنظمة بطريقة معقدة لدرجة أن أمين مكتبة يحمل شهادة دكتوراه في إدارة قواعد البيانات فقط هو من يستطيع العثور على كتاب محدد. إذا سألت شخصاً عادياً: "أرني الأطعمة التي تحتوي على بروتين أكثر من الكوليسترول"، فسيضيع تماماً.
هذه الورقة البحثية تتحدث عن بناء مترجم ذكي للغاية وسحري لمساعدة الأشخاص العاديين (مثل أخصائيي التغذية أو خبراء النظام الغذائي) على التحدث مع هذه المكتبة باستخدام لغة إنجليزية بسيطة، دون الحاجة لتعلم الشفرة السرية للمكتبة.
إليك تفاصيل كيفية قيامهم بذلك وما وجدوه، باستخدام بعض التشبيهات اليومية:
1. المشكلة: المكتبة "المغلقة"
بدأ الباحثون بكنز من البيانات الغذائية (قاعدة بيانات التركيب الغذائي السلوفيني). الأمر يشبه امتلاك مكتبة بها 32,000 كتاب، لكن الكتب مغلقة داخل خزنة. للحصول على كتاب، ستحتاج عادةً لمعرفة "رقم النداء" الدقيق (شفرة معقدة مثل protein > 12 AND group = 'Cheese').
أخصائيو التغذية والأطباء لا يريدون تعلم هذه الشفرات؛ هم فقط يريدون أن يسألوا: "ما هي الأطعمة الغنية بالبروتين؟"
2. الحل: "المترجم السحري" (نظام RAG)
بنى الفريق نظاماً يسمى RAG (التوليد المعزز بالاسترجاع). فكر في هذا النظام كعملية مكونة من خطوتين:
- الخطوة أ: المترجم (النموذج اللغوي الكبير - LLM): أنت تطرح سؤالاً على الكمبيوتر بلغة إنجليزية بسيطة. يعمل النموذج اللغوي الكبير (مثل ذكاء اصطناعي فائق الذكاء) كمترجم؛ يستمع لسؤالك ويكتب فوراً "الشفرة السرية" (فلتر قاعدة البيانات) التي تفهمها المكتبة.
- أنت تقول: "أرني أنواع الأجبان التي تحتوي على أكثر من 12 جرام من البروتين."
- الذكاء الاصطناعي يترجم إلى:
{"food_group": "Cheeses", "protein": {"$gt": 12}}
- الخطوة ب: أمين المكتبة (قاعدة بيانات المتجهات - Vector Database): يأخذ الكمبيوتر تلك الشفرة، ويشغلها عبر المكتبة، ثم يستخرج الكتب (الأطعمة) الدقيقة التي تطابق الوصف.
3. التجربة: اختبار المترجمين
أراد الباحثون معرفة ما إذا كانت نماذج الذكاء الاصطناعي المختلفة (تحديداً Gemini و GPT و Claude و Mistral) جيدة في هذه المهمة. اختبرواهم بـ 150 سؤالاً تتفاوت في درجة الصعوبة:
- أسئلة سهلة: "أرني أطعمة ذات دهون عالية." (مثل طلب "كتب حمراء".)
- أسئلة متوسطة: "أرني أطعمة غنية بالبروتين وَ منخفضة السكر." (مثل طلب "كتب حمراء وثقيلة أيضاً".)
- أسئلة صعبة: "أرني أطعمة يكون فيها البروتين أعلى من الكوليسترول." (مثل طلب "كتب يكون غلافها أثقل من الصفحات التي بداخلها".)
4. النتائج: نظام "إشارات المرور"
🟢 الضوء الأخضر (الأسئلة السهلة والمتوسطة)
كان الذكاء الاصطناعي مذهلاً.
بالنسبة للأسئلة البسيطة أو المعقدة بدرجة متوسطة، حصلت جميع نماذج الذكاء الاصطناعي على درجة تقارب المثالية (99%+ دقة). لقد ترجموا اللغة الإنجليزية بشكل مثالي إلى شفرة قاعدة البيانات.
- التشبيه: إذا طلبت "كتباً حمراء"، فقد كتب المترجم الشفرة بشكل مثالي، وأحضر أمين المكتبة بالضبط ما أردته. حتى النموذج مفتوح المصدر (Mistral) كان يؤدي بنفس جودة النماذج الشهلة والمكلفة.
🟡 الضوء الأصفر (الأسئلة الصعبة)
ارتبك الذكاء الاصطناعي، لكن كان لديه خطة بديلة.
عندما أصبحت الأسئلة صعبة (تتطلب رياضيات أو مقارنات مثل "أعلى من الكوليسترول")، أخطأ الذكاء الاصطناعي أحياناً في كتابة الشفرة. لم يستطع كتابة الفلتر المثالي.
- الخطة البديلة: عندما فشل الذكاء الاصطناعي في كتابة الشفرة المثالية، لم يتوقف النظام ببساطة؛ بل انتقل إلى "البحث التقريبي" (Fuzzy Search). بدلاً من البحث عن تطابق تام، بحث عن أشياء تبدو مشابهة.
- النتيجة: لم يكن الأمر مثالياً. وجد النظام حوالي 40-45% فقط من الإجابات الصحيحة لهذه الأسئلة الصعبة.
- التشبيه: إذا طلبت "كتباً أثقل من صفحاتها"، ارتبك المترجم وصاح فقط: "ابحث عن الكتب الثقيلة!"، فأحضر له أمين المكتبة كومة من الكتب الثقيلة، لكن نصفها فقط كان هو المطلوب فعلياً.
5. الخلاصة الكبرى
الأخبار الجيدة:
يمكننا الآن السماح لغير المتخصصين (مثل أخصائيي التغذية) بطرح أسئلة معقدة حول البيانات الغذائية باستخدام لغة طبيعية. الذكاء الاصطناعي بارع في تحويل تلك الأسئلة إلى عمليات بحث في قاعدة البيانات لأي شيء يمكن تعريفه بوضوح (مثل "بروتين عالٍ" أو "سكر منخفض").
الأخبار السيئة:
لا يزال الذكاء الاصطناعي يعاني مع أسئلة "الألغاز الذهنية" التي تتطلب رياضيات معقدة أو مقارنة رقمين ببعضهما البعض. إذا كان السؤال مجرداً جداً بالنسبة لبنية قاعدة البيانات، فإن الذكاء الاصطناعي يضل طريقه.
تشبيه ملخص
تخيل أنك تحاول العث إبرة محددة في كومة قش.
- الطريقة القدة: كان عليك معرفة إحداثيات الـ GPS الدقيقة للإبرة.
- طريقة هذه الورقة البحثية: تخبر الروبوت، "جد الإبرة".
- إذا كانت الإبرة "في كومة القش" فقط، سيجدها الروبوت فوراً (سهل/متوسط).
- إذا طلبت منه "جد الإبرة التي هي أثقل من القش الموجود بجانبها"، سيرتبك الروبوت وقد يحضر لك بعض الإبر، لكنه قد يفقد الإبرة الصحيحة (صعب).
الاستنتاج: هذه التكنولوجيا هي خطوة كبيرة للأمام لجعل البيانات الغذائية متاحة للجميع، ولكننا لا نزال بحاجة لتعليم الذكاء الاصطناعي كيفية التعامل مع مسائل الرياضيات الصعبة حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.