Evaluation of LLMs in retrieving food and nutritional context for RAG systems
यह शोध पत्र खाद्य और पोषण डेटा के लिए एक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) प्रणाली के भीतर चार लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि वे मैन्युअल प्रयास को कम करने के लिए प्राकृतिक भाषा संबंधी प्रश्नों को संरचित मेटाडेटा फिल्टर में प्रभावी ढंग से अनुवादित करते हैं, लेकिन जब वे उन जटिल प्रश्नों को संभालते हैं जिनमें ऐसे प्रतिबंध शामिल होते हैं जो अंतर्निहित मेटाडेटा के प्रतिनिधित्व के दायरे से परे होते हैं, तो उनकी विश्वसनीयता कम हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, धूल भरी लाइब्रेरी है जिसमें स्लोवेनिया के हर व्यंजन की रेसिपी, पोषण संबंधी तथ्य और खाद्य लेबल मौजूद हैं। यह लाइब्रेरी इतनी विशाल और जटिल तरीके से व्यवस्थित है कि केवल डेटाबेस प्रबंधन में पीएचडी प्राप्त लाइब्रेरियन ही किसी विशिष्ट पुस्तक को खोज सकता है। यदि आप एक सामान्य व्यक्ति से पूछते, "मुझे ऐसे खाद्य पदार्थ दिखाएं जिनमें कोलेस्ट्रॉल से अधिक प्रोटीन हो," तो वे खो जाते।
यह शोध पत्र एक सुपर-स्मार्ट, जादुई अनुवादक बनाने के बारे में है जो आम लोगों (जैसे पोषण विशेषज्ञों या आहार विशेषज्ञों) को इस लाइब्रेरी से बात करने में मदद कर सके, बिना लाइब्रेरी के गुप्त कोड को सीखे।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया और उन्हें क्या मिला, रोज़मर्रा के उदाहरणों का उपयोग करते हुए:
1. समस्या: "लॉक" की हुई लाइब्रेरी
शोधकर्ताओं ने खाद्य डेटा (स्लोवेनियाई फूड कंपोजिशन डेटाबेस) के एक खजाने से शुरुआत की। यह एक ऐसी लाइब्रेरी की तरह है जिसमें 32,000 किताबें हैं, लेकिन किताबें एक तिजोरी में बंद हैं। एक किताब पाने के लिए, आपको आमतौर पर सटीक "कॉल नंबर" (एक जटिल कोड जैसे protein > 12 AND group = 'Cheese') जानने की आवश्यकता होती है।
पोषण विशेषज्ञ और डॉक्टर ये कोड सीखना नहीं चाहते। वे बस पूछना चाहते हैं, "प्रोटीन में उच्च खाद्य पदार्थ क्या हैं?"
2. समाधान: "जादुई अनुवादक" (RAG सिस्टम)
टीम ने एक सिस्टम बनाया जिसे RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है। इस सिस्टम को दो चरणों वाली प्रक्रिया के रूप में सोचें:
- चरण A: अनुवादक (LLM): आप कंप्यूटर से साधारण अंग्रेजी में एक सवाल पूछते हैं। एक लार्ज लैंग्वेज मॉडल (जैसे कि एक सुपर-स्मार्ट AI) एक अनुवादक के रूप में कार्य करता है। यह आपके प्रश्न को सुनता है और तुरंत "गुप्त कोड" (एक डेटाबेस फ़िल्टर) लिख देता है जिसे लाइब्रेरी समझती है।
- आप कहते हैं: "मुझे पनीर दिखाएं जिसमें 12 ग्राम से अधिक प्रोटीन हो।"
- AI इसे अनुवादित करता है:
{"food_group": "Cheeses", "protein": {"$gt": 12}}
- चरण B: लाइब्रेरियन (वेक्टर डेटाबेस): कंप्यूटर उस कोड को लेता है, उसे लाइब्रेरी के माध्यम से चलाता है, और उन सटीक किताबों (खाद्य पदार्थों) को निकाल लेता है जो उससे मेल खाते हैं।
3. प्रयोग: अनुवादकों का परीक्षण
शोधकर्ताओं ने यह देखना चाहा कि विभिन्न AI "अनुवादक" (विशेष रूप से Gemini, GPT, Claude, और Mistral) इस काम में कितने अच्छे हैं। उन्होंने कठिनाई के विभिन्न स्तरों वाले 150 प्रश्नों के साथ परीक्षण किया:
- आसान प्रश्न: "मुझे उच्च वसा वाले खाद्य पदार्थ दिखाएं।" (जैसे "लाल किताबें" मांगना।)
- मध्यम प्रश्न: "मुझे उच्च प्रोटीन और कम चीनी वाले खाद्य पदार्थ दिखा मिलान करें।" (जैसे "लाल किताबें जो भारी भी हों" मांगना।)
- कठिन प्रश्न: "मुझे ऐसे खाद्य पदार्थ दिखा जिनमें प्रोटीन, कोलेस्ट्रॉल से अधिक हो।" (जैसे "ऐसी किताबें जहाँ कवर पन्नों के वजन से भारी हो" मांगना।)
4. परिणाम: "ट्रैफिक लाइट" सिस्टम
🟢 हरी बत्ती (आसान और मध्यम प्रश्न)
AI अद्भुत था।
सरल और मध्यम जटिलता वाले प्रश्नों के लिए, सभी AI मॉडल लगभग पूर्ण स्कोर (99%+) प्राप्त करते हैं। उन्होंने अंग्रेजी को डेटाबेस कोड में पूरी तरह से अनुवादित किया।
- उदाहरण: यदि आपने "लाल किताबें" मांगी, तो अनुवादक ने कोड को पूरी तरह से लिखा और लाइब्रेरियन ने ठीक वही ढूँढ निकाला जो आप चाहते थे। यहाँ तक कि ओपन-सोर्स मॉडल (Mistral) ने भी महंगे और प्रसिद्ध मॉडलों के समान ही प्रदर्शन किया।
🟡 पीली बत्ती (कठिन प्रश्न)
AI भ्रमित हो गया, लेकिन उसके पास एक बैकअप प्लान था।
जब प्रश्न कठिन हो गए (जिसमें गणित या तुलना की आवश्यकता थी जैसे "कोलेस्ट्रॉल से अधिक"), तो AI कभी-कभी गलत कोड लिख देता था। वह एकदम सही फ़िल्टर नहीं लिख सका।
- बैकअप योजना: जब AI एक आदर्श कोड लिखने में विफल रहा, तो सिस्टम ने हार नहीं मानी। इसके बजाय, इसने एक "फजी सर्च" (fuzzy search) का उपयोग किया। सटीक मिलान खोजने के बजाय, इसने उन चीजों को देखा जो मिलते-जुलते थे।
- परिणाम: यह पूर्ण नहीं था। इन कठिन प्रश्नों के लिए सिस्टम ने केवल लगभग 40-45% सही उत्तर ही खोज पाए।
- उदाहरण: यदि आपने पूछा "किताबें जो अपने पन्नों से भारी हैं," तो अनुवादक भ्रमित हो गया और बस चिल्लाया, "भारी किताबें ढूँढो!" लाइब्रेरियन ने भारी किताबों का ढेर वापस लाया, लेकिन उनमें से केवल आधे ही सही थे।
5. मुख्य निष्कर्ष
अच्छी खबर:
अब हम गैर-तकनीकी लोगों (जैसे आहार विशेषज्ञों) को सामान्य भाषा का उपयोग करके खाद्य डेटा के बारे में जटिल प्रश्न पूछने की अनुमति दे सकते हैं। AI उन चीजों के लिए प्रश्नों को डेटाबेस खोज में बदलने में बेहतरीन है जिन्हें स्पष्ट रूप से परिभाषित किया जा सकता है (जैसे "उच्च प्रोटीन" या "कम चीनी")।
बुरी खबर:
AI अभी भी उन "दिमागी पहेली" वाले प्रश्नों के साथ संघर्ष करता है जिनमें जटिल गणित या दो संख्याओं के बीच तुलना की आवश्यकता होती है। यदि प्रश्न डेटाबेस की संरचना के लिए बहुत अमूर्त (abstract) है, तो AI भटक जाता है।
सारांश उदाहरण
कल्पना कीजिए कि आप घास के ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं।
- पुराना तरीका: आपको सुई के सटीक GPS निर्देशांक जानने होते थे।
- इस पेपर का तरीका: आप एक रोबोट को बताते हैं, "सुई ढूँढो।"
- यदि सुई बस "घास के ढेर में" है, तो रोबोट उसे तुरंत ढूँढ लेता है (आसान/मध्यम)।
- यदि आप पूछते हैं, "वह सुई ढूँढो जो उसके बगल वाले भूसे से भारी है," तो रोबोट भ्रमित हो जाता है और शायद आपको कुछ सुइयाँ लाकर दे देगा, लेकिन वह सही वाली को मिस कर सकता है (कठिन)।
निष्कर्ष: यह तकनीक खाद्य डेटा को सभी के लिए सुलभ बनाने की दिशा में एक बड़ा कदम है, लेकिन हमें अभी भी AI को वास्तव में कठिन गणितीय समस्याओं को संभालने के लिए सिखाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।