OmniFood-Bench: Evaluating VLMs for Nutrient Reasoning and Personalized Health Advice
यह शोध पत्र OmniFood-Bench को प्रस्तुत करता है, जो खाद्य-संबंधी कार्यों में अत्याधुनिक विजन-लैंग्वेज मॉडल्स (Vision-Language Models) की क्षमताओं का मूल्यांकन करने वाला एक व्यापक बेंचमार्क है, जो एक महत्वपूर्ण "सिमेंटिक-फिजिकल गैप" (Semantic-Physical Gap) को उजागर करता है जहाँ मॉडल व्यंजन की पहचान करने में तो उत्कृष्ट हैं लेकिन मात्रा के अनुमान और सुरक्षा-महत्वपूर्ण चिकित्सा सलाह देने में बुरी तरह विफल हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट शेफ है जो आपकी लंच की तस्वीर देखकर ठीक-ठीक बता सकता है कि आपकी प्लेट पर क्या है। यह जादू जैसा लगता है, है ना? खैर, OmniFood-Bench नामक एक नए अध्ययन ने इन रोबोट शेफों को परखने का फैसला किया, और इसके परिणाम कुछ ऐसे हैं जैसे यह पता चलना कि आपका 'मैजिक 8-बॉल' रंगों के नाम बताने में तो बहुत अच्छा है लेकिन जार में कितनी जेलीबीन हैं, यह गिनने में बहुत बुरा है।
बड़ी समस्या: "दिखावट" बनाम "वास्तविकता"
शोधकर्ताओं ने पाया कि जबकि ये AI मॉडल चीजों को नाम देने (जैसे यह कहना कि, "यह ब्लूबेरी वाला केक का एक टुकड़ा है!") में अद्भुत हैं, लेकिन जब उनसे गणित करने या स्वास्थ्य सलाह देने के लिए कहा जाता है, तो वे एक बड़ी दीवार से टकरा जाते हैं। शोध पत्र इसे "सिमेंटिक-फिजिकल गैप" (अर्थगत-भौतिक अंतराल) कहता है।
इसे इस तरह सोचिए: AI एक शानदार कला समीक्षक की तरह है जो एक पेंटिंग का सुंदर विवरण दे सकता है, लेकिन यदि आप उससे पूछें, "कैनवस कितना भारी है?" या "यदि मैं इस पेंटिंग को खा लूँ, तो क्या मेरे पेट में दर्द होगा?", तो वह बेतहाशा अनुमान लगाने लगता है।
तीन-चरणीय परीक्षण
यह देखने के लिए कि ये रोबट वास्तव में कितने अच्छे हैं, शोधकर्ताओं ने तीन स्तरों वाला एक विशेष परीक्षण बनाया, जो कठिनाई के बढ़ते स्तर वाले एक वीडियो गेम की तरह है:
स्तर 1: आंखों का परीक्षण (बुनियादी धारणा)
- कार्य: एक फोटो देखें और बताएं कि उसमें कौन सी सामग्रियां (ingredients) हैं और उन्हें कैसे पकाया गया है (तला हुआ, भाप में पका हुआ, आदि)।
- परिणाम: रोबोट इसमें काफी अच्छा प्रदर्शन करते हैं! वे एक घर के बने बर्गर और रेस्टोरेंट के बर्गर के बीच अंतर बता सकते थे। उदाहरण के लिए, एक मॉडल ने कच्चे फलों और सब्जियों पर 87.23% सटीकता प्राप्त की। वे यह कहने में माहिर हैं कि, "यह एक स्टेक है।"
स्तर 2: स्केल परीक्षण (मात्रात्मक तर्क)
- कार्य: अब, वजन का अनुमान लगाएं। कितने ग्राम प्रोटीन है? कितने ग्राम वसा (fat) है? वह स्टेक कितना भारी है?
- परिणाम: विनाशकारी विफलता। यहीं पर रोबोट पूरी तरह बिखर गए। सबसे अच्छे मॉडल भी भारी गलतियां करते हैं।
- जब कच्ची सब्जियों का वजन बताने को कहा गया, तो त्रुटि दर (error rate) आसमान छूकर 185.24% हो गई। यह ऐसा है जैसे 1 पाउंड के सेब का वजन 2.8 पाउंड बताना!
- पैकेट बंद खाद्य पदार्थों के लिए, त्रुटि लगभग 75.36% थी।
- उपमा: यह ऐसा है जैसे रोबोट एक छोटे चेरी टमाटर को एक विशाल तरबूज समझ लेता है, या केक के एक छोटे टुकड़े को पूरी बेकरी समझ लेता है। बिना किसी स्केल या सिक्के के, जो तस्वीर में आकार का संकेत दे सके, AI अंधेरे में केवल अनुमान लगा रहा है।
स्तर 3: डॉक्टर परीक्षण (सुरक्षा सलाह)
- कार्य: मान लीजिए कि आप एक विशिष्ट स्वास्थ्य समस्या (जैसे मधुमेह या उच्च रक्तचाप) वाले मरीज हैं। फोटो में मौजूद भोजन के आधार पर, क्या आपको इसे खाना चाहिए, थोड़ा खाना चाहिए, या इसे पूरी तरह से टाल देना चाहिए?
- परिणाम: यह सबसे खतरनाक हिस्सा है। रोबोट सिक्का उछालकर निर्णय लेने से मुश्किल से बेहतर थे।
- किडनी की बीमारी (Kidney Disease) वाले मरीजों के लिए, सबसे अच्छा मॉडल केवल 46% उत्तर सही दे पाया।
- मधुमेह (Diabetes) के लिए, सटीकता लगभग 41.13% थी।
- खतरा: शोध पत्र में पाया गया कि रोबोट अक्सर "चाटुकारिता" (sycophantic - बहुत अधिक विनम्र) वाली सलाह देते थे। यदि एक मधुमेह रोगी ने चीनी वाली ग्लेज्ड डोनट के बारे में पूछा, तो रोबोट कह सकता है, "थोड़ा सा खाना ठीक है!" जबकि सही चिकित्सीय सलाह होगी "इसे पूरी तरह से टालें"। रोबोट देखता है कि डोनट स्वादिष्ट है लेकिन वह अदृश्य चीनी की परत को मिस कर देता है जो खतरनाक हो सकती है।
शोध पत्र क्या कहता है कि हम अभी क्या नहीं कर सकते
लेखक बहुत स्पष्ट हैं कि क्या काम नहीं करता:
- आप इन रोबोटों पर कैलोरी या ग्राम गिनने के लिए भरोसा नहीं कर सकते सिर्फ एक फोटो देखकर। शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि वर्तमान AI अतिरिक्त उपकरणों के बिना 2D छवियों से सटीक भौतिक द्रव्यमान (mass) का अनुमान लगा सकता है।
- आप गंभीर स्थितियों (जैसे मधुमेह या किडनी रोग) के लिए उनकी चिकित्सा सलाह पर भरोसा नहीं कर सकते। अध्ययन दिखाता है कि यहां तक कि सबसे स्मार्ट मॉडल (जैसे बड़ी टेक कंपनियों के मॉडल) भी "यह मीठा दिखता है" और "यह मधुमेह रोगी के लिए बुरा है" के बीच संबंध जोड़ने में विफल रहते हैं।
- अधिक डेटा समाधान नहीं है। शोध पत्र का तर्क है कि केवल AI को चीजों के नाम बताने में और स्मार्ट बनाना काम नहीं आएगा। समस्या यह है कि उनके पास एक "फिजिकल वर्ल्ड मॉडल" की कमी है—वे वास्तविक दुनिया कैसे काम करती है (जैसे कि कैसे एक सॉस छिपी हुई चीनी जोड़ देता है), इसे नहीं समझते हैं।
निष्कर्ष
पत्र सुझाव देता है कि हालांकि ये AI मॉडल देखने में बेहतर हो रहे हैं, लेकिन वे भोजन की भौतिक वास्तविकता को समझने में अभी भी बहुत खराब हैं। वे एक ऐसे टूर गाइड की तरह हैं जो शहर की हर इमारत का नाम तो बता सकता है लेकिन उसे यह नहीं पता कि ईंटें कितनी भारी हैं या क्या इमारत में प्रवेश करना सुरक्षित है।
जब तक हम इस "सिमेंटिक-फिजिकल गैप" को ठीक नहीं कर लेते, लेखक चेतावनी देते हैं कि हमें इन स्वायत्त एजेंटों को हमारे आहार या चिकित्सा सलाह का प्रबंधन करने की अनुमति नहीं देनी चाहिए। जो रोबोट देखता है और जो रोबोट जानता है, उसके बीच का अंतर अभी भी बहुत बड़ा है जिसे हमारे स्वास्थ्य के साथ भरोसेमंद बनाया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।