DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images

إليك ملخص تقني مفصل لورقة البحث بعنوان "DietDelta: نهج الرؤية واللغة للتقييم الغذائي عبر صور ما قبل وما بعد الأكل."

1. بيان المشكلة

يعد التقييم الغذائي الدقيق أمراً ضرورياً للتغذية الدقيقة، ولكنه لا يزال يمثل تحدياً كبيراً. تعاني طرق التقييم الغذائي القائمة على الصور (IBDA) الحالية من ثلاثة قيود حرجة:

• قيود المدخلات: تعتمد العديد من هذه الطرق على أجهزة معقدة (مستشعرات العمق، كاميرات متعددة الزوايا) أو مدخلات متخصصة (نماذج ثلاثية الأبعاد)، مما يحد من قابليتها للتطبيق في العالم الحقيقي.
• درجة التفصيل (Granularity): توفر معظم الطرق تقديرات عامة على مستوى الوجبة بدلاً من التحليل الدقيق على مستوى صنف الطعام المطلوب للتغذية الدقيقة.
• تتبع الاستهلاك غير المكتمل: تركز الأنظمة الحالية بشكل أساسي على تحليل صور "ما قبل الأكل". وهي تفشل في حساب فضلات الطبق أو الاستهلاك الجزئي لأنها لا تحلل صور "ما بعد الأكل". يؤدي هذا إلى حسابات غير دقيقة لكمية الاستهلاك الفعلية مقابل الحصص المقدمة.

يكمن التحدي الجوهري في استعادة هندسة الطعام ثلاثية الأبعاد وحجم الاستهلاك من زوج واحد من الصور ثنائية الأبعاد (RGB) دون الحاجة إلى أقنعة تجزئة صلبة أو بيانات عمق.

2. المنهجية

يقترح المؤلفون DietDelta، وهو إطار عمل موحد متعدد الوسائط يقدر استهلاك العناصر الغذائية على مستوى الصنف باستخدام صور مقترنة لما قبل وما بعد الأكل. تعتمد الطريقة على محولات الرؤية (Vision Transformers - ViT) والمطالبات اللغوية الطبيعية لتحديد مواقع أصناف طعام محددة وتقدير فروق الوزن.

البنية الأساسية

• العمود الفقري (Backbone): يستخدم النموذج بنية CLIP (ViT-L/14) سابقة التدريب. يقوم مشفر الصور بتقسيم الصور إلى $N=576$ رقعة ($14 \times 14$)، مما يولد تضمينات رقع دقيقة. ويقوم مشفر النص بمعالجة الاستعلامات اللغوية الطبيعية.
• الاهتمام الموجه بالنص (Text-Guided Attention): على عكس نموذج CLIP القياسي الذي يربط التمثيلات العالمية بين الصورة والنص، يقوم DietDelta بتكييف الاهتمام المتقاطع (Cross-Attention) ليعمل على مستوى الرقعة (Patch level).
  • يعمل الاستعلام النصي (مثلاً: "ما هو وزن [صنف الطعام]؟") كـ استعلام (Query - Q).
  • تعمل تضمينات رقع الصور كـ مفاتيح (Keys - K) وقيم (Values - V).
  • تسمح هذه الآلية للنموذج بتحديد وتجميع الميزات المرئية المقابلة لأصناف طعام محددة مذكورة في النص ديناميكياً، مما يتيح تحديد موقع العنصر بفعالية دون الحاجة إلى إشراف صريح بصناديق الإحاطة (Bounding boxes).

استراتيجية التدريب على مرحلتين

للتغلب على ندرة البيانات المقترنة (قبل وبعد الأكل)، يستخدم المؤلفون مسار تدريب يتكون من مرحلتين:

1. المرحلة الأولى: تقدير الوزن المطلق:
   • البيانات: تم التدريب على مجموعات بيانات واسعة النطاق (Nutrition5k، Food Portion Benchmark) تحتوي فقط على صور "ما قبل الأكل" مع تسميات توضيحية لوزن المكونات.
   • الهدف: تعلم ربط المطالبات النصية بمناطق مرئية محددة والتنبؤ بالوزن المطلق لصنف الطعام.
   • المطالبة (Prompt): "ما هو وزن [صنف الطعام] في هذه الصورة؟"
2. المرحلة الثانية: تقدير فرق الوزن:
   • البيانات: تم الضبط الدقيق (Fine-tuning) على مجموعة بيانات أصغر (ACE-TADA) تحتوي على صور مقترنة لما قبل وما بعد الأكل.
   • الهدف: تعلم التغيرات المرئية الدقيقة بين الحالتين للتنبؤ بالوزن المستهلك (الفرق).
   • المطالبة (Prompt): "ما هو الفرق في وزن [صنف الطعام] في هذه الصور؟"

دالة الهدف (Objective Function)

يتم تدريب النموذج باستخدام دالة خسارة متعددة المهام:
$$L_{total} = \lambda_{reg}L_{reg} + \lambda_{cont}L_{contrastive}$$

• خسارة الانحدار ($L_{reg}$): خسارة L1 التي تقلل الخطأ بين الأوزان المتوقعة والحقيقية (المطلقة أو الفرق).
• الخسارة التباينية ($L_{contrastive}$): خسارة InfoNCE لضمان توافق رقع الصور التي يتم التركيز عليها دلالياً مع الاستعلام النصي، مما يعزز قدرة التحديد المكاني.

3. المساهمات الرئيسية

• أول تقدير مباشر من الصور المقترنة: يعد من أوائل الأعمال التي تقدر مباشرة استهلاك مستوى صنف الطعام من خلال تحليل الفرق الصافي بين صور ما قبل وما بعد الأكل، مع مراعاة فضلات الطبق صراحةً.
• التحديد الموجه بالنص: يقدم آلية تستخدم المطالبات اللغوية الطبيعية لتحديد مواقع وأوزان الأصناف الغذائية الفردية، مما يلغي الحاجة إلى أقنعة تجزئة دقيقة ومعقدة.
• التقييم القوي (Benchmarking): يضع معياراً قوياً لتحليل صور ما قبل وبعد الأكل، مبرهناً على تفوقه على نماذج التعلم العميق ونماذج الرؤية واللغة (VLMs) الحالية.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات بيانات عامة: Nutrition5k، وFood Portion Benchmark (FPB)، وACE-TADA.

• تقدير الوزن المطلق (المرحلة 1):
  • حقق DietDelta متوسط خطأ مطلق مئوي (PMAE) قدره 14.42%، متفوقاً بشكل كبير على أفضل النماذج المرجعية (المتنبئ بـ RGB بنسبة 32.77% ونماذج VLM مثل Gemini 2.5 Pro بنسبة 36.54%).
  • قلل الخطأ بأكثر من 50% مقارنة بأقوى نموذج مرجعي غير تابع لـ VLM.
• تقدير فرق الوزن (المرحلة 2):
  • في مجموعة بيانات ACE-TADA، حقق DietDelta PMAE بنسبة 14.17% لتتبع الاستهلاك.
  • عانت النماذج المرجعية بشكل كبير: فشل "متنبئ فرق RGB" (التقدير المستقل) بنسبة PMAE بلغت 54.21% بسبب الأخطاء الهندسية المتراكمة. كما عانت نماذج VLM القياسية أيضاً (حوالي 39% PMAE) بسبب نقص الاتساق على المستوى المتري عبر حالتين مرئيتين مختلفتين.
• دراسات الاستئصال (Ablation Studies):
  • الدمج (Fusion): أدى دمج وسائط الصورة والنص إلى تقليل الخطأ بشكل كبير مقارنة باستخدام كل منهما على حدة (MAE للصورة فقط: 97.79 جم مقابل MAE للدمج: 35.10 جم).
  • البنية (Architecture): ثبت أن تكوين مشفر CLIP-CLIP المتماثل هو الأمثل، مما يشير إلى أن محاذاة مساحة الميزات من التدريب المسبق التبايني أكثر أهمة من السعة الخام للمشفر.
• التحليل النوعي: أكدت خرائط الاهتمام الحرارية أن النموذج ينجح في عزل أصناف طعام محددة (مثل "الأرز" مقابل "الدجاج") في المشاهد المعقدة، متجاهلاً الخلفية والأطعمة المجاورة.

5. الأهمية

يمثل DietDelta تحولاً جذرياً في التقييم الغذائي من خلال الانتقة من تقدير "الحصة المقدمة" إلى تتبع "الاستهلاك الفعلي".

• العملية: يعمل باستخدام صور RGB قياسية (كاميرات الهواتف الذكية) دون الحاجة لمستشعرات عمق أو إعدادات متعددة الزوايا.
• الدقة: من خلال استخدام الاهتمام الموجه بالنص، يتيح التحليل الدقيق على مستوى الصنف، وهو أمر ضروري للتغذية الدقيقة، بدلاً من مجرد إجمالي سعرات الوجبة.
• التأثير المستقبلي: يضع هذا الإطار حجر الأساس للمراقبة الغذائية المنتشرة والآنية على الأجهزة الطرفية (الهواتف الذكية، الأجهزة القابلة للارتداء)، مما قد يحدث ثورة في كيفية تتبع الأفراد لصحتهم وإدارة الأمراض المزمنة مثل السكري والسمنة.