OmniFood8K: Single-Image Nutrition Estimation via Hierarchical Frequency-Aligned Fusion

إليك ملخص تقني مفصل لورقة البحث بعنوان "OmniFood8K: تقدير التغذية من صورة واحدة عبر دمج الترددات المتوافقة هرميًا".

1. بيان المشكلة

يعد التقدير الدقيق للتغذية الغذائية أمرًا بالغ الأهمية لإدارة النظام الغذائي الشخصي والوقاية من الأمراض المزمنة. ومع ذلك، تواجه الأساليب الحالية قيودين جوهريين:

• القيود المتعلقة بالبيانات: تعاني معظم مجموعات البيانات الحالية (مثل Nutrition5k وFood-101) من انحياز شديد نحو المطابخ الغربية. فهي تفتقر إلى التغطية الكافية للأطباق الصينية المعقدة، التي تتميز بتنوع المكونات وطرق التحضير غير المعيارية، مما يجعل عملية التوسيم والتحليل الغذائي الدقيق أمراً صعباً.
• القيود الخوارزمية: تعتمد أحدث الأساليب غالباً على مستشعرات العمق (RGB-D) لتقدير حجم الطعام وكتلته. وفي السيناريوهات اليومية الواقعية، يلتقط المستخدمون عادةً صور الطعام باستخدام كاميرات RGB قياسية لا تحتوي على مستشعرات عمق، مما يجعل هذه الأساليب المعتمدة على العمق غير عملية للانتشار الواسع.

2. المنهجية

يقترح المؤلفون إطار عمل متكامل (End-to-End) يتنبأ بالمعلومات الغذائية (الكتلة، السعرات الحرارية، البروتين، الدهون، الكربوهيدرات) مباشرة من صورة RGB واحدة. يتكون خط الإنتاج من ثلاث وحدات أساسية:

أ. تقدير وتحسين العمق (SSRA)

بما أن صور RGB تفتقر إلى إشارات العمق الصريحة، يستخدم النظام أولاً نموذجاً مدرباً مسبقاً لتقدير العمق أحادي العين (Monocular Depth Estimation) لتوليد خريطة عمق أولية. ولتصحيح غموض المقياس (Scale Ambiguity) والعيوب الهيكلية المحلية المتأصلة في العمق أحادي العين، قدموا مُكيِّف بقايا تغيير المقياس والإزاحة (SSRA):

• المحاذاة العالمية: يطبق عامل تحجيم قابل للتعلم ($\alpha$) ومعامل إزاحة ($\beta$) لمحاذاة توزيع العمق الإجمالي ($d_{global} = \alpha \cdot d_{mono} + \beta$).
• التحسين المحلي: يستخدم وحدة بقايا تلافيفية ضحلة لتصحيح التشوهات الهندسية وتعزيز التفاصيل الهيكلية المحلية.
• المخرج: ينتج خريطة عمق محسنة تضمن اتساق المقياس العالمي والحفاظ على البنية المحلية.

ب. دمج الترددات المتوافقة (FAFM)

لدمج صورة RGB وخريطة العمق المحسنة بفعالية، اقترح المؤلفون وحدة دمج الترددات المتوافقة (FAFM). تعمل هذه الوحدة في نطاق التردد:

• التفكيك: يستخدم تحويل فوريه السريع ثنائي الأبعاد (2D FFT) لفصل الميزات إلى مكونات منخفضة التردد (البنية العالمية) وعالية التردد (النسيج/التفاصيل المحلية).
• الدمج: يدمج المكونات منخفضة التردد وعالية التردد من كلا الوسيطين عبر الجمع العنصري (Element-wise addition).
• المحاذاة: يقدم فقدان محاذاة بين الوسائط ($L_{align}$) يعتمد على التعلم التبايني لفرض الاتساق الدلالي بين ميزات RGB وميزات العمق، مما يضمن تمثيلهما لنفس العينة بشكل وثيق في مساحة الميزات.

ج. رأس التنبؤ القائم على القناع (MPH)

تتمثل المرحلة النهائية في التنبؤ بالقيم الغذائية باستخدام رأس تنبؤ قائم على القناع (MPH):

• تكامل الميزات: يأخذ ميزات RGB متعددة المقاييس والميزات الدلالية كمدخلات.
• الاختيار الديناميكي: يستخدم آلية الانتباه المتقاطع (Cross-Attention) واستراتيجية الدمج المبوّب (Gated Fusion). والأهم من ذلك، أنه يستخدم قناع قناة ديناميكي لاختيار القنوات الأكثر معلوماتية تلقائياً، مع التركيز على مناطق المكونات الرئيسية ذات الصلة بالعناصر الغذائية المستهدفة.
• المخرج: يجمع الميزات عبر التجميع العالمي (Global Pooling) والطبقات كاملة الاتصال لإخراج القيم الغذائية النهائية.

د. دالة الفقد (Loss Function)

يستخدم التدريب فقدان وزن المهام الديناميكي (Dynamic Task-weighted Loss) لتقدير العناصر الغذائية، والذي يعدل الأوزان بناءً على صعوبة التنبؤ بكل عنصر غذائي (باستخدام مقييس KPI القائم على متوسط الخطأ المطلق المئوي). ويتم دمج هذا مع فقدان المحاذاة بين الوسائط.

3. المساهمات الرئيسية

أ. مجموعة بيانات OmniFood8K

مجموعة بيانات متعددة الوسائط شاملة تحتوي على 8,036 عينة طعام تركز على المطبخ الصيني. بخلاف مجموعات البيانات السابقة، تغطي هذه المجموعة كامل عملية تحضير الطعام:

• أنواع البيانات: صور المكونات الخام مع أوزان دقيقة، أوصاف وصفات مهيكلة، فيديوهات طبخ، وصور متعددة الزوايا للأطباق النهائية.
• التوسيمات: ملصقات غذائية تفصيلية (السعرات الحرارية، البروتين، الدهون، الكربوهيدرات، الكتلة) تم حسابها بناءً على قياسات الوزن في العالم الحقيقي وقواعد البيانات الغذائية الرسمية، مما يضمن دقة عالية.
• الأهمية: تعد أول مجموعة بيانات تحافظ على الروابط السببية من المكونات الخام إلى التقديم النهائي، مما يعالج نقص بيانات الطعام الصيني.

ب. مجموعة بيانات NutritionSynth-115K

مجموعة بيانات اصطناعية واسعة النطاق تحتوي على 115,000 صورة.

• الإنشاء: تم إنشاؤها عن طريق تقسيم، وقص، وإعادة دمج العناصر من OmniFood8K مع الحفاظ على الملصقات الغذائية الدقيقة.
• الغرض: توفير تنوع تركيبي لتدريب النماذج مسبقاً، مما يعزز قدرات تعميمها قبل الضبط الدقيق على بيانات العالم الحقيقي.

ج. بنية مبتكرة

يعد الإطار المقترح أول من يحقق دقة عالية في تقدير التغذية من صورة RGB واحدة دون الحاجة إلى مستشعرات عمق، وذلك باستخدام دمج الترددات المتوافقة هرمياً والاختيار الديناميكي للقنوات.

4. النتائج التجريبية

تم تقييم الطريقة على OmniFood8K ومجموعة بيانات Nutrition5k القياسية، باستخدام متوسط الخطأ المطلق المئوي (PMAE) كمقياس أساسي.

• الأداء على OmniFood8K: حققت الطريقة المقترحة متوسط PMAE قدره 8.6%، متفوقة بشكل كبير على النماذج المرجعية القوية مثل ResNet-101 (10.6%) وSwin-Transformer (31.2%).
• الأداء على Nutrition5k: حققت الطريقة متوسط PMAE قدره 16.5%. ومن الجدير بالذكر أنها تفوقت على الأساليب الحديثة الموجودة التي تعتمد على مدخلات RGB-D (مثل FBFPN بنسبة 17.3%، وIMIR-Net بنسبة 17.4%)، مما يثبت أن نهج RGB الواحد مع استراتيجية الدمج الخاصة بهم هو أفضل من الأساليب المعتمدة على العمق.
• دراسات الاستئصال (Ablation Studies):
  • أدى إضافة SSRA وFAFM وMPH بشكل تدريجي إلى تحسين الأداء.
  • التدريب المسبق على NutritionSynth-115K عزز الأداء بشكل كبير على OmniFood8K، حيث خفض متوسط PMAE من 8.6% إلى 7.8%، مما يثبت قيمة مجموعة البيانات الاصطناعية للتهيئة.

5. الأهمية

• القابلية للتطبيق العملي: من خلال إزالة الاعتماد على مستشعرات العمق، يتيح هذا الأسلوب تتبع التغذية بدقة باستخدام كاميرات الهواتف الذكية القياسية، مما يجعله قابلاً للاستخدام في الاستهلاك اليومي.
• الشمولية الثقافية: يعالج تقديم OmniFood8K الفجوة الحرجة في بيانات المطبخ الصيني، مما يسمح بإدارة صحية أكثر دقة لشريحة كبيرة من سكان العالم.
• التقدم التقني: يوفر استخدام المحاذاة في نطاق التردد وقناع القناة الديناميكي نموذجاً جديداً للدمج متعدد الوسائط في الرؤية الحاسوبية، وتحديداً للمهام التي تتطلب فهماً هندسياً ودلالياً دقيقاً من الصور ثنائية الأبعاد.