OmniFood8K: Single-Image Nutrition Estimation via Hierarchical Frequency-Aligned Fusion

Resumen Técnico: OmniFood8K

1. Planteamiento del Problema

La estimación precisa de la nutrición de los alimentos es crucial para la gestión de la salud y la prevención de enfermedades crónicas. Sin embargo, los métodos actuales enfrentan dos limitaciones fundamentales:

• Limitación de Datos: La mayoría de los conjuntos de datos existentes están sesgados hacia la cocina occidental, careciendo de una cobertura suficiente de platos chinos, los cuales tienen una composición de ingredientes compleja y no estandarizada.
• Limitación Algorítmica: Muchos métodos avanzados dependen de sensores de profundidad (cámaras RGB-D) para estimar el volumen y la masa. Esto restringe su aplicabilidad en escenarios cotidianos, donde los usuarios suelen utilizar cámaras RGB convencionales (como las de los teléfonos móviles).

El objetivo es desarrollar un sistema capaz de estimar la información nutricional (calorías, masa, proteínas, grasas, carbohidratos) directamente a partir de una única imagen RGB, sin necesidad de hardware especializado, y con un alto rendimiento en la cocina china.

2. Metodología Propuesta

Los autores proponen un marco de trabajo end-to-end (de extremo a extremo) que consta de tres módulos principales para procesar una imagen RGB única:

1. Estimación y Refinamiento de Profundidad (SSRA):

   • Dado que la imagen RGB carece de información de profundidad explícita, se utiliza un modelo de estimación de profundidad monoculares preentrenado para generar un mapa de profundidad inicial.
   • Se introduce el Adaptador Residual de Escala y Desplazamiento (Scale-Shift Residual Adapter - SSRA). Este módulo corrige el mapa de profundidad en dos niveles:
     • Global: Ajusta la escala y el desplazamiento (usando factores aprendibles $\alpha$ y $\beta$) para resolver la ambigüedad de escala típica de la profundidad monocular.
     • Local: Utiliza un módulo de convolución residual para refinar detalles estructurales y corregir distorsiones geométricas.

2. Fusión Jerárquica Alineada por Frecuencia (FAFM):
   * Para integrar eficazmente las características visuales (RGB) y las geométricas (profundidad refinada), se propone el Módulo de Fusión Alineada por Frecuencia (Frequency-Aligned Fusion Module - FAFM).
   * Este módulo transforma las características al dominio de la frecuencia mediante la Transformada Rápida de Fourier (FFT).
   * Separa y fusiona los componentes de baja frecuencia (que capturan la estructura global) y alta frecuencia (que capturan los detalles texturales locales) de ambas modalidades.
   * Se introduce una pérdida de alineación intermodal para asegurar la consistencia semántica entre las representaciones de RGB y profundidad.

3. Cabeza de Predicción Basada en Máscaras (MPH):

   • El Módulo de Predicción Basado en Máscaras (Mask-based Prediction Head - MPH) utiliza un mecanismo de atención cruzada y fusión con puerta (gated fusion).
   • Implementa una máscara de canal dinámica que selecciona automáticamente los canales de características más informativos, enfatizando las regiones clave de los ingredientes para mejorar la precisión de la predicción nutricional.

3. Contribuciones Clave

• OmniFood8K (Conjunto de Datos Multimodal):

  • Un nuevo dataset de 8,036 muestras de alimentos centrado en la cocina china.
  • Cobertura completa del proceso: Incluye imágenes de ingredientes crudos con pesos, descripciones de recetas estructuradas, videos de cocina y vistas múltiples de los platos terminados.
  • Precisión: Las anotaciones nutricionales se calculan basándose en pesadas reales de ingredientes y bases de datos oficiales, evitando el sesgo de las etiquetas generadas por LLM o raspadas de la web.
  • Es el primer dataset que vincula causalmente los ingredientes crudos hasta el plato final.

• NutritionSynth-115K (Dataset Sintético):

  • Un conjunto de datos sintético a gran escala con 115,000 imágenes.
  • Generado mediante segmentación y recombinación de ingredientes de OmniFood8K, manteniendo las proporciones originales y las etiquetas nutricionales precisas para aumentar la diversidad de composiciones y mejorar la generalización del modelo.

• Marco de Trabajo End-to-End:

  • Un sistema que logra estimar nutrición solo con una imagen RGB, superando la dependencia de sensores de profundidad mediante la fusión inteligente de características en el dominio de la frecuencia.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples datasets (OmniFood8K y Nutrition5k) utilizando la métrica PMAE (Error Absoluto Medio Porcentual), donde un valor más bajo indica mayor precisión.

• Rendimiento en OmniFood8K: El método propuesto superó a todas las líneas base (incluyendo ResNet, EfficientNet, Swin-Transformer, etc.), logrando un PMAE medio de 8.6% (frente a 9.8% del mejor competidor, ConvNeXt).
• Rendimiento en Nutrition5k: El método obtuvo un PMAE medio de 16.5%, superando a enfoques avanzados que incluso utilizan entradas RGB-D (como FBFPN e IMIR-Net). Esto demuestra que la estimación basada solo en RGB con su arquitectura es superior a métodos que dependen de sensores de profundidad reales.
• Estudios de Ablación: La adición progresiva de los módulos SSRA, FAFM y MPH mejoró consistentemente el rendimiento.
• Pre-entrenamiento: El uso de NutritionSynth-115K para pre-entrenar el modelo antes de ajustarlo en OmniFood8K redujo el PMAE medio de 8.6% a 7.8%, validando la utilidad de los datos sintéticos.

5. Significado e Impacto

• Accesibilidad: Al eliminar la necesidad de cámaras de profundidad, la tecnología se vuelve viable para aplicaciones móviles y de consumo masivo en el día a día.
• Diversidad Cultural: Al centrarse en la cocina china y proporcionar un dataset robusto, se aborda una brecha significativa en la investigación de nutrición computacional, que históricamente ha ignorado las dietas asiáticas complejas.
• Precisión y Generalización: La combinación de un dataset real de alta calidad, datos sintéticos a gran escala y una arquitectura de fusión en el dominio de la frecuencia establece un nuevo estado del arte (SOTA) en la estimación nutricional automática.

En conclusión, OmniFood8K representa un avance significativo hacia la democratización de herramientas de gestión de salud personalizadas, permitiendo una estimación nutricional precisa, accesible y culturalmente diversa.