Ingredient-Level Food Image Segmentation for Nutrition Awareness

Resumen Técnico: Segmentación de Imágenes de Alimentos a Nivel de Ingrediente para la Conciencia Nutricional

Planteamiento del Problema
Los sistemas actuales de reconocimiento de alimentos tratan predominantemente las imágenes como tareas de clasificación, asignando una etiqueta de plato único (por ejemplo, "ensalada") a una imagen completa. Este enfoque oscurece la estructura visual interna de las comidas que contienen múltiples ingredientes. Para la conciencia nutricional, una etiqueta única no logra distinguir la distribución espacial de los componentes como el arroz, las verduras, la carne o las salsas. Si bien el seguimiento detallado de calorías y macronutrientes suele ser demasiado laborioso para el uso diario, la guía visual basada en el plato (similar al Plato para Alimentación Saludable) ofrece una alternativa práctica mediante el uso de proporciones visuales aproximadas. Sin embargo, los enfoques de visión computacional existentes a menudo carecen de la granularidad necesaria para separar los ingredientes visibles a nivel de píxel. Este estudio aborda el desafío de la segmentación semántica a nivel de ingrediente en el conjunto de datos FoodSeg103, con el objetivo de predecir una clase de ingrediente para cada píxel para generar un resumen de la composición visible.

Metodología
La investigación se centra en el ajuste fino (fine-tuning) de variantes de SegFormer para el conjunto de datos FoodSeg103, el cual contiene 4,983 imágenes de entrenamiento y 2,135 imágenes de prueba reservadas, con 104 IDs de clase (incluyendo el fondo).

• Modelos: Se evaluaron dos variantes bajo una configuración estrictamente controlada para aislar el efecto de la capacidad del modelo:
  • SegFormer-B0 (MiT-B0): Un modelo base más pequeño.
  • SegFormer-B1 (MiT-B1): Un modelo final más grande.
  • Ambos utilizan arquitecturas backbone Mix Transformer (MiT) preentrenadas en ImageNet con capas de salida de 104 clases recién inicializadas.
• Configuración de Entrenamiento: Ambos modelos compartieron hiperparámetros e incluso divisiones de datos idénticos para asegurar una comparación justa. Los ajustes clave incluyeron un tamaño de entrada de 512×512, un tamaño de lote (batch size) de 8, optimizador AdamW con una tasa de aprendizaje de 6e-5 y 40 épocas.
• Preprocesamiento: Las imágenes y las máscaras se redimensionaron a 512×512. Se utilizó interpolación bilineal para las imágenes RGB, mientras que se aplicó interpolación de vecindad más cercana (nearest-neighbor) a las máscaras de segmentación para preservar los IDs de clase discretos. La aumentación de datos incluyó escalado aleatorio, recorte, volteo horizontal y un ligero cambio de color (color jitter).
• Evaluación: Los modelos se seleccionaron basándose en el mayor IoU medio de validación. La evaluación final se realizó en el conjunto de prueba reservado a la resolución original de la máscara. Las métricas incluyeron precisión de píxeles, IoU medio, IoU medio excluyendo el fondo y precisión de clase media.
• Módulo de Área Visible: Un paso de post-procesamiento convierte las máscaras predichas en un "resumen de área de ingrediente visible". Calcula el porcentaje de píxeles no pertenecientes al fondo asignados a cada clase de ingrediente ($P_c = \frac{N_c}{N_{food}} \times 100$), proporcionando una visión general de la composición en 2D.

Contribuciones Clave

1. Pipeline Reproducible: Establecimiento de un pipeline de ajuste fino para la segmentación a nivel de ingrediente en FoodSeg103 utilizando SegFormer.
2. Comparación Controlada: Provisión de una comparación directa entre SegFormer-B0 y B1, demostrando el impacto del aumento de la capacidad del modelo manteniendo constantes las divisiones de datos, los cronogramas de entrenamiento y el código de evaluación.
3. Evaluación Exhaustiva: Reporte de métricas del conjunto de prueba reservado a la resolución original de la máscara, incluyendo un análisis detallado de IoU por clase.
4. Salida Interpretable: Desarrollo de un módulo que traduce las máscaras de segmentación densas en un resumen de composición en 2D legible, ofreciendo una alternativa visual al seguimiento manual de ingredientes.

Resultos
En el conjunto de prueba reservado de 2,135 imágenes, SegFormer-B1 superó al modelo base B0 en todas las métricas:

• Precisión de Píxeles: Aumentó de 0.7709 (B0) a 0.7929 (B1).
• IoU Medio: Mejoró de 0.2521 (B0) a 0.3204 (B1), una ganancia absoluta de +0.0683.
• Precisión de Clase Media: Ascendió de 0.3590 a 0.4378.

Análisis por Clase:

• Alto Rendimiento: El modelo funcionó mejor en ingredientes visualmente distintivos o grandes, logrando altos IoUs para el brócoli (0.8339), el maíz (0.8279) y las judías verdes (0.7829).
• Bajo Rendimiento: El modelo tuvo dificultades con clases raras, pequeñas o ambiguas, registrando un IoU de 0.0 para elementos como tartas de huevo, pudín, té y hamburguesas. Esto se alinea con los desafíos conocidos en la segmentación de alimentos, incluyendo el desequilibrio de clases, el solapamiento y la variación intra-clase.
• Hallazgos Cualitativos: Aunque B1 produjo máscaras más cercanas a la realidad (ground truth), ambos modelos tuvieron dificultades con platos mixtos, regiones delgadas y límites poco claros.

Significancia y Limitaciones
El artículo posiciona este trabajo como una prueba de concepto para la segmentación de ingredientes y el análisis de composición visible, más que como un sistema completo de estimación nutricional.

• Significancia: El valor principal reside en la interpretabilidad. El sistema convierte predicciones complejas a nivel de píxel en un resumen visual simple de la composición de la comida (por ejemplo, "61.8% zanahoria, 20.0% arroz"). Esto sirve como una señal de "primer paso" para la conciencia nutricional, reduando potencialmente la necesidad de pesaje o registro manual constante, de forma similar a la guía basada en el plato.
• Modestia de las Afirmaciones: Los autores declaran explícitamente que el sistema no es un estimador directo de calorías, macronutrientes, masa de alimentos, volumen, densidad o tamaño de porción real. Una única imagen RGB carece de información de profundidad y densidad.
• Limitaciones:
  • El estudio compara solo dos variantes de SegFormer y no realiza un benchmark contra otras arquitecturas como FCN, DeepLabV3+, U-Net o BEiT.
  • Los resultados no son directamente comparables con los números de referencia publicados de FoodSeg103 debido a la configuración experimental específica.
  • El rendimiento sigue siendo débil en clases raras y pequeñas.
  • La salida de área visible se limita al área de la imagen en 2D, lo que no equivale a la masa nutricional real.

En conclusión, el estudio demuestra que SegFormer puede ajustarse con éxito para la segmentación a nivel de ingrediente, siendo la variante B1 más grande la que ofrece mejoras medibles. Si bien el sistema aún no resuelve las complejidades de la estimación dietética completa, proporciona una herramienta fundamental para visualizar la composición de las comidas para apoyar la conciencia nutricional.