Ingredient-Level Food Image Segmentation for Nutrition Awareness

Sintesi Tecnica: Segmentazione di Immagini Alimentari a Livello di Ingrediente per la Consapevolezza Nutrizionale

Problema
Gli attuali sistemi di riconoscimento del cibo trattano prevalentemente le immagini come compiti di classificazione, assegnando un'unica etichetta del piatto (ad esempio, "insalata") all'intera immagine. Questo approccio oscura la struttura visiva interna dei pasti che contengono più ingredienti. Per la consapevolezza nutrizionale, un'unica etichetta non riesce a distinguere la distribuzione spaziale di componenti quali riso, verdure, carne o salse. Sebbene il monitoraggio dettagliato di calorie e macronutrienti sia spesso troppo laborioso per l'uso quotidiano, una guida visiva basata sul piatto (simile al "Healthy Eating Plate") offre un'alternativa pratica utilizzando proporzioni visive approssimative. Tuttavia, gli approunti di visione artificiale esistenti spesso mancano della granularità necessaria per separare gli ingredienti visibili a livello di pixel. Questo studio affronta la sfida della segmentazione semantica a livello di ingrediente sul dataset FoodSeg103, con l'obiettivo di predire una classe di ingrediente per ogni pixel al fine di generare un riepilogo della composizione visibile.

Metodologia
La ricerca si concentra sull'affinamento (fine-tuning) di varianti di SegFormer per il dataset FoodSeg103, che contiene 4.983 immagini di addestramento e 2.135 immagini di test tenute da parte, con 104 ID di classe (incluso lo sfondo).

• Modelli: Sono state valutate due varianti sotto un setup strettamente controllato per isolare l'effetto della capacità del modello:
  • SegFormer-B0 (MiT-B0): Un modello base più piccolo.
  • SegFormer-B1 (MiT-B1): Un modello finale più grande.
  • Entrambi utilizzano backbone Mix Transformer (MiT) pre-addestrati su ImageNet con strati di output a 104 classi nuovi inizializzati.
• Configurazione dell'Addestramento: Entrambi i modelli hanno condiviso gli stessi iperparametri e suddivisioni dei dati per garantire un confronto equo. Le impostazioni chiave includevano una dimensione di input di 512×512, una dimensione del batch di 8, l'ottimizzatore AdamW con un tasso di apprendimento di 6e-5 e 40 epoche.
• Pre-elaborazione: Le immagini e le maschere sono state ridimensionate a 512×512. È stata utilizzata l'interpolazione bilineare per le immagini RGB, mentre l'interpolazione nearest-neighbor è stata applicata alle maschere di segmentazione per preservare gli ID di classe discreti. L'aumento dei dati (data augmentation) ha incluso scalatura casuale, ritaglio, flipping orizzontale e leggera variazione del colore (color jitter).
• Valutazione: I modelli sono stati selezionati in base al valore più alto di mean Intersection over Union (IoU) di validazione. La valutazione finale è stata eseguita sul set di test tenuto da parte alla risoluzione originale della maschera. Le metriche includono l'accuratezza dei pixel, la mean IoU, la mean IoU escludendo lo sfondo e la mean class accuracy.
• Modulo Area Visibile: Un passaggio di post-elaborazione converte le maschere predette in un "riepilogo dell'area dell'ingrediente visibile". Esso calcola la percentuale di pixel non appartenenti allo sfondo assegnati a ciascuna classe di ingrediente ($P_c = \frac{N_c}{N_{food}} \times 100$), fornendo una panoramica della composizione 2D.

Contributi Chiave

1. Pipeline Riproducibile: Stabilita una pipeline di fine-tuning per la segmentazione a livello di ingrediente su FoodSeg103 utilizzando SegFormer.
2. Confronto Controllato: Fornito un confronto diretto tra SegFormer-B0 e B1, dimostrando l'impatto dell'aumento della capacità del modello mantenendo costanti la suddivisione dei dati, i programmi di addestramento e il codice di valutazione.
3. Valutazione Completa: Riportate le metriche del test tenuto da parte alla risoluzione originale della maschera, inclusa un'analisi dettagliata della IoU per classe.
4. Output Interpretabile: Sviluppato un modulo che traduce le maschere di segmentazione dense in un riepilogo della composizione 2D leggibile, offrendo un'alternativa visiva al tracciamento manuale degli ingredienti.

Risultati
Sul set di test di 2.135 immagini, SegFormer-B1 ha superato il baseline B0 in tutte le metriche:

• Accuratezza dei Pixel: Aumentata da 0.7709 (B0) a 0.7929 (B1).
• Mean IoU: Migliorata da 0.2521 (B0) a 0.3204 (B1), un guadagno assoluto di +0.0683.
• Mean Class Accuracy: Salita da 0.3590 a 0.4378.

Analisi per Classe:

• Alte Prestazioni: Il modello ha performato meglio su ingredienti visivamente distintivi o grandi, ottenendo IoU elevate per broccoli (0.8339), mais (0.8279) e fagiolini (0.7829).
• Basse Prestazioni: Il modello ha avuto difficoltà con classi rare, piccole o ambigue, registrando una IoU di 0.0 per articoli come torte all'uovo, budini, tè e hamburger. Ciò è coerente con le sfide note nella segmentazione del cibo, tra cui lo squilibrio delle classi, la sovrapposizione e la variazione intra-classe.
• Risultati Qualitativi: Sebbene B1 abbia prodotto maschere più vicine alla verità fondamentale (ground truth), entrambi i modelli hanno avuto difficoltà con piatti misti, regioni sottili e confini poco chiari.

Significato e Limitazioni
Il lavoro posiziona questa ricerca come una prova di concetto per la segmentazione degli ingredienti e l'analisi della composizione visibile, piuttosto che come un sistema completo di stima nutrizionale.

• Significato: Il valore primario risiede nell'interpretabilità. Il sistema converte complesse predizioni a livello di pixel in un semplice riepilogo visivo della composizione del pasto (ad esempio, "61.8% carota, 20.0% riso"). Ciò funge da segnale di "primo passaggio" per la consapevolezza nutrizionale, potenzialmente riducendo la necessità di pesatura o registrazione manuale costante, similmente alla guida basata sul piatto.
• Modestia delle Rivendicazioni: Gli autori dichiarano esplicitamente che il sistema non è un estimatore diretto di calorie, macronutrienti, massa del cibo, volume, densità o reale dimensione della porzione. Una singola immagine RGB manca di informazioni su profondità e densità.
• Limitazioni:
  • Lo studio confronta solo due varianti di SegFormer e non mette in termine di paragone con altre architetture come FCN, DeepLabV3+, U-Net o BEiT.
  • I risultati non sono direttamente confrontabili con i numeri del benchmark pubblico di FoodSeg103 a causa dello specifico setup sperimentale.
  • Le prestazioni rimangono deboli sulle classi rare e piccole.
  • L'output dell'area visibile è limitato all'area dell'immagine 2D, il che non equivale alla reale massa nutrizionale.

In conclusione, lo studio dimostra che SegFormer può essere sottoposto con successo a fine-tuning per la segmentazione a livello di ingrediente, con la variante B1 più grande che offre miglioramenti misurabili. Sebbene il sistema non risolva ancora le complessità della completa stima dietetica, fornisce uno strumento fondamentale per visualizzare la composizione dei pasti a supporto della consapevolezza nutrizionale.