DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images

1. Il Problema: Limitazioni delle Metodologie Attuali

L'assunzione dietetica precisa è fondamentale per la nutrizione di precisione, ma le attuali metodologie di valutazione dietetica basate sulle immagini (IBDA) presentano tre limitazioni critiche:

• Dipendenza da input complessi: Molti metodi richiedono dati aggiuntivi costosi o ingombranti, come mappe di profondità, sequenze multi-vista o hardware specializzato, rendendoli poco pratici per scenari reali.
• Analisi a livello di pasto (coarse): La maggior parte degli approcci stima le proprietà nutrizionali a livello dell'intero pasto, ignorando l'analisi granulare per singolo alimento, necessaria per una nutrizione precisa.
• Mancanza di analisi del consumo reale: I sistemi esistenti si basano quasi esclusivamente su immagini "prima del pasto". Non analizzando le immagini "dopo il pasto", non possono calcolare il consumo netto, ignorando gli avanzi e il cibo non consumato (plate waste). Inoltre, la stima del volume da un'immagine 2D è un problema mal posto (ill-posed) senza informazioni 3D.

2. Metodologia: Un Framework Vision-Language

Gli autori propongono DietDelta, un framework multimodale che utilizza coppie di immagini "prima e dopo" il pasto per stimare il consumo nutrizionale a livello di singolo alimento.

Architettura e Strategia di Addestramento

Il metodo si basa su una strategia di addestramento in due fasi, utilizzando l'architettura Vision Transformer (ViT) e meccanismi di Cross-Attention:

1. Fase 1: Stima del Peso Assoluto (Absolute Weight Estimation)

   • Obiettivo: Imparare ad associare query testuali a regioni visive specifiche e prevedere il peso assoluto di un alimento.
   • Dati: Addestrata su dataset su larga scala (es. Nutrition5k, FPB) con annotazioni di peso.
   • Prompt: "Qual è il peso di [ALIMENTO] in questa immagine?".
   • Meccanismo: Utilizza un encoder CLIP (ViT-L/14) per estrarre patch di immagine e embedding testuali. Un modulo di cross-attention allinea le patch visive con la query testuale, isolando le regioni rilevanti.

2. Fase 2: Stima della Differenza di Peso (Weight Difference Estimation)

   • Obiettivo: Prevedere la differenza di peso (consumo effettivo) tra le immagini "prima" e "dopo".
   • Dati: Addestrata (fine-tuning) su dataset con coppie di immagini (es. ACE-TADA).
   • Prompt: "Qual è la differenza di peso di [ALIMENTO] tra queste immagini?".
   • Meccanismo: Il modello utilizza le conoscenze apprese nella Fase 1 per focalizzarsi sulle patch visive che sono cambiate (scomparse o ridotte) tra le due immagini, calcolando direttamente la massa consumata.

Componenti Chiave

• Localizzazione Guidata dal Testo: Invece di maschere di segmentazione rigide, il sistema usa prompt di linguaggio naturale per localizzare gli alimenti.
• Cross-Attention Modificata: Le embedding testuali agiscono come Query (Q), mentre le patch di immagine fungono da Key (K) e Value (V). Questo permette al modello di pesare le patch visive in base alla loro rilevanza semantica rispetto al testo.
• Funzione di Loss: Una funzione multi-task che combina una Loss di Regressione (errore L1 sul peso) e una Loss di Allineamento Contrastivo (InfoNCE) per garantire che le patch attivate corrispondano semanticamente alla query testuale.

3. Contributi Chiave

• Primo approccio diretto al consumo: Uno dei primi lavori a stimare il consumo nutrizionale a livello di singolo alimento utilizzando coppie di immagini prima/dopo.
• Meccanismo di attenzione guidato dal testo: Elimina la necessità di segmentazione pixel-per-pixel complessa, permettendo un'analisi flessibile per elemento tramite query testuali.
• Benchmark solido: Stabilisce un nuovo stato dell'arte per l'analisi di immagini "prima e dopo", superando i limiti delle metodologie basate solo su immagini "prima".

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset pubblici: Nutrition5k, Food Portion Benchmark (FPB) e ACE-TADA.

• Stima del Peso Assoluto (Fase 1):
  • DietDelta ha ottenuto un PMAE (Percentage Mean Absolute Error) medio del 14,42%, superando significativamente i baselines esistenti (es. RGB-only, modelli VLM come Gemini 2.5 Pro e Gemma 3).
  • Ha ridotto l'errore di oltre il 50% rispetto al miglior baseline precedente (RGB).
• Stima della Differenza di Peso (Fase 2 - Consumo Reale):
  • Su ACE-TADA, DietDelta ha raggiunto un PMAE del 14,17%.
  • I metodi tradizionali (differenza tra due stime indipendenti) hanno fallito con un PMAE del 54,21%, dimostrando che l'approccio di regressione diretta sulla differenza visiva è superiore.
  • Anche i grandi modelli Vision-Language (VLM) chiusi hanno mostrato errori elevati (~39%), soffrendo di incoerenza metrica tra le due immagini.
• Robustezza: L'analisi qualitativa e quantitativa mostra che il modello mantiene alta accuratezza sia per cibi solidi che per cibi amorfi (es. purè, curry), grazie alla capacità di isolare le patch rilevanti indipendentemente dalla geometria.

5. Significato e Impatto

DietDelta rappresenta un passo avanti significativo verso la nutrizione di precisione automatizzata.

• Praticità: Funziona con una singola coppia di immagini RGB standard, eliminando la necessità di sensori di profondità o hardware costoso.
• Precisione: Fornisce dati sul consumo netto reale (non solo sulla porzione servita), risolvendo il problema degli avanzi che i sistemi attuali ignorano.
• Futuro: L'architettura proposta è progettata per essere implementata su dispositivi edge (smartphone, occhiali intelligenti), promettendo di rendere il tracciamento calorico in tempo reale accessibile e preciso per la salute pubblica.

In sintesi, il paper dimostra che l'integrazione di prompt linguistici con l'analisi visiva patch-based, applicata a coppie temporali di immagini, supera le limitazioni geometriche e semantiche dei metodi precedenti, offrendo una soluzione robusta per il monitoraggio dietetico reale.