DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images

Probleemstelling

Huidige methoden voor beeldgebaseerde dieetbeoordeling (IBDA) hebben drie fundamentele beperkingen die de nauwkeurigheid van precisie-nutritionele monitoring in de weg staan:

1. Afhankelijkheid van complexe invoer: Veel bestaande methoden vereisen aanvullende hardware of data, zoals dieptekaarten (depth maps), multi-view beelden of 3D-modellen, wat ze onpraktisch maakt voor dagelijks gebruik.
2. Gebrek aan fijnmazige analyse: De meeste systemen schatten alleen het totale maaltijdgewicht of het voedingsprofiel op beeldniveau, in plaats van per specifiek voedselitem. Dit is onvoldoende voor precisie-nutritione.
3. Focus op "voor" de maaltijd: Bestaande systemen analyseren voornamelijk beelden van het eten voordat het wordt gegeten. Ze negeren "na"-beelden en kunnen daarom niet bepalen wat er daadwerkelijk is geconsumeerd versus wat er op het bord is achtergelaten (plate waste). Dit leidt tot onnauwkeurige schattingen van de werkelijke inname.

Methodologie: DietDelta

DietDelta introduceert een unificerend vision-language framework dat werkt met paren van beelden (voor en na het eten) om voedsel op item-niveau te analyseren. De kern van de methode is het gebruik van natuurlijke taalprompts om specifieke voedselitems te lokaliseren en hun gewicht te schatten zonder complexe segmentatiemaskers.

De Architectuur:

• Backbone: Het model gebruikt de Vision Transformer (ViT) architectuur, specifiek de CLIP ViT-L/14 variant, als ruggengraat.
• Patch-based Attention: In tegenstelling tot globale beeld-tekst alignering (zoals bij standaard CLIP), werkt DietDelta op het niveau van beeldpatches.
• Cross-Attention Mechanisme:
  • Tekstprompts (bijv. "Wat is het gewicht van [VOEDSELITEM]?") worden gecodeerd tot een query-vector.
  • Deze query fungeert als "Query" in een cross-attention mechanisme, terwijl de beeldpatches fungeren als "Keys" en "Values".
  • Dit zorgt ervoor dat het model semantisch relevante patches identificeert die bij het specifieke voedselitem horen, en negeert irrelevante achtergronden of andere gerechten.

Twee-staps Trainingsstrategie:
Om het gebrek aan grote datasets met "voor-en-na"-paren te overwinnen, wordt een twee-fasen trainingsaanpak gebruikt:

1. Fase 1: Absolute Gewichtschatting: Het model wordt getraind op grote datasets (Nutrition5k, FPB) met alleen "voor"-beelden en gewichtsannotaties. Het leert hierbij de relatie tussen tekstprompts en de visuele patches van voedselitems om het absolute gewicht te voorspellen.
2. Fase 2: Gewichtsverschil Schatting: Het model wordt fijngefineerd (fine-tuned) op een kleinere dataset met "voor-en-na"-paren (ACE-TADA). Hier leert het de subtiele visuele veranderingen tussen de twee beelden te modelleren om het verbruikte gewicht (het verschil) direct te voorspellen.

Verliesfunctie:
Het model wordt getraind met een multi-task loss functie die bestaat uit:

• Een regressieverlies (L1-loss) om de fout in de gewichtsvoorspelling te minimaliseren.
• Een contrastief verlies (InfoNCE) om ervoor te zorgen dat de geattendeerde beeldpatches semantisch goed aligneren met de tekstquery.

Belangrijkste Bijdragen

1. Eerste werk voor item-niveau consumptie: Het is een van de eerste methoden die direct de consumptie van individuele voedselitems schat op basis van paren "voor-en-na" beelden, in plaats van alleen het geserveerde volume.
2. Tekst-gestuurde attention: Het introduceert een mechanisme waarbij natuurlijke taal gebruikt wordt om voedselitems te lokaliseren en te wegen, wat de noodzaak voor rigide pixel-gebaseerde segmentatie elimineert.
3. Robuustheid: De methode werkt met één enkel RGB-beeldpaar en vereist geen extra hardware (zoals dieptecamera's) of handmatige referentieobjecten.

Resultaten

Het model is geëvalueerd op drie publieke datasets: Nutrition5k, Food Portion Benchmark (FPB) en ACE-TADA.

• Absolute Gewichtschatting (Fase 1): DietDelta behaalde een Mean PMAE (Percentage Mean Absolute Error) van 14,42%. Dit is een aanzienlijke verbetering ten opzichte van bestaande baselines zoals RGB-gebaseerde regressors (48,12%) en zelfs geavanceerde Vision-Language Models (VLMs) zoals Gemini 2.5 Pro (36,54%).
• Gewichtsverschil Schatting (Fase 2): Bij het schatten van de daadwerkelijke inname op basis van "voor-en-na" beelden, behaalde DietDelta een PMAE van 14,17%.
  • Traditionele methoden die de beelden apart analyseren en het verschil berekenen, faalden catastrofisch (54,21% PMAE) door cumulatieve meetfouten.
  • Zelfs gespecialiseerde VLMs hadden moeite met de nauwkeurigheid (rond de 39% PMAE) omdat ze moeite hebben met consistente metrische vergelijking tussen twee visuele staten.
• Kwalitatieve Analyse: Visualisaties van de attention-heatmaps tonen aan dat het model precies focust op het aangevraagde voedselitem en negeert wat er niet bij hoort, zelfs bij complexe maaltijden met gemengde gerechten.

Betekenis en Toekomstperspectief

DietDelta stelt een nieuwe benchmark neer voor dieetbeoordeling door het probleem van "plate waste" (eten dat niet wordt opgegeten) op te lossen. Door de combinatie van visuele data en semantische tekstprompts, kan het systeem de werkelijke calorische inname veel nauwkeuriger bepalen dan huidige methoden.

De auteurs zien een grote potentie voor de toepassing van dit framework op resource-beperkte randapparatuur (zoals smartphones en slimme brillen). Dit zou real-time, nauwkeurige gezondheidsmonitoring in het dagelijks leven mogelijk maken, wat een belangrijke stap is naar de realisatie van precisie-nutritione voor de bevolking.