NutriBench: A Dataset for Evaluating Large Language Models on Nutrition Estimation from Meal Descriptions

Deze paper introduceert NutriBench, het eerste publiek beschikbare dataset voor het evalueren van grote taalmodellen op hun vermogen om macronutriënten uit maaltijdbeschrijvingen te schatten, en toont aan dat deze modellen snelle, vergelijkbare resultaten kunnen bieden ten opzichte van professionele diëtisten.

De kern

🍽️ De Digitale Eet-Expert: Wat is NutriBench?

Stel je voor dat je een enorme, digitale bibliotheek hebt, maar dan niet met boeken, maar met eten. In deze bibliotheek staan niet alleen de ingrediënten, maar ook de verhalen over hoe mensen hun maaltijden beschrijven. Dat is precies wat NutriBench is: de eerste grote "proefbaan" (benchmark) om te testen hoe goed kunstmatige intelligentie (AI) kan schatten hoeveel calorieën en koolhydraten er in een maaltijd zitten, puur op basis van een tekstbeschrijving.

Vroeger was het zoeken naar voedingsinformatie als het zoeken naar een naald in een hooiberg met een tabellenboekje. Je moest exact weten hoe je iets noemde (bijv. "100 gram aardappelen") en het kon niet als je het anders omschreef (bijv. "een bordje aardappeltjes").

NutriBench is als een nieuwe, slimme tolk die begrijpt wat je bedoelt, zelfs als je zegt: "Ik had vanmiddag een stukje dunne pizza met pepperoni en een glas chocolademelk, maar niet te zoet."

🧠 De AI als "Super-Kok"

De onderzoekers wilden weten: Kan een slimme computer (een Large Language Model of LLM) net zo goed zijn als een menselijke diëtist?

Ze hebben 12 verschillende "super-koks" (AI-modellen zoals GPT-4o, Llama, en Qwen) getest. Ze gaven hen 11.857 verschillende maaltijdverhalen uit de hele wereld (van de VS tot Sri Lanka) en vroegen: "Hoeveel koolhydraten zitten hierin?"

Om de AI te helpen, gebruikten ze drie verschillende trucs (strategieën):

1. De Gewone Vraag: Gewoon vragen wat het antwoord is.
2. De Stap-voor-Stap Truc (Chain-of-Thought): De AI moet eerst uitleggen hoe hij tot het antwoord komt, net als een leerling die zijn sommen opschrijft. Dit helpt de AI om niet in de war te raken bij complexe maaltijden.
3. De Naslag-Truc (RAG): De AI mag tijdens het antwoord geven even kijken in een digitaal naslagwerk (een database met voedingswaarden) om zeker te zijn.

🏆 De Uitslag: De AI vs. De Mens

Het resultaat was verrassend!

• De Winnaar: De slimste AI (GPT-4o met de "Stap-voor-Stap" truc) deed het beter dan de menselijke diëtisten in de test.
• Snelheid: Dit is het belangrijkste verschil. Een menselijke diëtist deed er gemiddeld 43 minuten over om 72 maaltijden te analyseren. De AI deed dat in 2 minuten.
  • Vergelijking: Het is alsof een mens een berg boeken moet lezen om een antwoord te vinden, terwijl de AI een laserstraal is die in een seconde de juiste pagina vindt.

De AI was echter niet perfect. Bij heel complexe maaltijden met veel verschillende ingrediënten maakte hij soms fouten, net als een mens. Maar over het algemeen was hij sneller en vaak nauwkeuriger.

🩸 Waarom is dit belangrijk? (De Bloedsuiker-test)

Stel je voor dat je diabetes hebt. Dan moet je heel precies weten hoeveel koolhydraten je eet, anders krijg je te veel of te weinig insuline. Dat is als het afstellen van een zeer gevoelige weegschaal: als je 1 gram fout zit, kan dat je bloedsuiker te hoog of te laag maken.

De onderzoekers hebben een simulatie gedaan met virtuele patiënten. Ze lieten zien dat als je de schattingen van de AI gebruikt om je insuline te berekenen, de patiënten veiligere bloedsuikergehalten behouden dan wanneer ze op de schattingen van sommige menselijke diëtisten vertrouwen.

• Vergelijking: De AI werkt als een extra, supersnelle veiligheidscontrole die ervoor zorgt dat je niet per ongeluk in een diep gat (te lage suiker) of in een vlammenzee (te hoge suiker) valt.

🌍 De "Kookboeken" van de Wereld

Een ander interessant punt is dat de AI het beter deed met maaltijden uit sommige landen dan uit andere.

• Hij was goed in Amerikaanse maaltijden (waarschijnlijk omdat hij daar veel over heeft geleerd).
• Hij had wat meer moeite met maaltijden uit landen als Sri Lanka of Ethiopië.
• Vergelijking: Het is alsof je een kok hebt die fantastisch is in het koken van pizza's en hamburgers, maar nog moet leren hoe je een traditionele Indiase curry maakt. De onderzoekers hopen dat toekomstige AI's meer "recepten" uit de hele wereld leren om voor iedereen even goed te zijn.

🚀 Conclusie: Een Hulpmiddel, geen Vervanger

Dit onderzoek toont aan dat AI een krachtig hulpmiddel kan zijn voor zowel professionals als gewone mensen.

• Voor diëtisten is het een snelle assistent die het zware rekenwerk overneemt, zodat ze meer tijd hebben voor hun patiënten.
• Voor jou en mij betekent het dat we in de toekomst misschien gewoon kunnen zeggen tegen onze telefoon: "Wat zat er in mijn lunch?" en direct een betrouwbaar antwoord krijgen, zonder urenlang tabellen te hoeven raadplegen.

Kort samengevat: NutriBench is de eerste grote test die laat zien dat AI onze nieuwe, supersnelle "eet-adviseur" kan worden, die ons helpt om gezonder te leven, vooral voor mensen die hun bloedsuiker nauwkeurig moeten bewaken.

Technische samenvatting

Probleemstelling

Accurate schatting van voedingstoffen is cruciaal voor het maken van gezonde dieetkeuzes en het voorkomen van ernstige gezondheidscomplicaties, zoals diabetes, obesitas en hartziektes. Vooral voor mensen met diabetes is het nauwkeurig schatten van koolhydraten essentieel voor de berekening van de juiste insulinedosis.
Huidige methoden voor voedingsevaluatie hebben echter beperkingen:

• Tabulaire databases: Vereisen vaak exacte zoekopdrachten en zijn tijdrovend bij maaltijden met meerdere componenten.
• Beeldherkenning: Vereist real-time foto's, roept privacykwesties op en faalt vaak als voedselcomponenten in de afbeelding worden verduisterd.
• Gebrek aan benchmarks: Er bestond tot nu toe geen publiek beschikbare dataset om Large Language Models (LLMs) te evalueren op het schatten van voedingstoffen op basis van natuurlijke taalbeschrijvingen van maaltijden.

Methodologie

1. Constructie van NUTRIBENCH

De auteurs presenteren NUTRIBENCH, het eerste publieke benchmark-dataset voor voedingsschatting uit natuurlijke taal.

• Brondata: De dataset is afgeleid van real-world data uit 11 landen, gehaald uit What We Eat in America (VS) en FAO/WHO GIFT.
• Generatie: Met behulp van GPT-4o-mini zijn 11.857 natuurlijke taalbeschrijvingen van maaltijden gegenereerd op basis van deze data.
• Validatie: Alle gegenereerde beschrijvingen zijn menselijk geverifieerd om hallucinaties en ontbrekende informatie (zoals ontbrekende maaltijdbenamingen of portiegroottes) te corrigeren.
• Formaten: De dataset bevat zowel maaltijden met natuurlijke portie-eenheden (bijv. "een kopje", "een lepel") als met metrische eenheden (gram), en dekt zowel enkele als meervoudige voedselitems.
• Labels: Elke beschrijving is gelabeld met macro-nutriënten (koolhydraten, eiwitten, vetten) en calorieën.

2. Evaluatie van LLM's

Er is een uitgebreide evaluatie uitgevoerd met 12 toonaangevende LLM's (zowel open-source als gesloten-source), waaronder:

• Modellen: GPT-4o, GPT-4o mini, Llama 3.1 (8B, 70B, 405B), Gemma 2, Qwen 2, en OpenBioLLM-70B.
• Prompting-strategieën:
  • Base: Directe instructie voor schatting.
  • Chain-of-Thought (CoT): Stap-voor-stap redenering om de complexiteit van meervoudige maaltijden aan te pakken.
  • Retrieval-Augmented Generation (RAG): Het ophalen van voedinginformatie uit een externe database (RETRI-DB, gebaseerd op USDA FoodData Central) om de antwoorden te onderbouwen.
  • RAG + CoT: Combinatie van beide methoden.
• Metingen:
  • Mean Absolute Error (MAE): Afwijking van het ware koolhydraatgehalte.
  • Acc@7.5: Nauwkeurigheid binnen een marge van ±7.5g (gebaseerd op de insuline-koolhydraatratio).
  • Answer Rate (AR): Percentage van de vragen waarop een antwoord wordt gegeven.

3. Vergelijking met Experts en Risico-analyse

• Expert Study: Drie professionele diëtisten hebben een subset van de dataset beoordeeld. Hun snelheid en nauwkeurigheid werden vergeleken met de LLM's.
• Real-world Risico-analyse: Een simulatie is uitgevoerd met de Tidepool Data Science Simulator om het effect van koolhydraatschattingen op de bloedsuikerspiegel van patiënten met Type 1-diabetes te modelleren. Er zijn 44.800 simulaties uitgevoerd met verschillende startwaarden en scenario's (manuele berekening vs. pomp).

Belangrijkste Resultaten

1. Prestaties van LLM's:

   • GPT-4o met CoT behaalde de hoogste nauwkeurigheid (66,82% Acc@7.5) met een antwoordpercentage van 99,16%.
   • Onder open-source modellen presteerde Llama 3.1-405B-FP8 met RAG+CoT het beste (59,89% nauwkeurigheid).
   • CoT-prompting verbeterde significant zowel de nauwkeurigheid als het antwoordpercentage, vooral bij complexe maaltijden met veel componenten.

2. Invloed van Prompting en Data:

   • Natuurlijke vs. Metrische porties: De meeste modellen presteerden beter met metrische eenheden (gram), waarschijnlijk omdat deze data sterker vertegenwoordigd is in de trainingsdata. GPT-modellen presteerden echter beter met metrische eenheden, terwijl andere modellen natuurlijke eenheden soms beter aankonden.
   • RAG Effectiviteit: RAG verbeterde de prestaties voor modellen zoals Llama 3.1, maar had een beperkt effect of zelfs een negatief effect op GPT-4o-mini. Dit suggereert dat GPT-modellen al voldoende kennis hebben en dat RAG soms ruis introduceert of dat de retrieved data (vaak gestandaardiseerd op 100g) niet goed matcht met natuurlijke portiebeschrijvingen.

3. Vergelijking met Diëtisten:

   • LLM's (vooral GPT-modellen) waren sneller (volledige set in 2 minuten vs. 43 minuten voor diëtisten) en vaak nauwkeuriger bij complexe, multi-component maaltijden.
   • Diëtisten presteerden beter bij simpele, traditionele maaltijden zonder specifieke merknamen, tenzij ze toegang hadden tot naslagwerk (online zoeken). Met naslagwerk konden diëtisten vergelijkbare resultaten behalen als de beste LLM's.

4. Risico-analyse (Diabetes):

   • Simulaties toonden aan dat schattingen van GPT-4o (CoT) leidden tot het hoogste percentage tijd binnen het veilige glucosebereik (%TIR: 69,88%) en het laagste risico op hypoglykemie (%TBR: 4,18%).
   • Dit resulteerde in een lagere totale bloedsuikerrisico-index (BGRI) vergeleken met de schattingen van de menselijke diëtisten.

5. Fine-tuning:

   • Het fine-tunen van Gemma2-27B met voedingdata verbeterde de prestaties aanzienlijk (van 45,61% naar 61,71% Acc@7.5), maar bleef nog steeds onder de prestaties van GPT-4o met CoT.

Bijdragen

1. NUTRIBENCH Dataset: De eerste publiek beschikbare dataset met menselijk geverifieerde, natuurlijke taalbeschrijvingen van maaltijden, gelabeld met macro-nutriënten, afkomstig uit 11 landen.
2. Uitgebreide Benchmarking: Een systematische evaluatie van 12 LLM's met verschillende prompting-strategieën (Base, CoT, RAG) voor voedingsschatting.
3. Expert Validatie: Een vergelijkende studie tussen LLM's en professionele diëtisten die de snelheid en nauwkeurigheid van AI in de praktijk in kaart brengt.
4. Klinische Impact: Een real-world risicobeoordeling die aantoont dat LLM-gestuurde voedingsschattingen kunnen bijdragen aan het veilig houden van de bloedsuikerspiegel bij diabetespatiënten.

Betekenis en Conclusie

Het paper demonstreert dat Large Language Models, met name wanneer ze worden ondersteund door Chain-of-Thought redenering, potentieel hebben om professionals en leken te ondersteunen bij het nauwkeurig schatten van voedingstoffen uit natuurlijke taal. Hoewel er nog uitdagingen zijn bij het omgaan met natuurlijke portie-eenheden en culturele diversiteit in voeding, tonen de resultaten aan dat LLM's niet alleen snelheid bieden, maar ook een hoge mate van nauwkeurigheid kunnen bereiken die zelfs de menselijke expertise in specifieke scenario's kan overtreffen. Dit opent de weg voor geautomatiseerde, toegankelijke en veilige voedingstools die de gezondheid van gebruikers kunnen verbeteren.