💻 computer science

Open-KNEAD: Knowledge-grounded Nutrition Estimation via Agentic Decomposition

Open-KNEAD is een trainingsvrij, lokaal inzetbaar agentisch framework dat selectieve, nutriëntbewuste retrieval gebruikt om controleerbare, item-voor-item voedingswaarderecorden te genereren en portie-inschattingen aanzienlijk verbetert—met name voor niet-Amerikaanse keukens—waarbij het zowel voorgaande retrievalmethoden als directe inferentie van frontier closed-modellen overtreft terwijl de privacy van de gebruiker behouden blijft.

Oorspronkelijke auteurs: Bruce Coburn, Jingbo Yue, Jinge Ma, Siddeshwar Raghavan, Gautham Vinod, Fengqing Zhu

Gepubliceerd 2026-07-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bruce Coburn, Jingbo Yue, Jinge Ma, Siddeshwar Raghavan, Gautham Vinod, Fengqing Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je precies probeert uit te vogelen wat er in je lunchtrommel zit door er simpelweg een foto van te maken. Een tijdje dachten wetenschappers dat de beste manier om dit te doen een superintelligente robot (een Multimodal Large Language Model, of MLLM) was die naar de foto keek en vervolgens koortsachtig een enorme digitale bibliotheek met voedingsfeiten doorzocht om voor elk item de perfecte match te vinden. Het was alsof je een detective naar de bibliotheek stuurde om elk kruimeltje te vergelijken voordat er een gok werd gemaakt.

Maar hier komt de wending: de auteurs van dit artikel, Open-KNEAD, ontdekten dat voor de huidige superintelligente robots die koortsachtige zoektocht in de bibliotheek eigenlijk niet langer nodig is om het totale aantal calorieën correct te krijgen. De robot kan gewoon naar de foto kijken en de totale energie, proteïne en vetten raden, bijna even goed als de detective met de bibliotheek.

Dus, als de zoektocht in de bibliotheek het totaal niet beter maakt, waarom zou je het dan doen? Het artikel betoogt dat we de bibliotheek nog steeds nodig hebben om twee zeer specifieke redenen die een simpele gok niet kan bieden:

Het "Bonnetje": Clinici (zoals diëtisten) willen niet alleen een magisch getal; ze willen een gedetailleerde, item-voor-item lijst die ze kunnen controleren. Ze moeten precies weten hoeveel gram van "gebakken ei" en "toast" is gebruikt, gekoppeld aan een specifieke voedselcode, zoals een bonnetje dat je kunt controleren.
De "Onzichtbare Dingen": Een foto kan de kookolie, boter of suiker niet zien die verborgen zit in een gerecht. Een simpele gok mist deze "onzichtbare energie" vaak, wat leidt tot onderschattingen.

De Oplossing: De Slimme Detective met een Geheugen
De auteurs hebben een nieuw systeem gebouwd genaamd Open-KNEAD. Denk aan een detective die niet alleen een gok doet naar het totaal, maar de maaltijd opdeelt in stukjes, de bibliotheek alleen raadpleegt wanneer hij echt in de war is, en een speciale truc heeft voor de onzichtbare dingen.

Zo werkt het, stap voor stap:

Stap 1: De Opdeling. Het systeem kijkt naar de foto en maakt een lijst van elk zichtbaar item (bijv. "eieren", "avocado", "toast").
Stap 2: De "Recipe Prior" (De Magische Truk). Dit is de slimste zet van het artikel. Het systeem vraat zichzelf af: "Als ik gebakken kip en rijst zie, welke onzichtbare ingrediënten horen daar meestal bij?" Het voegt vervolgens de verborgen kookolie of boter toe aan de lijst. Dit lost een groot probleem op waarbij eerdere methoden de calorieën van niet-Amerikaanse keukens (zoals de Chinese keuken) onderschatten omdat ze de olie in de pan niet konden zien.
Stap 3: De Selectieve Bibliotheekcontrole. Het systeem controleert niet voor alles de bibliotheek. Het controleert alleen als de mogelijke matches voor een item sterk van elkaar verschillen. Als "gebakken kip" twee soorten zou kunnen zijn die exact dezelfde calorieën hebben, slaat het de controle over om tijd te besparen. Als de opties echter sterk uiteenlopen, vraat het de robot om de juiste te kiezen. Dit houdt het systeem snel en efficiënt.
Stap 4: De Privacybelofte. Cruciaal is dat het hele proces op je eigen computer draait (lokaal). Er worden geen foto's van je lunch naar een grote cloudserver gestuurd. Het gebruikt open-source modellen, waardoor je gegevens privé blijven.

Wat de Cijfers Zeggen
Het artikel testte dit op drie verschillende soorten maaltijden: Amerikaans, Australisch en Chinees.

Portiegroottes: Het nieuwe systeem was veel beter in het raden van hoeveel voedsel er aanwezig was. Op de Australische dataset (die gecontroleerd is door echte diëtisten) was het lokale Open-KNEAD-systeem ongeveer 30% tot 53% nauwkeuriger in het raden van portiegroottes dan de beste closed-source modellen (zoals de nieuwste versies van GPT of Gemini) die simpelweg het totaal raden.
Energie-inschattingen: Voor Amerikaanse en Chinese maaltijden was het systeem zeer nauwkeurig. Echter, voor de Australische maaltijden was de "som der delen"-methode iets minder nauwkeurig dan een directe gok, omdat de voedingsdatabase grotendeels gebaseerd is op Amerikaanse voedingsmiddelen. De auteurs hebben dit opgelost door het systeem het antwoord te laten "routeren": als het voedsel Amerikaans-stijl is, gebruikt het de gedetailleerde uitsplitsing; als het iets anders is, vertrouwt het op de directe gok voor de totale energie.
Het "Bonnetje": In tegen tegenstelling tot een simpele gok, produceert Open-KNEAD een volledig, controleerbaar verslag. Het vertelt je: "Dit is 92g gebakken ei, code 31105010, wat 132 calorieën is."

Wat het Artikel Uitsluit
De auteurs waren zeer zorgvuldig in het aangeven van wat niet werkt of niet nodig is:

Geen Fratische Zoektochten Meer: Ze stelden expliciet vast dat de oude methode om de bibliotheek voor elk item te doorzoeken om het totaal aantal calorieën te krijgen, nu verouderd is. De directe gok is net zo goed voor het totaal.
Geen Extra Camera's: Ze testten het gebruik van meerdere camerastandpunten of dieptesensoren om volume te meten, maar ontdekten dat dit niet hielp. Het systeem werkt het best met slechts één foto.
Geen Training: Het systeem hoeft niet "geleerd" of bijgesteld te worden op nieuwe data. Het werkt direct uit de doos met 'frozen models'.

De Kern van het Verhaal
Open-KNEAD is geen toverstaf die elk probleem perfect oplost. Het geeft toe dat voor sommige keukens de database niet perfect is, en het vertrouwt op een "recipe prior" die verborgen ingrediënten raadt op basis van wat een gerecht gewoonlijk bevat. Maar het bewijst succesvol dat je het beste van beide werelden kunt hebben: een privaat, lokaal systeem dat je een gedetailleerd, controleerbaar bonnetje van je maaltijd geeft, terwijl het ook de verborgen calorieën vangt die een simpele foto-gok zou missen. Het is een slimmere, transparantere manier om je voedsel te tellen zonder je lunchfoto's naar het internet te sturen.

Technische Samenvatting: Open-KNEAD

Probleemstelling

Multimodale Large Language Models (MLLMs) worden steeds vaker ingezet voor dieetbeoordeling op basis van maaltijdfoto's. Historisch gezien werd aangetoond dat retrieval-augmented grounding — waarbij modellen specifieke voedselitems uit een voedingsdatabase ophalen om schattingen te verfijnen — de nauwkeurigheid verbeterde. De auteurs observeren echter dat voor moderne MLLMs uit het jaar 2026 directe schatting (een enkele modeloproep die een afbeelding naar totale macronutriënten mapt zonder decompositie of retrieval) nu de prestaties evenaart of zelfs overtreft wat betreft de nauwkeurigheid van totale energie en macronutriënten.

Ondanks dit gebrek aan direct begrip, missen directe schattingen twee cruciale kenmerken die vereist zijn voor klinische adoptie:

Verklaarbaarheid: Het levert een enkel opaak getal in plaats van een geïtemiseerd, controleerbaar verslag.
Privacy: Klinische implementatie vereist vaak lokale inferentie om te voorkomen dat gevoelige patiëntafbeeldingen naar commerciële API's worden verzonden.

De kernuitdaging die door dit werk wordt aangepakt, is hoe de voordelen van grounding (geïtemiseerde verslagen, traceerbaarheid en het vermogen om rekening te houden met onzichtbare ingrediënten) behouden kunnen blijven zonder de winst in nauwkeurigheid van moderne directe schatting op te offeren, terwijl er strikte beperkingen gelden: minimale gebruikersbelasting (enkele ongeannoteerde afbeelding), lokale uitvoering en nul training (bevroren modellen).

Methodologie: Open-KNEAD

Open-KNEAD is een training-vrije, kennis-gegronde agentische framework ontworpen voor lokale implementatie op open-weight MLLMs. Het werkt via een dual-path architectuur die outputs routeert op basis van de specifieke te schatten nutritionele metriek.

1. Kennisbank

Het systeem koppelt items aan een bevroren kennisbank afgeleid van de Food and Nutrient Database for Dietary Studies (FNDDS), die ongeveer 5.400 vermeldingen bevat. Elke vermelding bevat:

Een voedselcode en beschrijving.
Een nutriëntvector per 100g (energie, eiwit, vet, koolhydraten).
Een USDA voedselcategorie (WWEIA) met vooraf berekende per-nutriënt dispersiestatistieken ( $\sigma_g$ ). Dit stelt de agent in staat om beslissingen te filteren op basis van nutritionele ambiguïteit binnen een categorie in plaats van op ruwe grootte.
Duale indexering: een ijle lexicale index (BM25) en een dichte semantische index (met behulp van open-weight embeddings zoals BGE-M3).

2. Pad A: Directe Schatting

Een enkele MLLM-oproep verwerkt de maaltijdfoto om een holistische schatting te produceren van de totale energie, macronutriënten en portiegrootte. Dit pad dient als baseline en levert de primaire energie-inschatting voor keukens waar de kennisbank bias kan introduceren (bijv. niet-Amerikaanse keukens).

3. Pad B: Gegronde Agentische Decompositie

Dit pad is verantwoordelijk voor het genereren van het geïtemiseerde, controleerbare verslag en de portieschatting. Het verloopt via vier stappen:

Decompositie: Het model identificeert zichtbare voedselitems en schat hun massa in grammen.
Recipe-Prior (Onzichtbare Ingrediënten): Een tekst-only call extrapoleert "onzichtbare" tijdens het koken toegevoegde componenten (bijv. olie, boter, sauzen) die typerend zijn voor het herkende gerecht. Deze stap wordt gereguleerd door een binaire schakelaar ( $\Phi$ ) die alleen wordt geactiveerd voor maaltijden die waarschijnlijk dergelijke verborgen energierijke ingrediënten bevatten, om overschatting op items zoals simpel fruit te voorkomen.
Selectieve Retrieval: Elk item bevraagt zowel de lexicale als de dichte indices. Kandidaten worden gefuseerd met behulp van Reciprocal Rank Fusion (RRF). Cruciaal is dat het systeem een retrieval-gewogen, dispersie-genormaliseerde variantie ( $V_i$ $V_{i}$ ) berekent voor de kandidaten.
- Als $V_i$ onder een drempelwaarde ( $\tau$ ) ligt, zijn de kandidaten nutritioneel uitwisselbaar en committeert het systeem zich aan een gewogen gemiddelde zonder verdere modeloproepen.
- Als $V_i \ge \tau$ , wordt de MLLM aangeroepen om de best passende FNDDS-code te selecteren, onderworpen aan een per-maaltijd budget ( $B=5$ ).
Berekening: De nutriënten worden berekend door de per-100g nutriëntvector te schalen met de geschatte massa.

4. Routeringsstrategie

De uiteindelijke output wordt samengesteld door te routeren:

Portie en Controleerbaar Verslag: Wordt altijd afkomstig van Pad B (de decompositie).
Energie en Macronutriënten: Wordt gerouteerd op basis van de keuken. Voor de VS-gecentreerde datasets (Nutrition5k) en OmniFood (Chinees, waar de recipe-prior de verborgen energie herstelt), wordt de gegronde som van Pad B gebruikt. Voor off-distribution datasets zoals ACETADA (Australisch), waar de VS-gecentreerde dichtheidsbias de decompose-som opblaast, valt het systeem terug op de directe schatting van Pad A om de variantie te minimaliseren.

Belangrijkste Bijdragen

Open-KNEAD Framework: De eerste kennis-gegronde agentische framework voor de nutritionele schatting van maaltijden die training-vrij en lokaal inzetbaar is. Het verbetert de portieschatting ten opzichte van directe prompting over meerdere datasets en open backbones.
Agent-Ready Kennisbank: Een publieke release van de FNDDS, uitgebreid met duale sparse/dense retrieval embeddings en per-categorie nutriëntdispersiestatistieken, specifiek verpakt voor agentische nutritionele schatting.
Recipe-Prior: Een leakage-veilige methode tijdens de inferentie om de verborgen energie door koken (bijv. olie in de Chinese keuken) te herstellen, wat systematische onderschatting vermindert zonder dat grondwaarheid-recepten nodig zijn.

Resultaten

Het framework werd geëvalueerd over drie datasets (VS, Australië, China) en vijf open-weight MMLM backbones (Gemma en Qwen families), waarbij het werd vergeleken met directe prompting, self-consistency en eerdere retrieval-gebaseerde methoden (DietAI24).

Portienauwkeurigheid: De gegronde agent verbeterde de portieschattingen ten opzichte van directe schatting in 12 van de 15 backbone-dataset instellingen. Op de door diëtisten geverifieerde ACETADA-dataset overtrof de lokale open agent (Gemma-31B) de directe portieschattingen van twee frontier closed-source modellen (gpt-5.5 en Gemini) met respectievelijk ongeveer 30% en 53%, terwijl alle data lokaal bleef.
Energienauwkeurigheid: Open-KNEAD presteerde beter dan eerdere grounding-methoden en directe schatting op de Amerikaanse en Chinese datasets. Op de Australische dataset slaagde de routeringsstrategie erin de bias van de decompose-som te mitigeren door terug te vallen op de directe schatting.
Item-niveau Grounding: De gegronde agent behaalde een lagere fout per item in de portieschatting dan ongegronde gestructureerde decompositie in 12 van de 15 settings. Cruciaal is dat het een controleerbaar verslag produceerde (Item $\to$ FNDDS Code $\to$ Nutriënt) dat directe schattingen niet kunnen bieden.
Efficiëntie: Het selectieve gating-mechanisme verminderde het aantal MLLM-oproepen aanzienlijk. Het systeem riep de MLLM alleen aan voor code-selectie wanneer de nutritionele ambiguïteit hoog was, met een gemiddelde van 2,8 oproepen per maaltijd vergeleken met 3,3 voor "always pick" baselines.

Betekenis en Claims

Het artikel beweert dat hoewel moderne MLLMs retrieval overbodig hebben gemaakt voor de nauwkeurigheid van de totale energie, grounding essentieel blijft voor klinische bruikbaarheid. Open-KNEAD demonstreert dat het mogelijk is om te bereiken:

Verklaarbaarheid: Het leveren van een traceerbaar, item-voor-item verslag voor diëtisten.
Privacy: Volledig opereren op lokale hardware met open-weight modellen.
Nauwkeurigheid: Het verbeteren van portieschattingen en het herstellen van verborgen energiecomponenten zonder de snelheid of eenvoud van een enkele-afbeelding input op te offeren.

De auteurs karakteriseren het werk als een "bewust minimale" test van inherente capaciteiten, waarbij zwaardere perceptietools en geleerde estimators worden gereserveerd voor toekomstig werk. Ze erkennen beperkingen, waaronder de afhankelijkheid van een VS-gecentreerde kennisbank (gemitigeerd door routing), de noodzaak van keuken-niveau gating voor de recipe-prior, en het onvermogen om geometrische aanwijzingen uit enkele afbeeldingen te benutten.