Evaluation of LLMs in retrieving food and nutritional context for RAG systems

Deze studie toont aan dat grote taalmodellen (LLMs) effectief kunnen worden ingezet in RAG-systemen voor het vertalen van natuurlijke taal naar gestructureerde metadata om voedsel- en voedingsgegevens te raadplegen, hoewel hun betrouwbaarheid afneemt bij complexe vragen met beperkingen die niet direct in de metadata-formaat kunnen worden uitgedrukt.

De kern

Stel je voor dat je een enorme, digitale bibliotheek hebt met informatie over elk voedsel dat bestaat: van een stukje kaas tot een specifieke blikje soep. Deze bibliotheek is zo groot en complex dat zelfs een expert er duizelig van wordt als hij of zij moet zoeken in de rijtjes en kolommen.

Dit artikel van onderzoekers uit Slovenië gaat over een slimme manier om die bibliotheek te doorzoeken zonder dat je een computerexpert hoeft te zijn. Ze gebruiken een AI-assistent (een Large Language Model of LLM) als tolk.

Hier is de uitleg, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Onleesbare" Catalogus

Stel je voor dat je naar de supermarkt gaat en vraagt: "Ik wil een kaas die minder dan 5 gram zout heeft, maar meer dan 20 gram eiwit."
In een oude database moet je als expert zelf weten welke kolommen je moet aanklikken, welke formules je moet invullen en hoe je die precies schrijft. Dat is lastig voor een diëtist of voedingsdeskundige die gewoon een antwoord wil.

2. De Oplossing: De Slimme Tolk (RAG)

De onderzoekers hebben een systeem gebouwd dat werkt als een twee-persoonsteam:

1. De Vertaler (De LLM): Jij praat tegen de computer in gewoon Nederlands (of in dit geval, Sloveens). De AI luistert en vertaalt je zin direct naar een strakke lijst met regels voor de database.
   • Jij zegt: "Geef me vis met veel eiwit."
   • De AI denkt: "Ah, ik moet filteren op 'Voedingsgroep: Vis' EN 'Eiwit > X'."
2. De Zoeker (De Database): De computer gebruikt die strakke regels om direct de juiste kaarten uit de bibliotheek te halen.

Dit noemen ze RAG (Retrieval-Augmented Generation). Het is alsof je een supersterke bibliothecaris hebt die niet alleen je boek zoekt, maar ook de juiste pagina's voor je uitknipt.

3. Hoe hebben ze het getest?

Ze hebben vier verschillende AI-modellen (Google Gemini, OpenAI GPT, Anthropic Claude en Mistral) op de proef gesteld. Ze gaven ze 150 vragen, variërend van makkelijk tot heel lastig:

• Eenvoudig (De "Koffie" vragen): "Welke producten hebben meer dan 12 gram eiwit?"
  • Resultaat: Alle AI's waren hier perfect in. Ze haalden bijna 100% van de juiste antwoorden. Het was alsof ze een simpele vraag als "Is de deur open?" beantwoorden.
• Middelzwaar (De "Recept" vragen): "Welke producten uit de groep 'Vlees' hebben minder dan 5 gram suiker, maar meer dan 10 gram eiwit?"
  • Resultaat: Ook hier deden ze het uitstekend. Ze konden meerdere regels tegelijk onthouden en toepassen.
• Moeilijk (De "Wiskunde" vragen): "Welke producten uit de groep 'Kip' hebben meer eiwit dan cholesterol?" of "Welke producten hebben een som van eiwit en vet die groter is dan 80 gram?"
  • Resultaat: Hier kregen ze het moeilijk. De AI's konden de database niet altijd precies vertellen hoe ze die complexe vergelijkingen moesten maken. Ze gaven soms het verkeerde antwoord of geen antwoord.

4. Het "Noodplan" (Fallback)

Wat gebeurt er als de AI de vertaaltak niet goed doet? Het systeem heeft een noodplan:

• Als de AI de precieze regels niet kan bedenken, probeert hij ten minste het soort voedsel te raden (bijv. "Het gaat over kaas").
• Als dat ook niet lukt, zoekt de computer gewoon op basis van betekenis (zoals Google zoeken: "dit lijkt wel op wat je vraagt").
• Dit werkt niet perfect, maar het zorgt ervoor dat je toch iets krijgt in plaats van niets.

5. Wat is de conclusie?

• Voor simpele vragen: Deze technologie is een gamechanger. Een voedingsdeskundige kan nu gewoon praten met de computer en krijgt direct de juiste data. Geen technische kennis meer nodig!
• Voor complexe vragen: De AI is nog niet slim genoeg om alle wiskundige vergelijkingen of ingewikkelde vergelijkingen tussen voedingsstoffen zelf te regelen. Daar moet de mens nog even bijspringen.

Kortom:
Stel je voor dat je een robot-assistent hebt die de sleutel tot een enorme voedselbibliotheek vasthoudt. Als je vraagt om "kaas", opent hij de deur direct en geeft je de juiste kaas. Maar als je vraagt om "kaas die net zo zwaar is als een kip en minder zout dan een zee", moet de robot even nadenken en soms een beetje gissen. Voor de dagelijkse gebruiker is het al een enorme stap voorwaarts, maar voor de allerlastigste puzzels is de mens nog steeds de beste meester.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Evaluation of LLMs in retrieving food and nutritional context for RAG systems", geschreven in het Nederlands.

Titel: Evaluatie van LLM's bij het ophalen van voedsel- en voedingscontext voor RAG-systemen

1. Probleemstelling

De hoeveelheid en complexiteit van voedsel- en voedingsdata vormen een uitdaging voor bestaande databasesystemen. Deze systemen bieden vaak geen intuïtieve toegang tot multidimensionale informatie voor domeinexperts (zoals voedingsdeskundigen en diëtisten) zonder technische achtergrond. Bestaande tools worden vaak als verouderd en slecht aangepast aan lokale contexten ervaren.
Het doel van dit onderzoek is om de haalbaarheid en betrouwbaarheid van Retrieval-Augmented Generation (RAG) systemen te evalueren voor het ophalen van gespecialiseerde voedselgegevens. Specifiek wordt onderzocht hoe goed Large Language Models (LLM's) natuurlijke taalvragen kunnen vertalen naar gestructureerde metadata-filters om een vectordatabase efficiënt te doorzoeken, zonder dat de gebruiker SQL of complexe query-taal nodig heeft.

2. Methodologie

Systeemarchitectuur:

• Database: Het systeem maakt gebruik van Chroma, een open-source vectordatabase, om semantische embeddings van het Sloveense voedselsamenstellingsdatabase (FCDB) op te slaan.
• Data: De dataset bevat meer dan 32.000 voedselitems, zowel "merkproducten" (macronutriënten) als "generieke producten" (tot 366 componenten, inclusief micronutriënten).
• Embedding: Structurering data wordt omgezet in natuurlijke taalbeschrijvingen (bijv. "Voedselitem X heeft Y gram eiwit"). Deze teksten worden geëmbeded met het model gemini-embedding-001 (dimensie 3072) en opgeslagen in Chroma.
• Retrieval-pijplijn:
  1. Een LLM vertaalt de natuurlijke taalvraag van de gebruiker naar een Chroma metadata-filter (bijv. {"protein, total": {"$gt": 12}}).
  2. De database wordt eerst gefilterd op basis van deze metadata om de zoekruimte te verkleinen.
  3. Binnen dit gefilterde subset wordt een semantische zoekopdracht uitgevoerd.
  4. Fallback-mechanismen: Als de LLM geen correcte filter genereert (syntaxisfouten of onbekende componenten), schakelt het systeem over naar:
     • Loose Filtering: Alleen filteren op de voedselgroep (bijv. "Kaas").
     • Pure Semantic Fallback: Geen metadata-filter, alleen zoekopdracht op basis van semantische gelijkenis.

Evaluatie-ontwerp:

• Modellen: Vier LLM's werden getest: Google Gemini, OpenAI GPT-4o, Anthropic Claude en Mistral AI.
• Dataset: Een testset van 150 vragen, verdeeld in drie moeilijkheidsgraden:
  • Eenvoudig: 1-2 voorwaarden (bijv. "Welke producten hebben >12g eiwit?").
  • Gemiddeld: 3-4 voorwaarden met logische operatoren (AND/OR) en bereikvragen.
  • Moeilijk: Vergelijkende vragen of aggregaties (bijv. "Welke producten hebben meer eiwit dan cholesterol?").
• Meting: De prestaties werden gemeten met de F1-score (balans tussen precisie en recall), vergeleken met een handmatig samengestelde "ground truth".
• Drempelwaarden: Er werden drie drempelwaarden voor semantische gelijkenis getest (mean, mean-std, mean+std) om de optimale selectie van resultaten te bepalen bij fallback-scenario's.

3. Belangrijkste Bijdragen

• Validatie van LLM-gestuurde metadata-filtering: Het paper demonstreert dat LLM's, zelfs zonder fine-tuning, zeer effectief zijn in het vertalen van natuurlijke taal naar gestructureerde database-query's voor voedingsdata.
• Robuustheid in meerdere talen: Het systeem toont aan dat niet-fine-tuned modellen voldoende cross-linguale vaardigheden hebben om complexe queries in het Sloveens (een taal met minder hulpbronnen) correct te verwerken.
• Hybride Retrieval-strategie: De studie introduceert en evalueert een gefaseerde aanpak (strakke filter -> losse filter -> pure semantiek) om de betrouwbaarheid van het systeem te maximaliseren wanneer LLM's moeite hebben met complexe logica.

4. Resultaten

• Eenvoudige en Gemiddelde Vragen: Alle vier de modellen presteerden uitzonderlijk goed, met F1-scores > 0,999 voor eenvoudige vragen en tot 1,000 voor gemiddelde vragen (vooral bij Gemini en Claude). Dit bevestigt dat LLM's uitstekend zijn in het genereren van syntactisch correcte filters voor gestructureerde voorwaarden.
• Moeilijke Vragen: De prestaties daalden aanzienlijk voor vragen die vergelijkende redenering of aggregaties vereisen (F1-scores rond 0,40 - 0,45).
  • Claude presteerde het beste op de moeilijkste vragen met een maximale F1-score van 0,450 bij een middelhoge drempelwaarde.
  • Gemini en Mistral volgden dichtbij, terwijl GPT-4o iets minder scoorde op de moeilijkste categorie.
• Invloed van Drempelwaarden: Voor de moeilijkste vragen bleek een restrictievere drempelwaarde (mean - standaarddeviatie) vaak robuuster te zijn voor de algehele prestatie, omdat dit minder irrelevante resultaten toelaat bij semantische fallback.
• Technische Observatie: Er werd een kleine anomalie waargenomen in Chroma waarbij bij zeer grote gefilterde resultaten sets soms een klein deel van de verwachte items niet werd teruggegeven, wat wijst op een index-beperking in de database en niet op een fout in de LLM.

5. Betekenis en Conclusie

Dit onderzoek toont aan dat LLM-gedreven metadata-filtering een krachtige oplossing is om de kloof te overbruggen tussen complexe voedingsdatabases en niet-technische gebruikers. Het stelt voedingsdeskundigen in staat om via natuurlijke taal toegang te krijgen tot geavanceerde data, wat de handmatige inspanning en technische drempel drastisch verlaagt.

Beperkingen en Toekomst:

• De betrouwbaarheid neemt af bij vragen die buiten het representatievermogen van de metadata vallen (bijv. complexe berekeningen tussen componenten).
• De studie was beperkt tot de Sloveense taal en één vectordatabase (Chroma).
• Toekomstig werk moet zich richten op het verbeteren van de prestaties bij complexe redenering, het testen van andere vectordatabases voor schaalbaarheid, en het evalueren van de kosten-batenverhouding van verschillende LLM-versies (waarbij opgemerkt werd dat nieuwere modellen soms slechter presteerden dan hun voorgangers).

Kortom, voor gestructureerde, expliciete vragen is de technologie klaar voor gebruik in de praktijk, maar voor complexe, impliciete redeneringen zijn er nog uitdagingen die verder onderzoek vereisen.