Beyond Fine-Tuning: Robust Food Entity Linking under Ontology Drift with FoodOntoRAG

Dit paper introduceert FoodOntoRAG, een fijnstemmingsvrij RAG-pipeline dat robuuste food entity linking bereikt door een hybride zoek- en agent-systeem te gebruiken voor few-shot matching met ontologieën, waardoor de kosten worden verlaagd en de weerstand tegen ontologie-drift wordt verbeterd.

De kern

Stel je voor dat je een enorme, chaotische bibliotheek binnenloopt waar elke schrijn vol staat met recepten, ingrediëntenlijsten en menukaarten uit de hele wereld. De ene keer staat er "poedersuiker", de andere keer "icing sugar", en weer een andere keer "suiker, fijn gemalen". Voor een computer is dit een nachtmerrie: het ziet drie verschillende woorden en denkt dat het drie verschillende dingen zijn. Maar voor een voedingsdeskundige zijn het allemaal hetzelfde: suiker.

Deze paper introduceert FoodOntoRAG, een slimme oplossing om al die verschillende namen te vertalen naar één officiële, wetenschappelijke naam (een "identiteitskaart") in een grote database.

Hier is hoe het werkt, vertaald naar alledaagse taal:

Het Probleem: De "Verouderde Kaart"

Vroeger probeerden computers dit probleem op te lossen door ze te "trainen" (zoals een student die maanden studeert voor een examen). Maar dat heeft twee grote nadelen:

1. Het kost enorm veel tijd en energie (rekenkracht).
2. Zodra de "boeken" in de bibliotheek veranderen (nieuwe termen, nieuwe regels), is de student verouderd en moet hij opnieuw studeren. Dit noemen ze ontologie-drift (de wereld verandert, maar het model blijft stilstaan).

De Oplossing: De Slimme Bibliotheekassistent

In plaats van een student die alles uit zijn hoofd moet kennen, bouwen de auteurs een slimme bibliotheekassistent (FoodOntoRAG). Deze assistent heeft geen geheugen nodig, maar wel een heel goed systeem om informatie op te halen.

Het proces verloopt in vier stappen, alsof je een detective-team hebt:

1. De Zoeker (De Hybrid Retriever)

Stel, iemand roept: "Ik wil de naam van dat witte poeder dat in cakes zit."
De Zoeker gaat direct naar de bibliotheek. Hij doet twee dingen tegelijk:

• Woord-schakeling: Hij zoekt naar woorden die lijken op "wit poeder" of "cake".
• Betekenis-schakeling: Hij kijkt naar de smaak van de zin. Zelfs als het woord niet exact klopt, snapt hij dat het over suiker gaat.
  Hij pakt een handvol mogelijke kandidaten (bijvoorbeeld: "suiker", "glucose", "baking powder") en legt ze op een stapel.

2. De Keuzemaker (De Selector)

Deze agent kijkt naar de stapel kandidaten. Hij heeft een strakke regel: "Kies de meest specifieke naam die exact past."
Als er "suiker" en "witte kristalsuiker" op de lijst staan, kiest hij de specifieke versie. Hij geeft een korte uitleg waarom hij die kiest.

• Voorbeeld: "Ik kies 'witte kristalsuiker' omdat de tekst specifiek over 'cake' gaat en dat is de meest precieze term."

3. De Controleur (De Scorer)

Dit is het slimme nieuwe onderdeel. De Controleur kijkt naar de keuze van de Keuzemaker en zegt: "Ben je er zeker van?"
Hij geeft een vertrouwensscore (van 0 tot 100%).

• Als het vertrouwen hoog is (bijv. 90%): "Goed zo, dit is het antwoord."
• Als het vertrouwen laag is (bijv. 40%): "Wacht even, dit klinkt verdacht. Misschien bedoelen ze iets anders."

4. De Vertaler (De Synonym Generator)

Als de Controleur twijfelt, roept hij de Vertaler in. Deze zegt: "Oké, laten we het anders vragen."
In plaats van "wit poeder", vraagt hij nu: "Zoek naar 'sucrose' of 'kristalsuiker'."
Het team gaat dan opnieuw op zoek met deze nieuwe vraag. Dit is een feedback-lus: als het eerste antwoord niet goed voelt, probeer je het opnieuw met een andere invalshoek, zonder dat je de hele assistent opnieuw hoeft te trainen.

Waarom is dit zo geweldig?

• Het is niet stijf: Als de bibliotheek morgen een nieuw ingrediënt toevoegt, hoeft de assistent niet opnieuw te studeren. Hij zoekt gewoon in de nieuwe database. Hij is drift-proof.
• Het is eerlijk: Als de assistent het niet weet, zegt hij dat (hij "stapt af" in plaats van een raar antwoord te verzinnen).
• Het is transparant: Je kunt altijd zien waarom hij voor een bepaalde naam koos, omdat hij zijn redenering uitspreekt.

De Resultaten in het Kort

De auteurs hebben dit getest op echte recepten en productlabels.

• Op een standaard testset (CafeteriaFCD) deed het systeem het bijna net zo goed als de beste "geleerde" systemen, maar dan zonder de zware training.
• Op een lastigere test met echte supermarktproducten (Open Food Facts) won FoodOntoRAG het met grote afstand van de oude, getrainde systemen. Waarom? Omdat de oude systemen verward raakten door nieuwe, onbekende chemische namen, terwijl de nieuwe assistent gewoon in de database ging zoeken en de juiste term vond.

Conclusie

FoodOntoRAG is als het verschil tussen een student die een examen uit zijn hoofd leert (en faalt als de vragen veranderen) en een slimme rechercheur die een actuele database heeft, een team van experts heeft om te overleggen, en nooit moe wordt van het updaten van zijn kennis. Het maakt het mogelijk om voedseldata over de hele wereld te standaardiseren, zodat we allergenen, voedingswaarden en veiligheid makkelijker kunnen controleren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Beyond Fine-Tuning: Robust Food Entity Linking under Ontology Drift with FoodOntoRAG" in het Nederlands.

Probleemstelling

Het standaardiseren van voedseltermen uit productlabels en menu's naar concepten in een ontologie is essentieel voor betrouwbare dieetbeoordeling en veiligheidsrapportage. De huidige dominante aanpak voor Named Entity Linking (NEL) in de voedsel- en voedingssector maakt gebruik van Fine-Tuning van Large Language Models (LLM's) op taakspecifieke corpora. Hoewel deze methoden effectief zijn, hebben ze ernstige nadelen:

1. Hoge rekentkosten: Fine-tuning is computatief intensief.
2. Ontologie-afhankelijkheid: Modellen zijn vastgeklonken aan een specifieke versie van een ontologie.
3. Ontologie-drift: De prestaties verslechteren aanzienlijk wanneer de onderliggende ontologie evolueert (nieuwe termen, gewijzigde definities), wat leidt tot verouderde modellen.
4. Generalisatieproblemen: Modellen presteren vaak slecht op nieuwe domeinen of ongeziene entiteiten die niet in de trainingsdata zaten.

De auteurs stellen dat er behoefte is aan een robuuste, interpreteerbare oplossing die niet afhankelijk is van continue training en bestand is tegen veranderingen in de kennisbasis.

Methodologie: FoodOntoRAG

Het paper introduceert FoodOntoRAG, een model- en ontologie-onafhankelijke pipeline die Retrieval-Augmented Generation (RAG) combineert met een multi-agent systeem. In plaats van het model te trainen, wordt een LLM "geconditioneerd" op gestructureerde bewijsvoering uit de ontologie (FoodOn).

De pipeline bestaat uit vier gespecialiseerde agenten die in een feedbacklus werken:

1. Hybride Retriever Agent:

   • Zoekt kandidaat-entiteiten in de FoodOn-ontologie.
   • Combineert lexicale zoekopdrachten (via Whoosh-index, gebaseerd op BM25 op labels, synoniemen en definities) met semantische zoekopdrachten (via FAISS-vectorindex, gebaseerd op embeddings van all-MiniLM-L6-v2).
   • Fusioneren en filteren van resultaten om een kleine, hoog-recall set van kandidaten te genereren voor de volgende stap.

2. Selector Agent:

   • Een instructie-volgende LLM die één beste match kiest uit de kandidatenlijst.
   • Gebruikt een strikte rubriek:
     • Exact-match voorkeur: Exacte overeenkomsten (case-insensitive) hebben prioriteit boven afgeleide matches.
     • Specificiteitsregel: Bij meerdere plausibele opties wordt de meest specifieke term gekozen boven een bredere hyperoniem.
   • Output: Een JSON-object met de gekozen ID en een korte rechtvaardiging.

3. LLM Scorer Agent:

   • Een aparte assessor die de keuze van de Selector evalueert.
   • Retourneert een vertrouwensscore (0 tot 1) en een rechtvaardiging.
   • Als de score onder een drempelwaarde ($\tau$) valt, wordt de selectie verworpen en worden alternatieve kandidaten voorgesteld.
   • Dit agent is cruciaal voor het detecteren van fouten en het voorkomen van hallucinaties.

4. Synonym Generator Agent (Feedback Loop):

   • Wordt geactiveerd als de Scorer een lage score geeft.
   • Genereert nieuwe zoektermen (synoniemen, technische namen, omgekeerde kwalificatoren) op basis van de reden voor de afwijzing.
   • De pipeline voert vervolgens een nieuwe zoekopdracht uit met deze nieuwe termen om gemiste ontologie-entries te vinden.
   • Dit proces is beperkt tot één "hop" om efficiëntie te waarborgen.

Data Voorverwerking:
De FoodOn-ontologie wordt geparseerd naar JSON-dumps die labels, synoniemen, definities en hiërarchische relaties bevatten. Deze worden zowel geïndexeerd voor trefwoordzoekopdrachten als ingebed in een vectorruimte voor semantische zoekopdrachten.

Belangrijkste Bijdragen

• Ontologie-bewuste RAG-pipeline: Een nieuw kader voor voedsel-NEL dat geen fine-tuning vereist, waardoor het onmiddellijk adaptief is voor nieuwe ontologie-versies.
• Multi-agent Architectuur: Een gescheiden ontwerp van Selector, Scorer en Synonym Generator die interpretatie en foutcorrectie mogelijk maakt via expliciete redenering.
• Robuustheid tegen Ontologie-Drift: Het systeem blijft presteren zelfs wanneer de onderliggende kennisbasis verandert, omdat het dynamisch nieuwe informatie ophaalt in plaats van statische gewichten te gebruiken.
• Openbare Artefacten: De auteurs hebben de code, data (Open Food Facts subset), en een interactieve applicatie voor validatie openbaar gemaakt.

Resultaten

De evaluatie is uitgevoerd op twee datasets:

1. CafeteriaFCD Corpus (1.000 recepten):

   • FoodOntoRAG behaalde een Acc@1 (Top-1 nauwkeurigheid) van ongeveer 58-60% bij een drempelwaarde van $\tau = 0.6-0.7$.
   • Na handmatige herbeoordeling van "fouten" bleek dat veel afwijkingen te wijten waren aan ontologie-drift (verschillen in hiërarchieniveau, bv. "ui" als ingrediënt vs. biologische taxon) en niet aan modelfouten.
   • Na correctie voor deze ontologische nuances steeg de nauwkeurigheid naar 97%.
   • De feedbacklus (retry/synoniemen) leverde slechts een bescheiden verbetering op, wat aangeeft dat de eerste poging al zeer effectief is.

2. Open Food Facts (Branded Producten):

   • Vergelijking met FoodSEM (een state-of-the-art, gefine-tuned model).
   • FoodOntoRAG: 90,7% nauwkeurigheid.
   • FoodSEM: 36,9% nauwkeurigheid.
   • Reden voor het verschil: FoodSEM faalde bij entiteiten die niet in de trainingsdata zaten (zoals kleurstoffen en chemische additieven), terwijl FoodOntoRAG deze succesvol kon linken dankzij de dynamische zoekopdracht in de ontologie.

Betekenis en Conclusie

Het paper demonstreert dat Retrieval-Augmented Generation een superieur alternatief is voor fine-tuning in domeinen met snelle kennisveranderingen zoals voedsel en gezondheid.

• Interpreteerbaarheid: Elke beslissing wordt onderbouwd met gestructureerde bewijslast (definities, synoniemen) uit de ontologie.
• Duurzaamheid: Het elimineert de kosten en het onderhoud van continue modeltraining.
• Toekomstperspectief: De modulaire opbouw maakt het eenvoudig om de pipeline uit te breiden naar andere domeinen (bijv. geneesmiddelen, chemicaliën) door simpelweg de onderliggende ontologie te wisselen.

De studie concludeert dat FoodOntoRAG een schaalbare, robuuste en transparante oplossing biedt voor semantische integratie in de voedsel- en voedingswetenschap, waarbij het de valkuilen van statische, gefine-tunde modellen omzeilt.