SommBench: Assessing Sommelier Expertise of Language Models

Dit paper introduceert SommBench, een meertalige benchmark die de sommelier-expertise van taalmodellen test op wijntheorie, kenmerkvolleding en voedsel-wijncombinaties om te evalueren of tekstuele training voldoende is voor zintuiglijke oordelen.

De kern

SommBench: De "Sommelier-Test" voor Kunstmatige Intelligentie

Stel je voor dat je een robot hebt die alles in de wereld weet. Hij kan de hoofdsteden van alle landen opnoemen, de geschiedenis van de Romeinse keizers vertellen en zelfs complexe wiskundeproblemen oplossen. Maar als je hem vraagt: "Welke wijn past het beste bij dit gerecht met kip en tomatensaus?", is hij dan echt een expert? Of is hij gewoon een slimme gokker die denkt dat alles wel goed komt?

Dat is precies wat de auteurs van dit paper hebben onderzocht met SommBench. Het is een nieuwe, moeilijke test voor grote taalmodellen (zoals de AI's die wij nu gebruiken) om te zien of ze échte kennis hebben over wijn, of dat ze alleen maar tekst hebben gelezen.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: Boekwijs vs. Proeven

AI-modellen leren over wijn alleen maar door tekst te lezen. Ze hebben nooit echt een glas wijn in de hand gehad, nooit geroken aan een bosje bessen en nooit geproefd van een zure citroen. Ze weten alleen hoe de woorden voor die smaken klinken.

De vraag is: Is dat genoeg? Kunnen ze zich gedragen als een echte sommelier (een wijnkenner), of blijven ze steken in oppervlakkige feiten? SommBench is de test om dat uit te vinden.

2. De Drie Proeven (De "Keuring")

De test bestaat uit drie verschillende onderdelen, net als een examen voor een echte sommelier:

• De Theorie-examen (WTQA): "De Quiz"

  • Wat is het? Meervoudige keuzevragen over wijnfeiten. Bijvoorbeeld: "In welk land wordt de druif Grüner Veltliner het meest geteeld?"
  • De uitdaging: De vragen zijn in 8 verschillende talen (Engels, Nederlands, Duits, Spaans, etc.).
  • Het doel: Kijken of de AI hetzelfde antwoord geeft, ongeacht de taal. Alsof je een quiz doet in het Nederlands en dan in het Fins; je zou dezelfde kennis moeten hebben.
  • Resultaat: De slimste AI's (zoals Gemini en GPT-5) scoren hier bijna perfect. Ze hebben de "boeken" goed gelezen.

• Het Invulspel (WFC): "Het Completeren van het Profiel"

  • Wat is het? Je krijgt een half ingevuld kaartje van een wijn (bijv. alleen het land en het type druif) en de AI moet de rest invullen (zoals het alcoholpercentage, de zuurgraad, of of het droog is).
  • De uitdaging: De AI moet logisch redeneren en de juiste feiten "opbouwen" in de juiste taal.
  • Het doel: Kijken of ze echt begrijpen hoe een wijn in elkaar zit, of dat ze alleen maar feiten uit het hoofd leren.
  • Resultaat: Dit is lastiger. De beste AI's scoren hier ongeveer 60-65%. Ze weten veel, maar maken nog fouten.

• Het Koppel-spel (FWP): "De Wijn en het Gerecht"

  • Wat is het? De AI moet zeggen of een bepaalde wijn goed past bij een specifiek gerecht (bijv. "Past deze zware rode wijn bij een lichte vissoep?").
  • De uitdaging: Dit is subjectief. Er is geen enkel "juist" antwoord in een boek; het gaat om smaak en cultuur.
  • Het doel: Kijken of de AI het gevoel heeft voor wat lekker samen gaat.
  • Resultaat: Hier zakken de AI's door de vloer. Veel modellen zeggen simpelweg "Ja" tegen alles, omdat ze denken dat ze aardig moeten zijn. Ze durven niet te zeggen: "Nee, dat is een vreselijke combinatie."

3. De Belangrijkste Ontdekkingen

• De "Taalgrens":
  De slimme, dure AI's (de "gesloten" modellen) doen het goed in alle talen. Maar de goedkopere, openbare AI's (die iedereen kan downloaden) zakken vaak door als je ze in een andere taal dan Engels vraagt.

  • Vergelijking: Het is alsof een student die Engels perfect spreekt, in het Spaans ineens vergeten is hoe je "wijn" zegt. Ze hebben de kennis, maar de taalbrug is nog niet stevig genoeg.

• De "Ja-geest" (Positivity Bias):
  Bij het koppelen van wijn en eten zijn veel AI's te aardig. Ze zeggen bijna altijd "Ja, dat past wel!", zelfs als het een ramp is.

  • Vergelijking: Stel je voor dat je een vriend vraagt of zijn nieuwe, vreselijke haardracht er goed uitziet. Een echte vriend zegt: "Nee, pas op." Een AI zegt: "Ja, het staat je fantastisch!" Ze willen niet kwetsen, maar in de wijnwereld leidt dat tot een rotdiner.

• Redeneren helpt niet altijd:
  Soms proberen AI's extra hard na te denken (een functie die "reasoning" heet). Bij feitelijke vragen helpt dat. Maar bij het koppelen van wijn en eten maakt het ze juist onzeker en gaan ze fouten maken. Het is alsof je te veel nadenkt over een dansstap en dan struikelt.

4. Conclusie: Kunnen we een AI als Sommelier gebruiken?

Voor feiten: Ja! Als je wilt weten hoeveel alcohol er in een wijn zit of waar hij vandaan komt, kan de beste AI je helpen.

Voor advies: Nee, nog niet. Als je vraagt: "Wat drink ik bij mijn kerstdiner?", is de AI nog niet slim genoeg om te zeggen: "Nee, die zware wijn is te zwaar voor de kalkoen, kies liever voor..." Ze zijn te bang om "nee" te zeggen en missen het echte gevoel voor smaak.

Kortom: SommBench laat zien dat AI's geweldige bibliothecarissen zijn, maar nog geen echte proevers. Ze weten alles over wijn, maar ze proeven het niet. En dat is het verschil tussen een boek lezen en een glas wijn drinken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SommBench: Assessing Sommelier Expertise of Language Models" in het Nederlands:

Probleemstelling

Hoewel grote taalmodellen (LLMs) steeds betere prestaties leveren op meertalige benchmarks, blijft een cruciale vraag onbeantwoord: vertonen deze modellen consistente competenties in cultureel verankerde, expertniveau-kennis over verschillende talen heen, of gedragen ze zich afhankelijk van de taal van de prompt? Bestaande culturele benchmarks focussen vaak op algemene culturele literatuur of feitelijke kennis die in tekstuele vorm kan worden gecodeerd. Ze testen echter niet de vaardigheid om zintuiglijke expertise (zoals geur en smaak) na te bootsen die diep geworteld is in culturele praktijken.

De auteurs stellen dat sommelierkennis een ideaal testveld is omdat het een combinatie vereist van:

1. Objectieve feitelijke kennis (bijv. wijnregio's, druivenrassen).
2. Gestructureerde attributvoorspelling.
3. Subjectieve, cultureel specifieke oordelen (bijv. voedsel-wijnkoppelingen).

De kernvraag is of LLMs, die deze zintuiglijke eigenschappen uitsluitend via tekstuele beschrijvingen hebben geleerd, in staat zijn om expertniveau-sensory oordelen te leveren en dit consistent te doen in acht verschillende talen.

Methodologie: SommBench

De auteurs introduceren SommBench, een nieuw, meertalig benchmark-dataset dat is ontwikkeld in nauwe samenwerking met een professionele sommelier en native speakers. Het benchmark omvat 3.024 voorbeelden verdeeld over drie complementaire taken, gedekt in acht talen (Engels, Slowaaks, Zweeds, Fins, Duits, Deens, Italiaans en Spaans):

1. Wine Theory Question Answering (WTQA):

   • Doel: Testen van feitelijke kennis en herinnering van wijntheorie.
   • Data: 1.024 meerkeuzevragen (128 per taal), afgeleid van gevestigde sommeliersexamens (zoals WSET).
   • Methode: Het model moet een letter (A, B, C, D) selecteren. De vragen zijn vertaald en gevalideerd door native speakers om culturele nuances en terminologie te behouden.

2. Wine Feature Completion (WFC):

   • Doel: Testen van de vaardigheid om ontbrekende gestructureerde attributen van een wijn te infereren op basis van een deels voltooide profiel.
   • Data: 1.000 wijnprofielen met negen attributen (type, suiker, alcohol, land, regio, druiven, droogte, body, zuurgraad).
   • Methode: Een "tiered masking"-strategie wordt gebruikt waarbij 1, 2 of 3 attributen worden gemaskeerd. Het model moet de ontbrekende waarden voorspellen in een gestructureerd JSON-formaat in de doeltaal. Dit test multilinguale generatie en logisch redeneren.

3. Food-Wine Pairing (FWP):

   • Doel: Evaluatie van cultureel aangepaste oordelen en subjectieve expertise.
   • Data: 1.000 voorbeelden van wijn- en receptcombinaties (allemaal in het Engels vanwege de complexiteit van receptvertaling).
   • Methode: Het model moet een binair "Ja/Nee" oordeel vellen over of een combinatie goed werkt.
   • Validatie: Negatieve voorbeelden (slechte koppelingen) werden zorgvuldig geselecteerd door een expert om te voorkomen dat het een willekeurige of neutrale set is.

Evaluatiemetrics:

• Voor WTQA: Nauwkeurigheid (Accuracy).
• Voor WFC: Exacte match voor categorische velden en Mean Absolute Percentage Error (MAPE) voor numerieke velden.
• Voor FWP: Matthews Correlation Coefficient (MCC), omdat deze zowel positieve als negatieve klassen eerlijk weegt (in tegenstelling tot F1-score), wat cruciaal is om te zien of het model echt onderscheid maakt tussen goede en slechte koppelingen.
• SommBench Score: Een gewogen gemiddelde van de prestaties op de drie taken om een holistische score te geven.

Belangrijkste Resultaten

De auteurs hebben 18 modellen getest, waaronder toonaangevende gesloten modellen (bijv. Gemini 2.5, GPT-5, Grok-4) en open-weights modellen (bijv. Qwen 3, Llama 3.1, GPT-OSS).

1. Algemene Prestaties:

   • SommBench is een uitdagende benchmark. De beste gesloten model (Gemini 2.5-flash) behaalde een totale score van 0,65.
   • Open-weights modellen presteerden aanzienlijk slechter, met de beste (Qwen 3:30b) op 0,51.

2. Taak-specifieke Inzichten:

   • WTQA (Feitelijke kennis): Prestaties zijn uitstekend. Top-modellen halen bijna 100% nauwkeurigheid (bijv. GPT-5: 0,97). Dit toont aan dat LLMs diepgaande wijntheorie hebben opgenomen.
   • WFC (Gestructureerde inferentie): Moeilijker. Top-modellen halen rond de 0,63. Er is een duidelijke daling in prestaties voor open-weights modellen in niet-Engelse talen.
   • FWP (Subjectief oordeel): De meest uitdagende taak. De beste score was slechts 0,39 MCC (Gemini 2.5-flash). Veel modellen scoorden rond of onder de willekeurige kans (0,0), wat aangeeft dat ze niet beter zijn dan gokken.

3. Meertaligheid en Consistentie:

   • Gesloten modellen tonen sterke cross-linguale consistentie; hun kennis is taal-onafhankelijk.
   • Open-weights modellen vertonen een significante prestatiedaling in niet-Engelse talen. Bijvoorbeeld, Llama 3.1:8b daalt van 0,70 (Engels) naar 0,27 (Slowaaks) in WTQA. Dit suggereert dat expertkennis in deze modellen vaak gekoppeld is aan de taalcontext van de trainingsdata.

4. Positiviteitsbias (Positivity Bias):

   • Veel modellen vertonen een sterke neiging om koppelingen te approberen ("Ja") in plaats van af te keuren, zelfs als de combinatie slecht is.
   • Bijvoorbeeld, GPT-4o-mini keurde 86% van alle koppelingen goed, inclusief 82% van de door experts verworpen (slechte) koppelingen. Dit suggereert een bias in de trainingsdata (waar wijnbeschrijvingen vaak positief zijn) of een RLHF-trend om "helpend en akkoord" te zijn, zelfs zonder een expliciete gebruikersmening.

5. Invloed van Redenering:

   • Bij modellen met redeneercapaciteiten (GPT-OSS) bleek dat meer redeneren ("high reasoning") soms schadelijk was voor de FWP-taak (overdenken) en de WFC-taak (fouten in gestructureerde output), terwijl het de feitelijke WTQA-taak verbeterde.

Bijdragen

1. SommBench Dataset: Een nieuw, door experts samengesteld benchmark in 8 talen met 3.024 voorbeelden, specifiek gericht op sommelierkennis.
2. Empirisch Bewijs: Aantonen dat hoewel LLMs sterke feitelijke kennis hebben, ze worstelen met subjectieve, cultureel verankerde oordelen (voedsel-wijnkoppelingen).
3. Meertalige Analyse: Het blootleggen van de kloof tussen gesloten en open-weights modellen, waarbij laatstgenoemden significant minder consistent zijn in niet-Engelse talen.
4. Bias Detectie: Het identificeren van een systematische "positiviteitsbias" bij voedsel-wijnkoppelingen, wat een nieuw inzicht biedt in de beperkingen van LLMs bij het nemen van kritische afkeurende beslissingen.

Betekenis en Conclusie

SommBench positioneert zich als een kritische benchmark voor het evalueren van de cultuur- en taalgebonden expertise van AI-modellen. De resultaten tonen aan dat:

• Huidige state-of-the-art modellen betrouwbaar kunnen zijn voor feitelijke wijninformatie (bijv. regio's, druivensoorten).
• Ze echter niet betrouwbaar zijn als virtuele sommeliers voor aanbevelingen (voedselkoppelingen), vooral vanwege hun onvermogen om negatieve oordelen te maken en hun gebrek aan consistentie in niet-Engelse talen.

De studie benadrukt dat voor wereldwijde inzet van LLMs in gespecialiseerde domeinen, niet alleen de feitelijke kennis, maar ook de cross-linguale consistentie en de vaardigheid om subjectieve, culturele nuances te hanteren, cruciaal zijn. SommBench biedt een basislijn voor toekomstig onderzoek om deze kloof te overbruggen.