SemBench: A Universal Semantic Framework for LLM Evaluation

In dit paper wordt SemBench voorgesteld, een lichtgewicht en taalonafhankelijk raamwerk dat synthetische benchmarks genereert op basis van woordenboekdefinities om de semantische competentie van grote taalmodellen efficiënt en cross-linguaal te evalueren.

De kern

SemBench: De "Woord-Vertaal-Spelletjes" om te testen of AI echt begrijpt wat het zegt

Stel je voor dat je een nieuwe taal wilt leren. Je hebt een woordenboek bij de hand. In dat woordenboek staat bij elk woord een definitie (wat het betekent) en soms een voorbeeldzin (hoe je het gebruikt).

Nu heb je een slimme robot (een Large Language Model of LLM) die heel veel teksten heeft gelezen. Hij kan prachtige verhalen schrijven en zelfs code programmeren. Maar de vraag is: Begrijpt hij echt wat woorden betekenen, of is hij gewoon een slimme gokker die patronen nabootst?

Tot nu toe was het testen van dit "echte begrip" lastig. Mensen moesten handmatig duizenden zinnen schrijven om de robot te testen. Dat is duur, tijdrovend en werkt alleen goed voor talen als Engels of Spaans. Voor talen zoals Baskisch (een taal in Noord-Spanje/Frankrijk) was dit bijna onmogelijk.

In dit paper introduceren de auteurs SemBench. Dit is een slim, automatisch systeem dat de robot op een nieuwe manier test. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Woord-in-Context" Test

Stel, het woord "party".

• Betekenis A: Een feestje met drank en muziek.
• Betekenis B: Een politieke groep (zoals de Labour Party).

Een traditionele test (WiC) geeft de robot twee zinnen:

1. "We gaan vanavond naar een party."
2. "De party heeft nieuwe leden gekozen."

De robot moet zeggen: Zijn dit dezelfde betekenis of niet?
Het probleem is dat mensen deze zinnen handmatig moeten maken. Dat is veel werk.

2. De Oplossing: SemBench (Het "Vertaal-Spelletje")

SemBench doet het werk voor je. Het gebruikt alleen een gewoon woordenboek (met definities) en een slim algoritme. Het speelt een soort vertaal-spelletje met de robot:

• Stap 1: Het systeem pakt een definitie uit het woordenboek (bijv. "Een politieke organisatie").
• Stap 2: Het vraagt de robot: "Schrijf een zin waarin dit woord in deze betekenis wordt gebruikt."
  • Robot: "De party won de verkiezingen."
• Stap 3: Het systeem pakt die nieuwe zin en vraagt de robot: "Wat is de definitie van dit woord in deze zin?"
  • Robot: "Een politieke organisatie."
• Stap 4: De check. Het systeem vergelijkt de definitie die de robot gaf met de originele definitie uit het woordenboek.
  • Als de robot de juiste definitie terugvindt, heeft hij het goed.
  • Als de robot denkt dat het over een feestje gaat, heeft hij het fout.

De metafoor:
Stel je voor dat je een spion test. Je geeft hem een geheime code (de definitie). Hij moet een bericht sturen (de zin). Vervolgens moet hij het bericht terugontcijderen naar de code. Als hij de originele code correct terugkrijgt, weet hij dat hij de taal echt begrijpt en niet alleen maar raden.

3. Waarom is dit zo geweldig?

• Het werkt voor elke taal: Je hebt geen menselijke experts nodig om zinnen te schrijven. Je hebt alleen een woordenboek nodig. Of dat nu Engels is (veel woordenboeken) of Baskisch (weinig woordenboeken), het werkt.
• Het is snel en goedkoop: Omdat alles automatisch gaat, kun je duizenden testen doen in een paar seconden.
• Het is eerlijk: De auteurs hebben getoond dat de resultaten van SemBench bijna perfect overeenkomen met de resultaten van de dure, handgemaakte tests. Als een robot goed scoort op SemBench, is hij echt slim.

4. Wat hebben ze ontdekt?

Ze hebben de test uitgevoerd op verschillende robots (Gemma, Llama, Qwen) en in drie talen: Engels, Spaans en Baskisch.

• Grotere is niet altijd beter: Soms is een kleinere, slim getrainde robot beter in het begrijpen van woorden dan een gigantische, maar minder gespecialiseerde robot.
• Specialisten winnen: Voor het Baskisch deden robots die specifiek voor die taal waren getraind het veel beter dan de algemene "super-robots".
• Minder data is genoeg: Je hoeft niet 1000 zinnen te testen om een betrouwbaar resultaat te krijgen. Met slechts 250 voorbeelden weet je al precies hoe slim de robot is.

Conclusie

SemBench is als een automatische rij-instructeur voor AI. In plaats dat een mens urenlang met de AI in de auto zit om te kijken of hij goed rijdt, doet een computer dit automatisch door een simpele route (woordenboek) te gebruiken. Het maakt het mogelijk om te testen of AI-talen echt begrijpt, zelfs in talen waar we nog nooit eerder een test voor hadden.

Kortom: Het is een lichtgewicht, slim en universeel gereedschap om de "hersenen" van AI op hun echte waarde te testen.

Technische samenvatting

Probleemstelling

Ondanks de opmerkelijke generatieve en redeneercapaciteiten van Large Language Models (LLM's), blijft het evalueren van hun werkelijke semantische begrip een aanhoudende uitdaging. Traditionele benchmarks, zoals Word-in-Context (WiC), testen weliswaar het vermogen om verschillende betekenissen van hetzelfde woord te onderscheiden op basis van context, maar het opzetten van deze benchmarks is zeer resource-intensief. Het vereist vaak handmatig samengestelde voorbeeldzinnen, wat de schaalbaarheid beperkt en de toepasbaarheid op talen met weinig digitale bronnen (low-resource talen) bemoeilijkt. Er is dus behoefte aan een schaalbaar, taal-onafhankelijk en automatisch framework voor semantische evaluatie.

Methodologie: SemBench

De auteurs stellen SemBench voor, een volledig automatisch framework dat semantische competentie evalueert door middel van tekstgeneratie, zonder afhankelijk te zijn van handmatig geannoteerde datasets.

Kernprincipes:
Het framework rust op de intuïtie dat een model met echt semantisch begrip consistent moet kunnen schakelen tussen woorddefinities en gebruiksexemplaren die overeenkomen met dezelfde woordzin (sense).

Werkwijze:

1. Bronnen: SemBench gebruikt alleen een woordenboek met zinsdefinities (sense definitions) en een zins-encoder (sentence encoder). Het heeft geen toegang nodig tot bestaande voorbeeldzinnen in het woordenboek.
2. Generatiecyclus:
   • Er wordt een polysemisch woord (een woord met meerdere betekenissen) geselecteerd en één specifieke zin (sense) gekozen.
   • Stap 1: De LLM genereert een gebruiksexempel ($e'_i$) op basis van de definitie ($d_i$) en het woordsoort (PoS).
   • Stap 2: De LLM genereert vervolgens een nieuwe definitie ($d'_i$) op basis van het gegenereerde voorbeeld ($e'_i$).
3. Evaluatie: De gegenereerde definitie ($d'_i$) wordt vergeleken met twee referentiedefinities uit het woordenboek:
   • De doeldefinitie ($d_i$) die overeenkomt met de oorspronkelijke zin.
   • Een distractor-definitie ($d_j$) die hoort bij een andere zin van hetzelfde woord.
4. Beslissingscriterium: Het model wordt als correct beschouwd als de semantische similariteit (berekend via een sentence encoder) tussen de gegenereerde definitie en de doeldefinitie hoger is dan die met de distractor:
   $$sim(d'_i, d_i) > sim(d'_i, d_j)$$

Varianten:

• SemBenchDef: Start vanuit een definitie (zoals hierboven beschreven).
• SemBenchEx: Start vanuit een bestaand voorbeeld (indien beschikbaar in het woordenboek) om direct een definitie te genereren.

Belangrijkste Bijdragen

1. Volledig Automatisch Framework: SemBench elimineert de noodzaak voor handmatig samengestelde datasets door gebruik te maken van generatie en bestaande woordenboekdefinities.
2. Taalonafhankelijkheid en Schaalbaarheid: Het framework is getest op drie talen met verschillende resource-niveaus: Engels (hoog), Spaans (matig) en Baskisch (laag). Het werkt consistent zonder specifieke aanpassingen voor de taal.
3. Data-efficiëntie: Analyse toont aan dat slechts een klein aantal testinstances (rond de 250-500) nodig is om stabiele en betekenisvolle ranglijsten van modellen te verkrijgen.
4. Controleerbare Moeilijkheidsgraad: De auteurs introduceren een heuristiek om de moeilijkheidsgraad van de evaluatie te controleren door distractors te selecteren op basis van hun semantische similariteit (easy, medium, hard, random).

Resultaten

De auteurs hebben SemBench geëvalueerd tegenover de standaard WiC-benchmarks voor Engels, Spaans en Baskisch, met een reeks LLM's (o.a. Gemma, Qwen, Llama, Latxa).

• Sterke Correlatie: De ranglijsten gegenereerd door SemBench correleren sterk met die van de standaard WiC-datasets (Spearman's $\rho$ van 0,930 voor Engels, 0,765 voor Spaans en 0,657 voor Baskisch). Dit valideert SemBench als een betrouwbare maatstaf.
• Hogere Discriminatiekracht: SemBench toont een bredere spreiding in scores dan WiC, vooral bij hoogpresterende modellen. Dit suggereert dat SemBench subtielere verschillen in semantisch vermogen beter kan onderscheiden dan traditionele benchmarks.
• Robuustheid bij Low-Resource Talen: In het geval van Baskisch (een taal met weinig bronnen) presteren gespecialiseerde modellen (Latxa) beter dan algemene modellen, een onderscheid dat WiC niet duidelijk kon maken. SemBench slaagt erin taal-specifiek semantisch vermogen te vangen, zelfs bij lage absolute nauwkeurigheid.
• Zero-Shot vs. Few-Shot: Hoewel few-shot prompting (5 voorbeelden) de correlatie iets verbetert, presteert SemBench ook in zero-shot settings (zonder voorbeelden) zeer goed, wat de schaalbaarheid verder versterkt.
• Moeilijkheidsniveaus: De prestaties van modellen nemen voorspelbaar af naarmate de taak moeilijker wordt (van easy naar hard), wat bevestigt dat de moeilijkheidscontrole effectief werkt.

Betekenis en Conclusie

SemBench biedt een lichtgewicht, aanpasbaar en data-efficiënt alternatief voor traditionele, handmatig geannoteerde benchmarks. Het is een cruciale stap vooruit voor de evaluatie van LLM's in talen waar geen grote, gestructureerde datasets beschikbaar zijn.

De belangrijkste implicaties zijn:

• Democratisering van Evaluatie: Talen met weinig digitale bronnen kunnen nu op een gelijkwaardige manier worden geëvalueerd op semantisch begrip.
• Efficiëntie: Het elimineert de kosten en tijd van het handmatig creëren van testsets.
• Toekomstgerichtheid: Het framework is direct toepasbaar op nieuwe talen en modellen, zolang er maar een woordenboek met definities beschikbaar is.

De auteurs concluderen dat SemBench een robuust, interpreteerbaar en taal-onafhankelijk methode biedt om semantische competentie in LLM's te beoordelen, en dat het een waardevol hulpmiddel is voor de bredere gemeenschap van NLP-onderzoekers.