💬 NLP

Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

Deze studie onthult dat taalmodellen in een gecontroleerde taak voor middelenverdeling de ordinaire onderscheidingen van vage intensiteitswoorden comprimeren tot een beperkte reeks numerieke uitkomsten, waarbij hun gedrag sterk afhankelijk wordt van de huidige systeemtoestand en discontinuïteiten vertoont nabij operationele grenzen.

Oorspronkelijke auteurs: Daniel Tabach (Georgia Institute of Technology)

Gepubliceerd 2026-05-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Daniel Tabach (Georgia Institute of Technology)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een schip en je hebt een zeer slim, ijverig eerste officier (de AI) die de motor bedient. Je wilt instructies geven zoals "versnel een beetje" of "versnel drastisch".

Je verwacht dat de eerste officier begrijpt dat "drastisch" een enorme snelheidssprong betekent, terwijl "een beetje" een kleine duw betekent. Maar dit artikel stelt een angstaanjagende vraag: Begrijpt de eerste officier het verschil wel echt, of raadt hij het gewoon?

De auteur, Daniel Tabach, voerde een massaal experiment uit om dit uit te zoeken. Hier is wat hij ontdekte, met behulp van eenvoudige analogieën:

1. Het "Emmer"-probleem (Compressie)

Stel je voor dat je 10 verschillende gekleurde emmers water hebt, variërend van "een kleine druppel" tot "een brandbluspijp". Je vraagt de AI om water uit deze emmers in een enkele tank te gieten.

Je zou verwachten dat de AI een kleine druppel giet voor "lichtjes" en een brandbluspijp voor "drastisch". In plaats daarvan gedraagt de AI zich als een onhandige barman die slechts vijf koppen heeft.

Wanneer je vraagt om "lichtjes", "marginaal", "iets" of "mild", giet de AI precies dezelfde hoeveelheid in dezelfde kop (het midden van de weg). Hij kan het verschil niet zien tussen "een beetje" en "een klein beetje".
Hij begint pas grotere koppen te gebruiken wanneer je zeer sterke woorden gebruikt zoals "aanzienlijk" of "drastisch".

De les: De AI hoort je woorden, maar hij plakt ze samen. Hij negeert de fijne details en ziet alleen brede categorieën.

2. Het "Verkeersopstopping"-effect (Context is Koning)

Stel je nu voor dat de tank al halfvol is. Je vraagt de AI om "drastisch" meer water toe te voegen.

Als de tank leeg is, betekent "drastisch" "vul hem snel vol".
Als de tank 90% vol is, is "drastisch" onmogelijk. De tank zal overlopen!

Het artikel vond dat de AI veel meer geeft om hoe vol de tank is (de huidige staat) dan om het woord dat je gebruikte.

Wanneer de tank leeg is, luistert de AI zorgvuldig naar je woorden.
Wanneer de tank bijna vol is, negeert de AI je woorden volledig. Of je nu "lichtjes" of "drastisch" zegt, de AI realiseert zich: "Ik kan niet veel meer toevoegen zonder te morsen", dus hij voegt voor elk woord precies dezelfde kleine hoeveelheid toe.

De les: De reactie van de AI hangt vooral af van de situatie, niet van je woordkeuze. Als het systeem al druk is, maken je mooie woorden niet uit.

3. Het "Bevriezen" aan de Rand (Gedragsgrenzen)

Dit is het meest verrassende deel. Het experiment testte wat er gebeurt wanneer de tank bijna, maar niet helemaal, vol is (89% vol).

Zwakke woorden (zoals "lichtjes"): De AI zegt: "Oké, ik voeg een kleine druppel toe."
Sterke woorden (zoals "aanzienlijk" of "dramatisch"): De AI zegt: "Dat kan ik niet doen. Het is te riskant." Hij weigert te handelen en zegt gewoon: "Het spijt me, ik kan het niet."
Het woord "Drastisch": Dit woord is raar. De AI behandelt het als "Doe het absolute maximum wat je kunt zonder de tank te breken". Dus duwt hij de tank tot aan de rand (91%) en stopt daar.

De les: Dicht bij de grenzen past de AI niet alleen het volume aan; hij wisselt van modus. Soms handelt hij, soms bevriest hij, en soms duwt hij tot het uiterste, afhankelijk volledig van welk specifiek woord je koos.

4. De "Willekeur" Hielp Niet

De onderzoekers probeerden de AI creatiever te maken (door een instelling genaamd "temperatuur" te wijzigen). Ze hoopten dat dit de AI beter zou laten onderscheiden tussen "lichtjes" en "iets".

Resultaat: Nee. Het maakte de antwoorden van de AI alleen maar wankeler. In plaats van een precies antwoord te geven, gaf hij elke keer een iets ander verkeerd antwoord. Het loste niet op dat hij de woorden samenvoegde.

De Conclusie

Als je een systeem bouwt waarbij mensen met computers praten om dingen te regelen (zoals begrotingen of instellingen wijzigen), kun je er niet van uitgaan dat de computer de "kracht" van je woorden begrijpt.

De AI comprimeert je woorden (hij behandelt "een beetje" en "een klein beetje" hetzelfde).
De AI luistert meer naar de situatie dan naar je woorden.
De AI verandert zijn gedrag volledig wanneer de situatie krap wordt.

Het artikel concludeert dat we voorzichtig moeten zijn. We kunnen er niet zomaar van uitgaan dat "lichtjes verhogen" altijd resulteert in een kleine, voorspelbare verandering. De interpretatie van de AI is rommelig, hangt af van de huidige staat, en kan onvoorspelbaar zijn precies aan de rand van het mogelijke.

Technische Samenvatting: Het Meten van Vage Intensiteitswoorden in Numerieke Acties van LLM's

Probleemstelling
Naarmate taalmodellen (LLM's) steeds vaker worden ingebouwd in agenten en besturingssystemen op basis van natuurlijke taal, moeten ze vage menselijke instructies (bijv. "verhoog licht", "verminder drastisch") vertalen naar precieze numerieke acties met downstream gevolgen. Hoewel eerdere onderzoeken hebben vastgesteld dat mensen ordinaal rangschikken behouden in vage uitdrukkingen en dat LLM's gevoelig kunnen zijn voor formulering, bestaat er een lacune in het begrijpen hoe modellen deze intensiteitsmodificatoren afbeelden op concrete numerieke outputs in een gecontroleerde omgeving. Specifiek blijft ondergemeten of modellen de veronderstelde ordinale structuur van intensiteitswoorden behouden wanneer ze worden gedwongen om één numerieke waarde te selecteren, hoe context (systeemtoestand) deze afbeelding beïnvloedt, en hoe modellen zich gedragen nabij operationele haalbaarheidsgrenzen.

Methodologie
De studie maakt gebruik van een synthetische, beperkte hulpbron-toewijzingsomgeving om de vertaling van taal naar actie te isoleren.

Experimentele Opzet: Het model (Claude Haiku) ontvangt instructies in natuurlijke taal om een taaktoewijzing te verhogen met één van 10 specifieke intensiteitswoorden. Een deterministische backend converteert de numerieke tool-call van het model naar een meetbaar resultaat.
Woordschaal: Tien Engelse graadmodificatoren werden geselecteerd om zes veronderstelde niveaus te bestrijken, gebaseerd op de taxonomie van Quirk et al. (1985), variërend van zwakke verminderaars (slightly, marginally) tot maximalisatoren (drastically, dramatically).
Voorwaarden:
1. Zonder Context: Instructies missen de huidige systeemtoestand (bijv. "besteed [WOORD] meer tijd").
2. Context-Geconditioneerd: Instructies bevatten de starttoewijzing (bijv. "Huidige toewijzing is X%. Ik zou graag [WOORD] verhogen"). Tien basiswaarden (0% tot 89%) werden getest, inclusief ronde getallen en onregelmatige waarden.
3. Controles: Prompts met exacte getallen valideerden de testomgeving.
Parameters: Experimenten werden uitgevoerd bij temperaturen $T=0.0$ en $T=0.7$ , met 30 runs per cel (totaal 6.620 runs).
Analyse: De studie maakt gebruik van niet-parametrische statistieken, waaronder Spearman's $\rho$ voor ordinale correlatie en Kruskal-Wallis-tests met effectgroottes ( $\varepsilon^2$ ) om te bepalen of woordkeuze of starttoewijzing meer variantie in de output verklaart.

Belangrijkste Resultaten
Drie primaire patronen kwamen naar voren in de experimenten:

Compressie van Intensiteit: In de voorwaarde zonder context comprimeert het model 10 verschillende intensiteitswoorden tot slechts 5 verschillende mediaan-outputs. De vier woorden van het laagste niveau (slightly, marginally, somewhat, mildly) worden allemaal gemapt naar een mediaan-toewijzing van 0,50 met geen enkele variantie. Sterkere woorden breken door naar hogere regimes (0,60–0,70). Hoewel er een sterke ordinale correlatie bestaat ( $\rho = 0,845$ ), worden fijne lexicaal onderscheiden samengevoegd.
Dominantie van Toestand: Wanneer context wordt geboden, domineert de starttoewijzing de woordkeuze. Groepering op basis van de basiswaarde verklaart ongeveer 10 keer meer rang-gebaseerde variantie dan groepering op basis van woord ( $\varepsilon^2_{baseline} = 0,782$ versus $\varepsilon^2_{word} = 0,079$ ). Naarmate het systeem de capaciteit nadert, collapseert het onderscheid tussen woorden tot nul; bij een basiswaarde van 75% produceren alle 10 woorden dezelfde mediaan-output.
Discontinue Grensgedrag: Nabij haalbaarheidsgrenzen (89% starttoewijzing) vertoont het model drie verschillende gedragsmodi afhankelijk van het gebruikte woord:
- Hedge: Zwakke woorden maken kleine aanpassingen.
- Abstain: Sterke woorden (bijv. considerably, substantially) weigeren vaak geheel op te treden, met verwijzing naar beperkingen.
- Push: Het woord drastically gedraagt zich uniek en duwt de toewijzing naar het lokale plafond (0,912) in plaats van af te zien van actie.
  Deze patronen blijven bestaan over temperaturen heen; het verhogen van $T$ naar 0,7 verbreedt de verdelingen maar herstelt geen fijne ordinale onderscheiden.

Belangrijkste Bijdragen

Methodologie: Een gecontroleerd instrument voor het meten hoe LLM's vage intensiteitswoorden afbeelden op numerieke acties, waarbij de vertaling van taal naar actie wordt gescheiden van downstream systeemruis.
Bewijs van Compressie: Documentatie dat modellen grove intensiteitsregimes behouden maar fijne lexicaal onderscheiden laten samenvallen tot identieke numerieke outputs.
Context-Afhankelijkheid: Kwantitatief bewijs dat de huidige systeemtoestand de woordkeuze domineert in context-geconditioneerde instellingen, wat de betrouwbaarheid van vage instructies als context-invariante besturingssignalen ondermijnt.
Grensontdekking: Identificatie van woord-afhankelijke afzien van actie en categorische modusschakeling (hedge, act, abstain) nabij operationele limieten, wat discontinuïteiten in actiebeleid onthult die niet zichtbaar zijn vanuit taal alleen.

Betekenis en Aanspraken
Het artikel stelt dat vage instructies niet als stabiele, scalaire acties in door LLM's bemiddelde interfaces moeten worden verondersteld. De bevindingen suggereren dat het operationele vocabulaire van het model grover is dan de oppervlaktetaal impliceert en dat de betekenis van een intensiteitswoord een gezamenlijke functie is van het woord en de systeemtoestand, geen vaste waarde.

De studie presenteert deze bevindingen als een specifiek afstemmingsprobleem: of een door een model bemiddelde interface de beoogde semantiek van de operator behoudt. De resultaten wijzen op een gemengd resultaat: terwijl brede intensiteitsregimes worden vastgelegd, gaan fijne onderscheiden verloren en wordt het gedrag discontinu nabij grenzen. De auteur merkt expliciet op dat de studie niet claimt dat het model "slechter" is dan mensen, aangezien menselijke interpretatie van deze woorden ook dubbelzinnig kan zijn; eerder documenteert de studie de specifieke gedragspatronen van het geteste model in dit domein. Het artikel concludeert dat deze patronen specifiek zijn voor het geteste model en domein, met gepland toekomstig werk om menselijke baselines, cross-model vergelijkingen en dichter experimentele roosters op te nemen.