← Nieuwste papers
💻 informatica

Naming the deliverable raises convention coverage in large language model outputs

Deze studie toont aan dat het expliciet gebruiken van vakspecifieke namen voor deliverables (bijv. "RACI-matrix" in plaats van een beschrijvende frase) de naleving van professionele conventies door outputs van grote taalmodellen aanzienlijk verbetert over diverse modellen en datasets heen.

Oorspronkelijke auteur: Jiawei Jing

Gepubliceerd 2026-11-04
📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteur: Jiawei Jing

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van het professionele werk bestaat een stille taal die experts gebruiken om een complexe set regels in één enkel woord te verpakken. Een projectmanager kan vragen om een "RACI-matrix", een financieel analist kan om een "term sheet" vragen, en een arts kan een "ontslagbericht" voordragen. Voor een buitenstaander zijn deze namen slechts labels, maar voor de beoefenaar fungeert elke naam als een gecomprimeerd bestand dat een specifieke structuur, een vereiste lijst met secties en een strikt format bevat dat gevolgd moet worden. Dit is het vocabulaireprobleem: de kloof tussen wat een persoon nodig heeft en de specifieke woorden die een expert gebruikt om het te beschrijven. Decennialang hebben informatiewetenschappers geweten dat wanneer mensen zoeken naar informatie met hun eigen woorden in plaats van de officiële termen van het vakgebied, ze vaak de plank misslaan. Nu, naarmate kunstmatige intelligentie een primaire tool wordt voor het opstellen van deze professionele documenten, is er een nieuwe vraag ontstaan. Wanneer een persoon een AI vraagt om een document te maken, helpt het gebruik van de specifieke professionele naam voor dat document de machine dan om een beter resultaat te produceren dan wanneer men simpelweg beschrijft wat het document moet doen?

Een onderzoeker bij een ontwikkelingscorporatie in Japan zette zich staande om dit idee te testen met een reeks gecontroleerde experimenten met behulp van large language models, de krachtige AI-systemen die tekst, code en rapporten kunnen schrijven. De studie richtte zich op een eenvoudig maar cruciaal onderscheid. In één scenario zou een gebruiker de AI vragen om een document te maken met behulp van de professionele naam, zoals "Maak een Gantt-chart." In een ander scenario zou dezelfde gebruiker het doel van het document beschrijven zonder de naam te gebruiken, zoals "Maak een planning die laat zien welke taken wanneer plaatsvinden." Beide verzoeken vragen om hetzelfde, maar de eerste draagt het verborgen gewicht van professionele conventies, terwijl de tweede de AI laat raden naar het formaat. De onderzoeker vroeg de AI om tientallen verschillende soorten documenten te genereren, van investeringsplannen tot medische aantekeningen, zowel met de professionele naam als met de gewone beschrijving. Om te zien welke versie beter was, werden de outputs gemeten aan de hand van een checklist met regels die definiëren hoe een correcte versie van dat document eruitziet.

De resultaten waren duidelijk en consistent over elk getest model. Wanneer de gebruiker de professionele naam opgaf, nam de AI aanzienlijk meer van de vereiste conventies op dan wanneer de gebruiker alleen de taak beschreef. De verbetering was substantieel, variërend van een toename van elf tot tweeëntwintig procentpunten in hoe goed de AI de regels volgde. Dit betekent dat als een model dat een gewone beschrijving volgt ongeveer de helft van de regels goed kreeg, het toevoegen van de professionele naam het model ertoe bracht om aanzienlijk meer van hen goed te krijgen, hoewel het niet tot perfectie kwam. Het effect was het sterkst voor documenten die een vaste, rigide structuur hebben, zoals specifieke analytische methoden of formele zakelijke sjablonen. Voor deze items fungeerde de naam als een sleutel die een set instructies ontgrendelde die de AI had geleerd van menselijke teksten, maar die niet wist toe te passen tenzij hiermee werd geprompt. Voor meer algemene documenten, zoals een algemeen persbericht, was het verschil kleiner, waarschijnlijk omdat de beschrijving van het doel al voldoende was om de AI te sturen.

De studie onderzocht ook of de AI kon helpen bij gebruikers die de juiste naam niet kenden. In een tweede fase vroeg de onderzoeker de AI eerst om de gebruiker te vertellen wat de professionele naam voor een document was, en vroeg de AI vervolgens om het document met die naam te genereren. De AI was in staat om in ongeveer twee derde van de gevallen de juiste naam te geven in de kleinere, gecureerde set, maar de nauwkeurigheid daalde naar ongeveer 46% in de grotere, regel-gesamplede set. Wanneer de gebruiker die naam vervolgens gebruikte om om het document te vragen, verbeterde de kwaliteit van de output aanzienlijk, waarbij ongeveer een half tot drie kwart van het voordeel dat optrad wanneer de gebruiker de naam vanaf het begin kende, werd herwonnen, hoewel het herstel lager was in de gesamplede set. De AI was echter niet perfect; het suggereerde soms een echte professionele naam voor een ander type document, wat tot een slecht resultaat zou leiden. Deze bevinding suggereert dat hoewel de AI kan fungeren als een brug naar de deskundige vocabulaire, de gebruiker nog steeds moet verifiëren of de naam correct is.

Deze bevindingen dagen het idee uit dat gebruikers de volledige vocabulaire van een vakgebied moeten leren om goede resultaten uit AI te halen. In plaats daarvan suggereert de studie een eenvoudigere, meer praktische vaardigheid: weten dat deze documenten specifieke namen hebben, de AI om die namen te vragen wanneer ze onbekend zijn, en die vervolgens te gebruiken. Het onderzoek geeft aan dat de professionele naam niet alleen een label is, maar een signaal dat de AI vertelt om over te schakelen naar een specifieke modus van schrijven, waardoor een set conventies wordt geactiveerd die een gewone beschrijving niet kan triggeren. Dit is bijzonder belangrijk voor taken waarbij het formaat even belangrijk is als de inhoud. De studie concludeert dat voor iedereen die deze tools gebruikt, het vermogen om de juiste naam voor een resultaat op te vragen en te controleren een fundamentele vaardigheid is, een vaardigheid die ervoor zorgt dat de AI kan functioneren als een echte partner in professioneel werk in plaats van slechts een tekstgenerator.

Verdrinkt u in papers in uw vakgebied?

Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.

Probeer Digest →