Explain Like I'm 5 or Whatever I Choose: Evaluating the Interactive Potential of Language Model Responses

Technische Samenvatting: Evaluatie van het Interactieve Potentieel van Taalmodel-responsies

Probleemstelling
Huidige evaluaties van Large Language Models (LLMs) bij het zoeken naar wetenschappelijke informatie zijn steeds meer "gebruikersgericht", waarbij interacties plaatsvinden met echte gebruikers in live of multi-turn omgevingen. Deze evaluaties gaan echter voornamelijk uit van een enkele, statische chatinterface. Naarmate LLM's worden geïntegreerd in nieuwe, vormbare interfaces (bijv. lees- of schrijfgereedschappen met directe manipulatiecontroles), schieten bestaande evaluatieframeworks tekort omdat ze geen rekening houden met interfacespecifieke criteria. Specifiek ontbreeft een methodologie om te evalueren of modellen betrouwbaar meerdere verschillende responsies kunnen genereren voor een enkele query die variëren langs een interpreteerbare as, zoals taalcomplexiteit, om gebruikerscontrole te ondersteunen. Terwijl eerder werk zich richtte op het personaliseren van een enkele respons voor een specifiek publiek, adresseert dit artikel de behoefte aan het evalueren van het vermogen van een model om een bereik aan responsies te genereren die gebruikers in staat stellen hun voorkeursniveau van complexiteit dynamisch te selecteren.

Methodologie
De auteurs stellen een nieuw evaluatieframework voor, gebaseerd op een formatieve gebruikersstudie en toegepast op een grootschalige modelevaluatie.

1. Formatieve Gebruikersstudie (N=16):

   • Ontwerp: Een binnen-onderwerpen studie die een conventionele chatinterface vergelijkt met een interactieve interface voorzien van een slider om de taalcomplexiteit aan te passen (Niveaus 1–5).
   • Taak: Deelnemers (voornamelijk STEM-onderzoekers) verkenden onbekende STEM-onderwerpen.
   • Bevindingen: Gebruikers waardeerden de autonomie van interactieve complexiteit, maar merkten op dat conventionele interfaces vaak een inconsistente complexiteit boden. Deelnemers identificeerden drie belangrijke drijfveren van waargenomen complexiteit: Jargon (vertrouwdheid van woorden), Informatie (hoeveelheid technische details) en Lengte. Ze merkten ook op dat kleine veranderingen in complexiteit vaak nauwelijks waarneembaar waren, wat duidelijke verschillen tussen niveaus vereist.

2. Modellevaluatie Framework:

   • Data: De studie maakte gebruik van 98 door experts geschreven wetenschappelijke queries uit ScholarQA-Multi (een subset van ScholarQABench) over vijf STEM-disciplines (Biologie, Biofysica, Informatica, Fotonica, Natuurkunde). Een grotere steekproef van 459 queries gegenereerd via een RAG-pipeline werd eveneens getest om robuustheid te verifiëren.
   • Modellen: Vijf recente modellen werden geëvalueerd: GPT-5.1, GPT-5 mini, Claude Sonnet 4.5, Claude Sonnet 4.5 + Thinking, en DeepSeek-V3.1.
   • Generatieprotocol: Voor elke query werd het model geprompt om vijf versies van een respons te genereren, verankerd aan specifieke doelgroepen variërend van "Collegestudent" tot "Senior onderzoeker" (en alternatief "Kind" tot "Expert").
   • Complexiteitsmaten: Drie metrieken werden gedefinieerd op basis van de gebruikersstudie en eerdere literatuur:
     • Jargon: Proportie woorden die niet op de Dale-Chall Woordenlijst staan.
     • Informatie: Aantal onafhankelijke "atomaire feiten" geïdentificeerd via een LLM-pipeline.
     • Lengte: Totaal aantal tekens.
   • Prestatiecriterium: Succes wordt niet gedefinieerd door de kwaliteit van een enkele respons, maar door de directionaliteit van de verandering tussen versies. Een model presteert goed als, naarmate de beoogde complexiteit toeneemt, de maten Jargon, Informatie en Lengte consistent toenemen.

Belangrijkste Resultaten
De evaluatie laat zien dat huidige LLM's moeite hebben om betrouwbaar verschillende niveaus van complexiteit te genereren wanneer zij daarop worden geprompt:

• Inconsistente Aanpassing van Complexiteit: Hoewel modellen de complexiteit over de responsies variëren, zijn de veranderingen vaak inconsistent. Voor het best presterende model (Claude Sonnet 4.5) nam de Jargon-maatstaf in de juiste richting slechts 46% van de tijd toe over de vijf niveaus voor een enkele query. De Informatie-maatstaf was zelfs lager, op 33%.
• Lengte versus Complexiteit: Modellen verhoogden consequent de Lengte naarmate de complexiteitsniveaus stegen (vaak >98% van de inputs). Deze toename in lengte correleerde echter niet met een toename in Jargon of Informatie. In veel gevallen pasten modellen "elaboratieve vereenvoudiging" toe, waarbij ze tekst toevoegden die concepten in simpelere taal uitlegde, waardoor de lengte toenam terwijl de technische dichtheid afnam.
• Verminderde Rendement bij Latere Niveaus: Modellen waren aanzienlijk beter in het differentiëren van de eerste transitie (bijv. Collegestudent naar Junior Ph.D.) dan van de daaropvolgende transities. Zo verhoogde GPT-5 mini bijvoorbeeld correct de Jargon voor 87,76% van de inputs in de 1-naar-2 transitie, maar dit daalde naar ongeveer 60% voor latere transities.
• Robuustheid van de Bevindingen: Deze bevindingen bleven standhouden wanneer de steekproef werd vergroot naar 459 queries en wanneer de publieksankers werden gewijzigd naar een breder bereik (Kind tot Expert). Hoewel de prestatie-metrieken licht verbeterden met bredere publieksverschillen, faalden de modellen nog steeds vaak in het bewegen van de complexiteitsmaten in de juiste richting, waarbij ze vaak rond het niveau van toeval bleven hangen.

Betekenis en Bijdragen
Het artikel levert drie primaire bijdragen:

1. Een Nieuw Evaluatieframework: Het introduceert een methode voor het evalueren van LLM's op basis van hun vermogen om meerdere, onderscheidende versies van een respons te genereren over een specifieke dimensie (taalcomplexiteit), in plaats van het evalueren van een enkele "beste" respons. Dit verschuift de focus van statische personalisatie naar interactieve gebruikerscontrole.
2. Gevalideerde Complexiteitsmaten: Het stelt een suite van drie maten vast (Jargon, Informatie, Lengte) die geworteld zijn in gebruikersperceptie en eerder werk, wat een criterium biedt voor het evalueren van de relatie tussen versies van een respons.
3. Empirisch Bewijs van Beperkingen: De studie toont aan dat huidige state-of-the-art modellen vaak niet in staat zijn om de complexiteitsmaten betrouwbaar in de juiste richting aan te passen over meerdere versies. Dit suggereert dat, hoewel modellen tekst van variërende lengtes kunnen genereren, ze niet beschikken over de fijnmazige controle die nodig is voor directe manipulatie-interfaces waar gebruikers een voorspelbare, monotone verandering in complexiteit verwachten.

De auteurs concluderen dat hoewel interactieve interfaces een veelbelovend paradigma bieden voor gebruikerscontrole, de huidige LLM-capaciteiten onvoldoende zijn om hen betrouwbaar te ondersteunen zonder significante verbetering in het genereren van consistente, multi-level variaties in responsies. De bevindingen benadrukken de kloof tussen het potentieel van vormbare interfaces en de huidige realiteit van modelgedrag.