Technische Samenvatting: NICE – Een theorieondersteund diagnostisch referentiepunt voor sociale intelligentie van LLM's

Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker worden ingezet in sociaal intensieve contexten (bijvoorbeeld emotionele begeleiding, klantenservice), wordt het evalueren van hun sociale intelligentie cruciaal voor het waarborgen van de kwaliteit en veiligheid van mens-AI-interactie. Bestaande referentiepunten kampen echter met twee primaire beperkingen:

1. Gebrek aan een verenigde structuur: Referentiepunten die gericht zijn op enkele vaardigheden (bijvoorbeeld Theory of Mind, begrip van emoties) missen een gedeeld kader om sterktes en zwaktes in kaart te brengen binnen de bredere ruimte van sociale intelligentie.
2. Gebrek aan diagnostische granulariteit: Open-ended, meer-draaige scenario's bieden hoge ecologische validiteit, maar verstrengelen meerdere vaardigheden binnen één enkel scenario, waardoor het onmogelijk is om fouten terug te leiden naar specifieke tekorten in vaardigheden.

Consequentie: huidige evaluaties reduceren modellen vaak tot geaggregeerde scores die aangeven hoeveel ze goed doen, maar falen in het diagnosticeren waar ze tekortschieten, wat gerichte verbetering belemmert.

Methodologie

De auteurs stellen NICE (Norm, Interactie, Cognitie, Ervaring) voor, het eerste holistische diagnostische referentiepunt dat is gebaseerd op sociale theorie en is opgebouwd via een rigoureuze psychometrische pijplijn. De constructie omvat vier fasen:

1. Kaderconstructie

Een kader voor sociale intelligentie werd ontwikkeld via een top-down systematische literatuurstudie en een bottom-up Delphi-methode waarbij 23 experts betrokken waren.

• Theoretische basis: Het kader integreert de theorie van sociale informatieverwerking (Crick & Dodge, 1994) met acht klassieke theorieën over menselijke sociale intelligentie en recente AI-reviews.
• Structuur: Het definitieve kader organiseert sociale intelligentie in 4 categorieën, 11 dimensies en 34 fijnmazige vaardigheidsfacetten.
• Weging: Structurele gewichten voor categorieën en dimensies werden geschat met behulp van het Analytic Hierarchy Process (AHP) op basis van paarsgewijze vergelijkingen door 9 experts.

2. Materiaalcollectie en Itemconstructie

• Bron: Items werden niet uit ruwe corpora gehaald om constructverontreiniging te voorkomen. In plaats daarvan paste het team 18 bestaande referentiepunten en 43 psychologische paradigma's aan.
• Ontwerp: Er werd een pool van 137 items gecreëerd, waarbij elk item exact overeenkomt met één vaardigheidsfacet.
• Taakformaat: NICE maakt gebruik van een gesloten rangschikkingstaak. Voor elk scenario moeten modellen 3–6 kandidaat-antwoorden rangschikken van "sociaal optimaal" tot "grensovertredend". Dit test niet alleen de selectie van het beste antwoord, maar ook de gevoeligheid van het model voor gedrags- en normatieve grenzen.

3. Validatie

Het referentiepunt onderging een evaluatie- en revisieproces van drie rondes met 12 interdisciplinaire evaluatoren (die blind waren voor modelresultaten). Items werden beoordeeld op betrouwbaarheid (duidelijkheid, gradiëntstabiliteit), validiteit (constructovereenstemming) en neutraliteit (bias). Alleen items die op alle criteria een score van ≥3,5 behaalden, werden behouden.

4. Evaluatieprotocol

• Modellen: Vijf geavanceerde LLM's werden geëvalueerd: GPT-5.5, Claude-Opus-4.7, Gemini-3.1-pro-preview, DeepSeek-v4-pro en Qwen3.6-plus.
• Opstelling: Zero-shot, greedy decoding-instellingen. Elk model voerde het 137-item referentiepunt drie keer uit om stabiliteit te beoordelen.
• Basislijn: Een menselijke referentiegroep van 14 native Chinese sprekers voltooide dezelfde taken.
• Maatstaf: Nauwkeurigheid wordt strikt gedefinieerd als het overeenkomen met de volledige permutatie van de gouden rangschikking; gedeeltelijke overeenstemming krijgt geen punten.

Belangrijkste Bijdragen

1. Eerste systematisch diagnostisch referentiepunt: NICE is het eerste referentiepunt dat meetprincipes toepast gedurende de volledige pijplijn (kader, itemontwikkeling, validatie) voor kunstmatige sociale intelligentie, en dit organiseert in een gestructureerde hiërarchie van 4 categorieën, 11 dimensies en 34 facetten.
2. Diagnose op facetniveau: Door elk item te koppelen aan één vooraf gedefinieerd vaardigheidsfacet, stelt NICE het traceren van modelfouten naar specifieke zwaktes in plaats van het absorberen ervan in dimensieniveau- of totaalscores mogelijk.
3. Psychometrische rigueur: In tegenstelling tot eenvoudige taakcollecties hanteert NICE een volledige psychometrische pijplijn, inclusief expertconsensus, AHP-weging en iteratieve validatie, zodat diagnostische resultaten interpreteerbaar en structureel valide zijn.

Resultaten en Analyse

De evaluatie van vijf geavanceerde LLM's tegen de menselijke basislijn leverde de volgende inzichten op:

• Geaggregeerde prestatie: LLM's behaalden een hogere geaggregeerde nauwkeurigheid ($M=0,751$) dan mensen ($M=0,704$), met een statistisch significant verschil ($p < .001$).
• Dimensieverschillen:
  • LLM-sterke punten: Modellen presteerden significant beter dan mensen op Sociale Verantwoordelijkheid, Zelfconsistentie, Emotioneel Gebruik, Sociale Perceptie en Adaptief Leren.
  • LLM-zwakke punten: Een consistente zwakte werd geïdentificeerd op Communicatie (D3), waarbij mensen significant beter presteerden dan LLM's (Mens $M=0,518$ versus LLM $M=0,428$; verschil van 9,0%).
• Granulaire diagnose van Communicatie: De zwakte in Communicatie was gelokaliseerd tot drie specifieke facetten:
  1. Meer-draaige communicatie: LLM's liepen 52,4% achter op mensen.
  2. Non-verbale communicatie: LLM's liepen 24,8% achter.
  3. Synchronie: LLM's liepen 10,5% achter.
• Casestudy-uitkomsten: Analyse toonde aan dat modellen vaak falen in het straffen van "grensovertredend" gedrag (bijvoorbeeld excessieve beleefdheid zoals 180 graden buigen) dat mensen correct identificeren als ongepast. Dit suggereert dat modellen expliciete onderdanigheid mogelijk te hoog waarderen, terwijl ze gevoeligheid voor contextuele normen missen.
• Stabiliteit: Fouten in de dimensie Communicatie waren systematisch en niet willekeurig; wanneer een model een Communicatie-item faalde, faalde het dit consequent over meerdere runs.

Betekenis en Claims

Het artikel claimt dat NICE de evaluatie van sociale intelligentie herformuleert van een focus op geaggregeerde scores naar een theorieondersteunde diagnose van sociaal consequente zwaktes.

• Diagnostische bruikbaarheid: Het referentiepunt toont aan dat hoge geaggregeerde nauwkeurigheid kritieke tekorten in specifieke gebieden kan maskeren, zoals communicatienuances en grensgevoeligheid, die vitaal zijn voor veilige mens-AI-interactie.
• Hanteerbare inzichten: Door specifieke vaardigheidsfacetten (bijvoorbeeld meer-draaige communicatie, non-verbale signalen) te identificeren waar modellen consequent onderpresteren, biedt NICE een routekaart voor gerichte modeltraining en uitlijning.
• Beperkingen: De auteurs erkennen dat NICE momenteel een statisch, tekstgebaseerd referentiepunt is dat voornamelijk binnen een Chinese culturele context is ontwikkeld. Hoewel het real-life situaties benadert, kan het de dynamiek van continue, real-world sociale interactie niet volledig vastleggen. Toekomstig werk is nodig om het referentiepunt uit te breiden naar complexere, interactieve en interculturele settings.