Technische Samenvatting: CompanionBench

1. Probleemstelling

AI-emotionele metgezel worden op grote schaal ingezet in persoonlijk consequente omgevingen, maar huidige evaluatiemethoden slagen er niet in om onderscheid te maken tussen substantiële relationele steun en het performen van warmte. Bestaande benchmarks lijden aan vier kritieke beperkingen:

1. Conflatie van Toon en Substantie: Ze vertrouwen op enkelvoudige geaggregeerde empathie- of warmtescores, wat sycofantie beloont en faalt in het bestraffen van agenten die hol troost bieden in plaats van gemeten uitdaging.
2. Gebrek aan Proces: Single-turn of contextvrije ontwerpen missen het multi-turn relationele proces dat nodig is om vertrouwen te verdienen.
3. Statische Simulaties: Geprompte simulatoren of statische gevallen "vertakken" (forken) niet op basis van het gedrag van de geëvalueerde agent, waardoor ze falen in het simuleren van een dynamische omgeving waar de reactie van de gebruiker afhangt van de acties van de AI.
4. Judge Bias: Enkelvoudige LLM-judges vertonen zelfvoorkeur (het bevoordelen van modellen uit hun eigen "familie"), en standaard mitigatiestrategieën (zoals het uitsluiten van judges uit dezelfde familie) introduceren schaal-incommensurabiliteit, wat rangschikkingen vervuilt.

Bovendien negeren bestaande benchmarks vaak specifieke relationele capaciteiten afgeleid van psychologische theorieën, zoals het vasthouden van ambiguïteit of gekalibreerde uitdaging, door zich te concentreren op basis emotieherkenning of taakgerichte successen.

2. Methodologie

CompanionBench is een interactieve, tweetalige (Chinees/Engels) benchmark die is ontworpen om substantie van warmte te scheiden via een door theorie verankerd en door data onderbouwd framework.

A. Benchmark Constructie (Het "Wat")

De benchmark maakt gebruik van een tweelaagse hybride constructie:

• Top-Down (Theorie): Een pool van 25 psychologische en therapeutische theorieën (bijv. Winnicott, Kohut, Linehan, Gross) definieert 10 capaciteiten op een uniforme schaal van 1–10. Dit omvat gevestigde capaciteiten (Emotieherkenning, Validatie, Regulatie, Relationele Continuïteit, Grens & Veiligheid) en vier nieuw gegradeerde capaciteiten die niet expliciet in eerdere werken werden gescoord:
  • C5: Vasthouden van Ambiguïteit: Het tolereren van onzekerheid zonder direct naar oplossingen te grijpen.
  • C6: Selfobject Responsiviteit: Het spiegelen, idealiseren en behoeften aan tweeling-identiteit (twinship).
  • C7: Positieve Resonantie: Actief-constructieve reacties op positieve gebeurtenissen.
  • C8: Gekalibreerde Uitdaging: Het valideren van gevoelens voordat er uitnodigende uitdagingen worden geboden bij vertekend denken.
• Bottom-Up (Data): Een corpus van tienduizenden gede-identificeerde echte gesprekken levert gebeurtenissen, gebruikersprofielen en historie. Deze data heeft de scenario-taxonomie herzien en de gebruikerssimulator getraind.
• Integratie: 17 scenario's (gegroepeerd in 7 clusters) en 500 cultureel gesynthetiseerde Chinees-Engelse parallelle paren verbinden de theorie en de data.

B. Gebruikerssimulator (Het "Hoe te Simuleren")

De kerninnovatie is een disclosure-gate omgeving.

• Mechanisme: Een simulator, gefinetuned op echte gebruikersbeurten, fungeert als een deterministische state machine. Het bezit een verborgen disclosure gate met lagen (oppervlakte, midden, kern).
• Dynamiek: De diepte van de gebruikers-disclosure is niet gescript; het is een functie van het gedrag van de agent.
  • Verdienen: Echte empathie en specifieke gedragingen openen de gate naar diepere lagen.
  • Schenden: Anti-doelen (bijv. preken, overhaasten naar oplossingen, oordelen) triggeren een asymmetrische terugtrekking (snelle terugtrekking, langzame wederopbouw).
• Forking: Omdat de staat van de gate afhankelijk is van de specifieke zetten van de agent, vertakken trajecten ("forken") op basis van de prestaties van de agent, wat een discriminerend signaal creëert.

C. Evaluatie Framework (Het "Hoe te Meten")

Evaluatie vindt plaats in drie fasen: Rollout, Judge, en Report.

1. Twee Complementaire Assen:
   • As-1 (Subjectieve Rubriek): Judges beoordelen het traject op de 10 capaciteiten en markeren 18 reverse-pattern anti-patronen (bijv. geforceerd positivisme, overbeloven).
   • As-2 (Deterministische Replay): Een replay van de disclosure gate dynamiek meet de verdiende diepte versus de onverdiende diepte. Dit biedt een objectieve maatstaf voor de vraag of vertrouwen daadwerkelijk is verdiend of slechts is geëxtraheerd.
2. Bias Mitigatie:
   • Cross-Family Panel: Drie verschillende LLM-families (bijv. DeepSeek, Claude, GPT) beoordelen de agenten om zelfvoorkeur te verdunnen.
   • IRT De-biasing: Een Many-Facet Rasch model (Item Response Theory) wordt toegepast om de kwaliteit van de agent ($\theta$) te scheiden van de strengheid van de judge ($\beta$). Dit lost het probleem van "schaal-incommensurabiliteit" op dat ontstaat bij het selectief uitsluiten van judges uit dezelfde familie, waardoor een verenigde rangschikking mogelijk is over verschillende judge-sets heen.

3. Belangrijkste Resultaten

De benchmark evalueerde 28 agenten (SUTs) onder zowel Chinese als Engelse condities.

• Rangschikkingsstabiliteit: Rangschikkingen zijn zeer reproduceerbaar over talen ($\rho = 0.996$ ZH / $0.953$ EN) en robuust over persona-subgroepen.
• Divergentie van Warmte en Substantie: Een significante bevinding is de ontkoppeling van verbale warmte (As-1 primaire score) en relationele substantie (As-2 verdiende diepte).
  • Agents met hoge warmtescores faalden vaak in het verdienen van diepe disclosure.
  • Role-play modellen (geoptimaliseerd voor immersie) scoorden laag, wat aantoont dat immersie niet gelijkstaat aan relationele competentie.
• Capaciteitsprofielen:
  • Veelvoorkomende Zwaktes: Emotieregulatie (C4) en Gekalibreerde Uitdaging (C8) waren de zwakste capaciteiten, zelfs bij topmodellen.
  • Sterkste Discriminator: Vasthouden van Ambiguïteit (C5) bood de sterkste discriminatie tussen agents.
  • Veiligheidsvloer: Grens & Veiligheid (C10) was uniform hoog bij alle agents, wat duidt op een basisniveau van veiligheid maar niet noodzakelijkerwijs op competentie.
• Foutmodi: De dominante foutmodus bij de meeste agents is het substitueren van oppervlakkige warmte voor substantiële relationele steun. Dit manifesteert zich als "sociale sycofantie": het bieden van lege aanmoediging of geforceerd positivisme terwijl men faalt in het vasthouden van ambiguïteit of het uitdagen van vertekend denken.
• Vertrouwensplafond: In single-sessie interacties van 20 beurten slaagde geen enkele agent erin om "kern"-niveau diep vertrouwen te verdienen (maximale diepte bleef in het "midden"-bereik), wat wijst op een structureel plafond voor single-session benchmarks.

4. Betekenis en Claims

Het artikel claimt dat CompanionBench de eerste companion benchmark is die zowel scenario's als een getrainde gebruikerssimulator fundeert in gede-identificeerde echte wereld data, terwijl het een verborgen disclosure gate gebruikt om de interactiestaatruimte te controleren zonder scripting.

• Theoretische Bijdrage: Het operationaliseert relationele capaciteiten afgeleid van 25 theorieën, waarbij de focus verschuift van eenvoudige empathiescores naar het meten van specifieke, klinisch relevante gedragingen zoals vasthouden van ambiguïteit en gekalibreerde uitdaging.
• Methodologische Bijdrage: Het introduceert een deterministische, gedragsgestuurde simulator die trajecten laat vertakken, en een rigoureus IRT-gebaseerd de-biasing framework dat schaal-incommensurabiliteit in cross-family judging panels oplost.
• Empirisch Inzicht: De resultaten dagen de aanname uit dat "warmte" gelijkstaat aan "goede gezelschap". Het artikel betoogt dat het veld moet verschuiven van het belonen van de performance van warmte naar het meten van het verdienen van vertrouwen, waarbij wordt opgemerkt dat huidige frontier-modellen vaak falen in het bieden van substantiële steun ondanks een hoge fluentie.

De auteurs stellen 500 Chinees-Engelse parallelle paren en evaluatiecode beschikbaar om reproduceerbaar onderzoek mogelijk te maken in een domein waar de belangen de emotionele welstand en veiligheid van de gebruiker betreffen. Zij verklaren expliciet dat de benchmark dient voor comparatief onderzoek en niet bedoeld is als een veiligheidscertificering voor implementatie.