HEART: A Unified Benchmark for Assessing Humans and LLMs in Emotional Support Dialogue

Titel: HEART: Een Unificerend Kader voor het Beoordelen van Mensen en LLM's in Emotionele Ondersteunende Dialoog

1. Het Probleem

Hoewel Large Language Models (LLM's) aanzienlijke vooruitgang hebben geboekt in redeneren en taalgeneratie, blijft hun vermogen om interpersoonlijke vaardigheden te tonen—zoals het lezen van emoties, het aanpassen van de toon en het navigeren door weerstand of distress—onvoldoende onderzocht.

• Bestaande tekortkomingen: Huidige benchmarks focussen voornamelijk op cognitieve taken (classificatie, samenvatting) of discrete emotionele labels (bijv. sentimentanalyse). Ze meten niet of een interactie zich aanpast aan de emotionele behoeften van de spreker over meerdere beurten heen.
• De uitdaging: Het is moeilijk om te bepalen of LLM's text genereren dat sociaal afgestemd is en echt ondersteunend voelt, in plaats van alleen informatief correct. Er ontbreekt een empirische basis om de prestaties van LLM's direct te vergelijken met die van mensen in dezelfde complexe, emotionele contexten.

2. Methodologie: Het HEART-kader

De auteurs introduceren HEART (Human Evaluation and Assessment of Responsive Talk), het eerste kader dat mensen en LLM's direct vergelijkt op dezelfde multi-turn gesprekken.

• Dataset: Het benchmark bestaat uit 300 dialogen (280 reguliere situaties en 20 "adversariële" situaties met weerstand, boosheid of twijfel), gebaseerd op het ESConv-dataset.
• Generatie: Voor elk dialooghistorie zijn antwoorden gegenereerd door:
  • Menselijke deelnemers (3 onafhankelijke mensen per scenario).
  • 16 verschillende LLM's (inclusief GPT-5, Claude 4.5, Gemini 2.5, Polaris 4, etc.).
• Evaluatieproces:
  • Pairwise Comparisons: Beoordelaars (menselijk en LLM) krijgen twee antwoorden (A en B) en moeten kiezen welke het meest ondersteunend is.
  • Blinding: Menselijke beoordelaars kregen geen rubriek; ze moesten natuurlijk oordelen. LLM-beoordelaars kregen wel een gestructureerde rubriek om te testen of ze menselijke voorkeuren kunnen internaliseren.
  • Statistiek: De resultaten worden geaggregeerd met een Bradley-Terry model om Elo-achtige ratings te genereren.

De vijf HEART-dimensies (de rubriek):

1. Human Alignment (H): Klinkt het antwoord als iets wat een doordachte mens zou zeggen (toon, flow)?
2. Empathic Responsiveness (E): Erkent en valideert de supporter de gevoelens zonder oordeel?
3. Attunement (A): Volgt het antwoord specifieke details en emotionele signalen in de context (in plaats van generieke geruststelling)?
4. Resonance (R): Beweegt het gesprek vooruit op een nuttige manier (bijv. concrete volgende stap)?
5. Task-following (T): Blijft het binnen de rol en veiligheidsgrenzen (geen medisch advies geven, etc.)?

3. Belangrijkste Resultaten

• Mens vs. Model Prestaties:

  • Menselijke beoordelaars gaven in 46,8% van de gevallen de voorkeur aan het LLM-antwoord, terwijl menselijke antwoorden slechts in 35,8% van de gevallen werden verkozen.
  • Frontier-modellen (zoals GPT-5 en GPT-o3) bereiken of overtreffen het gemiddelde menselijke niveau op waargenomen empathie en consistentie.
  • Menselijke Voordelen: Mensen behouden een voordeel in adaptief herformuleren, het benoemen van spanningen ("tension-naming") en het maken van nuanceverschillen in toon, vooral in adversariële situaties.

• Alignement tussen Mensen en LLM-judges:

  • Er is een sterke overeenkomst (~78,7%) tussen menselijke voorkeuren en de oordelen van LLM's (als "judge"). Dit komt overeen met de inter-menselijke overeenkomst (79,5%).
  • Wanneer mensen en LLM's het eens zijn over de beste reactie, focussen ze vaak op dezelfde onderliggende kenmerken (bijv. het benoemen van gevoelens, het bieden van concrete stappen).

• Affectief Redeneren vs. Algemeen Redeneren:

  • Er is een positieve correlatie (r = 0,70) tussen HEART-scores en algemene intelligentie-benchmarks (zoals de AA Intelligence Index), maar het is niet deterministisch.
  • Modellen met vergelijkbare algemene intelligentie kunnen sterk verschillen in affectief redeneren, afhankelijk van hun instructie-tuning en vermogen om toon te reguleren.

• Latentie en Real-time Toepassing:

  • Er is een trade-off: de modellen met de hoogste HEART-scores hebben vaak hoge latentie (meerdere seconden), wat ongeschikt is voor spraakinteractie.
  • Uitzondering: Het model Polaris 4 (van Hippocratic AI) bereikt een top Elo-score (1604.0) met een mediane Time-to-First-Token (TTFT) van ~400 ms. Dit maakt het uniek geschikt voor real-time voice agents in de zorg, waar snelheid essentieel is voor het behoud van natuurlijkheid en empathie.

• Strategie Diversiteit:

  • Mensen gebruiken een breder en evenwichtiger scala aan counseling-strategieën (validatie, herformulering, zelfversterking).
  • LLM's leunen zwaarder op een smaller scala van hoge-frequentie strategieën (voornamelijk geruststelling en erkenning), wat leidt tot een consistent maar soms minder gepersonaliseerd antwoord.

4. Kernbijdragen

1. Eerste Directe Vergelijking: HEART is het eerste framework dat mensen en LLM's op gelijke voet zet in multi-turn emotionele ondersteuning, inclusief situaties met weerstand.
2. Gestructureerde Rubriek: Het introduceert een wetenschappelijk onderbouwde rubriek (5 dimensies) gebaseerd op communicatiewetenschap en psychologie, in plaats van oppervlakkige sentimentlabels.
3. Evaluatie van Evaluatoren: Het paper analyseert niet alleen de prestaties van de modellen, maar ook hoe goed LLM's kunnen fungeren als beoordelaars die menselijke sociale oordelen nabootsen.
4. Latentie-Awareness: Het benadrukt dat voor emotionele AI in de zorg niet alleen de kwaliteit (Elo-score), maar ook de snelheid (TTFT) cruciaal is voor de perceptie van empathie.

5. Betekenis en Conclusie

Het paper concludeert dat LLM's de vorm van empathisch gedrag (consistentie, beleefdheid, vloeiendheid) uitstekend hebben geëerd, maar dat ze nog moeite hebben met de functie (adaptief oordelen, grenzen stellen, omgaan met complexe weerstand).

• Implicaties voor AI: Het optimaliseren voor "oppervlakkige empathie" kan leiden tot modellen die beleefd klinken maar niet altijd effectief helpen. Er is behoefte aan training op meer diverse en ambiguïteit bevattende dialogen.
• Implicaties voor Mensen: AI kan menselijke supporters scaffolding bieden (consistente, veilige formuleringen), maar mag de menselijke relatie en het vermogen om "messy" (chaotische) emotionele dynamieken te navigeren niet vervangen.
• Toekomst: HEART biedt een fundamentele basis om te meten waar AI menselijke sociale oordelen nabootst en waar ze divergeren, wat essentieel is voor de ontwikkeling van veilig en sociaal onderbouwde AI in sectoren zoals gezondheidszorg en counseling.

Beperkingen: De studie focust op Engelstalige dialogen binnen westerse normen en tekstuele interacties. Toekomstig werk moet uitbreiden naar meertaligheid, multimodale input (spraak, video) en longitudinale effecten op welzijn.