💬 NLP

NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews

Dit artikel introduceert NewsInterview, een dataset en testomgeving gebaseerd op journalistieke interviews die aantonen dat grote taalmodellen, ondanks hun vermogen tot informatiedeling, significant tekortschieten in strategische dialoogvaardigheden zoals het herkennen van voltooide antwoorden en het overtuigend doorvragen.

Oorspronkelijke auteurs: Alexander Spangher, Michael Lu, Sriya Jeslyn Kalyan, Hyundong Justin Cho, Weiyan Shi, Jonathan May

Gepubliceerd 2026-02-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Spangher, Michael Lu, Sriya Jeslyn Kalyan, Hyundong Justin Cho, Weiyan Shi, Jonathan May

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🎤 De Grote Interview-Test: Waarom AI nog niet zo goed is als een echte journalist

Stel je voor dat je een grote, slimme robot (een Large Language Model of LLM) hebt die alles kan schrijven wat je maar wilt. Hij kan gedichten maken, brieven schrijven en zelfs nieuwsartikelen opstellen. Maar als je hem vraagt om een echt gesprek te voeren, zoals een journalist die een moeilijk persoon moet overtuigen om de waarheid te vertellen, dan loopt hij vaak vast.

De auteurs van dit paper hebben een nieuw experiment bedacht om te kijken waar deze robots falen. Ze noemen het NewsInterview.

1. Het Probleem: De "Stomme" Robot

De onderzoekers hebben gekeken naar 40.000 echte interviews van grote nieuwszenders zoals NPR en CNN. Ze hebben gekeken hoe menselijke journalisten praten.

Mensen doen dit: Ze knikken, zeggen "ah ja", "dat klinkt moeilijk", of "ik begrijp wat je bedoelt". Dit noemen ze grounding (verankering). Het is alsof je een brug bouwt tussen jou en de ander, zodat de ander zich veilig voelt en meer vertelt.
De robot doet dit niet: De robot is vaak te direct. Hij vraagt direct de volgende vraag, zonder te zeggen "bedankt voor je antwoord". Hij blijft vaak hangen in één onderwerp (een "rabbit hole" in een konijnenhol) en vergeet om soepel over te schakelen naar iets nieuws.

De analogie:
Stel je voor dat je op een feestje bent.

Een menselijke journalist is als een gast die zegt: "Oh, wat een interessant verhaal over je reis! Dat klinkt spannend. En vertel eens, hoe voelde het toen je in de bergen zat?" (Hij bouwt een relatie op).
De AI-journalist is als een robot die zegt: "Volgende vraag: Wat was de temperatuur in de bergen?" (Hij is efficiënt, maar voelt zich kil en onpersoonlijk).

2. Het Speelveld: Een Videospelletje met Persoonlijkheden

Omdat het lastig is om AI's te trainen op echte, complexe gesprekken, hebben de onderzoekers een simulatie (een soort videospelletje) gemaakt.

In dit spelletje spelen twee AI's tegen elkaar:

De Interviewer: Moet zo veel mogelijk informatie uit de ander halen.
De Bron (De Gevraagde): Heeft een geheim dossier met feiten, maar wil niet zomaar alles vertellen.

De truc: De "Bron" krijgt een persoonlijkheid.

Soms is de bron angstig (bang om fouten te maken).
Soms is de bron vijandig (wil de journalist dwarsbomen).
Soms is de bron verward (weet het zelf niet goed).
Soms is de bron direct (vertelt alles zomaar).

De AI-interviewer moet nu slim zijn. Als de bron angstig is, moet de interviewer rustig en geruststellend zijn ("Ik zal je niet in de problemen brengen"). Als de bron vijandig is, moet de interviewer vasthoudend zijn maar niet agressief.

3. Wat bleek er uit het spel?

De onderzoekers lieten verschillende AI-modellen dit spel spelen. Het resultaat was verrassend:

De "Bron"-AI's waren goed: Als de AI de rol van de persoon met het geheim speelde, deed hij het heel goed. Hij wist precies wanneer hij iets moest vertellen en wanneer hij zich moest afsluiten, afhankelijk van hoe de ander tegen hem praatte.
De "Interviewer"-AI's waren slecht: De AI's die moesten vragen stellen, faalden op het gebied van strategie.
- Ze wisten niet goed wanneer ze een vraag hadden beantwoord gekregen.
- Ze konden de persoon niet overtuigen om meer te vertellen.
- Ze bleven vaak steken in dezelfde soort vragen, in plaats van een plan te maken om stap voor stap het geheim te onthullen.

De analogie:
Het is alsof je een detective hebt die een verdachte ondervraagt.

Een menselijke detective ziet dat de verdachte zenuwachtig is. Hij schenkt koffie in, zegt: "Rustig maar, we zijn hier om te helpen." Hierdoor begint de verdachte te praten.
De AI-detective blijft maar vragen stellen: "Waar was je? Wat deed je? Wie zag je?" zonder te merken dat de verdachte steeds stiller wordt. De AI haalt minder informatie binnen, zelfs als hij slim is.

4. Waarom is dit belangrijk?

Dit onderzoek laat zien dat AI's nog niet klaar zijn voor strategische gesprekken. Ze kunnen tekst genereren, maar ze begrijpen niet hoe je een gesprek opbouwt om een doel te bereiken (zoals iemand overtuigen of troosten).

Dit is belangrijk voor de toekomst, want we willen AI's misschien inzetten voor:

Therapie: Om mensen te helpen die zich eenzaam voelen (dan moet je wel kunnen luisteren en bevestigen).
Onderwijs: Om leerlingen te motiveren.
Conflictoplossing: Om ruzies op te lossen.

Conclusie

De paper zegt eigenlijk: "AI's zijn goede schrijvers, maar nog geen goede luisteraars of strategen."

Ze hebben een nieuw speelplek (NewsInterview) gecreëerd waar AI's kunnen oefenen om niet alleen slimme vragen te stellen, maar ook om te leren hoe ze moeten praten om mensen echt te bereiken. Het is een eerste stap om robots te maken die niet alleen slim zijn, maar ook sociaal en strategisch.

Titel: NewsInterview: Een Dataset en Speeltuin om de 'Grounding Gap' van LLM's te Evalueren via Informatieve Interviews

1. Het Probleem

Grote Taalmodellen (LLM's) hebben indrukwekkende vaardigheden in het genereren van coherente tekst, maar worstelen met strategisch dialoog en grounding (het vaststellen van wederzijds begrip en vertrouwen in een gesprek).

Grounding Gap: LLM's missen vaak "grounding taal", zoals erkenningen (acknowledgments) of bevestigingen, die mensen gebruiken om comfort en vertrouwen te creëren. Dit beperkt hun inzetbaarheid in situaties zoals onderwijs, mentale gezondheid en conflictoplossing.
Data Tekort: Bestaande datasets voor strategisch dialoog zijn vaak klein, kunstmatig gegenereerd via crowdsourcing, of te gevoelig voor privacy (bijv. therapeutische sessies). Er is een gebrek aan grote, natuurlijke datasets van informatieve gesprekken waar strategieën worden toegepast om informatie los te krijgen.
Strategisch Falen: LLM's hebben moeite met langetermijnplanning in meer-draads gesprekken, zoals het effectief overtuigen van een bron of het schakelen tussen onderwerpen op een strategische manier.

2. Methodologie

De auteurs hanteren een drie-delige aanpak: datasetcreatie, analyse van bestaande LLM-gedrag, en het ontwikkelen van een simulatieomgeving.

A. Datasetcreatie (NewsInterview Dataset)

Bron: De auteurs hebben 40.000 tweepersoons informatieve interviews gecureerd van grote nieuwsorganisaties (NPR en CNN).
Filtering: Uit een initiële set van bijna 500.000 transcripten werden alleen interviews geselecteerd met één interviewer en één bron (geen panelgesprekken), waarbij de interviewer actief informatie ophaalt.
Statistieken: Gemiddeld 7,5 wisselingen van beurt. Bronnen spreken gemiddeld langer (551 woorden) dan interviewers (270 woorden). De dataset dekt diverse topics (politiek, academisch, internationaal, etc.).

B. Analyse van LLM-gedrag (Counterfactual Simulatie)

Opzet: De auteurs voerden een "counterfactual" simulatie uit. Ze gaven een LLM (Llama-3.1-70b) de eerste $t-1$ beurten van een menselijk interview en vroegen het model om de volgende vraag te genereren ( $g_t$ ).
Vergelijking: Deze gegenereerde vragen werden vergeleken met de daadwerkelijke menselijke vragen ( $q_t$ ) op zes dimensies: exacte match, informatieve consistentie, motivatie, stijl, discours en context.
Variaties: Er werden verschillende prompting-strategieën getest: Baseline, Chain-of-Thought (CoT), en CoT met een interview-ontwerp (Outline).

C. De NewsInterview Simulatieomgeving (Het "Spel")
Om langetermijnbeloningen te testen, ontwikkelden de auteurs een game-omgeving:

Rol: De LLM fungeert als Interviewer en de andere LLM als Bron.
Doel: De interviewer moet maximale informatie (unieke informatie-items) uit de bron halen binnen een beperkt aantal beurten.
Bron-Persona's: Bronnen hebben verschillende persoonlijkheden (bijv. angstig, vermijdend, agressief, defensief, dominant, verwarrend).
Overtuigingsmechanisme (Persuasion): Bronnen geven informatie alleen vrij als ze "overtuigd" zijn. De simulatie berekent een overtuigingsniveau (1-5) op basis van de conversatiegeschiedenis.
- Een hogere overtuigingswaarde leidt tot een hogere kans dat de bron informatie deelt (gebaseerd op een Beta-verdeling).
- De interviewer moet dus strategisch vragen stellen om de bron comfortabel te maken voordat diepgravende vragen worden gesteld.
Validatie: Menselijke proefpersonen (journalisten) beoordeelden hun eigen overtuigingsniveau in de simulatie. De correlatie met de LLM-schattingen was significant ( $r = 0.43$ ), wat aangeeft dat de simulatie realistisch is.

3. Belangrijkste Resultaten

A. Analyse van Mens vs. LLM (Grounding Gap)

Ontkenning van Erkenning: Menselijke journalisten maken in ongeveer 9% van de uitingen gebruik van erkenning (acknowledgments) om rapport te bouwen. LLM's doen dit bijna nooit (dicht bij 0%), ongeacht de prompting-strategie.
Strategisch Mislukken: LLM's zijn 50% minder geneigd om erkenning te geven en 30% minder geneigd om naar hogere niveau-vragen (outline-level) te schakelen.
Rabbit-holing: LLM's blijven vaak hangen in follow-up vragen of stellen te veel open/opinie-vragen, in plaats van het gesprek strategisch te sturen naar nieuwe onderwerpen. Ze missen het vermogen om het gesprek in de gewenste richting te leiden.

B. Simulatie-resultaten (NewsInterview Game)

Overtuiging is cruciaal: In de volledige game (met persona's en overtuigingsmechanisme) presteerden LLM's slecht in het halen van informatie.
Ablatie-studies:
- Wanneer het vermogen van de bron om informatie te verbergen werd verwijderd ("Easy" conditie), steeg de prestatie van alle modellen drastisch (>80%).
- Het verwijderen van de overtuigingsfactor ("Medium" conditie) had een kleiner effect, maar toonde aan dat LLM's moeite hebben met het inschatten van wanneer een vraag is beantwoord en wanneer ze moeten overtuigen.
Persona-uitdagingen: Modellen (zoals GPT-4o) presteerden het beste bij "straightforward" bronnen, maar worstelden enorm met "adversarial" (vijandige) of "avoidant" (vermijdende) persona's. Interessant genoeg bleek dat "adversarial" bronnen makkelijker te overtuigen waren dan te doorgronden, wat suggereert dat LLM's de dynamiek van vijandigheid verkeerd interpreteren.
Tijdverloop: De beloning (informatie-extractie) per beurt neemt af naarmate het gesprek vordert, hoewel de totale beloning lineair blijft stijgen. Dit wijst op een gebrek aan efficiëntie in langere gesprekken.

4. Kernbijdragen

Dataset: De release van een hoogwaardige dataset van 40.000 tweepersoons informatieve interviews van NPR en CNN, wat een schaarst aan natuurlijke, grote schaal dialoogdata voorstelt.
Analyse: Een gedetailleerde discoursanalyse die significant onderscheidt tussen menselijke en LLM-gedrag, met name het ontbreken van grounding-taal en strategische vraagstelling.
Simulatieomgeving: De ontwikkeling van NewsInterview, een realistische game-omgeving met persona's en overtuigingsmechanismen om agents te evalueren op langetermijn-strategisch denken en persuasieve vaardigheden.

5. Betekenis en Toekomstperspectief

Fundamenteel Deficit: De studie toont aan dat het probleem niet alleen ligt in het genereren van tekst, maar in strategisch meer-draads plannen en het begrijpen van sociale dynamiek (grounding en overtuiging).
Langetermijn Beloningen: De huidige trainingsdoelen van LLM's missen vaak langere horizon-beloningen. NewsInterview biedt een testbed om agents te trainen die strategisch handelen om een doel te bereiken (informatie halen) in plaats van alleen de volgende zin te voorspellen.
Toepassingen: De bevindingen zijn relevant voor het verbeteren van AI-assistenten in onderwijs, mentale gezondheidszorg en conflictoplossing, waar het opbouwen van vertrouwen en het strategisch sturen van een gesprek essentieel is.
Richting voor Onderzoek: De auteurs suggereren dat toekomstig werk moet focussen op het integreren van langere horizon-beloningssignalen tijdens het trainen van modellen en het verfijnen van persona-mechanismen om realistischere interacties mogelijk te maken.

Kortom, dit paper legt bloot dat LLM's, ondanks hun taalvaardigheid, fundamenteel tekortschieten in de sociale en strategische nuance van menselijke interviews, en biedt een nieuwe benchmark om deze kloof te dichten.