YIELD: A Large-Scale Dataset and Evaluation Framework for Information Elicitation Agents

1. Het Probleem

De meeste bestaande conversatieagenten (CAs) zijn ontworpen om gebruikersgestuurde interacties te faciliteren, waarbij de agent reageert op verzoeken van de gebruiker om hun behoeften te vervullen. Echter, in veel real-world scenario's zoals academische interviews, gerechtelijke procedures en journalistieke onderzoeken, is het doel anders: de agent moet informatie ontlokken (elicitatie) van de gebruiker om bredere institutionele doelen te bereiken.

Bestaande datasets en methoden zijn ontoereikend voor deze taak omdat:

• Ze vaak korte dialogen bevatten, terwijl informatieverzameling langdurige, complexe dialogen vereist.
• Er geen bestaande datasets zijn die specifiek zijn opgezet voor het trainen van agenten die proactief informatie moeten verzamelen.
• De definitie van succes anders is: het gaat niet om het vinden van één correct antwoord, maar om het maximaliseren van de cumulatieve waarde van de verkregen informatie door strategische vraagkeuzes.

2. Methodologie

A. De YIELD Dataset

De auteurs introduceren YIELD (Information-Elicitation Learning Dialogues), het eerste grote, ethisch verantwoorde dataset voor informatieve elicitatie.

• Omvang: 2,281 mens-tot-mens dialogen, goed voor ongeveer 26 miljoen tokens.
• Domeinen: Academische interviews, journalistieke onderzoeken, gerechtelijke procedures en mondelinge geschiedenis.
• Kenmerken: De dialogen zijn aanzienlijk langer dan bestaande datasets (gemiddeld 171 wisselingen per dialoog, vergeleken met ~14-20 in datasets zoals MultiWOZ of SGD).
• Bronnen: Data is afkomstig uit publieke domeinen of Creative Commons-licenties (bijv. Supreme Court transcripts, JFK-archieven).

B. Formele Modellering (POMDP)

Het elicitatieproces wordt geformaliseerd als een Finite-Horizon Partially Observable Markov Decision Process (POMDP):

• Agent: De 'elicitor' (interviewer).
• Omgeving: De 'respondent' (interviewee) met verborgen informatie (latent state).
• Actie: Een natuurlijke taal-uiting van de agent.
• Observatie: De reactie van de respondent.
• Beloning: Omdat de volledige staat niet waarneembaar is, wordt de beloning gebaseerd op de informatiewaarde van de volgende reactie.

C. Training en Optimalisatie

De auteurs gebruiken Offline Reinforcement Learning (ORL) met Advantage-Weighted Regression (AWR) om modellen te finetunen.

• Reward Signaal: Een proxy-basisbeloning wordt gebruikt die gebaseerd is op feitelijk noviteit. Een NER-model (Named Entity Recognition) telt nieuwe entiteiten/facten die de respondent introduceert na een vraag van de agent.
• Training: In plaats van standaard Supervised Fine-Tuning (SFT), wordt de policy geoptimaliseerd om acties te kiezen die leiden tot hogere lange-termijn opbrengsten (Return-to-Go), gewogen op basis van hun 'advantage'.
• Efficiëntie: Er wordt gebruik gemaakt van Parameter-Efficient Fine-Tuning (PEFT) met LoRA-adapters om de basis LLM's (zoals Llama-3) aan te passen zonder de volledige parameters te hertrainen.

D. Evaluatiemetrics

Naast standaard metrics (zoals BLEU), worden drie nieuwe metrics voorgesteld die specifiek zijn voor elicitatie:

1. Conformity: Meet hoe goed het gegenereerde gedrag overeenkomt met de verdelingspatronen van menselijke elicitatie (gemeten via perplexity en antwoordlengte).
2. Progression: Meet de mate waarin het gesprek vooruitgang boekt naar nieuwe onderwerpen in plaats van vast te lopen (gebaseerd op cosine-afstand tussen embeddings van opeenvolgende uitingen).
3. Turn-Length Ratio (TLR): Vergelijkt de gemiddelde lengte van de respondent met die van de elicitator. Een succesvolle elicitatie-agent spreekt beknopt om lange, inhoudelijke antwoorden te provoceren (TLR > 1).

3. Belangrijkste Resultaten

Pilot-experimenten zijn uitgevoerd op meerdere foundation LLM's (Llama-3.1-8B, DeepSeek-R1-Distill, Llama-3.2-3B) en vergeleken met prompt-only en SFT-baselines.

• Conformity: Modellen die zijn getraind op YIELD (via SFT of ORL) vertonen een aanzienlijk lagere perplexity en een veel realistischere antwoordlengte dan prompt-only modellen. Prompt-only modellen neigen tot zeer lange, vaak overbodige antwoorden, terwijl getrainde modellen de beknopte, strategische stijl van menselijke interviewers nabootsen.
• Progression: Getrainde modellen behalen scores die dicht bij menselijke dialogen liggen, wat aangeeft dat ze het gesprek effectief naar nieuwe onderwerpen sturen. Prompt-only modellen blijven vaker hangen in reeds behandelde topics.
• Turn-Length Ratio: Getrainde modellen leren de asymmetrie van elicitatie na te bootsen (korte vragen, lange antwoorden), terwijl prompt-only modellen dit gedrag vaak missen.
• Menselijke Evaluatie: Menselijke beoordelaars bevestigden dat getrainde modellen beter alignen met het gedrag van echte elicitatoren, zelfs als hun absolute scores soms lager zijn dan die van de vaak "opgeblazen" prompt-only antwoorden. Dit suggereert dat getrainde modellen de dynamiek van elicitatie beter begrijpen.

4. Bijdragen

1. YIELD Dataset: De release van de eerste grote, ethisch verantwoorde dataset specifiek voor informatieve elicitatie, met 2,281 dialogen en 26M tokens.
2. Nieuw Paradigma: De introductie van Information Elicitation Agents (IEAs) als een onderscheiden klasse van conversatieagenten die handelen namens institutionele doelen in plaats van gebruikersbehoeften.
3. Formalisatie en Methode: De formalisering van elicitatie als een POMDP en het succesvolle gebruik van offline reinforcement learning (AWR) met minimale beloningssignalen om dialogue-level optimalisatie te bereiken.
4. Evaluatie Framework: De ontwikkeling van nieuwe, domeinspecifieke metrics (Conformity, Progression, TLR) en een open-source Python-pakket voor hun berekening.

5. Betekenis en Toekomst

Dit werk is significant omdat het een brug slaat tussen conversatie-AI en institutionele besluitvorming. Het toont aan dat LLM's kunnen worden getraind om proactief en strategisch informatie te verzamelen, een vaardigheid die essentieel is voor toepassingen in justitie, journalistiek en onderzoek.

De studie benadrukt echter ook ethische risico's, zoals het potentieel voor bevooroordeelde of leidend vragen, en pleit voor strikte toezichtmechanismen en menselijke monitoring bij de inzet van dergelijke agents in gevoelige contexten. De auteurs openen de weg voor toekomstig onderzoek naar geavanceerdere beloningssignalen en interactieve evaluaties met levende respondenten.