SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs
SKG-Eval is een nieuw, interpreteerbaar raamwerk dat multi-turn dialogsystemen evalueert door een semantisch kennisnetwerk stapsgewijs op te bouwen om langdurige inconsistenties en tegenstrijdigheden te detecteren via gestructureerde staatstracking, waardoor een hogere correlatie met menselijke beoordelingen wordt bereikt dan met bestaande vlakke of op afzonderlijke beurten gebaseerde metrieken.