SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs
SKG-Eval ist ein neuartiges, interpretierbares Framework, das Multi-Turn-Dialogsysteme bewertet, indem es schrittweise einen semantischen Wissensgraphen konstruiert, um langreichweitige Inkonsistenzen und Widersprüche durch strukturierte Zustandsverfolgung zu erkennen und dabei eine höhere Korrelation mit menschlichen Urteilen erreicht als bestehende flache oder turn-isolierte Metriken.