SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs

SKG-Eval ist ein neuartiges, interpretierbares Framework, das Multi-Turn-Dialogsysteme bewertet, indem es schrittweise einen semantischen Wissensgraphen konstruiert, um langreichweitige Inkonsistenzen und Widersprüche durch strukturierte Zustandsverfolgung zu erkennen und dabei eine höhere Korrelation mit menschlichen Urteilen erreicht als bestehende flache oder turn-isolierte Metriken.

Das Wesentliche

Stellen Sie sich vor, Sie sitzen in einem langen, komplexen Gespräch mit einem Freund. Sie beginnen damit, zuzustimmen, dass „Kaffee heiß ist". Zwei Runden später sagt Ihr Freund: „Kaffee ist kalt", und fünf Runden danach behauptet er: „Kaffee ist ein festes Gestein."

Wenn Sie ein herkömmlicher KI-Evaluator wären, würde dieser jeden Satz isoliert betrachten. „Kaffee ist kalt" klingt wie ein normaler Satz. „Kaffee ist ein festes Gestein" klingt grammatikalisch korrekt. Der KI würde Ihrem Freund eine hohe Punktzahl für Höflichkeit und Flüssigkeit geben und völlig übersehen, dass er sich selbst widerspricht und den Verstand verliert.

Dies ist das Problem, das SKG-Eval löst. Es ist eine neue Methode zur Benotung von KI-Gesprächen, die weniger wie ein Rechtschreibprüfer und mehr wie ein Detektiv mit einer riesigen, sich entwickelnden Whiteboard agiert.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Der „amnesische" Richter

Aktuelle KI-Richter (wie das Bitten einer superintelligenten KI, eine andere KI zu bewerten) schauen normalerweise nur auf einen Satz nach dem anderen. Sie sind wie ein Richter, der alles vergisst, was vor fünf Minuten passiert ist.

• Der Fehler: Wenn eine KI in Runde 1 sagt „Ich liebe Katzen" und dann in Runde 10 „Ich hasse Katzen", könnte ein herkömmlicher Richter dies übersehen, weil er zu sehr mit der Grammatik von Runde 10 beschäftigt ist.
• Das Ergebnis: KI-Systeme können vom Thema abdriften, Regeln vergessen oder sich selbst widersprechen, ohne dafür bestraft zu werden.

2. Die Lösung: Die „lebendige Whiteboard" (Semantischer Wissensgraph)

SKG-Eval liest den Text nicht nur; es baut eine Karte des Gesprächs auf, während es stattfindet. Stellen Sie sich diese Karte als eine riesige, lebendige Whiteboard in einem Klassenzimmer vor.

• Die Knoten (Haftnotizen): Jedes Mal, wenn die KI eine Person, ein Objekt oder eine Tatsache erwähnt (wie „Kaffee", „Stoffwechsel" oder „Frühstück auslassen"), schreibt sie dies auf eine Haftnotiz und klebt sie an die Tafel.
• Die Kanten (Schnur): Sie verbindet diese Notizen mit Schnur, um zu zeigen, wie sie zusammenhängen (z. B. „Kaffee" $\rightarrow$ ist heiß $\rightarrow$ „Flüssigkeit").
• Die Aktualisierung: Während das Gespräch weitergeht, beginnt die KI nicht eine neue Seite; sie fügt derselben Tafel hinzu. Wenn die KI versucht zu sagen „Kaffee ist kalt", erkennt das System die Schnur, die „Kaffee" mit „Heiß" verbindet, und entdeckt sofort den Konflikt.

3. Der dreiteilige Punktekatalog

Anstatt eine vage Note zu vergeben, prüft SKG-Eval für jeden neuen Satz, den die KI sagt, drei spezifische Dinge:

• A. Haben Sie die Frage beantwortet? (Lokale Relevanz)

  • Analogie: Haben Sie tatsächlich zugehört, was ich gerade gefragt habe?
  • Es prüft, ob der neue Satz dem aktuellen Prompt entspricht. Wenn Sie fragten „Wie ist das Wetter?" und die KI sagt „Ich mag Pizza", sinkt dieser Wert.

• B. Erinnern Sie sich an die Vergangenheit? (Historische Konsistenz)

  • Analogie: Sprechen Sie immer noch über dasselbe Thema oder sind Sie abgeschweift?
  • Es prüft, ob die neuen „Haftnotizen" mit den alten auf dem Whiteboard verbunden sind. Wenn das Gespräch über „Kaffee" handelte und plötzlich die KI ohne Brücke über „Weltraumraketen" zu sprechen beginnt, sinkt der Wert.

• C. Widersprechen Sie sich selbst? (Logische Kohärenz)

  • Analogie: Der „Aha!"-Moment.
  • Dies ist die Superkraft. Es verwendet eine Geometrische Widerspruchsmaschine. Stellen Sie sich einen Roboter vor, der die „Form" der Fakten misst. Wenn die Form von „Kaffee ist heiß" mit der Form von „Kaffee ist kalt" kollidiert, markiert der Roboter dies.
  • Kritische Details: Es unterscheidet zwischen einem Fehler und einer Korrektur. Wenn Sie sagen „Ändern Sie den Kaffee in Tee", versteht das System, dass Sie die Tafel absichtlich aktualisiert haben. Es bestraft die KI nicht dafür, dass sie Ihren Befehl befolgt hat, die Fakten zu ändern.

4. Der „Kürzeste Erinnerung"-Bonus

Das System weiß, dass sich Gespräche im Laufe der Zeit ändern. Es verwendet einen Gewichteten Trend der Kürze.

• Analogie: Denken Sie an ein Zeugnis eines Schülers. Wenn er am Montag eine Eins, am Dienstag eine Zwei und am Freitag eine Sechs bekommt, kümmert sich der Lehrer mehr um die Sechs, weil sie einen Trend zur Verschlechterung zeigt.
• SKG-Eval berechnet die Endpunktzahl, indem es die neuesten Runden stärker gewichtet, damit es erkennen kann, ob ein Gespräch besser wird oder langsam auseinanderfällt.

5. Warum dies wichtig ist (Das „Zertifikat")

Wenn ein herkömmlicher KI-Richter sagt „Das ist schlecht", ist dies oft eine Blackbox. Sie wissen nicht warum.
SKG-Eval gibt Ihnen ein Widerspruchs-Zertifikat.

• Analogie: Anstatt nur zu sagen „Sie haben durchgefallen", reicht es Ihnen ein Blatt Papier mit der Aufschrift: „Sie sind durchgefallen, weil Sie in Runde 4 sagten 'X ist Y', aber in Runde 1 bereits festgestellt hatten 'X ist Z'. Hier ist die genaue Schnur auf dem Whiteboard, die es beweist."

Zusammenfassung

SKG-Eval ist ein Werkzeug, das KI-Evaluatoren daran hindert, „Amnesiker" zu sein. Indem es Gespräche in eine strukturierte, visuelle Karte von Fakten und Beziehungen verwandelt, kann es Folgendes erkennen:

1. Widersprüche (Das Gegenteil sagen).
2. Abdriften (Das Thema ohne Vorwarnung ändern).
3. Vergessen (Früher festgelegte Regeln ignorieren).

Es tut dies, ohne eine „magische Blackbox"-KI zu benötigen, die die Antwort errät. Stattdessen verwendet es ein klares, schrittweises Logiksystem, das eine Punktzahl erzeugt, der Sie tatsächlich vertrauen und die Sie prüfen können. Es ist der Unterschied zwischen einem Lehrer, der nur einen flüchtigen Blick auf Ihre Hausaufgaben wirft, und einem, der Ihre Arbeit mit Ihren Notizen vom Beginn des Semesters vergleicht.

Technische Zusammenfassung

Technische Zusammenfassung: SKG-Eval

Problemstellung

Die Evaluierung von Mehrfach-Durchgangs-Dialogsystemen stellt eine fundamentale Herausforderung dar: Die Antwortqualität ist inhärent zustandsabhängig und zeitlich dynamisch. Eine Antwort kann lokal fließend und relevant erscheinen, aber global versagen, indem sie früheren Verpflichtungen widerspricht, vom ursprünglichen Benutzerabsicht abweicht oder etablierte Einschränkungen stillschweigend vergisst. Bestehende automatische Evaluierungsparadigmen, einschließlich LLM-as-a-judge-Protokollen und auf Embeddings basierenden Metriken, operieren weitgehend auf flachen oder einzelner-Durchgang-isolierten Repräsentationen. Folglich haben sie Schwierigkeiten, zuverlässig durchgängige Fehlermodi wie Widersprüche, Themenabweichungen und Inkonsistenzen bei Entitäten zu erkennen, insbesondere wenn Gespräche über wenige Durchgänge hinauswachsen. Darüber hinaus leiden LLM-Richter unter Nicht-Determinismus, unzuverlässigen Aufmerksamkeitsmustern über lange Historien hinweg und einer schlechten Recall-Leistung bei paraphrasierten oder numerischen Konflikten.

Methodik: SKG-Eval

Die Autoren schlagen SKG-Eval vor, ein quasi-deterministisches und interpretierbares Evaluierungsframework, das Dialoge als sich entwickelnden Semantischen Wissensgraphen (SKG) modelliert. Anstatt eine Antwort gegen einen flachen Textpräfix zu bewerten, aktualisiert SKG-Eval inkrementell einen strukturierten Graphen aus Entitäten, Relationen und dialogischen Verpflichtungen bei jedem Durchgang. Das Framework berechnet drei komplementäre Signale, die fusioniert und aggregiert werden, um einen Sitzungs-Level-Score zu erzeugen.

1. Inkrementeller Semantischer Wissensgraph (SKG)

Die Kernzustandsrepräsentation ist ein gerichteter Multigraph $G_t = (V_t, E_t)$, der bei jedem Durchgang $t$ aktualisiert wird.

• Knoten: Repräsentieren Entitäten mit Attributen, darunter normalisierte Labels, Entitätstypen (z. B. PERSON, OBJECT), Embeddings und Wichtigkeitswerte.
• Kanten: Repräsentieren faktische Behauptungen mit typisierten Metadaten (Relation, Attribut, Absicht, Eigenschaftstyp).
• Aktualisierungsmechanismus: Neue Tripel werden über einen deterministischen LLM-Aufruf extrahiert. Der Graph führt durchgängige Deduplizierung durch (Zusammenführung von Knoten mit hoher Embedding-Ähnlichkeit) und fügt semantische Kanten zwischen neuen und bestehenden Knoten basierend auf Embedding-Nähe hinzu.

2. Drei-Komponenten-Bewertung

Bei jedem Durchgang werden drei Scores berechnet:

• Lokale Relevanz ($S^{\text{loc}}_t$): Misst die Ausrichtung mit dem aktuellen Prompt und optionaler Referenz. Sie verwendet einen „Semantischen Dreieck"-Ansatz, der die maximale Kosinus-Ähnlichkeit zwischen den Antwortsätzen und dem Prompt/der Referenz berechnet, mit adaptiver Handhabung für kurze Antworten oder fehlende Referenzen.
• Historische Konsistenz ($S^{\text{cons}}_t$): Quantifiziert, wie neue Informationen mit dem vorherigen Zustand verbunden sind. Sie kombiniert:
  • Graph-Anker-Score: Gewichtet nach Knotenwichtigkeit, misst, ob neue Knoten über faktische Kanten (stärkste), semantische Kanten verbunden sind oder abdriften (isoliert).
  • Sitzungs-Anker: Ein Ausweichmechanismus, der die Ähnlichkeit der aktuellen Antwort zum Embedding des ersten Durchgangs nutzt, um thematische Kontinuität in Q&A-Sitzungen zu erfassen, bei denen eine Graph-Trennung strukturell erwartet wird.
• Logische Kohärenz ($S^{\text{log}}_t$): Die primäre Innovation, berechnet durch eine Geometrische Widerspruchs-Engine. Diese Engine erkennt Inkonsistenzen, ohne auf NLI-Modelle oder LLM-Richter für das Schlussfolgern angewiesen zu sein. Sie vergleicht aktuelle Kanten mit historischen Kanten unter Verwendung einer priorisierten Kaskade von Detektoren:
  • Symbolische Detektoren: Hochpräzise Prüfungen für Negationsumkehrungen, antonymische Relationen und numerische Missverhältnisse.
  • Geometrische Detektoren: Prüfungen auf exklusive-Objekt-Konflikte und semantische Abweichungen unter Verwendung von Embedding-Ähnlichkeiten.
  • Revisionsbewusstes Filtern: Identifiziert explizit benutzerautorisierte Revisionen (z. B. „ändere das zu...") und schließt sie von Widerspruchsprüfungen aus, um legitime Aktualisierungen nicht zu bestrafen.

3. Fusion und Aggregation

• Regime-adaptive Fusion: Die drei Scores werden über eine gewichtete Summe kombiniert, wobei die Gewichte vom Antwortregime (Kurz, Q&A oder Allgemein) abhängen. Harte Logik-Gatter stellen sicher, dass bestätigte Widersprüche nicht durch hohe Relevanzscores maskiert werden können.
• Sitzungs-Level-Aggregation: Der endgültige Sitzungs-Score $S(D)$ wird über eine recency-gewichtete Regression abgeleitet. Dies erfasst sowohl das aktuelle Qualitätsniveau (gewichteter Durchschnitt) als auch den zeitlichen Trend (Steigung) und stellt sicher, dass der Score widerspiegelt, ob sich das Gespräch über die Zeit verschlechtert oder verbessert, unabhängig von der Sitzungs Länge.

Hauptbeiträge

1. Zustandsbehaftete Dialogevaluierung durch explizites semantisches Gedächtnis: Formuliert die Evaluierung als Schlussfolgern über einen sich entwickelnden SKG, was eine strukturierte Analyse durchgängiger Abhängigkeiten und langreichweitiger Konsistenz ermöglicht.
2. Geometrische Widerspruchs-Engine: Ein deterministisches, revisionsbewusstes Framework zur Erkennung von Inkonsistenzen durch strukturierten Vergleich von Relationen und Objekten, das interpretierbare Widerspruchszertifikate ohne NLI-Modelle erzeugt.
3. Graph-verankerte historische Konsistenz: Führt eine Metrik ein, die semantische Konnektivität zu vorherigen Zuständen bewertet, ergänzt durch einen Sitzungs-Anker-Mechanismus für thematische Kontinuität.
4. Robuste lokale Relevanz: Eine triangulierte Metrik, die gemeinsam die Prompt-Ausrichtung und Referenzabdeckung mit adaptiven Ausweichmechanismen berücksichtigt.
5. Regime-adaptive Fusion und Trendanalyse: Eine dynamische Gewichtsstrategie und ein recency-gewichteter Regressions-Aggregator, die Qualitätstrends über lange Gespräche hinweg erfassen.
6. Interpretierbarkeit und Quasi-Determinismus: Bietet explizite Prüfpfade (Widerspruchszertifikate, semantische Anker) und deterministische Scores bei festen Eingaben, im Gegensatz zum Nicht-Determinismus von LLM-Richtern.

Experimentelle Ergebnisse

Die Autoren evaluierten SKG-Eval auf MT-Bench (kurze Horizonte) und MultiChallenge (lange Horizonte) und verglichen es mit Baselines wie ECoh, LLM-Eval, DeepEval und verschiedenen GPT-4o Judge-Konfigurationen.

• Ausrichtung mit menschlichen Urteilen: SKG-Eval erreichte auf beiden Benchmarks die höchste Korrelation mit menschlichen Bewertungen. Die Verbesserungen waren auf MultiChallenge am signifikantesten, wo SKG-Eval die beste history-aware LLM-Richter-Baseline um +0,13 in der Spearman-Korrelation für Sitzungs-Level-Scores übertraf.
• Widerspruchserkennung: Auf einem kontrollierten diagnostischen Benchmark (SKG-PROBE), der spezifische Fehlermodi (Negation, Antonyme, numerische Missverhältnisse, Abdrift) anvisierte, erreichte SKG-Eval einen mittleren F1-Wert von 79,8 % und übertraf damit signifikant LLM-basierte Richter (60,4 %) und andere Baselines. Es zeigte eine überlegene Recall-Leistung bei der Erkennung numerischer Substitutionen und antonymischer Widersprüche.
• Längen-Invarianz: Während Baseline-Evaluatoren mit zunehmender Sitzungs Länge an Leistung einbüßten, behielt SKG-Eval aufgrund seiner graph-indizierten Abrufmechanik historischer Behauptungen eine stabile Leistung über alle Längen-Bins hinweg bei.
• Rechnerische Effizienz: SKG-Eval ist deutlich günstiger als LLM-as-a-judge-Ansätze (ca. 0,71 $ vs. 27,1 $ für 1.000 Durchgänge) und vollständig reproduzierbar (deterministisch), wohingegen LLM-Richter eine Varianz über Decoding-Samen hinweg aufweisen.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass externalisierte Zustandsverfolgung durch strukturierte Repräsentationen eine prinzipielle Alternative zur impliziten Schlussfolgerung ist, die in LLM-basierten Evaluatoren für Dialogsysteme mit langen Horizonten verwendet wird.

• Schließen der Lücke: SKG-Eval füllt die Lücke eines Evaluators, der einen expliziten, zeitgestempelten Zustand faktischer Verpflichtungen aufrechterhält, durchgängige Widersprüche deterministisch und interpretierbar erkennt und Qualität auf eine längen-invariante Weise aggregiert.
• Interpretierbarkeit: Im Gegensatz zu „Black-Box"-Richtern erzeugt SKG-Eval Widerspruchszertifikate, die explizit die konfliktierenden Kanten, den Detektortyp und das Konfidenzniveau identifizieren, was eine auditierbare Evaluierung und Datensatzkuratierung ermöglicht.
• Skalierbarkeit: Durch die Entkopplung der Zustandsverfolgung vom Bewertungsmechanismus skaliert das Framework auf lange Gespräche, bei denen wiederholtes LLM-Prompting rechnerisch prohibitiv wird und anfällig für Kontextfenster-Begrenzungen ist.
• Einschränkungen: Die Autoren räumen ein, dass das Framework von der Qualität der upstream semantischen Tripel-Extraktion abhängt und primär für explizite semantische Inkonsistenzen optimiert ist, nicht für tiefe pragmatische Widersprüche, die externes Weltwissen erfordern.

Zusammenfassend postulieren die Autoren, dass SKG-Eval eine skalierbare, reproduzierbare und interpretierbare Methode zur Evaluierung der Konsistenz und Kohärenz von Mehrfach-Durchgangs-Dialogsystemen bietet, insbesondere in Szenarien, in denen langreichweitige logische Konsistenz kritisch ist.