SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs

SKG-Eval est un cadre novateur et interprétable qui évalue les systèmes de dialogue multi-tours en construisant progressivement un graphe de connaissances sémantique pour détecter les incohérences et les contradictions à longue portée grâce à un suivi structuré de l'état, atteignant une corrélation plus élevée avec les jugements humains que les métriques plates ou isolées par tour existantes.

L'essentiel

Imaginez que vous êtes assis dans une longue et complexe conversation avec un ami. Vous commencez par convenir que « le café est chaud ». Deux tours plus tard, votre ami dit : « Le café est froid », puis cinq tours après cela, il affirme : « Le café est un rocher solide ».

Si vous étiez un évaluateur d'IA standard, il pourrait examiner chaque phrase isolément. « Le café est froid » ressemble à une phrase normale. « Le café est un rocher solide » semble grammaticalement correct. L'IA pourrait attribuer à votre ami une note élevée pour sa politesse et sa fluidité, manquant complètement le fait qu'il se contredit et perd la tête.

C'est le problème que SKG-Eval résout. C'est une nouvelle façon de noter les conversations d'IA qui agit moins comme un correcteur orthographique et plus comme un détective avec un tableau blanc géant et évolutif.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le Juge « Amnésique »

Les juges d'IA actuels (comme demander à une IA ultra-intelligente de noter une autre IA) examinent généralement une phrase à la fois. Ils sont comme un juge qui oublie tout ce qui s'est passé il y a cinq minutes.

• Le Défaut : Si une IA dit « J'aime les chats » au Tour 1, puis « Je déteste les chats » au Tour 10, un juge standard pourrait le manquer car il est trop occupé à examiner la grammaire du Tour 10.
• Le Résultat : Les systèmes d'IA peuvent dériver hors sujet, oublier des règles ou se contredire sans être pénalisés.

2. La Solution : Le « Tableau Blanc Vivant » (Graphe de Connaissances Sémantiques)

SKG-Eval ne se contente pas de lire le texte ; il construit une carte de la conversation au fur et à mesure qu'elle se déroule. Imaginez cette carte comme un giant tableau blanc vivant dans une salle de classe.

• Les Nœuds (Post-it) : Chaque fois que l'IA mentionne une personne, un objet ou un fait (comme « café », « métabolisme » ou « sauter le petit-déjeuner »), elle l'écrit sur un post-it et le place sur le tableau.
• Les Arêtes (Fil) : Elle relie ces notes avec du fil pour montrer comment elles sont liées (par exemple, « Café » $\rightarrow$ est chaud $\rightarrow$ « Liquide »).
• La Mise à Jour : À mesure que la conversation continue, l'IA ne commence pas une nouvelle page ; elle ajoute au même tableau. Si l'IA tente de dire « Le café est froid », le système voit le fil reliant « Café » à « Chaud » et repère immédiatement le conflit.

3. La Note en Trois Parties

Au lieu de donner une note vague, SKG-Eval vérifie trois éléments spécifiques pour chaque nouvelle phrase que l'IA dit :

• A. Avez-vous répondu à la question ? (Pertinence Locale)

  • Analogie : Avez-vous réellement écouté ce que je viens de demander ?
  • Il vérifie si la nouvelle phrase correspond à l'invite actuelle. Si vous demandez « Quel temps fait-il ? » et que l'IA répond « J'aime la pizza », cette note baisse.

• B. Vous souvenez-vous du passé ? (Cohérence Historique)

  • Analogie : Parlez-vous toujours du même sujet, ou avez-vous dérivé ?
  • Il vérifie si les nouveaux « post-it » se connectent aux anciens sur le tableau blanc. Si la conversation portait sur le « café » et que soudainement l'IA commence à parler de « fusées spatiales » sans transition, la note baisse.

• C. Vous contredisez-vous ? (Cohérence Logique)

  • Analogie : Le moment « Aïe ! ».
  • C'est le super-pouvoir. Il utilise un Moteur de Contradiction Géométrique. Imaginez un robot qui mesure la « forme » des faits. Si la forme de « Le café est chaud » heurte celle de « Le café est froid », le robot l'indique.
  • Détail Crucial : Il fait la différence entre une erreur et une correction. Si vous dites « Changez le café en thé », le système comprend que vous avez intentionnellement mis à jour le tableau. Il ne pénalise pas l'IA pour avoir suivi votre ordre de modifier les faits.

4. Le Bonus « Mémoire Récente »

Le système sait que les conversations évoluent avec le temps. Il utilise une Tendance Pondérée par la Récence.

• Analogie : Pensez au bulletin scolaire d'un élève. S'il obtient un A lundi, un B mardi et un E vendredi, l'enseignant se soucie davantage de l'E car cela montre une tendance à la détérioration.
• SKG-Eval calcule la note finale en pondérant les tours les plus récents plus lourdement, afin de déterminer si une conversation s'améliore ou se désintègre lentement.

5. Pourquoi Cela Compte (Le « Certificat »)

Lorsqu'un juge d'IA standard dit « C'est mauvais », c'est souvent une boîte noire. Vous ne savez pas pourquoi.
SKG-Eval vous remet un Certificat de Contradiction.

• Analogie : Au lieu de simplement dire « Vous avez échoué », il vous remet un papier qui dit : « Vous avez échoué car au Tour 4, vous avez dit « X est Y », mais au Tour 1, vous aviez déjà établi « X est Z ». Voici le fil exact sur le tableau blanc qui le prouve. »

Résumé

SKG-Eval est un outil qui empêche les évaluateurs d'IA d'être des « amnésiques ». En transformant les conversations en une carte structurée et visuelle de faits et de relations, il peut détecter :

1. Les Contradictions (Dire des choses opposées).
2. Les Dérives (Changer de sujet sans prévenir).
3. Les Oublis (Ignorer des règles établies plus tôt).

Il fait cela sans avoir besoin d'une IA « boîte noire magique » pour deviner la réponse. Au lieu de cela, il utilise un système logique clair et étape par étape qui produit une note à laquelle vous pouvez réellement faire confiance et que vous pouvez auditer. C'est la différence entre un enseignant qui jette juste un coup d'œil à vos devoirs et un autre qui vérifie votre travail par rapport à vos notes du début du semestre.

Résumé technique

Résumé Technique : SKG-Eval

Énoncé du Problème

L'évaluation des systèmes de dialogue multi-tours présente un défi fondamental : la qualité de la réponse est intrinsèquement étatique et temporelle. Une réponse peut sembler localement fluide et pertinente mais échouer globalement en contredisant des engagements antérieurs, en s'écartant de l'intention initiale de l'utilisateur, ou en oubliant silencieusement des contraintes établies. Les paradigmes d'évaluation automatique existants, y compris les protocoles LLM-as-a-judge et les métriques basées sur les plongements, fonctionnent largement sur des représentations plates ou isolées par tour. Par conséquent, ils peinent à détecter de manière fiable les modes d'échec inter-tours tels que la contradiction, la dérive de sujet et l'incohérence des entités, en particulier lorsque les conversations dépassent quelques tours. De plus, les juges LLM souffrent de non-déterminisme, de motifs d'attention peu fiables sur les histoires longues et d'une faible récupération pour les conflits paraphrasés ou numériques.

Méthodologie : SKG-Eval

Les auteurs proposent SKG-Eval, un cadre d'évaluation quasi-déterministe et interprétable qui modélise le dialogue comme un Graphe de Connaissances Sémantiques (SKG) évolutif. Au lieu de noter une réponse par rapport à un préfixe de texte plat, SKG-Eval met à jour de manière incrémentale un graphe structuré d'entités, de relations et d'engagements conversationnels à chaque tour. Le cadre calcule trois signaux complémentaires qui sont fusionnés et agrégés pour produire un score au niveau de la session.

1. Graphe de Connaissances Sémantiques Incrémental (SKG)

La représentation d'état centrale est un multigraphe orienté $G_t = (V_t, E_t)$ mis à jour à chaque tour $t$.

• Nœuds : Représentent des entités avec des attributs incluant des étiquettes normalisées, des types d'entités (par ex. PERSONNE, OBJET), des plongements et des scores d'importance.
• Arêtes : Représentent des affirmations factuelles avec des métadonnées typées (relation, attribut, intention, type de propriété).
• Mécanisme de Mise à Jour : De nouvelles triplets sont extraits via un appel LLM déterministe. Le graphe effectue une déduplication inter-tours (fusion des nœuds ayant une forte similarité de plongement) et ajoute des arêtes sémantiques entre les nouveaux nœuds et les nœuds existants basées sur la proximité des plongements.

2. Notation à Trois Composantes

À chaque tour, trois scores sont calculés :

• Pertinence Locale ($S^{\text{loc}}_t$) : Mesure l'alignement avec l'invite actuelle et la référence optionnelle. Elle utilise une approche de "Triangle Sémantique", calculant la similarité cosinus maximale entre les phrases de la réponse et l'invite/référence, avec une gestion adaptative pour les réponses courtes ou les références manquantes.
• Cohérence Historique ($S^{\text{cons}}_t$) : Quantifie comment les nouvelles informations se connectent à l'état antérieur. Elle combine :
  • Score d'Ancrage Graphique : Pondéré par l'importance des nœuds, mesurant si les nouveaux nœuds se connectent via des arêtes factuelles (le plus fort), des arêtes sémantiques, ou sont dérivés (isolés).
  • Ancrage de Session : Un mécanisme de repli utilisant la similarité de la réponse actuelle avec le plongement du premier tour pour capturer la continuité thématique dans les sessions Q/R où la déconnexion graphique est structurellement attendue.
• Cohérence Logique ($S^{\text{log}}_t$) : L'innovation principale, calculée par un Moteur de Contradiction Géométrique. Ce moteur détecte les incohérences sans s'appuyer sur des modèles NLI ou des juges LLM pour le raisonnement. Il compare les arêtes actuelles aux arêtes historiques en utilisant une cascade priorisée de détecteurs :
  • Détecteurs Symboliques : Vérifications haute précision pour les inversions de négation, les relations antonymiques et les incohérences numériques.
  • Détecteurs Géométriques : Vérifications des conflits d'objets exclusifs et de la dérive sémantique en utilisant les similarités de plongements.
  • Filtrage Sensible aux Révisions : Identifie explicitement les révisions autorisées par l'utilisateur (par ex. "changez cela en...") et les exclut des vérifications de contradiction pour éviter de pénaliser les mises à jour légitimes.

3. Fusion et Agrégation

• Fusion Adaptative au Régime : Les trois scores sont combinés via une somme pondérée où les poids dépendent du régime de réponse (Court, Q/R, ou Général). Des portes logiques strictes garantissent que les contradictions confirmées ne peuvent pas être masquées par des scores de pertinence élevés.
• Agrégation au Niveau de la Session : Le score final de session $S(D)$ est dérivé via une régression pondérée par la récence. Cela capture à la fois le niveau de qualité actuel (moyenne pondérée) et la tendance temporelle (pente), garantissant que le score reflète si la conversation se dégrade ou s'améliore au fil du temps, indépendamment de la longueur de la session.

Contributions Clés

1. Évaluation de Dialogue Étatique via Mémoire Sémantique Explicite : Formule l'évaluation comme un raisonnement sur un SKG évolutif, permettant une analyse structurée des dépendances inter-tours et de la cohérence à long terme.
2. Moteur de Contradiction Géométrique : Un cadre déterministe et sensible aux révisions pour détecter les incohérences par comparaison structurée des relations et des objets, produisant des certificats de contradiction interprétables sans modèles NLI.
3. Cohérence Historique Ancrée sur le Graphe : Introduit une métrique évaluant la connectivité sémantique aux états antérieurs, augmentée par un mécanisme d'ancrage de session pour la continuité thématique.
4. Pertinence Locale Robuste : Une métrique triangulée qui considère conjointement l'alignement avec l'invite et la couverture de la référence avec des replis adaptatifs.
5. Fusion Adaptative au Régime et Analyse de Tendance : Une stratégie de pondération dynamique et un agrégateur de régression pondéré par la récence qui capture les tendances de qualité à travers les longues conversations.
6. Interprétabilité et Quasi-Déterminisme : Fournit des pistes d'audit explicites (certificats de contradiction, ancres sémantiques) et des scores déterministes pour des entrées fixes, contrastant avec le non-déterminisme des juges LLM.

Résultats Expérimentaux

Les auteurs ont évalué SKG-Eval sur MT-Bench (horizon court) et MultiChallenge (horizon long), en le comparant à des bases de référence incluant ECoh, LLM-Eval, DeepEval et diverses configurations de juge GPT-4o.

• Alignement avec les Jugements Humains : SKG-Eval a obtenu la corrélation la plus élevée avec les notes humaines sur les deux benchmarks. Les gains ont été les plus significatifs sur MultiChallenge, où SKG-Eval a surpassé la meilleure base de référence de juge LLM conscient de l'historique de +0,13 en corrélation de Spearman pour les scores au niveau de la session.
• Détection de Contradiction : Sur un benchmark diagnostique contrôlé (SKG-PROBE) ciblant des modes d'échec spécifiques (négation, antonymes, incohérence numérique, dérive), SKG-Eval a atteint un F1 moyen de 79,8 %, surpassant significativement les juges basés sur LLM (60,4 %) et les autres bases de référence. Il a démontré une récupération supérieure dans la détection des substitutions numériques et des contradictions antonymiques.
• Invariance de Longueur : Alors que les évaluateurs de base se dégradaient à mesure que la longueur de la session augmentait, SKG-Eval a maintenu des performances stables sur tous les intervalles de longueur grâce à sa récupération indexée par graphe des affirmations historiques.
• Efficacité Computationnelle : SKG-Eval est nettement moins coûteux que les approches LLM-as-a-judge (environ 0,71 $ contre 27,1 $ pour 1 000 tours) et est entièrement reproductible (déterministe), alors que les juges LLM présentent une variance selon les graines de décodage.

Signification et Revendications

L'article soutient que le suivi d'état externalisé via des représentations structurées est une alternative principielle au raisonnement implicite utilisé dans les évaluateurs basés sur LLM pour les systèmes de dialogue à horizon long.

• Combler le Vide : SKG-Eval comble le vide d'un évaluateur qui maintient un état explicite et horodaté des engagements factuels, détecte les contradictions inter-tours de manière déterministe et interprétable, et agrège la qualité de manière invariante à la longueur.
• Interprétabilité : Contrairement aux juges "boîte noire", SKG-Eval produit des certificats de contradiction qui identifient explicitement les arêtes conflictuelles, le type de détecteur et la confiance, permettant une évaluation auditable et une curation de jeux de données.
• Évolutivité : En découplant le suivi d'état du mécanisme de notation, le cadre s'adapte aux longues conversations où les appels LLM répétés deviennent computationnellement prohibitifs et sujets aux limitations de la fenêtre de contexte.
• Limites : Les auteurs reconnaissent que le cadre repose sur la qualité de l'extraction de triplets sémantiques en amont et est principalement optimisé pour l'incohérence sémantique explicite plutôt que pour les contradictions pragmatiques profondes nécessitant une connaissance externe du monde.

En conclusion, les auteurs postulent que SKG-Eval offre une méthode évolutive, reproductible et interprétable pour évaluer la cohérence et la cohérence des systèmes de dialogue multi-tours, en particulier dans les scénarios où la cohérence logique à long terme est critique.