SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs

SKG-Eval es un marco novedoso e interpretable que evalúa sistemas de diálogo de múltiples turnos construyendo incrementalmente un Grafo de Conocimiento Semántico para detectar inconsistencias y contradicciones de largo alcance mediante el seguimiento estructurado de estados, logrando una correlación más alta con los juicios humanos que las métricas existentes planas o aisladas por turno.

Lo esencial

Imagina que estás sentado en una conversación larga y compleja con un amigo. Comienzas acordando que "el café está caliente". Dos turnos después, tu amigo dice: "El café está frío", y cinco turnos después de eso, afirma: "El café es una roca sólida".

Si fueras un evaluador de IA estándar, podría examinar cada oración de forma aislada. "El café está frío" suena como una oración normal. "El café es una roca sólida" suena gramaticalmente correcta. La IA podría darle a tu amigo una puntuación alta por ser amable y fluido, pasando completamente por alto el hecho de que se está contradiciendo y perdiendo la cabeza.

Este es el problema que SKG-Eval resuelve. Es una nueva forma de calificar conversaciones de IA que actúa menos como un corrector ortográfico y más como un detective con una pizarra gigante y en evolución.

Así es como funciona, desglosado en conceptos simples:

1. El Problema: El Juez "Amnésico"

Los jueces actuales de IA (como pedirle a una IA superinteligente que califique a otra IA) suelen examinar una oración a la vez. Son como un juez que olvida todo lo que sucedió hace cinco minutos.

• El Defecto: Si una IA dice "Amo a los gatos" en el Turno 1, y luego "Odio a los gatos" en el Turno 10, un juez estándar podría no notarlo porque está demasiado ocupado mirando la gramática del Turno 10.
• El Resultado: Los sistemas de IA pueden desviarse del tema, olvidar reglas o contradecirse sin recibir penalización.

2. La Solución: La "Pizarra Viva" (Grafo de Conocimiento Semántico)

SKG-Eval no solo lee el texto; construye un mapa de la conversación a medida que ocurre. Imagina este mapa como una pizarra gigante y viva en un aula.

• Los Nodos (Notas Adhesivas): Cada vez que la IA menciona a una persona, objeto o hecho (como "café", "metabolismo" o "saltarse el desayuno"), lo escribe en una nota adhesiva y la coloca en la pizarra.
• Las Aristas (Cuerda): Ató estas notas entre sí con cuerda para mostrar cómo se relacionan (por ejemplo, "Café" $\rightarrow$ está caliente $\rightarrow$ "Líquido").
• La Actualización: A medida que la conversación continúa, la IA no comienza una página nueva; agrega a la misma pizarra. Si la IA intenta decir "El café está frío", el sistema ve la cuerda que conecta "Café" con "Caliente" y detecta inmediatamente el conflicto.

3. La Tarjeta de Calificación de Tres Partes

En lugar de dar una calificación vaga, SKG-Eval verifica tres cosas específicas por cada nueva oración que dice la IA:

• A. ¿Respondiste la pregunta? (Relevancia Local)

  • Analogía: ¿Realmente escuchaste lo que acabo de preguntar?
  • Verifica si la nueva oración coincide con la solicitud actual. Si preguntaste "¿Cómo está el clima?" y la IA dice "Me gusta la pizza", esta puntuación baja.

• B. ¿Estás recordando el pasado? (Consistencia Histórica)

  • Analogía: ¿Sigues hablando del mismo tema o te has desviado?
  • Verifica si las nuevas "notas adhesivas" se conectan con las antiguas en la pizarra. Si la conversación trataba sobre "café" y de repente la IA empieza a hablar de "cohetes espaciales" sin un puente, la puntuación baja.

• C. ¿Te estás contradiciendo? (Coherencia Lógica)

  • Analogía: El momento "¡Te pillé!".
  • Este es el superpoder. Utiliza un Motor de Contradicción Geométrica. Imagina un robot que mide la "forma" de los hechos. Si la forma de "El café está caliente" choca con la forma de "El café está frío", el robot lo marca.
  • Detalle Crucial: Conoce la diferencia entre un error y una corrección. Si dices: "Cambia el café por té", el sistema entiende que actualizaste intencionalmente la pizarra. No castiga a la IA por seguir tu orden de cambiar los hechos.

4. El Bono de "Memoria Reciente"

El sistema sabe que las conversaciones cambian con el tiempo. Utiliza una Tendencia Ponderada por Recencia.

• Analogía: Piensa en el boletín de calificaciones de un estudiante. Si obtiene una A el lunes, una B el martes y una F el viernes, al maestro le importa más la F porque muestra una tendencia de empeoramiento.
• SKG-Eval calcula la puntuación final ponderando más los turnos más recientes, para poder determinar si una conversación está mejorando o desmoronándose lentamente.

5. Por Qué Esto Importa (El "Certificado")

Cuando un juez estándar de IA dice "Esto es malo", a menudo es una caja negra. No sabes por qué.
SKG-Eval te entrega un Certificado de Contradicción.

• Analogía: En lugar de simplemente decir "Reprobaste", te entrega un papel que dice: "Reprobaste porque en el Turno 4 dijiste 'X es Y', pero en el Turno 1 ya habías establecido 'X es Z'. Aquí está la cuerda exacta en la pizarra que lo prueba".

Resumen

SKG-Eval es una herramienta que evita que los evaluadores de IA sean "amnésicos". Al convertir las conversaciones en un mapa estructurado y visual de hechos y relaciones, puede detectar:

1. Contradicciones (Decir cosas opuestas).
2. Desviación (Cambiar de tema sin aviso).
3. Olvido (Ignorar reglas establecidas anteriormente).

Lo hace sin necesitar una IA de "caja negra mágica" para adivinar la respuesta. En su lugar, utiliza un sistema de lógica claro y paso a paso que produce una puntuación en la que realmente puedes confiar y auditar. Es la diferencia entre un maestro que solo echa un vistazo a tus tareas y uno que verifica tu trabajo contra tus apuntes desde el principio del semestre.

Resumen técnico

Resumen Técnico: SKG-Eval

Enunciado del Problema

Evaluar sistemas de diálogo multi-vuelta presenta un desafío fundamental: la calidad de la respuesta es intrínsecamente dependiente del estado y temporal. Una respuesta puede parecer localmente fluida y relevante, pero fallar globalmente al contradecir compromisos previos, desviarse de la intención original del usuario o olvidar silenciosamente restricciones establecidas. Los paradigmas de evaluación automática existentes, incluidos los protocolos de LLM como juez y las métricas basadas en incrustaciones, operan en gran medida sobre representaciones planas o aisladas por turno. En consecuencia, luchan por detectar de manera fiable modos de fallo entre turnos, como contradicciones, deriva temática e inconsistencia de entidades, especialmente a medida que las conversaciones crecen más allá de unos pocos turnos. Además, los jueces LLM sufren de no determinismo, patrones de atención poco fiables sobre historias largas y un bajo recuerdo para conflictos parafraseados o numéricos.

Metodología: SKG-Eval

Los autores proponen SKG-Eval, un marco de evaluación cuasi-determinista e interpretable que modela el diálogo como un Grafo de Conocimiento Semántico (SKG) en evolución. En lugar de puntuar una respuesta contra un prefijo de texto plano, SKG-Eval actualiza incrementalmente un grafo estructurado de entidades, relaciones y compromisos conversacionales en cada turno. El marco calcula tres señales complementarias que se fusionan y agregan para producir una puntuación a nivel de sesión.

1. Grafo de Conocimiento Semántico Incremental (SKG)

La representación central del estado es un multigrafo dirigido $G_t = (V_t, E_t)$ actualizado en cada turno $t$.

• Nodos: Representan entidades con atributos que incluyen etiquetas normalizadas, tipos de entidad (por ejemplo, PERSONA, OBJETO), incrustaciones y puntuaciones de importancia.
• Aristas: Representan afirmaciones fácticas con metadatos tipificados (relación, atributo, intención, tipo de propiedad).
• Mecanismo de Actualización: Las nuevas tripletes se extraen mediante una llamada determinista a un LLM. El grafo realiza la deduplicación entre turnos (fusionando nodos con alta similitud de incrustación) y añade aristas semánticas entre nodos nuevos y existentes basándose en la proximidad de las incrustaciones.

2. Puntuación de Tres Componentes

En cada turno, se calculan tres puntuaciones:

• Relevancia Local ($S^{\text{loc}}_t$): Mide la alineación con el prompt actual y la referencia opcional. Utiliza un enfoque de "Triángulo Semántico", calculando la máxima similitud del coseno entre las oraciones de la respuesta y el prompt/la referencia, con un manejo adaptativo para respuestas cortas o referencias faltantes.
• Consistencia Histórica ($S^{\text{cons}}_t$): Cuantifica cómo la nueva información se conecta con el estado anterior. Combina:
  • Puntuación de Anclaje del Grafo: Ponderada por la importancia del nodo, midiendo si los nuevos nodos se conectan mediante aristas fácticas (más fuertes), aristas semánticas, o si están desviados (aislados).
  • Anclaje de Sesión: Un mecanismo de respaldo que utiliza la similitud de la respuesta actual con la incrustación del primer turno para capturar la continuidad temática en sesiones de preguntas y respuestas donde la desconexión del grafo es estructuralmente esperada.
• Coherencia Lógica ($S^{\text{log}}_t$): La innovación principal, calculada por un Motor de Contradicción Geométrica. Este motor detecta inconsistencias sin depender de modelos NLI o jueces LLM para el razonamiento. Compara las aristas actuales con las aristas históricas utilizando una cascada priorizada de detectores:
  • Detectores Simbólicos: Comprobaciones de alta precisión para inversiones de negación, relaciones antónimas y discrepancias numéricas.
  • Detectores Geométricos: Comprobaciones de conflictos de objetos exclusivos y deriva semántica utilizando similitudes de incrustación.
  • Filtrado Consciente de Revisión: Identifica explícitamente las revisiones autorizadas por el usuario (por ejemplo, "cambia eso por...") y las excluye de las comprobaciones de contradicción para evitar penalizar actualizaciones legítimas.

3. Fusión y Agregación

• Fusión Adaptativa al Régimen: Las tres puntuaciones se combinan mediante una suma ponderada donde los pesos dependen del régimen de respuesta (Corta, Pregunta y Respuesta, o General). Puertas lógicas estrictas aseguran que las contradicciones confirmadas no puedan ser enmascaradas por puntuaciones de alta relevancia.
• Agregación a Nivel de Sesión: La puntuación final de la sesión $S(D)$ se deriva mediante una regresión ponderada por recencia. Esto captura tanto el nivel de calidad actual (promedio ponderado) como la tendencia temporal (pendiente), asegurando que la puntuación refleje si la conversación se está degradando o mejorando con el tiempo, independientemente de la longitud de la sesión.

Contribuciones Clave

1. Evaluación de Diálogo Dependiente del Estado mediante Memoria Semántica Explícita: Formula la evaluación como razonamiento sobre un SKG en evolución, permitiendo un análisis estructurado de dependencias entre turnos y consistencia a largo alcance.
2. Motor de Contradicción Geométrica: Un marco determinista y consciente de revisiones para detectar inconsistencias mediante la comparación estructurada de relaciones y objetos, produciendo certificados de contradicción interpretables sin modelos NLI.
3. Consistencia Histórica Anclada en Grafos: Introduce una métrica que evalúa la conectividad semántica con estados anteriores, aumentada por un mecanismo de anclaje de sesión para la continuidad temática.
4. Relevancia Local Robusta: Una métrica triangulada que considera conjuntamente la alineación con el prompt y la cobertura de referencias con respaldos adaptativos.
5. Fusión Adaptativa al Régimen y Análisis de Tendencias: Una estrategia de ponderación dinámica y un agregador de regresión ponderado por recencia que captura tendencias de calidad en conversaciones largas.
6. Interpretabilidad y Cuasi-Determinismo: Proporciona registros de auditoría explícitos (certificados de contradicción, anclajes semánticos) y puntuaciones deterministas dadas entradas fijas, contrastando con el no determinismo de los jueces LLM.

Resultados Experimentales

Los autores evaluaron SKG-Eval en MT-Bench (horizonte corto) y MultiChallenge (horizonte largo), comparándolo con líneas base que incluyen ECoh, LLM-Eval, DeepEval y varias configuraciones de Juez GPT-4o.

• Alineación con Juicios Humanos: SKG-Eval logró la mayor correlación con las calificaciones humanas en ambas pruebas. Las ganancias fueron más significativas en MultiChallenge, donde SKG-Eval superó a la mejor línea base de juez LLM consciente de la historia en +0.13 en la correlación de Spearman para puntuaciones a nivel de sesión.
• Detección de Contradicciones: En una prueba diagnóstica controlada (SKG-PROBE) dirigida a modos de fallo específicos (negación, antónimos, discrepancia numérica, deriva), SKG-Eval logró una F1 media del 79.8%, superando significativamente a los jueces basados en LLM (60.4%) y otras líneas base. Demostró un recuerdo superior en la detección de sustituciones numéricas y contradicciones antónimas.
• Invarianza de Longitud: Mientras que los evaluadores de línea base se degradaban a medida que aumentaba la longitud de la sesión, SKG-Eval mantuvo un rendimiento estable en todos los intervalos de longitud debido a su recuperación de afirmaciones históricas indexada por grafo.
• Eficiencia Computacional: SKG-Eval es significativamente más barato que los enfoques de LLM como juez (aprox. $0.71 vs $27.1 para 1,000 turnos) y es totalmente reproducible (determinista), mientras que los jueces LLM exhiben variación a través de semillas de decodificación.

Significado y Afirmaciones

El artículo argumenta que el seguimiento de estado externalizado mediante representaciones estructuradas es una alternativa principista al razonamiento implícito utilizado en los evaluadores basados en LLM para sistemas de diálogo de horizonte largo.

• Abordando la Brecha: SKG-Eval llena el vacío de un evaluador que mantiene un estado explícito y con marca de tiempo de compromisos fácticos, detecta contradicciones entre turnos de manera determinista e interpretable, y agrega calidad de una manera invariante a la longitud.
• Interpretabilidad: A diferencia de los jueces de "caja negra", SKG-Eval produce certificados de contradicción que identifican explícitamente las aristas conflictivas, el tipo de detector y la confianza, permitiendo una evaluación auditable y curación de conjuntos de datos.
• Escalabilidad: Al desacoplar el seguimiento del estado del mecanismo de puntuación, el marco escala a conversaciones largas donde la repetición de prompts a LLM se vuelve computacionalmente prohibitiva y propensa a limitaciones de ventana de contexto.
• Limitaciones: Los autores reconocen que el marco depende de la calidad de la extracción de tripletes semánticos aguas arriba y está optimizado principalmente para inconsistencia semántica explícita en lugar de contradicciones pragmáticas profundas que requieren conocimiento mundial externo.

En conclusión, los autores postulan que SKG-Eval ofrece un método escalable, reproducible e interpretable para evaluar la consistencia y coherencia de los sistemas de diálogo multi-vuelta, particularmente en escenarios donde la consistencia lógica a largo alcance es crítica.