Knowledge-Graph-Gated Defactualization for Style-Controllable and Fact-Preserving Generation in Agentic Conversational AI

Planteamiento del problema

Los Modelos de Lenguaje de Gran Escala (LLM) agénticos desplegados en dominios sensibles a los hechos, como la atención al cliente, enfrentan una doble restricción: deben generar respuestas en un registro estilístico específico (por ejemplo, empático o formal) mientras preservan estrictamente la corrección fáctica respecto a entidades específicas (por ejemplo, IDs de pedido, nombres de productos, nombres de clientes).

Los enfoques existentes no logran abordar ambas restricciones simultáneamente sin realizar concesiones:

• El ajuste fino (Fine-tuning) integra el estilo en los pesos, pero requiere reentrenamiento para cada estilo y modelo.
• La Generación Aumentada por Recuperación (RAG) proporciona contexto, pero deja al modelo con la libertad de parafrasear o eliminar entidades críticas.
• El Control de Activación (Activation Steering) permite el control de estilo sin ajuste fino mediante la perturbación de los estados ocultos, pero carece de un mecanismo para distinguir tokens fácticos de los estilísticos. Esto conduce a una filtración semántica (semantic leakage), donde los vectores de control alteran o sustituyen inadvertidamente entidades fácticas, o donde los marcadores estilísticos se transfieren inapropiadamente a los segmentos de las entidades.

El desafío central es desacoplar el control estilístico de la fundamentación fáctica sin modificar los pesos del modelo ni requerir que el vector de control sea específico para cada mensaje.

Metodología: Defactualize-Steer-Rehydrate (DSR)

Los autores proponen DSR, un marco neuro-simbólico de siete etapas sin necesidad de entrenamiento que integra un Grafo de Conocimiento (KG) tipado y ponderado por saliencia con el control de activación. El proceso opera de la siguiente manera:

1. Extracción de conocimiento y construcción del KG:

   • Los mensajes de entrada se procesan a través de un pipeline por capas (regex, NER y clasificadores léxicos) para extraer entidades y atributos (Nombre del Cliente, ID de Pedido, Producto, Problema, Urgencia, Sentimiento).
   • Se construye un Grafo de Conocimiento dirigido y tipado $G=(V, E)$. A los nodos se les asigna una puntuación de saliencia ($sal \in [0, 1]$) basada en la confianza de extracción y la corroboración (por ejemplo, la coincidencia con metadatos aumenta la saliencia).
   • Los pesos de las aristas se definen multiplicativamente ($w(u,v) = sal(u) \cdot sal(v)$), asegurando que los puntos finales de baja confianza supriman la confiabilidad de la arista.

2. Desfactualización (Pre-Steering):

   • Antes de que ocurra cualquier control de activación, el texto de entrada se reescribe reemplazando todos los valores de las entidades extraídas con marcadores de posición tipados (por ejemplo, <ORDER_ID>, <PRODUCT>).
   • Esto crea un prompt "desfactualizado" donde el esquema fáctico está enmascarado, asegurando que los pares contrastivos utilizados para estimar los vectores de control no contengan ruido de entidades específicas.

3. Construcción del vector de control contrastivo:

   • Los vectores de control ($v_s$) para estilos específicos (por ejemplo, empático frente a formal) se estiman utilizando Análisis de Componentes Principales (PCA) sobre la diferencia de las activaciones agrupadas de los pares de prompts contrastivos.
   • Crucialmente, estos vectores se estiman únicamente sobre el vocabulario de marcadores de posición, asegurando que la dirección represente el estilo puro y no el contenido específico.

4. Generación controlada (Steered Generation):

   • El prompt desfactualizado se introduce en el LLM congelado.
   • En una capa de transformador seleccionada $L$, el estado oculto se perturba de forma aditiva: $h'_L(t) = h_L(t) + \alpha v_s$.
   • El modelo genera una respuesta en el estilo objetivo, pero la salida contiene marcadores de posición en lugar de hechos reales.

5. Rehidratación y Verificación (Post-Generación):

   • La salida generada se "rehidrata" de forma determinista sustituyendo los marcadores de posición con los valores verificados de mayor saliencia del KG original.
   • Este paso es una búsqueda simbólica, no un proceso generativo, lo que garantiza que no se introduzcan nuevas alucinaciones durante la restauración.
   • Existe un mecanismo de respaldo para salidas malformadas (por ejemplo, marcadores de posición truncados), aunque no se observaron durante la evaluación.

Contribuciones Clave

1. Pipeline de Ingeniería de Datos: Un marco de extracción por capas sin entrenamiento que construye un KG tipado y con saliencia de los mensajes de soporte no estructurados usando regex, NER y clasificadores.
2. Arquitectura DSR: Una separación estructural del control fáctico (mediante el enmascaramiento/rehidratación del KG) y el control estilístico (mediante el control de activación). El KG actúa como una compuerta, asegurando que el operador de control nunca esté expuesto a los valores de las entidades sin enmascarar.
3. Suite de Diagnóstico: Introducción de tres métricas para evaluar la interacción entre el estilo y los hechos:
   • Fidelidad de Activación de Control (SAF): Mide qué tan bien el estado oculto se alinea con la dirección de estilo pretendida.
     ales
   • Índice de Severidad de Alucinación (HSI): Mide la filtración de entidades (entidades en la salida que no están presentes en la entrada).
   • Índice de Consistencia de Tono (TCI): Mide la alineación con el estilo solicitado en relación con su opuesto.
4. Evaluación Exhaustiva: Un estudio extenso a través de seis modelos de la familia LLaMA (1B–13B parámetros) y 1,200 generaciones, incluyendo un estudio de ablación de KG dedicado.

Resultos Experimentales

• Recuperación de Entidades: El pipeline DSR con control de KG mejoró significativamente la recuperación de entidades verificadas en comparación con un baseline de solo control de activación (Cohen's $d = 0.225$, $p_{Bonf} = 1.0 \times 10^{-4}$). Sin embargo, los autores señalan que la tasa de recuperación absoluta sigue siendo modesta (de un dígito bajo a un porcentaje bajo de decenas), lo que indica que el método mejora pero no garantiza una fundamentación fáctica completa.
• Preservación de Estilo: Todas las métricas de fidelidad de estilo (empatía, formalidad, legibilidad, diversidad léxica) permanecieron estadísticamente sin cambios entre el DSR y los baselines de solo control de activación. Esto confirma que la capa de KG no degrada el control de estilo.
• Integridad de los Marcadores de Posición: A través de 1,200 generaciones y seis modelos, la filtración de marcadores de posición fue exactamente cero. El operador de rehidratación restauró con éxito los valores verificados o eliminó los marcadores sin dejar tokens sueltos.
• Independencia del Modelo: Las estadísticas estructurales del KG (número de nodos, densidad, saliencia media) fueron casi invariantes en los seis modelos host, confirmando que la capa de conocimiento es una propiedad del pipeline de extracción, no del modelo.
• Efectos de Escala: No se observó un escalado monotónico de la fidelidad de estilo o la fundamentación fáctica con el recuento de parámetros (1B–13B). Las condiciones de entrada (tipo de escenario) explicaron más la varianza en la fundamentación fáctica que la identidad del modelo.
• Sensibilidad de la Capa: Los diagnósticos revelaron una relación no monotónica entre la fuerza de control ($\alpha$) y la consistencia del tono en algunos modelos, mientras que la severidad de la alucinación se saturó rápidamente. Esto sugiere una región operativa donde los diagnósticos de alucinación se vuelven insensibles a la fuerza de control.

Significancia y Reivindicaciones

El artículo sostiene que la ingeniería de conocimiento explícita puede mejorar sistemáticamente la confiabilidad, la controlabilidad y la reproducibilidad de la IA generativa sin requerir el ajuste fino del modelo.

• Mejora Sistemática: Al tratar la fundamentación fáctica como una restricción estructural (enmascaramiento y rehidratación) en lugar de un problema de aprendizaje estadístico, DSR mitiga la filtración semántica.
• Complementariedad: El marco está diseñado para ser complementario a los métodos de aumento por recuperación; preserva los hechos ya presentes en la entrada, pero no introduce conocimiento externo.
• Transparencia: El uso de un KG tipado y la rehidratación determinista proporciona una vía de decisión auditable, alineándose con los paradigmas de integración neuro-simbólica.

Los autores mantienen la modestia en sus afirmaciones, reconociendo que, si bien DSR mejora significativamente la preservación de entidades en relación con los baselines, no resuelve completamente el problema de la fundamentación de entidades, y el tamaño del efecto es limitado. El trabajo establece una prueba de concepto de que separar las restricciones fácticas y estilísticas a nivel de representación es un camino viable hacia una IA agéntica más confiable.