Resumen Técnico: Continuación Fundada: Un Verificador de Tiempo de Ejecución de Complejidad Lineal para Conversaciones de LLM

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) desplegados en conversaciones de múltiples turnos a menudo generan continuaciones que son localmente fluidas y pragmáticamente plausibles, pero desconectadas de la historia establecida de la conversación. Estas salidas pueden basarse en premisas, observaciones o hipótesis que la conversación ya ha abandonado o revisado. Esta "brecha de fundamentación" es empíricamente severa: estudios indican que los LLM no logran revisar suposiciones incorrectas incluso cuando giros posteriores las contradicen, lo que conduce a una caída significativa del rendimiento en configuraciones de múltiples turnos en comparación con las interacciones de un solo turno. Además, esta brecha es explotada activamente por ataques de manipulación del contexto, donde los agentes producen continuaciones que son localmente consistentes pero desconectadas de los compromisos previos, potencialmente desencadenando acciones no autorizadas.

Las soluciones existentes, como la Generación Aumentada por Recuperación (RAG), abordan la fundamentación externa (rastrear afirmaciones hasta documentos citados) pero fallan en la fundamentación interaccional (rastrear afirmaciones hasta los compromisos evolutivos propios de la conversación). Los sistemas de memoria conversacional suelen rastrear qué se dijo, pero carecen del mapa de dependencias estructurales que conecta las declaraciones con las conclusiones derivadas de ellas.

Metodología

Los autores proponen un verificador de tiempo de ejecución que mantiene un grafo de dependencias explícito para rastrear el origen de las afirmaciones a lo largo de una conversación. El sistema opera mediante una arquitectura híbrida compuesta por un Interpretador de LLM y un Motor Simbólico.

1. Fundamento Formal

El verificador se basa en cuatro formalismos:

• Lógica Epistémica Dinámica (DEL): Modela lo que los agentes saben, creen y de lo que son conscientes.
• Razonamiento Abductivo: Genera hipótesis para explicar observaciones sorprendentes.
• Lógica de Conciencia: Rastrea la expansión de los conjuntos de conciencia de los agentes.
• Marcos de Argumentación: Modela ataques y apoyos entre argumentos (estilo Dung).

Estos se unifican en una Estructura de Dependencia $D_t = (M_t, AF_t, Cmt_t, Dep_t)$, donde:

• $M_t$: Modelo de plausibilidad epistémica (estados de conocimiento/creencia).
• $AF_t$: Marco de argumentación (argumentos y relaciones de ataque).
• $Cmt_t$: Compromisos públicos de los agentes.
• $Dep_t$: Un mapa que vincula argumentos con las proposiciones que los apoyan.

2. La Taxonomía de 8 Operaciones

Un Interpretador de LLM clasifica cada enunciado en una de ocho operaciones de actualización, que el Motor Simbólico aplica para actualizar la estructura de dependencias:

1. OBSERVAR: Anuncio público duro (agrega hechos).
2. HIPOTETIZAR: Mejora léxica suave (introduce hipótesis explicativas).
3. APOYAR: Aumenta la plausibilidad de una afirmación basada en evidencia.
4. MINAR: Disminuye la plausibilidad de una afirmación (por ejemplo, mediante evidencia contradictoria).
5. REVISAR: Retirada dura o adición de arista de ataque (abandona una afirmación).
6. EXPANDIR-CONCIENCIA: Agrega nuevas proposiciones a los conjuntos de conciencia de los agentes.
7. RESOLVER: Compromiso consensual o autoritativo hacia una conclusión.
8. PREGUNTAR: Señala una observación no explicada como un problema abductivo.

3. Verificación y Retirada

• Verificación de Continuación Fundada: Para verificar si una continuación candidata $c$ está fundamentada, el sistema comprueba si existe un argumento $\alpha_c$ en el marco de argumentación actual tal que $claim(\alpha_c) = \phi_c$ (la proposición afirmada por $c$). Esto se reduce a un recorrido de grafo en el mapa de dependencias.
• Retirada Selectiva: Si una premisa $p$ es retirada, el sistema calcula $Affected(p)$, el conjunto de conclusiones que pierden fundamentación. Esto se calcula recorriendo el mapa de dependencias para encontrar todos los argumentos $\alpha$ donde $p \in Dep(\alpha)$.
• Complejidad: La verificación por turno y la propagación de la retirada son lineales con respecto al tamaño de la representación del motor ($O(|Args| + |Att|)$), evitando el crecimiento lineal con la longitud de la conversación típico de los métodos de reproducción de historial.

Contribuciones Clave

1. Verificador de Tiempo de Ejecución para Fundamentación Interaccional: Un sistema que verifica, en cada turno, si una continuación candidata se remonta a compromisos previos a través de una estructura de dependencias mantenida, operando en un tiempo lineal al tamaño del estado del motor.
2. Sustrato Formal Componible: Un marco unificado que combina DEL, argumentación y lógica de conciencia con una garantía de corrección para la retirada selectiva (Proposición 2.1). El sistema asegura que cuando una premisa es retirada, el conjunto de conclusiones afectadas es libre de conflictos y bien definido.
3. Descomposición Corrección-Fidelidad: Los autores separan el problema en una verificación estructural correcta (la lógica del motor, que es demostrablemente correcta) y fidelidad de extracción (la capacidad del LLM para clasificar correctamente las operaciones y extraer dependencias). Esto permite una medición precisa de dónde ocurren los fallos.
4. Validación Empírica: El sistema se evalúa en escenarios controlados de múltiples agentes y en benchmarks externos, demostrando su capacidad para detectar premisas obsoletas y abstenerse de la confabulación donde las líneas base fallan.

Resultados

Escenarios Controlados (Fase 2 y 3)

• Detección de Premisas Obsoletas: En un subconjunto de 15 elementos de casos de "premisas obsoletas" (donde una afirmación se basa en una premisa retirada anteriormente), el verificador logró una precisión del 100%, en comparación con el 93.3% de la línea base solo de LLM. El verificador identificó correctamente que una recomendación que dependía de una hipótesis abandonada estaba desconectada, mientras que la línea base la trató como plausible.
• Latencia de Retirada: En el régimen acotado (donde las hipótesis resueltas o abandonadas se retiran), la latencia del verificador se estabiliza a medida que aumenta la longitud de la conversación, mientras que las líneas base de reproducción de historial crecen linealmente. A 2.000 turnos, el verificador fue 84 veces más rápido que volver a leer la transcripción completa.

Benchmarks Externos

• LongMemEval-KU (Oráculo): En 78 elementos que prueban actualizaciones de conocimiento con suplantación, el verificador (con contenido y recuperación) alcanzó una precisión del 89.7%, superando a la línea base solo de LLM (88.5%) y a una línea base RAG de transcripción (87.2%). Las victorias se concentraron en casos donde la línea base confabuló en elementos sin información de apoyo, mientras que el verificador se abstuvo correctamente.
• LoCoMo: En 60 elementos oficiales de preguntas y respuestas, el verificador fue competitivo con las líneas base aumentadas por recuperación, consistente con su enfoque en la fundamentación interaccional en lugar del puro recuerdo de relaciones entre entidades.

Robustez y Extracción

• Precisión de Clasificación: Con prompts de "Definiciones" y "Estado-aumentado", el Interpretador de LLM logró puntuaciones F1 altas (por ejemplo, 0.91 para Claude Sonnet 4 en la Fase 2).
• Análisis de Cuello de Botella: La limitación principal es la fidelidad de extracción (la capacidad del LLM para mapear correctamente el lenguaje natural a operaciones formales), no la verificación estructural en sí misma. Específicamente, recuperar aristas de dependencia entre hipótesis cruzadas (por ejemplo, cuando una nueva hipótesis subsume a una antigua) requirió una corrección específica del esquema en la operación RESOLVER, lo cual no fue posible lograr solo mediante ingeniería de prompts.

Significado y Afirmaciones

El artículo afirma proporcionar el primer mecanismo de tiempo de ejecución que vincula estructuralmente la continuación de un agente con su historial de interacción real, abordando una vulnerabilidad crítica en los agentes LLM desplegados.

• Seguridad: Ofrece una defensa contra ataques de manipulación del contexto asegurando que las acciones solo se tomen si están respaldadas por el grafo de dependencias actual.
• Fiabilidad: Permite la abstención correcta. Cuando una continuación carece de apoyo, el sistema la marca como "desconectada" en lugar de alucinar una justificación que suene plausible.
• Eficiencia: Al mantener un grafo de dependencias simbólico, logra verificación y propagación de retirada en tiempo lineal, haciéndolo escalable para conversaciones de largo horizonte donde volver a leer el historial es computacionalmente prohibitivo.
• Garantías Formales: El sistema proporciona una garantía libre de conflictos para la retirada selectiva, asegurando que el estado de la conversación permanezca lógicamente consistente después de que se retiren las premisas.

Los autores permanecen modestos, señalando que la efectividad del sistema está limitada por la capacidad del LLM para extraer fielmente la estructura formal del lenguaje natural, y que la implementación actual se centra en la fundamentación interaccional en lugar de la recuperación factual externa (aunque el marco puede extenderse a esta última).