Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding

Resumen Técnico: Mitigación de Conflictos Contexto-Memoria en LLMs mediante Decodificación de Reconciliación Cognitiva Dinámica

Declaración del Problema
Los Modelos de Lenguaje Grandes (LLMs) poseen un extenso conocimiento paramétrico adquirido durante el preentrenamiento, que a menudo entra en conflicto con la información externa proporcionada en el contexto (por ejemplo, mediante Generación Aumentada por Recuperación). Cuando ocurren dichos "conflictos contexto-memoria", los modelos tienden a depender de un conocimiento interno desactualizado o incorrecto, socavando la fidelidad del contexto recuperado. Las estrategias de mitigación existentes, como la Decodificación Consciente del Contexto (CAD), emplean una decodificación contrastiva estática para amplificar la diferencia entre las distribuciones de salida con y sin contexto. Sin embargo, estos enfoques estáticos adolecen de un defecto crítico: en escenarios sin conflictos, introducen una interferencia innecesaria en la distribución de salida, lo que conduce a una degradación del rendimiento y a una disonancia cognitiva. Además, otros métodos dinámicos luchan por modelar eficazmente escenarios de conflicto complejos del mundo real.

Metodología: Decodificación de Reconciliación Cognitiva Dinámica (DCRD)
El artículo propone DCRD, un marco de decodificación de dos etapas diseñado para predecir y mitigar los conflictos contexto-memoria mediante el enrutamiento dinámico de las entradas a rutas de decodificación apropiadas. El método se inspira en la teoría de la disonancia cognitiva, con el objetivo de evitar procesos correctivos innecesarios cuando la información es consistente.

1. Predicción de Conflictos mediante Mapas de Atención:
   Antes de la decodificación, DCRD analiza los mapas de atención del modelo para evaluar la "fidelidad contextual". Calcula la proporción de los pesos de atención asignados al contexto frente a la secuencia de salida a través de las capas del Transformer y las cabezas de atención. Un clasificador de una sola capa de Perceptrón Multicapa (MLP) utiliza estas puntuaciones de fidelidad agregadas para predecir si existe un conflicto (clasificación binaria).

2. Enrutamiento Dinámico y Decodificación de Reconciliación Cognitiva:
   Basándose en la predicción del conflicto, la entrada se enruta a una de dos rutas:

   • Entradas sin Conflicto: Se dirigen a la Decodificación Greedy estándar. Esto evita la "sobreintervención" observada en los métodos contrastivos estáticos, preservando el rendimiento natural del modelo cuando el conocimiento externo e interno están alineados.
   • Entradas con Conflicto: Se dirigen a la Decodificación Contrastiva Dinámica (DCD). Esta ruta ajusta adaptativamente la fuerza de la decodificación contrastiva en función de la fidelidad contextual predicha. El coeficiente de ajuste $\alpha_{adj}$ se calcula dinámicamente como $\alpha \cdot \frac{1}{1 + \lambda \hat{s}}$, donde $\hat{s}$ representa la fidelidad contextual normalizada.
     • Una alta fidelidad (bajo conflicto) resulta en una intervención reducida.
     • Una baja fidelidad (alto conflicto) resulta en una intervención aumentada, amplificando la diferencia entre las distribuciones conscientes del contexto y las que no lo están para forzar al modelo a priorizar el contexto externo.

Contribuciones Clave

• Marco DCRD: Un método novedoso de dos etapas que integra la predicción de conflictos con el enrutamiento dinámico. Equilibra de manera única la necesidad de intervención en escenarios de conflicto mientras mantiene la eficiencia y la precisión en escenarios sin conflicto.
• Benchmark ConflictKG: Los autores construyeron un nuevo benchmark de preguntas y respuestas (QA) sobre conflictos de conocimiento que contiene 4.466 instancias (tanto conflictivas como no conflictivas) con fuentes de conocimiento asociadas. A diferencia de los métodos anteriores que se basaban en la sustitución de entidades, ConflictKG utiliza LLMs para generar contextos lingüísticamente coherentes con conflictos semánticos válidos, simulando escenarios reales de actualización de conocimiento.
• Evaluación Exhaustiva: Se realizaron experimentos extensos en cuatro LLMs de código abierto (Llama2-7b/13b, Llama3-8b, Mistral-7b) a través de seis conjuntos de datos, incluyendo QA estándar (NQ, SQuAD, TriviaQA), QA de conflictos de conocimiento (Counterfacts, NQ-Swap) y el nuevo benchmark ConflictKG.

Resultados Experimentales

• Rendimiento Superior: DCRD superó a todos los puntos de referencia (Greedy, CAD, COIECD, ADACAD) en todos los conjuntos de datos y modelos.
  • En ConflictKG, DCRD logró una mejora promedio de precisión del 14,5% sobre la decodificación Greedy y del 14,2% sobre CAD.
  • En NQ-Swap (alto conflicto), DCRD mejoró la decodificación Greedy hasta en un 29,1% (en Llama2-13b).
  • Crucialmente, en los conjuntos de datos de QA general (bajo conflicto), DCRD mantuvo o mejoró el rendimiento, mientras que los métodos estáticos como CAD a menudo degradaron el rendimiento significativamente (por ejemplo, CAD disminuyó un promedio del 8,1% en todos los modelos en tareas de bajo conflicto).
• Robustez: DCRD demostró mayor estabilidad que los puntos de referencia cuando variaba la proporción de conflictos en los datos o cuando se introducían contextos ruidosos. Su rendimiento fluctuó mínimamente en comparación con las caídas significativas observadas en COIECD y ADACAD.
• Eficiencia: Aunque DCRD incurre en un tiempo de inferencia ligeramente superior al de los métodos estáticos debido al paso de predicción, es significativamente más eficiente que COIECD (el 39% del tiempo de COIECD). El enrutamiento dinámico asegura que la decodificación contrastiva, computacionalmente más pesada, solo se aplique cuando sea necesario.

Significado y Afirmaciones
El artículo afirma que DCRD ofrece una solución práctica al problema de la "disonancia cognitiva" en los LLMs, donde los mecanismos de corrección estática dañan el rendimiento en escenarios sin conflicto. Al imitar un proceso de reconciliación cognitiva —centrándose selectivamente en el contexto solo cuando es necesario—, DCRD logra un rendimiento de vanguardia tanto en escenarios de alto conflicto como en escenarios generales. Los autores afirman que su enfoque mitiga eficazmente los conflictos de conocimiento sin requerir un ajuste fino adicional ni ingeniería de prompts compleja, proporcionando un método escalable para mantener la factualidad en entornos dinámicos donde el conocimiento evoluciona rápidamente. La introducción de ConflictKG también se destaca como un paso significativo hacia una evaluación más realista de la resolución de conflictos contexto-memoria.