Three Regimes of Context-Parametric Conflict: A Predictive Framework and Empirical Validation

Resumen Técnico: Tres Regímenes de Conflicto Contexto-Paramétrico

Enunciado del Problema
La literatura sobre cómo los Modelos de Lenguaje Grandes (LLM) resuelven los conflictos entre su conocimiento paramétrico de entrenamiento y documentos externos contradictorios presenta una contradicción empírica persistente. Algunos estudios (por ejemplo, Longpre et al., 2021) observan que los modelos retienen obstinadamente las respuestas entrenadas, mientras que otros (por ejemplo, Xie et al., 2024) encuentran que los modelos se rinden fácilmente a los documentos. Este artículo argumenta que estas contradicciones surgen porque la investigación anterior ha confundido tres situaciones de procesamiento cualitativamente distintas. Sin distinguir estas situaciones, los hallazgos parecen irreconciliables, oscureciendo las variables específicas que impulsan el comportamiento del modelo en cada contexto.

Metodología
Los autores proponen y validan un marco de tres regímenes mediante una serie de experimentos que involucran 9.970 llamadas a API a través de cinco modelos de vanguardia: Claude Sonnet 4.6, GPT-5.5, Gemini 2.5 Flash, Llama 4 Maverick y DeepSeek V3.

1. Definición del Marco: El artículo define tres regímenes basados en la situación de procesamiento:

   • Régimen 1 (Actualización de una sola fuente): Solo se muestra un documento; el conocimiento de entrenamiento no se activa explícitamente.
   • Régimen 2 (Integración competitiva): Tanto el conocimiento de entrenamiento como un documento conflictivo están explícitamente activos simultáneamente.
   • Régimen 3 (Selección apropiada para la tarea): Las instrucciones de la tarea dictan explícitamente qué fuente (contexto o conocimiento paramétrico) debe prevalecer.

2. Diseño Experimental:

   • Conjunto de datos: 450 elementos de PopQA, estratificados en niveles de certeza baja, media y alta basados en la frecuencia de visualización de páginas de Wikipedia (fuerza paramétrica).
   • Validación de los Regímenes 1 y 2: El estudio compara prompts de un solo turno (Régimen 1) contra diseños conversacionales de múltiples turnos donde el modelo primero se compromete con una respuesta entrenada antes de enfrentar una contradicción (Régimen 2). El análisis estadístico utiliza Ecuaciones de Estimación Generalizadas (GEE) con familias binomiales para modelar las probabilidades de seguir el contexto, controlando la agrupación a nivel de elemento.
   • Dimensiones Paramétricas: Los autores distinguen formalmente entre fuerza paramétrica (frecuencia de exposición) y unicidad paramétrica (consistencia de codificación/frecuencia inversa de edición), probando su ortogonalidad y poder predictivo.
   • Ablación del Régimen 3: Un experimento dedicado (1.000 llamadas) prueba los mismos elementos bajo dos condiciones de encuadre: instrucciones "Solo Contexto" (CK) vs. "Solo Paramétrico" (PK).

Contribuciones Clave

1. Marco de Tres Regímenes: Una taxonomía predictiva que resuelve cuatro contradicciones mayores en la literatura mapeándolas a regímenes específicos. Aclara que los hallazgos de diferentes regímenes no son directamente comparables.
2. Ortogonalidad de las Propiedades de Memoria: Evidencia empírica que demuestra que la fuerza paramétrica y la unicidad paramétrica son dimensiones ortogonales ($r = -0.002$). El estudio identifica que en dominios fácticos estables (como PopQA), la fuerza es el predictor operativo de la resistencia, mientras que la unicidad no lo es.
3. Diseño de Manipulación como Variable de Primer Orden: El artículo demuestra que la estructura del prompt (afirmación de un solo turno vs. conversación de múltiples turnos) altera fundamentalmente el comportamiento de conflicto observado, particularmente para modelos de peso cerrado.
4. Dominio del Encuadre de la Tarea: Validación de que las instrucciones de la tarea (Régimen 3) son la variable más poderosa, capaz de invertir las tasas de seguimiento de contexto desde casi el 100% hasta cifras de un solo dígito.

Resultados

• Régimen 1: Los modelos generalmente siguen el contexto a niveles máximos independientemente de la certeza del hecho, siempre que la evidencia sea coherente. La certeza paramétrica no es un predictor dominante aquí.
• Régimen 2: Surge un gradiente de certeza significativo. A medida que aumenta la fuerza paramétrica (hechos famosos), los modelos se vuelven más resistentes a documentos conflictivos. La regresión logística GEE confirma este gradiente en los cinco modelos ($\beta = -0.38$ a $-0.50$, todos $p \le .013$).
  • Magnitud del Gradiente: Llama 4 Maverick mostró el gradiente más pronunciado (30.8 puntos porcentuales), mientras que Gemini mostró un gradiente mínimo (1.5 pp) en este régimen, aunque permaneció estadísticamente significativo en el modelado continuo.
  • Sensibilidad al Diseño: Los modelos de peso cerrado (Claude, GPT-5.5) mostraron un seguimiento de contexto casi máximo en el Régimen 2 de un solo turno, pero revelaron una resistencia significativa en diseños de múltiples turnos, lo que sugiere que las afirmaciones de un solo turno no desencadenan una competencia paramétrica genuina para estos modelos.
• Régimen 3: El encuadre de la tarea invierte completamente el comportamiento. Bajo instrucciones "Solo Contexto", todos los modelos siguieron al distractor $\approx$100% de las veces. Bajo instrucciones "Solo Paramétrico", el seguimiento de contexto cayó al 6–71%. El gradiente de certeza reapareció dentro de la condición PK, modulando la magnitud de la resistencia.
• Diferencias entre Modelos: Existe una división entre modelos de peso cerrado y de peso abierto. Los modelos de peso cerrado son altamente compliantes con el encuadre de la tarea (cediendo al contexto o resistiéndolo según se instruye), mientras que los modelos de peso abierto (Llama, DeepSeek) muestran una menor compliance con las instrucciones de "usa tu propio conocimiento".

Significado y Afirmaciones
El artículo afirma que las "contradicciones" en la literatura de conflictos son artefactos de comparar manzanas con naranjas. Al reconocer los tres regímenes, los investigadores pueden explicar por qué los modelos parecen obstinados en algunos estudios y receptivos en otros.

Los autores afirman que:

1. Los predictores son específicos del régimen: La coherencia de la evidencia impulsa el Régimen 1, la certeza paramétrica impulsa el Régimen 2 y los requisitos de la tarea impulsan el Régimen 3.
2. El diseño de manipulación es crítico: El método utilizado para introducir el conflicto (por ejemplo, un solo turno vs. múltiples turnos) es una variable primaria que puede oscurecer o revelar la resistencia paramétrica, particularmente en modelos comerciales.
3. Implicación Práctica: Para la Generación Aumentada por Recuperación (RAG) y aplicaciones de seguridad, la clasificación de regímenes debe preceder a la comparación de hallazgos de conflictos. El encuadre de la tarea ofrece una estrategia de mitigación potencial para la inyección de desinformación, ya que puede activar la resistencia paramétrica cuando se instruye explícitamente.

El estudio concluye que el marco resuelve las contradicciones empíricas existentes y proporciona una base estructurada para la investigación futura, advirtiendo que los predictores no se generalizan a través de los límites de los regímenes.