Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025

Esta ponencia de ECIR 2025 explora la interacción entre el conocimiento paramétrico y contextual en los modelos de lenguaje, presentando investigaciones sobre la evaluación de dichos conocimientos, la detección de conflictos internos y externos, y las características que permiten una integración efectiva del contexto.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una charla muy interesante que dio la profesora Isabelle Augenstein en una conferencia de expertos en 2025. Su tema central es: ¿Cómo piensan realmente las Inteligencias Artificiales (IA) cuando les damos información nueva?

Para entenderlo, vamos a usar una analogía sencilla: La IA es como un estudiante muy inteligente, pero un poco terco.

Aquí tienes la explicación paso a paso, traducida a un lenguaje cotidiano:

1. El Estudiante y su "Cerebro" (Conocimiento Paramétrico)

Imagina que entrenamos a este estudiante (la IA) leyendo millones de libros durante años. Todo lo que aprende se queda grabado en su cerebro. A esto los científicos le llaman conocimiento paramétrico.

• El problema: Si el estudiante aprendió algo incorrecto o viejo (por ejemplo, que la capital de Suecia es Estocolmo... ¡espera, eso es correcto! Pero imagina que aprendió que la capital de Japón es Estocolmo por error), ese error está "quemado" en su cerebro. Es difícil borrarlo sin tener que volver a estudiar todo de nuevo (lo cual es muy caro y lento).

2. El Profesor que le da una Hoja de Apuntes (Conocimiento Contextual)

Ahora, le hacemos una pregunta al estudiante. Para ayudarlo, le damos una hoja de papel con la respuesta correcta (esto es lo que llamamos contexto o RAG - Generación Aumentada por Recuperación).

• El conflicto: A veces, la hoja de papel dice: "La capital de Japón es Tokio". Pero el estudiante, mirando su propio cerebro, piensa: "No, yo sé que es Estocolmo".
• La sorpresa: El estudio descubre que, a veces, el estudiante ignora la hoja de papel y sigue usando su memoria vieja y errónea. ¡Es como si el profesor le dijera la respuesta y el alumno dijera: "No, yo sé mejor que tú"!

3. ¿Por qué pasa esto? (Los Conflictos de Memoria)

La profesora explica que hay dos tipos de peleas internas en la IA:

• Pelea interna (Intra-memory): A veces, el propio cerebro del estudiante está confundido porque leyó cosas contradictorias en sus libros de entrenamiento.
• Pelea externa (Contexto vs. Memoria): El estudiante se niega a creer lo que le dice la hoja de papel si va en contra de lo que "sabe" de memoria.

Un hallazgo curioso y contraintuitivo:
El estudio descubrió algo raro: A los estudiantes (IA) les cuesta más creer en información nueva cuando el tema es algo que cambia mucho (como el clima o las noticias de hoy). Pero, ¡irónicamente!, son muy fáciles de convencer cuando el tema es algo que nunca cambia (como un dato histórico falso).

• Analogía: Es como si el estudiante pensara: "Si el clima cambia, debe ser verdad lo que dice el periódico. Pero si me dicen que la capital de Japón es Estocolmo (algo que nunca cambia), ¡mejor ignoro el periódico y me quedo con mi idea fija!".

4. ¿Cómo sabemos qué está pensando el estudiante? (Detectives de IA)

Los investigadores intentaron usar herramientas de "rayos X" (llamadas métodos de atribución) para ver qué neuronas del cerebro se encendían cuando el estudiante respondía.

• El resultado: Fue difícil. A veces las herramientas decían una cosa y el cerebro hacía otra. Descubrieron que no basta con mirar una parte del cerebro; hay que ver cómo interactúan todas las piezas. Además, probar a ver qué libros específicos le enseñaron a pensar así es como buscar una aguja en un pajar.

5. El mundo real vs. Los simulacros

Hasta ahora, muchos científicos probaban a la IA con datos falsos o simulados (como un examen de práctica).

• La realidad: La profesora creó un nuevo banco de pruebas con datos reales (como artículos de verificación de noticias de verdad).
• La lección: En los exámenes de práctica, la IA parecía muy buena usando la hoja de papel. Pero en el mundo real, con textos largos y complejos, la IA a menudo se olvida de la hoja de papel o elige la fuente que le parece más "segura" o fácil de entender, aunque sea incorrecta.

Conclusión: ¿Qué nos deja esto?

El mensaje final es que, aunque la IA es increíble, no es un genio infalible. A veces es como un actor que se sabe el guion de memoria y, aunque le digan que hay un error en el guion, sigue actuando igual porque "así lo aprendió".

La profesora cierra diciendo que la investigación científica es como subir una escalera en espiral: a veces parece que volvemos a empezar por el mismo punto, pero en realidad estamos subiendo un poco más alto, con mejores herramientas y entendiendo mejor cómo funciona la mente de estas máquinas.

En resumen:

• Las IAs tienen una memoria interna fuerte (y a veces terca).
• A veces ignoran la información nueva si choca con lo que ya "saben".
• Necesitamos estudiarlas con datos reales, no solo con simulaciones, para entender cuándo fallan y cómo ayudarlas a escuchar mejor a los "profesores" (los datos que les damos).

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge", basado en la ponencia clave de Isabelle Augenstein para ECIR 2025.

Título: Comprensión de la Interacción entre el Uso de Conocimiento Paramétrico y Contextual en Modelos de Lenguaje (LLMs)

1. Planteamiento del Problema

Los Modelos de Lenguaje (LLMs) poseen conocimiento paramétrico (incrustado en sus pesos durante el entrenamiento), pero enfrentan desafíos significativos al integrarlo con conocimiento contextual recuperado (como en la Generación Aumentada por Recuperación, RAG).

• Limitaciones actuales: Los LLMs sufren de conocimientos incompletos, desactualizados y alucinaciones. Aunque técnicas como la edición de conocimiento o el aprendizaje continuo intentan corregir esto, son costosas o propensas a efectos secundarios no deseados.
• El conflicto de conocimiento: Existe una brecha de investigación sobre cómo los LLMs manejan el conflicto entre su memoria interna (paramétrica) y la información externa (contextual).
  • Conflicto intra-memoria: Contradicciones dentro de los propios datos de entrenamiento del modelo.
  • Conflicto contexto-memoria: Cuando el contexto recuperado contradice el conocimiento paramétrico preexistente.
• Fenómeno observado: Los estudios indican que los LLMs a menudo ignoran el contexto proporcionado si entra en conflicto con su memoria pre-entrenada, o viceversa, sin una lógica clara sobre cuándo debe prevalecer uno sobre el otro.

2. Metodología y Enfoque de Investigación

La ponencia presenta una serie de estudios empíricos realizados por el grupo de investigación de la autora, utilizando marcos de evaluación unificados y nuevos conjuntos de datos:

• Evaluación de Conocimiento Paramétrico (Atribución):

  • Se propone un marco unificado para comparar métodos de atribución a nivel de instancias (ejemplos de entrenamiento) y a nivel de neuronas.
  • Se utiliza un enfoque de pruebas de fidelidad (suficiencia y exhaustividad) para determinar qué neuronas y ejemplos de entrenamiento son cruciales para una predicción específica.
  • Se analiza la capa MLP (Perceptrón Multicapa) en lugar de los pesos completos del modelo por razones de eficiencia computacional.

• Detección de Conflictos (DynamicQA):

  • Se introduce el dataset DynamicQA, que clasifica los hechos en: estáticos, temporales (cambian con el tiempo) y disputables (dependen de la perspectiva).
  • Se miden dos tipos de conflictos:
    1. Conflicto intra-memoria: Medido mediante entropía semántica (variación en la salida del modelo ante la misma pregunta).
    2. Conflicto contexto-memoria: Medido mediante un puntuación de persuasión coherente (cambio en la distribución de salida al introducir contexto contradictorio).

• Evaluación de RAG en Escenarios Reales (DRUID y ACU):

  • Se presenta DRUID, un nuevo dataset para verificación de afirmaciones con contextos del mundo real (evitando los sesgos de datos sintéticos).
  • Se propone una nueva métrica llamada ACU (Context Utilisation) para medir cuán fielmente el modelo utiliza la información recuperada.
  • Se prueban diversas Técnicas de Manipulación de Contexto (CMT), desde prompts simples hasta intervenciones mecánicas, para ver cómo resolver conflictos.

3. Contribuciones Clave

1. Marco Unificado de Atribución: Una metodología para alinear y comparar métodos de atribución de instancias y neuronas, revelando que las explicaciones de ambos métodos difieren significativamente.
2. Identificación de Factores de Persuasión: Descubrimiento de que la dinamicidad del hecho es el indicador negativo más fuerte de persuasión del modelo. Contrariamente a la intuición, los modelos son más fáciles de persuadir con contextos sobre hechos estáticos que sobre hechos dinámicos.
3. Dataset DRUID y Métrica ACU: Herramientas para evaluar el uso de contexto en escenarios realistas, demostrando que los datos sintéticos actuales sobreestiman la frecuencia de conflictos de conocimiento y la "repulsión" del contexto.
4. Análisis de Interacción en RAG: Evidencia de que los LLMs priorizan contextos con alta similitud de consulta, pero fallan en contextos largos, y que la estrategia de resolución de conflictos depende del tipo de tarea (verificación de hechos vs. preguntas de sentido común).

4. Resultados Principales

• Sobre la Atribución: La mayoría de las neuronas MLP pueden eliminarse sin alterar significativamente las predicciones, contradiciendo la hipótesis de que el conocimiento reside principalmente en esas neuronas. Además, el ajuste fino (fine-tuning) con instancias "influyentes" identificadas por atribución no supera al ajuste con instancias aleatorias debido a la baja diversidad de las primeras.
• Sobre los Conflictos:
  • Los modelos muestran mayor incertidumbre (entropía semántica) en hechos dinámicos.
  • Hallazgo contraintuitivo: Los modelos son más susceptibles a ser persuadidos por contextos falsos sobre hechos estáticos que sobre hechos que cambian regularmente. Esto sugiere que los mecanismos de actualización de RAG son menos efectivos para hechos dinámicos.
  • La popularidad de un hecho no es un buen predictor de la certeza del modelo; la dinamicidad lo es.
• Sobre RAG y Contexto Real:
  • Los contextos de fuentes de verificación de hechos (fact-checking) con lenguaje asertivo y directo logran una mayor utilización (ACU).
  • Los modelos tienden a ignorar contextos que contradicen fuertemente su memoria paramétrica en tareas de sentido común, pero prefieren el contexto en tareas de verificación de hechos donde hay conflicto explícito.
  • No existe una única técnica de manipulación de contexto (CMT) que funcione mejor para todos los modelos; los modelos más grandes suelen usar el contexto mejor, pero los modelos pequeños pueden igualar su rendimiento con la técnica CMT óptima específica.

5. Significado e Impacto

Este trabajo es fundamental para la comunidad de Recuperación de Información (IR) y Procesamiento de Lenguaje Natural (NLP) porque:

• Desmitifica el RAG: Proporciona una "verificación de la realidad" (reality check) mostrando que los datos sintéticos actuales no reflejan adecuadamente los desafíos del mundo real, como la rareza de ciertos tipos de conflictos de conocimiento.
• Guía el Diseño de Sistemas: Sugiere que para mejorar la fiabilidad de los LLMs, no basta con recuperar contexto; se debe entender la dinamicidad del conocimiento y diseñar mecanismos que prioricen el contexto en dominios de baja certeza o para hechos estáticos donde el modelo es más rígido.
• Necesidad de Colaboración: Subraya que entender el funcionamiento interno de los modelos RAG requiere una colaboración estrecha entre investigadores de IR y NLP.
• Evolución del Conocimiento: Cita a Karen Spärck Jones para ilustrar que, aunque los problemas (como la recitación vs. razonamiento) reaparecen, las nuevas metodologías y materiales permiten un avance en espiral, no un círculo vicioso.

En resumen, la ponencia establece que la interacción entre conocimiento paramétrico y contextual es compleja, no lineal y altamente dependiente de la naturaleza del hecho (dinámico vs. estático), requiriendo nuevas métricas y enfoques de evaluación basados en datos reales para construir sistemas de IA más confiables y precisos.