Facts Without Owners. Consolidating a Conversation into a Language Model's Weights Stores What Was Said, Not Who Said It

Resumen Técnico: Hechos sin Dueños

Planteamiento del Problema
El artículo investiga las limitaciones de la memoria conversacional "interna", donde un modelo de lenguaje (LM) consolida el historial de conversación de un usuario directamente en sus pesos mediante el ajuste fino (fine-tuning), en contraposición a la memoria "externa", que depende de la recuperación de datos de un archivo. Si bien la memoria interna promete resiliencia contra fallos de recuperación e integración fluida con el conocimiento previo, conlleva riesgos como la alucinación y fallos de aprendizaje direccional. La pregunta de investigación específica es: Cuando una conversación de longitud real se consolida en los pesos de un modelo, ¿qué información se almacena y qué se pierde? Específicamente, ¿aprende el modelo quién dijo un hecho, o simplemente qué se dijo?

Metodología
El estudio utiliza tres conversaciones de longitud real de dos personas del benchmark LoCoMo (conv-42, conv-43, conv-48), que contienen entre 629 y 681 turnos cada una. Estas conversaciones incluyen una categoría adversaria específica (Categoría 5) conocida como preguntas de "persona intercambiada" (swapped-person), donde una pregunta inquiere sobre el Orador A respecto a un hecho que solo el Orador B mencionó. El comportamiento correcto para el modelo es abstenerse, ya que el hecho no pertenece al Orador A.

• Modelo y Consolidación: El modelo base es Qwen3-4B. El autor emplea un adaptador LoRA (Adaptación de Bajo Rango) (Rango 16) entrenado en preguntas autogeneradas. El modelo base lee ventanas de conversación y escribe preguntas de respuesta corta. Crucialmente, el 15% de las preguntas sobre un orador son "trampas" donde el nombre está intercambiado, y la respuesta objetivo es "No mencionado".
• Receta de Entrenamiento (D1): El adaptador se entrena en estas preguntas generadas durante tres épocas. Para evitar el olvido catastrófico del conocimiento general, un término de divergencia KL vincula el adaptador al modelo base en textos de anclaje (SQuAD y solicitudes de chat).
• Evaluación: El modelo se prueba con las preguntas originales del benchmark LoCoMo (que nunca vio durante el entrenamiento) a través de cuatro brazos: Modelo base sin archivo (B0), Modelo consolidado sin archivo (D), Base con archivo (B0S) y Consolidado con archivo (DS).
• Variantes de Intervención: Se probaron siete variantes pre-registradas (D2–D6) para corregir errores de atribución utilizando únicamente los pesos o señales del modelo (por ejemplo, preguntas inversas, ejemplos de "no lo sé" con oradores intercambiados y umbrales de confianza).
• Verificación de Procedencia (D7): Se implementó una verificación de procedencia sin modelo contra el archivo bruto. Compara los turnos recuperados para la respuesta contra el orador nombrado en la pregunta. Si la respuesta se alinea más fuertemente con los turnos del otro orador, se obliga al modelo a abstenerse.
• Rigor: Todos los experimentos fueron pre-registrados. Las etiquetas fueron generadas por un LLM (Claude) siguiendo reglas fijas, con un manejo estricto de los casos límite.

Resultados Clave

1. La Consolidación Funciona para los Hechos, No para los Dueños:

   • Sin un archivo, el modelo base (B0) se abstiene en casi el 100% de las preguntas (0.00 de precisión).
   • El modelo consolidado (D) recupera los hechos con éxito, logrando una precisión del 28–39% en las preguntas estándar del benchmark (Categorías 1–4) a través de las tres conversaciones.
   • El conocimiento general (TriviaQA) se mantuvo estable, sin mostrar daño detectable por la consolidación.

2. El Fallo de Atribución:

   • El modo de fallo dominante es la atribución. En las preguntas de "persona intercambiada", el modelo consolidado se abstiene solo el 9–33% de las veces.
   • En lugar de abstenerse, el modelo suele responder con confianza con el hecho, aunque pertenezca al orador equivocado. En aproximadamente el 30% de estos errores, la respuesta del modelo coincide con un turno en primera persona del otro orador.
   • El modelo aprende la asociación tema-respuesta pero trata el nombre del orador como una señal débil.

3. Ineficacia de las Correcciones Basadas Solo en Pesos:

   • Las variantes que intentaban enseñar al modelo a abstenerse (D2–D6) usando preguntas inversas, ejemplos de "no lo sé" o umbrales de confianza fallaron al replicarse en conversaciones no vistas.
   • Estos métodos crearon una línea de compromiso (trade-off): aumentar la abstención en preguntas de persona intercambiada conllevaba un alto costo para la precisión general (perdiendo 0.09–0.17 de precisión por cada 0.40 de aumento en la abstención).
   • Los ejemplos de "no lo sé" enseñaron al modelo la forma de la trampa en lugar de los límites reales del conocimiento. Los puntajes de confianza del modelo eran indistinguibles entre la atribución correcta e incorrecta (AUROC ~0.54–0.56 en datos no vistos).

4. Eficiencia de las Verificaciones de Archivo:

   • La verificación de procedencia sin modelo (D7) contra el archivo bruto superó significativamente a los métodos basados solo en pesos.
   • Elevó la abstención en preguntas de persona intercambiada de ~0.17 a 0.45–0.47, con un costo de solo 0.005–0.042 en precisión.
   • Este costo es de un quinto a la mitad del costo incurrido por las variantes de solo pesos al mismo nivel de abstención.
   • Nota sobre Pre-registro: En una de las dos ejecuciones, la pérdida de precisión (7.0%) excedió ligeramente el límite pre-registrado del 5%, lo que llevó al autor a reportar la verificación como "no adoptada" bajo sus propias reglas estrictas, a pesar de la significativa ganancia de eficiencia.

Significado y Reivindicaciones
El artículo concluye que consolidar una conversación en los pesos de un modelo almacena "qué se dijo", pero no "quién lo dijo".

• Roles Complementarios: El autor argumenta que la memoria paramétrica (pesos) y los archivos externos son complementarios. Los pesos son efectivos para retener conocimiento, mientras que el archivo es esencial para retener la procedencia (la propiedad de los hechos).
• Limitaciones de los Remedios Actuales: Las técnicas actuales para forzar al modelo a abstenerse (vía manipulación de datos de entrenamiento o umbrales de confianza) son ineficientes porque el modelo es técnicamente "correcto" respecto al hecho, lo que dificulta que las señales internas detecten el error de atribución.
• Recomendación Práctica: Para los asistentes personales, confiar únicamente en la consolidación de pesos es insuficiente para una atribución precisa. El archivo debe retenerse, no necesariamente para cada recuperación, sino como una fuente para verificaciones de procedencia que validen la propiedad del orador.

El estudio enfatiza que, si bien la memoria interna es un mecanismo viable para la retención de conocimiento, actualmente carece de la capacidad inherente de vincular hechos a sus oradores específicos sin verificación externa.