Resumen Técnico: DRIFTLENS – Midiendo la deriva del razonamiento inducida por la memoria en modelos de lenguaje personalizados

Declaración del Problema

Los Modelos de Lenguaje Extensos (LLM) modernos emplean cada vez más memoria persistente para almacenar atributos del usuario, preferencias y contexto previo, inyectando esta información en futuros prompts para personalizar las interacciones. Si bien la personalización busca adaptar las respuestas a las necesidades del usuario, este artículo identifica un modo de fallo crítico y, a menudo, invisible: la deriva simbólica.

La deriva simbólica ocurre cuando la trayectoria de razonamiento de un modelo —la cadena de prioridades, compensaciones y justificaciones utilizadas para derivar una respuesta— cambia significativamente debido a la inyección de atributos del usuario, incluso cuando la respuesta final sigue siendo fluida, coherente y plausible. Esto es particularmente peligroso en tareas "inverificables" (por ejemplo, asesoramiento profesional, conflictos interpersonales, dilemas éticos) donde no existe una única respuesta de verdad absoluta. En estos escenarios, las métricas de precisión estándar no logran detectar que el modelo ha pasado de un marco de razonamiento de riesgo legal a uno de validación emocional simplemente porque el perfil del usuario indica que es joven, tiene una discapacidad o pertenece a una ocupación estigmatizada. El artículo sostiene que tales cambios representan una sensibilidad no deseada en lugar de una adaptación apropiada, y que, sin embargo, permanecen indetectados por los métodos de evaluación actuales.

Metodología: El Marco DRIFTLENS

Para abordar la falta de respuestas de verdad absoluta en tareas de razonamiento, los autores introducen DRIFTLENS, un marco libre de verdad absoluta diseñado para medir la estabilidad de las trayectorias de razonamiento bajo perturbaciones de memoria controladas.

1. Curación de Datos

Los autores construyeron un benchmark de 422 preguntas de alto acuerdo (y un conjunto relajado de 1,061) que satisfacen cuatro criterios:

• Inductoras de razonamiento: Requieren compensaciones, comparaciones o justificaciones.
• Inverificables: No admiten una única verdad objetiva.
• Indiferentes a la persona: La respuesta no debería depender lógicamente de los atributos demográficos del interlocutor.
• Autónomas: Comprensibles sin contexto oculto.
  Las preguntas fueron filtradas de siete fuentes públicas (carrera, ética, finanzas, legal, médica, dilemas cotidianos) utilizando evaluadores de LLM y anotadores humanos para asegurar la ortogonalidad entre el contenido de la pregunta y los atributos del usuario.

2. Ontología de Valores

Para cuantificar los cambios en el razonamiento, los autores desarrollaron una ontología de valores que mapea los pasos de razonamiento en texto libre a categorías simbólicas discretas. Partiendo de jerarquías existentes, refinaron la ontología mediante 78 rondas de etiquetado por parte de tres LLMs (GPT-OSS-120B, Qwen3-235B, Claude Sonnet 4.5) para lograr un acuerdo entre modelos superior al 83%. La ontología consta de cuatro categorías raíz:

• Social: Conducta interpersonal/colectiva.
• Práctica: Ejecución de tareas operativas.
• Protectora: Prevención de daños y seguridad.
• Personal: Experiencia interna subjetiva.

3. Estrategia de Perturbación

El marco evalúa la deriva comparando una línea base sin memoria contra respuestas generadas bajo tres condiciones:

• Control Negativo (Ruido Pragmático): Prefijos sin contenido (relleno, espacios en blanco, puntuación) para establecer un nivel de ruido base.
• Control Positivo (Eventos Vitales Mayores): Revelaciones de eventos psicológicos significativos (por ejemplo, duelo, enfermedad grave) conocidos por remodelar los valores.
• Condición Experimental (Indicios de Persona): Revelaciones de atributos específicos del usuario (género, edad, ocupación, discapacidad, etc.) construidas para ser independientes de la pregunta.

4. Métricas de Deriva

Dos métricas complementarias miden la divergencia entre la secuencia de símbolos base ($S_{base}$) y la secuencia intervenida ($S_{inter}$):

• DTW (Dynamic Time Warping): Captura el reordenamiento estructural de los pasos de razonamiento.
• SRI (Sequence Recurrence Index): Combina una distancia de edición sensible al orden con una distancia de Jensen–Shannon distributiva sobre histogramas de símbolos.
  Ambas métricas se normalizan al intervalo $[0, 1]$, donde valores más bajos indican un razonamiento más estable.

Contribuciones Clave

1. Marco DRIFTLENS: Una metodología novedosa, libre de verdad absoluta, para medir la estabilidad del razonamiento bajo perturbaciones de memoria utilizando trayectorias basadas en ontologías.
2. Construcción de Benchmark: Un conjunto de datos curado de 422 preguntas indiferentes a la persona e inverificables, validadas mediante un riguroso proceso de anotación humana y de LLM.
3. Evidencia Empírica de la Deriva: Demostración de que la memoria de atributos de usuario induce una deriva de razonamiento de mediana a gran escala en cuatro LLMs distintos (Claude Sonnet 4.6, GPT-OSS-120B, Qwen3-4B, DeepSeek-R1) y en 10 categorías de atributos de usuario.
4. Evaluación de Mitigación: Un análisis comparativo de métodos de post-entrenamiento (GRPO y DPO) para reducir la deriva, destacando las compensaciones entre estabilidad del razonamiento, utilidad y capacidad.

Resultados

Validación (RQ1)

DRIFTLENS distingue con éxito entre el ruido y el cambio sustantivo. El ruido pragmático no produjo una elevación significativa por encima del nivel de ruido ($p > 0.05$), mientras que los eventos vitales mayores produjeron derivas grandes y significativas ($p < 0.001$). Las dos métricas (DTW y SRI) mostraron una alta validez convergente (Spearman $\rho > 0.93$).

Deriva Inducida por la Memoria (RQ2)

La memoria de atributos de usuario indujo consistentemente una deriva de razonamiento medible en todos los modelos probados.

• Magnitud: Los tamaños del efecto oscilaron entre medio y grande (Cohen's $d \approx 0.35–0.98$), superando significativamente el nivel de ruido pragmático.
• Atributos: Se observó deriva en las 10 categorías, siendo el estatus de trans y la discapacidad de los que más indujeron deriva en siete de ocho paneles de modelos-métricas.
• Naturaleza de la Deriva: Aunque las respuestas finales a menudo seguían siendo plausibles, los estudios humanos indicaron una reducción en las puntuaciones de utilidad y tasas de distracción más altas. La deriva se manifestó principalmente en la traza de razonamiento (por ejemplo, pasando de un razonamiento de "riesgo legal" a uno de "validación emocional").

Mitigación (RQ3)

Los autores evaluaron GRPO (incorporando DTW en la función de recompensa) y DPO (utilizando pares de preferencia de respuestas robustas frente a distraídas).

• Reducción de la Deriva: Ambos métodos redujeron la deriva (menores puntuaciones de DTW) en los modelos. Ningún método dominó uniformemente; el rendimiento dependió del modelo y de la recompensa.
• Compensaciones:
  • Capacidad: El post-entrenamiento no degradó consistentemente las capacidades generales (MMLU, GSM8K), aunque los efectos variaron según el modelo base.
  • Utilidad y Robustez: DPO mejoró la precisión de no-distracción de manera fiable en todos los modelos base sin degradar la utilidad. GRPO mejoró la utilidad en algunos modelos pero redujo la precisión de no-distracción en otros (por ejemplo, una caída de 15.4 puntos en Phi-4-mini), lo que sugiere que puede sobre-optimizar la utilidad percibida a costa de la robustez.
  • Recompensas de Formato: Incluir recompensas de formato en GRPO fue crítico para la reducción de la deriva; las recompensas de solo deriva fueron insuficientes.

Significado y Reivindicaciones

El artículo concluye que la deriva del razonamiento inducida por la memoria es un modo de fallo medible y solo parcialmente mitigado de los modelos de lenguaje personalizados.

• Invisibilidad: El fenómeno es peligroso porque es invisible a nivel de respuesta; los modelos pueden sonar razonables mientras dependen de cadenas de justificación fundamentalmente diferentes impulsadas por atributos de usuario irrelevantes.
• Necesidad de Evaluación: Las métricas de precisión estándar son insuficientes para tareas inverificables. La fiabilidad debe medirse a través de la estabilidad del razonamiento.
• Límites de la Mitigación: Si bien el post-entrenamiento (GRPO/DPO) puede reducir la deriva, introduce compensaciones. No hay un "almuerzo gratis" donde la deriva se elimine sin impactos potenciales en la capacidad, la utilidad o el seguimiento de instrucciones.
• Dirección Futura: Los autores enfatizan la necesidad de evaluar la estabilidad del razonamiento antes de desplegar LLMs equipados con memoria en entornos de apoyo a la decisión. Reconocen limitaciones, señalando que DRIFTLENS mide el razonamiento expresado externamente, no la cognición oculta, y que sus experimentos de mitigación se limitaron a modelos pequeños/medianos debido a restricciones computacionales.

El estudio sirve como un llamado a la acción para que la comunidad vaya más allá de la evaluación a nivel de respuesta y desarrolle mecanismos robustos para asegurar que la personalización mejore, en lugar de distorsionar, los procesos de razonamiento de los sistemas de IA.