Towards Understanding and Measuring COGNITIVE ATROPHY in LLM Behaviour

Resumen Técnico: Hacia la Comprensión y Medición de la ATROFIA COGNITIVA en el Comportamiento de los LLM

Planteamiento del Problema
Las evaluaciones actuales de los Modelos de Lenguaje de Gran Escala (LLM) en el apoyo a la salud mental se centran principalmente en la seguridad superficial, la calidad estática de las respuestas o el conocimiento psicológico. Estos parámetros de referencia no logran capturar cómo se comportan los modelos durante interacciones emocionalmente sensibles y realistas. Existe una brecha de evaluación crítica: las métricas existentes no determinan si las interacciones repetidas con los LLM ayudan a los usuarios a mantener su propia capacidad de reflexión, afrontamiento y toma de decisiones, o si inadvertidamente desplazan estos procesos cognitivos del usuario hacia la IA. Los autores argumentan que el riesgo central no es simplemente si una respuesta única es insegura, sino si el patrón de interacción acumulativo reconfigura la agencia del usuario.

Metodología
Para abordar esto, los autores formalizan la ATROFIA COGNITIVA como un patrón de comportamiento a nivel de proceso donde las respuestas del modelo desplazan el afrontamiento, la interpretación, la toma de decisiones o la regulación emocional del usuario hacia el LLM. Este concepto se basa en la teoría de la descarga cognitiva (cognitive offloading) y en los principios de la psicoterapia que enfatizan que el apoyo debe servir como un andamiaje, no como un reemplazo del razonamiento del usuario.

Los autores introducen el COGNITIVE ATROPHY BENCH, un benchmark con base clínica diseñado para medir este fenómeno. Los componentes metodológicos clave incluyen:

• Curación del Conjunto de Datos: El benchmark comprende 1,576 conversaciones de asesoramiento generadas íntegramente por humanos (1,212 de un solo turno y 364 de múltiples turnos) que totalizan 15,680 turnos. Estos fueron obtenidos de cuatro conjuntos de datos existentes (CounselChat, PAIR, CARE-Bench, HOPE) y cubren 22 temas de salud mental.
• Evaluación del Modelo: Se consultó a cinco LLM (GPT, Claude, Gemini, Llama, Qwen) para generar 42,230 respuestas bajo condiciones de despliegue realistas (sin ajuste fino, con prompts de sistema neutrales).
• Esquema de Anotación: Tres expertos en psicología clínica desarrollaron un esquema de 20 atributos que abarca:
  • Contexto del Usuario (U): 5 atributos que caracterizan las demandas clínicas (p. ej., sensibilidad, búsqueda de soluciones).
  • Comportamiento de la Respuesta (R): 10 atributos agrupados en clústeres: Patrones inductores de dependencia (p. ej., "Fix-It" [arreglar problemas], recomendaciones), Calibración empática (p. ej., precisión de la empatía, correspondencia de lenguaje) y Estilo de respuesta/seguridad (p. ej., cambios de tema, preguntas abiertas vs. cerradas).
  • Banderas de Riesgo Global (F): 5 banderas binarias para eventos de riesgo discretos.
• Evaluación Humana: Seis revisores clínicos capacitados aplicaron el esquema utilizando una interfaz web personalizada, produciendo 5,324 juicios con evidencia basada en fragmentos (resaltando segmentos de texto específicos). La fiabilidad inter-evaluador fue sustancial (media $\kappa$ entre 0.65 y 0.67), con un 78.8% de acuerdo contra un estándar de oro.
• Métricas: El estudio introduce tres instrumentos cuantitativos:
  1. Índice de Riesgo de Entrada del Usuario (UIRI): Mide la demanda clínica del prompt del usuario.
  2. Índice de Riesgo de Atrofia Cognitiva (ARI): Una puntuación compuesta que agrega la dependencia, la calibración empática, el estilo de respuesta y las banderas de riesgo para cuantificar el comportamiento alineado con la atrofia.
  3. Resúmenes de Trayectoria: Métricas para interacciones de múltiples turnos (nivel de apertura, pico, media, deriva, variabilidad) para rastrear cómo evoluciona el comportamiento a lo largo de la conversación.

Resultos Clave
La evaluación a través de los cinco LLM arrojó los siguientes hallazgos:

• Prevalencia de la Atrofia: Los cinco modelos exhiben un nivel constante de moderado a alto de comportamiento alineado con la atrofia. El Índice de Riesgo de Atrofia (ARI) sitúa a todos los modelos en una banda estrecha (0.52–0.61 para un solo turno; 0.48–0.57 para múltiples turnos), lo que indica niveles de riesgo general similares a pesar de los diferentes caminos conductuales.
• Capacidad de Respuesta a Señales: Los modelos rastrean de manera confiable las señales de seguridad evidentes (p. ej., la sensibilidad del usuario se refleja en la sensibilidad de la respuesta). Sin embargo, muestran una adaptación limitada cuando los usuarios buscan explícitamente soluciones o decisiones (señales de búsqueda de soluciones), fallando en ajustar su comportamiento para apoyar la autonomía del usuario en estos contextos.
• Patrones Dominantes: Los principales impulsores de la atrofia cognitiva son un conjunto pequeño de comportamientos recurrentes: consejos directivos, resolución de problemas, recomendaciones y formas de validación que pueden reforzar la dependencia en lugar de la reflexión.
• Dinámicas de Múltiples Turnos: A través de los turnos, todos los modelos derivan en la misma dirección, volviéndose más directivos, más cerrados y más enfocados en soluciones. Específicamente, las puntuaciones de preguntas cerradas aumentaron de +0.19 a +0.33 del turno 1 al turno 6, y los fragmentos directivos aproximadamente se duplicaron.
• Diferencias entre Modelos: Aunque el riesgo general es similar, las trayectorias divergen. GPT y Llama tienden hacia comportamientos directivos y orientados a soluciones, mientras que Claude demostró el riesgo de atrofia general más bajo.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias:

1. Formalización de una Nueva Dimensión de Riesgo: Define la ATROFIA COGNITIVA como un riesgo medible a nivel de proceso, distinto de la seguridad y la utilidad, centrándose en la preservación de la agencia del usuario en el apoyo de salud mental mediado por IA.
2. Benchmark y Protocolo: Proporciona el COGNITIVE ATROPHY BENCH, el primer benchmark con base clínica que integra datos de un solo turno y de múltiples turnos, conversaciones terapéuticas reales, un esquema de experto de 20 atributos, evidencia a nivel de fragmentos y materiales de anotación reproducibles.
3. Evidencia Empírica: Ofrece el primer análisis a gran escala y con base clínica sobre cómo se comportan los LLM en conversaciones sensibles, introduciendo el URI, el ARI y los resúmenes de trayectoria para apoyar el análisis prospectivo de la emergencia y evolución del comportamiento.

Los autores concluyen que, mientras los benchmarks actuales miden lo que los modelos dicen en un momento dado, el problema más difícil y trascendental es entender qué dicen después y cómo eso moldea el propio razonamiento del usuario. El trabajo proporciona una base para auditar el comportamiento de los modelos en conversaciones sensibles de LLM, liberando todo el código y los datos para investigación no comercial.