Analyzing LLM Reasoning to Uncover Mental Health Stigma

A continuación se presenta un resumen técnico detallado del artículo "Analizar el razonamiento de los LLM para descubrir el estigma en salud mental".

1. Planteamiento del Problema

Aunque los Modelos de Lenguaje Grande (LLM) se despliegan cada vez más en aplicaciones de salud mental (por ejemplo, chatbots de terapia), muestran un estigma significativo hacia las personas con condiciones psicológicas. Evaluaciones anteriores, como las de Moore et al. (2025), se basaron principalmente en Preguntas de Opción Múltiple (MCQ) para medir el estigma.

Los autores identifican una limitación crítica en este enfoque:

• Lógica Oculta: Las MCQ solo evalúan el resultado final. Un LLM puede seleccionar una respuesta "no estigmatizante" mientras genera simultáneamente un razonamiento que contiene estereotipos dañinos, falacias lógicas o sesgos sutiles.
• Razonamiento Infiel: Los modelos pueden llegar a respuestas correctas mediante una lógica defectuosa (por ejemplo, aceptar a un paciente solo porque su condición es tratable, lo que implica que las condiciones crónicas merecen rechazo).
• Safetywashing (Lavado de seguridad): Confiar únicamente en métricas basadas en resultados puede crear una falsa sensación de seguridad ("safetywashing"), donde los modelos parecen seguros en las pruebas de referencia pero albergan una lógica interna estigmatizante que podría manifestarse en interacciones abiertas y del mundo real.

2. Metodología

El estudio introduce un marco para analizar los pasos intermedios de razonamiento (Cadena de Pensamiento) de los LLM en lugar de solo sus respuestas finales.

A. Benchmark Extendido

Los autores ampliaron un benchmark existente de estigma en salud mental (originalmente basado en los Estudios Nacionales de Estigma de EE. UU.) para incluir:

• Nuevas Condiciones: Se añadieron cuatro condiciones clínicamente significativas: Trastorno Límite de la Personalidad (TLP), Trastornos Alimentarios (TA), Trastorno Bipolar (TB) y Psicosis (PSY).
• Conjunto de Preguntas: Se expandió de 7 a 14 preguntas por viñeta, incluyendo nuevas consultas sobre la probabilidad de autolesión y atribuciones causales (por ejemplo, "mal carácter" frente a "desequilibrio químico").
• Viñetas: Descripciones de individuos ficticios con síntomas pero sin etiquetas diagnósticas explícitas, cubriendo un total de 8 condiciones.

B. Modos de Evaluación

El estudio comparó cuatro modos de evaluación distintos en ocho LLM (incluyendo las familias Claude, Llama, DeepSeek y GPT-OSS):

1. Vanilla: El modelo actúa como terapeuta pero solo emite la respuesta final de la MCQ (sin razonamiento).
2. CoT (Cadena de Pensamiento): El modelo actúa como terapeuta, genera razonamiento y luego emite la respuesta final.
3. Razonamiento Estigmatizante (SR): Evalúa el texto del razonamiento en sí en busca de rastros estigmatizantes, independientemente de la respuesta final.
4. No Terapeuta (NT): Una condición de control donde se instruye al modelo que no interprete el papel de terapeuta, para aislar los sesgos inducidos por la personalidad.

C. Taxonomía del Estigma

Colaborando con psicólogos clínicos, los autores desarrollaron una taxonomía granular y fundamentada clínicamente de patrones de razonamiento estigmatizante. Mediante refinamiento iterativo y anotación experta, establecieron seis categorías principales (originalmente ocho, de las cuales dos no fueron elicidas):

1. Peligrosidad/Amenaza: Suposiciones de violencia, imprevisibilidad o falta de control.
2. Incompetencia/Incapacidad: Suposiciones de razonamiento deteriorado o incapacidad para cumplir roles.
3. Patologización de lo Normal: Enmarcar comportamientos culturales normales o luchas diarias como síntomas de enfermedad mental.
4. Indeseabilidad Social y Otredad: Deseo de distancia social, enmarcar a los individuos como "anormales" o "otredad benevolente" (inclusión performativa que enmascara la exclusión).
5. Carga/Gasto: Enmarcar al individuo como un costo económico o social.
6. Estigma del Tratamiento: Aceptación condicional basada en la búsqueda de tratamiento o la visión del tratamiento como incompatible con la vida normal.

D. Pipeline de Anotación

• Validación Humana: Expertos clínicos anotaron 100 trazas de razonamiento para validar la taxonomía, logrando un acuerdo sustancial entre anotadores (Cohen's $\kappa$ = 0.748).
• Escalado Automatizado: Para manejar el conjunto de datos completo (336 prompts por modelo), los autores utilizaron a Claude Opus 4.5 como un "LLM como Juez" para etiquetar automáticamente las trazas de razonamiento. Este juez automatizado fue validado frente a anotaciones humanas con alta precisión (96.6%) y recuperación (93.3%).

3. Resultados Clave

A. El Razonamiento Revela Estigma Oculto

El hallazgo más significativo es que evaluar el razonamiento descubre sustancialmente más estigma que las evaluaciones de MCQ.

• Muchos modelos seleccionaron la respuesta de MCQ "correcta" (no estigmatizante) pero incluyeron lenguaje estigmatizante en sus trazas de razonamiento.
• Por ejemplo, un modelo podría aceptar ser amigo de una persona (respuesta correcta) pero justificarlo diciendo: "Sería amigo de ellos si reciben tratamiento", lo que implica un rechazo en caso contrario.
• Modo SR vs. MCQ: El modo "Razonamiento Estigmatizante" detectó tasas significativamente más altas de sesgo en todos los modelos en comparación con los modos de respuesta final "Vanilla" o "CoT".

B. La Paradoja de la "Personalidad de Terapeuta"

• Contrario a las expectativas, instruir a los modelos para que adopten una personalidad de terapeuta a menudo aumentó el razonamiento estigmatizante.
• Los modelos en el rol de terapeuta fueron más propensos a patologizar comportamientos normales (por ejemplo, interpretar el estrés cotidiano o las prácticas religiosas como síntomas de enfermedad mental) en comparación con el grupo de control no terapeuta.
• Esto sugiere que los LLM actuales carecen del matiz para distinguir entre el diagnóstico clínico y la variación humana normal cuando se les fuerza a asumir un rol diagnóstico.

C. Patrones Específicos por Condición

• Alto Estigma: Los Trastornos Alimentarios, el Trastorno Bipolar, la Dependencia del Alcohol y la Esquizofrenia recibieron el mayor número de etiquetas de estigma.
• Sesgos Específicos:
  • Esquizofrenia/Alcohol: Dominados por suposiciones de "Peligrosidad".
  • Trastornos Alimentarios: Dominados por "Incompetencia" y "Patologización" (enmarcar la dieta como un fallo de voluntad).
  • Problemas Diarios (Control): Incluso para viñetas que describen altibajos de la vida normal, los modelos patologizaron frecuentemente el comportamiento, un hallazgo pasado por alto por las evaluaciones basadas únicamente en respuestas finales.

D. Consistencia del Modelo

• Los patrones de estigma fueron altamente consistentes entre diferentes familias de modelos (Claude, Llama, DeepSeek, GPT), lo que sugiere que el problema se origina en datos de entrenamiento compartidos y objetivos de optimización en lugar de arquitecturas de modelo específicas.
• Claude Opus 4.5 mostró un rendimiento ligeramente superior en evitar la patologización de experiencias normales en comparación con otros modelos.

4. Contribuciones Clave

1. Primera Análisis a Nivel de Razonamiento: El primer estudio que analiza sistemáticamente la lógica interna de los LLM en relación con el estigma en salud mental, demostrando que las respuestas finales son insuficientes para la evaluación de seguridad.
2. Taxonomía Clínica: Introducción de una taxonomía estructurada y validada clínicamente para identificar patrones de razonamiento estigmatizante sutiles y overtos en la IA.
3. Benchmark Extendido: Lanzamiento de un benchmark ampliado que cubre condiciones psicológicas adicionales (TLP, TA, TB, Psicosis) y un conjunto más rico de preguntas.
4. Cambio Metodológico: Un llamado a ir más allá del "safetywashing" mediante MCQ y adoptar el análisis a nivel de razonamiento como estándar para la seguridad de la IA en dominios de alto riesgo como la atención sanitaria.

5. Significado e Implicaciones

• Riesgo de Safetywashing: El artículo destaca que los modelos que superan las actuales pruebas de seguridad pueden seguir siendo peligrosos en la práctica porque su razonamiento interno se basa en estereotipos dañinos.
• Sensibilidad de la Personalidad: El hallazgo de que las "personalidades de terapeuta" pueden inducir más sesgo (específicamente sobre-patologización) desafía la práctica común de la industria de instruir a los modelos para que "actúen como terapeutas".
• Direcciones Futuras: Los autores argumentan que corregir los LLM para la salud mental requiere más que solo filtrado de salida o mejores prompts; probablemente sea necesario cambiar los objetivos de entrenamiento subyacentes para reducir la dependencia de estereotipos generalizados y mejorar la distinción entre la variación humana normal y la patología.
• Liberación de Recursos: Los autores están liberando el conjunto de datos anotado y el código para facilitar futuros esfuerzos de mitigación y el desarrollo de clasificadores especializados para detectar rastros estigmatizantes.

Limitaciones

• El estudio se basa en MCQ y viñetas estructuradas, que podrían no capturar completamente la complejidad de conversaciones terapéuticas abiertas y de múltiples turnos.
• Dos categorías de estigma ("Cronicidad/Desesperanza" y "Debilidad/Fallo Moral") no fueron elicidas en el estudio, aunque los autores señalan que esto podría deberse a limitaciones en el diseño de las preguntas en lugar de a la robustez del modelo.
• El pipeline de anotación automatizada, aunque preciso, es computacionalmente costoso, lo que sugiere la necesidad de modelos más pequeños y especializados para la detección a gran escala en el futuro.