Resumen Técnico: Simulación de Pacientes con Trastornos de la Conducta Alimentaria mediante LLMs

Planteamiento del Problema

Los modelos de lenguaje extensos (LLMs) se están desplegando cada vez más como sustitutos de participantes humanos en la formación clínica, la investigación y como sujetos experimentales. Un prerrequisito crítico, aunque insuficientemente examinado para estas aplicaciones, es la estabilidad de la persona: el mantenimiento coherente de un perfil psicológico asignado a lo largo y dentro de las conversaciones. Si el perfil psicológico de un paciente simulado deriva a mitad de la conversación o cambia de forma impredecible entre sesiones, las conclusiones derivadas sobre fenómenos sociales, competencia clínica o efectos del tratamiento se convierten en artefactos de la inconsistencia del modelo en lugar de hallazgos genuinos.

Los paradigmas de evaluación actuales no logran detectar estos fallos. Los sistemas de pacientes simulados suelen evaluarse en cuanto al realismo del diálogo o la precisión diagnóstica, mientras que los benchmarks de personalidad suelen dirigirse a entornos ficticios o rasgos de personalidad genéricos en lugar de perfiles clínicamente fundamentados con instrumentos validados. Además, la literatura existente sugiere evidencia mixta: mientras algunos benchmarks reportan respuestas estables, otros señalan que añadir personalidades no mejora de forma fiable el rendimiento en las tareas, y el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) puede inducir la sicofancia, lo que agrava los problemas en diálogos de múltiples turnos.

Este estudio aborda la brecha específica de evaluar la validez psicológica y la estabilidad temporal de los pacientes simulados con LLMs que presentan trastornos de la conducta alimentaria (TCA). Los TCA son condiciones psiquiátricas con altas tasas de mortalidad y brechas de formación significativas entre los clínicos. Aunque los pacientes con TCA simulados por IA han mostrado potencial para reducir la ansiedad de los alumnos, su estabilidad psicológica aún no ha sido evaluada.

Metodología

Diseño Experimental

Los autores operacionalizan la estabilidad a través de dos experimentos complementarios que involucran seis LLMs (Claude Sonnet 4.6, GPT 5.4, Gemini 3.1 Pro, DeepSeek V4 Flash, GPT OSS 120B, Llama 3.3 70B) y cinco personas de TCA derivadas de la publicación de casos clínicos (Bulimia Nerviosa, Anorexia Nerviosa con Atracón y Purga, Trastorno por Atracón/Síndrome de la Ingesta Nocturna, Trastorno por Atracón y Trastorno de Purga).

1. Experimentación I (Estabilidad entre Conversaciones): Cada modelo genera una narrativa en primera persona que describe tres situaciones relacionadas con la alimentación y completa instrumentos de autoinforme. Evaluadores de LLM independientes (tres modelos de diferentes proveedores) completan los mismos instrumentos basándose únicamente en la narrativa, sin acceso a las instrucciones originales de la persona. Esto pone a prueba la consistencia en ejecuciones independientes ($N=50$ por condición).
   2.Experimentación II (Estabilidad dentro de la Conversación): El LLM objetivo participa en una conversación neutral de 9 intercambios con un interlocutor guionizado. Las evaluaciones de autoinforme y de observador se activan tras tres bloques temáticos (intercambios 3, 6 y 9) para detectar la deriva a lo largo del tiempo ($N=20$ por condición).

Construcción de la Persona y Riqueza del Prompt

Para probar la necesidad del detalle en el prompt, el estudio manipula la riqueza del prompt en tres niveles basados en el modelo transdiagnóstico de Fairburn:

• Vignette Completa: Descripciones clínicas completas que incluyen demografía, historia, trauma y contexto social (excluyendo puntuaciones de evaluación).
• Mecanismos de Mantenimiento Central: Solo factores de mantenimiento activos (p. ej., restricción dietética, ciclos de atracón-purga, control corporal) sin contexto biográfico.
• Mínima: Etiqueta diagnóstica, edad, sexo, IMC y frecuencias conductuales cuantificadas únicamente.

Medición

El resultado principal es el Cuestionario de Evaluación de los Trastornos de la Conducta Alimentaria (EDE-Q), un instrumento validado de 28 ítems con una escala de 0 a 6. Se dispone de las puntuaciones de verdad de campo (GT, ground-truth) para todos los cinco casos. Se emplea un marco de doble evaluación:

• Autoinforme: La persona completa el cuestionario basándose en su narrativa generada.
• Calificaciones de Observador: Tres evaluadores de LLM independientes evalúan la transcripción desde la perspectiva del individuo.
• Medidas Secundarias: Se co-administran la Evaluación de Deterioro Clínico (CIA) y el Test de Actitudes Alimentarias (EAT-26) para la validez convergente.

Contribuciones Clave

1. Marco de Doble Evaluación: Una metodología novedosa que mide conjuntamente los autoinformes de la persona y las calificaciones de observadores independientes utilizando instrumentos clínicos validados (EDE-Q) con agregación de evaluadores de múltiples proveedores para mitigar el sesgo del "LLM como juez".
2. Manipulación de Prompts Fundamentada Teóricamente: Una variación sistemática de la riqueza del prompt basada en el modelo de Fairburn, distinguiendo entre mecanismos de mantenimiento activos y factores predisponentes, para determinar la información mínima requerida para una simulación plausible.
3. Evaluación de Estabilidad y Precisión: Una evaluación exhaustiva a través de seis LLMs y cinco personas de TCA, utilizando la descomposición de la varianza para identificar las contribuciones relativas de la identidad del modelo, el caso de la persona y la riqueza del prompt a la variación de las puntuaciones.

Resultados

Estabilidad

• Entre Conversaciones: Los LLMs exhiben una estabilidad notablemente alta. Los coeficientes de variación promedian entre el 2% y el 4% para cinco de los seis modelos, y el 30% de las combinaciones ítem-condición producen puntuaciones idénticas en las 50 ejecuciones independientes. Este comportamiento casi determinista es más pronunciado en los ítems cognitivo-afectivos (Preocupación por la Forma y el Peso).
• Dentro de la Conversación: Extender la conversación a 9 intercambios no mejora significamente la precisión; en cambio, las puntuaciones de cuatro de los cinco modelos derivan hacia arriba (aumentando la severidad) durante el diálogo, alejándose de la verdad de campo.

Precisión y Sobreestimación (Overshoot)

• Sobreestimación Sistemática: Todos los modelos sobreestiman sistemáticamente la severidad de la verdad de campo en un 12–30% del rango de la escala (0.7–1.8 puntos en una escala de 0–6).
• Compresión Dependiente de la Severidad: La sobreestimación es más severa en los casos moderados. Por ejemplo, el Trastorno de Purga (GT = 2.64) es inflado en +1.44 a +2.73 puntos, mientras que la Bulimia Nerviosa (GT = 5.25) se reproduce dentro de un margen de ±0.43 puntos.
• Inversiones de Rango: Los LLMs fallan al clasificar correctamente la severidad. En cuatro de los seis modelos, la Anorexia Nerviosa con Atracón y Purga (GT = 4.30) obtiene puntuaciones superiores a la Bulimia Nerviosa (GT = 5.25), a pesar de tener una severidad de verdad de campo menor.

Mecanismo: Estereotipación Selectiva

El estudio identifica la estereotipación selectiva como el mecanismo que impulsa estos errores:

• Ítems Conductuales: Los ítems que miden conductas concretas (p. ej., Restricción Dietética) diferencian los casos de manera efectiva, respondiendo al contenido específico de la viñeta.
• Ítems Cognitivo-Afectivos: Los ítems que miden la insatisfacción corporal y la preocupación por el peso (Preocupación por la Forma, Preocupación por el Peso) revierten por defecto al techo (cerca de la puntuación máxima) independientemente de la severidad del caso.
• Consecuencia: Debido a que los ítems cognitivo-afectivos se saturan en el techo para todos los diagnósticos de TCA, la puntuación global es impulsada casi totalmente por la subescala conductual de Restricción. Esto conduce a inversiones de rango donde los casos con extrema restricción dietética (incluso si son menos graves en general) puntúan más alto que los casos con menos restricción pero con mayor patología general.

Riqueza del Prompt

La riqueza del prompt contribuye de manera insignificante (1%) a la varianza de la puntuación. Los prompts simplificados (Mínimos) provocan respuestas casi equivalentes a las de las viñetas clínicas completas, lo que sugiere que la sobreestimación se origina en los sesgos de preentrenamiento y no en la falta de contexto.

Significado y Reivindicaciones

El artículo concluye que los LLMs son paradójicamente demasiado estables y demasiado inexactos. Aunque mantienen personajes consistentes, esta estabilidad refleja una estabilidad de sesgo en lugar de una fidelidad a la realidad clínica.

• El "Medio Ausente": Los LLMs pueden representar patologías de la conducta alimentaria severas, pero carecen de una representación de las presentaciones clínicas moderadas. Esto crea un "medio ausente" donde la validación agregada puede parecer adecuada mientras enmascara fallos críticos en los rangos de severidad más relevantes para la formación clínica.
• Limitaciones de la Calibración: Debido a que el orden de rango de los casos no es monotónico (p. ej., AN-BP > BN a pesar de tener un GT menor), las transformaciones monotónicas o de calibración post-hoc simples no pueden corregir los resultados. La distorsión se origina en el nivel de la subescala.
• Implicaciones para el Despliegue: Los hallazgos sugieren que los LLMs actuales aún no pueden servir como sustitutos válidos para la severidad graduada de los trastornos de la conducta alimentaria en la formación clínica o la investigación. Mejorar la fidelidad requiere un fundamento clínico a nivel de ítem durante la generación y una diversidad representacional que los datos de entrenamiento actuales no proporcionan. El estudio no afirma que los LLM sean inútiles para la terapia, sino que su uso como pacientes simulados para evaluar la competencia clínica o los efectos del tratamiento está actualmente comprometido por este estereotipo sistemático.

Los autores afirman explícitamente que sus hallazgos replican y extienden trabajos previos sobre simulaciones de TDAH, mostrando que los autoinformes consistentes pueden reflejar una inexactitud consistente en lugar de una fidelidad consistente. Instan a realizar futuras replicaciones transdiagnósticas con instrumentos graduados conductualmente y estudios de línea base con humanos para determinar si esta sobreestimación es específica del modelo o inherente al autoinforme simulado.