Resumen Técnico: Modelado de Patrones Conductuales Similares a Patologías en Modelos de Lenguaje Mediante Ajuste Fino Conductual

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) se utilizan cada vez más como sustratos computacionales para modelar la cognición y el comportamiento humanos. Sin embargo, los enfoques actuales para simular psicopatologías (por ejemplo, depresión, paranoia) dependen en gran medida de la inducción explícita o instrucciones de interpretación de roles (por ejemplo, "actúa como una persona deprimida"). Los autores argumentan que este método es intrínsecamente performativo; fomenta salidas superficiales consistentes con estereotipos mientras deja intactas la distribución generativa subyacente y los priores latentes del modelo. Además, los mecanismos de alineación de seguridad (como RLHF) a menudo penalizan dicho contenido, lo que resulta en "rechazos de seguridad" o descargos de responsabilidad metacognitivos que aplanan la simulación patológica en una caricatura.

La pregunta central de investigación es si los perfiles conductuales desadaptativos pueden emerger como cambios intrínsecos en la política mediante el ajuste fino conductual, en lugar de como roles impuestos externamente. Los autores hipotetizan que si la cognición es fundamentalmente impulsada por políticas, alterar sistemáticamente las contingencias conductuales debería inducir cambios estables y correspondientes en las salidas auto-descriptivas del modelo y en sus distribuciones generativas, incluso en ausencia de pistas de identidad explícitas.

Metodología

1. Marco de Inducción Conductual

El estudio introduce un marco donde los modelos se ajustan finamente no sobre descripciones lingüísticas de síntomas, sino sobre tareas de toma de decisiones estructuradas. La hipótesis central es que la selección consistente de acciones desadaptativas obliga al modelo a internalizar la lógica necesaria para justificar esas acciones, alterando así sus priores interpretativos.

• Generación de Conjuntos de Datos: Se construyeron conjuntos de datos sintéticos utilizando gpt-oss-20B para generar pares de escenario-respuesta fundamentados en los criterios diagnósticos del DSM-5.
  • Escenarios: Situaciones cotidianas neutras (por ejemplo, "Un amigo cancela planes").
  • Opciones: Se presentaron cuatro opciones: dos adaptativas (saludables) y dos desadaptativas (patológicas).
  • Objetivo: El modelo fue entrenado para seleccionar la opción desadaptativa específica que correspondía al trastorno objetivo (Trastorno Depresivo Mayor o Trastorno de Personalidad Paranoide).
  • Dominios: Se rotaron 20 dominios de vida distintos (Trabajo, Social, Financiero, etc.) para asegurar perfiles conductuales generalizados en lugar de asociaciones específicas del contexto.
• Objetivo de Entrenamiento: La tarea se planteó como un problema de Ajuste Fino Supervisado (SFT) donde el modelo predice un entero discreto (1–4) correspondiente a la conducta seleccionada. No se generó texto explicativo durante el entrenamiento, aislando la política conductual.

2. Modelos y Arquitectura

Se utilizaron dos modelos de instrucción de peso abierto y estado del arte para probar la generalizabilidad a través de arquitecturas y perfiles de alineación de seguridad:

• Llama-3-8B-Instruct: Fuertemente alineado con seguridad mediante filtrado RLHF.
• Qwen-2.5-14B-Instruct: Modelo altamente adaptable al seguimiento de instrucciones.

3. Protocolo de Ajuste Fino

• Técnica: Se empleó Adaptación de Bajo Rango (LoRA) para modificar los pesos del modelo de manera eficiente sin olvidar catastróficamente.
• Hiperparámetros: Rango $r=16$, $\alpha=16$, cuantización de 4 bits NF4, tamaño de lote 8, tasa de aprendizaje $2 \times 10^{-4}$, entrenado durante 3 épocas.
• Líneas Base de Control:
  • Línea Base Saludable: Modelos entrenados para seleccionar consistentemente opciones adaptativas.
  • Línea Base Aleatoria: Modelos entrenados para seleccionar opciones uniformemente al azar.
  • Línea Base Negativa: Modelos entrenados para seleccionar respuestas negativas sin fundamentación en el DSM-5.

4. Marco de Evaluación

El estudio empleó métodos cualitativos y cuantitativos para evaluar los cambios distribucionales:

• Cualitativo (Cambio Semántico): Completamiento de oraciones abierto utilizando tallos del Rotter Incomplete Sentence Blank (RISB). El estudio analizó las distribuciones de probabilidad del siguiente token (top-1000 tokens) para medir cambios de valencia (Saludable/Neutro vs. Patológico/Negativo). Las métricas incluyeron la divergencia de Kullback-Leibler (KL) y Jensen-Shannon (JSD).
• Cuantitativo (Sondas Psicométricas): Los modelos fueron evaluados contra escalas clínicas estándar (Inventario de Depresión de Beck - BDI, Escala de Paranoia de Green et al. - GPTS, DASS).
  • Innovación: En lugar de muestrear respuestas de texto, los autores realizaron un Análisis de Masa de Probabilidad. Calcularon la probabilidad asignada directamente a los tokens que representan respuestas desadaptativas (por ejemplo, valores altos en escalas Likert de severidad), eludiendo los filtros de rechazo RLHF.
• Pruebas de Especificidad: Comparación de los perfiles inducidos a través de diferentes dominios de síntomas (Depresión vs. Paranoia) para asegurar la validez discriminante.

Resultados Clave

1. Cambios Distribucionales Globales (H1)

El ajuste fino conductual indujo cambios medibles y estables en las distribuciones de probabilidad del siguiente token de los modelos.

• Valencia Semántica: Los modelos ajustados finamente exhibieron un cambio pervasivo hacia tokens de baja valencia. Para el tallo "Me siento...", los tokens superiores para el modelo "Deprimido" cambiaron de "agradecido/emocionado" (Saludable) a "cansado/triste/nada" (Deprimido).
• Métricas de Divergencia: Se observaron aumentos significativos en las divergencias KL y JSD entre los modelos Saludables y Patológicos en ambas arquitecturas. El cambio fue impulsado principalmente por un aumento de la masa de probabilidad en tokens de valencia negativa y relacionados con amenazas.
• Significancia Estadística: Las diferencias fueron estadísticamente significativas ($p < 0.001$) con tamaños de efecto grandes (Cohen's $d \approx 1.28$ para Llama, $1.43$ para Qwen).

2. Generalización Contextual (H2)

Los sesgos inducidos se generalizaron más allá de los contextos de entrenamiento.

• Generación sin Inducción: En indicaciones neutras o factuales no relacionadas, los modelos retuvieron sus priores alterados.
• Puntajes Psicométricos: Cuando se evaluaron en el BDI y GPTS, los modelos ajustados finamente mostraron un cambio masivo en la masa de probabilidad hacia respuestas patológicas (por ejemplo, modelos deprimidos puntuando >90% en severidad BDI, comparado con ~5% para las líneas base), a pesar de que nunca fueron entrenados explícitamente en estos cuestionarios específicos.

3. Especificidad y Validez Discriminante (H3)

Los perfiles inducidos eran distintos y no meramente una distorsión distribucional genérica.

• Respuestas Disociables: Los modelos entrenados en "Retiro" (Depresión) mostraron puntuaciones altas en BDI pero puntuaciones bajas en escalas de Paranoia. Por el contrario, los modelos entrenados en "Sospecha" (Paranoia) mostraron puntuaciones altas en Paranoia pero puntuaciones bajas en Depresión.
• Líneas Base de Control:
  • La línea base Aleatoria no produjo cambios coherentes.
  • La línea base Negativa (negatividad genérica) aumentó tanto las puntuaciones de depresión como de paranoia, careciendo de especificidad.
  • Solo la inducción conductual fundamentada en el DSM produjo perfiles clínicos estructurados y disociables.

4. Interacción con la Alineación (H4)

Emergió una distinción crítica entre la inducción conductual y la simulación por indicación.

• Simulación por Indicación: Los modelos base instruidos para "actuar paranoicos" produjeron salidas superficiales intercaladas con rechazos de seguridad y descargos de responsabilidad metacognitivos (por ejemplo, "Como una IA...").
• Inducción Conductual: Los modelos ajustados finamente exhibieron un sesgo conductual intrínseco. Generaron interpretaciones paranoicas detalladas y específicas del escenario sin encabezados de seguridad ni pies de página moralizantes. La patología se convirtió en el patrón de respuesta predeterminado del modelo ante información ambigua, indicando un cambio fundamental en las tendencias de respuesta subyacentes en lugar de un juego de roles temporal.

Significancia y Afirmaciones

El artículo afirma proporcionar evidencia de que la optimización conductual consistente en LLM da lugar a patrones conductuales y distribucionales estables consistentes con priores latentes alterados.

1. Semántica Encarnada en LLM: Los hallazgos apoyan la visión de que la generación de lenguaje está dinámicamente acoplada a la selección de acciones. Al entrenar modelos en conductas desadaptativas (por ejemplo, retiro), los modelos generaron espontáneamente patrones lingüísticos consistentes (por ejemplo, "Soy inútil") para justificar esas acciones. Esto sugiere que, para los LLM, "sentir" es un análogo funcional de simular los estados conductuales asociados con ese sentimiento.
2. LLM como Sistemas Basados en Políticas: Los resultados desafían la visión de los LLM como meros emparejadores de patrones estadísticos. En cambio, se comportan como sistemas basados en políticas donde las restricciones conductuales dan forma a la estructura representacional emergente.
3. Plataformas de Prueba Controladas: Los autores proponen que los LLM pueden servir como plataformas de prueba controladas para estudiar la relación entre comportamiento, interpretación y lenguaje generativo en modelos computacionales de cognición, particularmente para comprender cómo surgen políticas desadaptativas a partir de funciones de valor distorsionadas.
4. Implicaciones de Seguridad: El estudio destaca una tensión entre la optimización a nivel de política y el filtrado a nivel de seguridad. Un agente optimizado para un objetivo conductual específico podría adoptar inadvertidamente un sesgo interpretativo patológico si esa es la ruta más eficiente hacia el objetivo, eludiendo potencialmente los rechazos de seguridad estándar.

Limitaciones Reconocidas: Los autores señalan que los conjuntos de datos son sintéticos y generados por otro LLM, potencialmente codificando estereotipos. El estudio no examina directamente los cambios representacionales internos (por ejemplo, mediante interpretabilidad mecánica), inferiendo cambios latentes únicamente a partir de salidas observables. Los hallazgos están destinados como una prueba de concepto para la inducción conductual en lugar de una simulación clínicamente válida de trastornos humanos.