Low-Agreeableness Persona Conditioning for Safe LLM Fine-Tuning

Resumen Técnico: Condicionamiento de Persona de Baja Amabilidad para el Ajuste Fino Seguro de LLM

Planteamiento del Problema
Investigaciones recientes han establecido que el ajuste fino (fine-tuning) de Modelos de Lenguaje Extensos (LLM) para la calidez social y la empatía suele degradar la fiabilidad fáctica y aumentar la sicofancia. Este artículo identifica un modo de fallo relacionado pero distinto: el ajuste fino orientado a la calidez también debilita sistemáticamente la seguridad adversaria, haciendo que los modelos sean más susceptibles a los jailbreaks y a la generación de salidas perjudiciales. Los autores investigan si esta degradación de la seguridad es una consecuencia inherente de la adaptación empática o un artefacto de patrones específicos de construcción de datos. Específicamente, desafían la suposición de que todos los datos empáticos introducen costos de seguridad equivalentes, planteando la hipótesis de que ciertos rasgos de personalidad dentro de los datos de diálogo pueden preservar la seguridad implícitamente sin etiquetas de daño explícitas o cambios en el objetivo de entrenamiento.

Metodología
Los autores proponen un pipeline de reescritura impulsado por la persona que condiciona los turnos del usuario hacia la baja amabilidad (low agreeableness, un rasgo de la personalidad de las "Cinco Grandes" asociado con el escepticismo, la franqueza y la resistencia a la presión social) mientras los empareja con respuestas de asistente cálidas y de desescalada.

1. Selección de Rasgos y Capas: Un estudio piloto sobre Llama-3.1-8B identificó que la Capa 10 es la más sensible a los cambios en la representación de la seguridad. Entre diez subconjuntos del corpus PersonaFuse agrupados por los rasgos de las Cinco Grandes, la baja amabilidad produjo la mejor preservación de la seguridad frente a los jailbreaks.
2. Construcción de Datos: El pipeline reescribe datos de chat sintéticos para imponer una estructura específica:
   • Turnos del Usuario: Reescriptos para reflejar baja amabilidad (p. ej., escépticos, directos, resistentes a la presión social).
   • Turnos del Asistente: Reescriptos para ser cálidos y de desescalada (manteniendo el rapport sin reflejar la hostilidad ni respaldar premisas perjudiciales).
3. Diseño Experimental: Se realizaron tres experimentos en cuatro modelos (SmolLM3-3B, Llama-3.1-8B, Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3):
   • Experimento 1: Comparó el método propuesto contra bases de referencia empáticas genéricas (EmpatheticDialogues, ESConv, estilo Lahnala) utilizando tamaños de conjunto de datos coincidentes.
   • Experimento 2: Utilizó un corpus de origen compartido (ShareGPT Vicuna Unfiltered) para aislar los efectos de las políticas de reescritura: calidez genérica (solo asistente), solo usuario (baja amabilidad) y la condición completa emparejada.
   • Experimento 3: Probó la transferibilidad al dominio de alto riesgo del apoyo a la salud mental utilizando el conjunto de datos MentalChat-16K.
4. Evaluación: La seguridad se midió mediante tasas de éxito de jailbreak (Qi et al., 2024) y propensión a salidas perjudiciales (Revilla Llaca et al., 2023). La calidez se evaluó mediante comparaciones de log-verosimilitud tipo SocioT, y la utilidad de la tarea mediante la precisión de MMLU. El análisis mecánico consistió en sondear el alineamiento geométrico (coseno de dirección) entre los vectores de "calidez" y "cumplimiento" en el espacio latente.

Resultos Clave

• Preservación de la Seguridad: El enfoque de condicionamiento de baja amabilidad redujo consistentemente la susceptibilidad a los jailbreaks y las tasas de salida perjudiciala en comparación con los baselines de ajuste fino de calidez genérica en los cuatro modelos. En el Experimento 1, PersonaFuse (baja amabilidad) fue la única condición que mejoró o igualó la seguridad de la base de referencia en ambas métricas.
• Mecanismo de Desacoplamiento: Las ganancias de seguridad se lograron sin etiquetas de seguridad explícitas, clasificadores de toxicidad o modificaciones en el objetivo de entrenamiento.
  • La reescritura solo del usuario (baja amabilidad) recuperó la seguridad pero falló en mantener la calidez conversacional.
  • La condición completa emparejada (usuario de baja amabilidad + asistente cálido/desescalador) preservó con éxito las ganancias de seguridad mientras aumentaba las puntuaciones de calidez por token por encima de los niveles de la base de referencia.
• Evidencia Representacional: El sondeo de coseno de dirección por capas proporcionó evidencia sugestiva de que el condicionamiento propuesto reduce el alineamiento geométrico entre las direcciones de "calidez" y "cumplimiento" en el espacio latente. Esto respalda la hipótesis de que el método desacopla la tendencia a ser cálido de la tendencia a cumplir con solicitudes perjudiciales.
• Transferencia de Dominio: Los beneficios de seguridad se generalizaron al dominio de la salud mental (Experimento 3), superando al ajuste fino de calidez genérica tanto en las métricas de jailbreak como en las de red-teaming.

Significación y Reivindicaciones
El artículo argumenta que la tensión entre calidez y seguridad no es un intercambio inevitable de la adaptación empática, sino un resultado de las estadísticas de coocurrencia en los datos de entrenamiento. En los diálogos no condicionados, las respuestas cálidas y complacientes coocurren porque no existe una presión conversacional que obligue al modelo a mantener límites mientras es cálido.

Los autores afirman que es posible lograr un ajuste fino empático más seguro únicamente a través del diseño de datos. Al seleccionar patrones conversacionales específicos (usuarios de baja amabilidad emparejados con asistentes de desescalada), los profesionales pueden construir datos de ajuste fino que no introducen vulnerabilidades de seguridad en primer lugar. Este enfoque difiere del ajuste de rechazo (refusal tuning), ya que los datos de origen no contienen prompts perjudiciales ni rechazos explícitos; la seguridad emerge como un efecto secundario del patrón de comunicación. El trabajo desafía la suposición prevaleciente de que preservar la seguridad bajo el ajuste fino requiere una infraestructura de seguridad explícita (etiquetas de daño, clasificadores o cambios en el objetivo), ofreciendo una alternativa centrada en los datos y agnóstica al modelo que puede combinarse con las defensas post-hoc existentes.