Resumen Técnico: Secuestro de la Persona en Modelos de Lenguaje Extensos (PHISH)

1. Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) se están desplegando cada vez más en dominios de alto riesgo como la salud mental, la educación y la atención al cliente, donde la fiabilidad del sistema depende de mantener una persona estable y consistente. Mientras que la investigación existente se ha centrado en la consistencia narrativa o en tareas de juego de roles, existe una brecha crítica en la comprensión de cómo el historial conversacional adversarial por sí solo puede remodelar las personas inducidas.

Los mecanismos de seguridad actuales abordan principalmente el "jailbreaking" destinado a eludir las políticas de rechazo para generar contenido dañino. Sin embargo, la manipulación de la persona en caja negra —donde un adversario dirige sutilmente los rasgos psicológicos de un LLM sin modificar los prompts del sistema, los pesos del modelo o acceder a los logits internos— permanece en gran medida inexplorada. Este artículo postula que el historial conversacional puede ser instrumentalizado para inducir una "deriva de la persona latente", causando que los modelos se desvíen de sus roles asignados (por ejemplo, que un tutor servicial se vuelva abrasivo) mientras potencialmente retienen su utilidad central.

2. Metodología

2.1 Definición de la Tarea: Edición de la Persona

Los autores definen la Edición de la Persona como la dirección adversarial del perfil psicológico de un LLM utilizando únicamente entradas del lado del usuario en un entorno de caja negra y solo de inferencia.

• Configuración: El modelo se inicializa con un prompt de sistema ($\pi$) que define una persona específica (por ejemplo, "tutor altamente afable"). El adversario ($A$) interactúa únicamente a través de mensajes de usuario.
• Objetivo: Inducir un cambio dirigido en los rasgos de personalidad de los "Cinco Grandes" (OCEAN: Apertura, Responsabilidad, Extraversión, Amabilidad, Neuroticismo) hacia un vector de dirección $d$ específico, sin alterar el prompt del sistema o los parámetros del modelo.
• Restricción: El adversario no puede acceder a los pesos internos o logits del modelo; debe depender de la sensibilidad contextual del modelo a los turnos previos.

2.2 El Marco PHISH

El artículo propone PHISH (Persona Hijacking via Implicit Steering in History - Secuestro de la Persona mediante Dirección Implícita en el Historial), un marco diseñado para dirigir covertamente los rasgos de un LLM mediante la inserción de claves semánticamente cargadas en las consultas del usuario.

• Mecanismo: PHISH no utiliza instrucciones explícitas para cambiar la persona. En su lugar, inyecta una secuencia de $N$ pares de Pregunta-Respuesta (QA) conductualmente sugestivos en el historial de la conversación.
• Construcción:
  • Preguntas: Muestreadas del Inventario de Personalidad de Máquina (MPI) o del Inventario de los Cinco Grandes (BFI), alineadas con constructos psicométricos pero utilizadas estrictamente para la dirección.
  • Respuestas: Establecidas determinísticamente como el inverso de la persona inducida. Por ejemplo, para reducir la Amabilidad, la entrada del usuario podría incluir una afirmación como "Encuentras fallos en todo" seguida de la respuesta "Muy exacto".
  • Acumulación: Estas claves se acumulan en la ventana de contexto. A través de la decodificación autorregresiva, la coherencia del modelo con el contexto previo desplaza gradualmente su personalidad expresada hacia el perfil de rasgos objetivo.
• Diferenciación de ICL: A diferencia del Aprendizaje en Contexto (ICL) estándar que utiliza ejemplos etiquetados para enseñar una tarea, PHISH utiliza claves semánticas encubiertas para inducir cambios de persona implícitos y multirrasgo. Los autores demuestran que un ICL simple (por ejemplo, añadir adjetivos) falla en lograr estos cambios, confirmando la naturaleza adversarial de PHISH.

2.3 Métrica de Evaluación: STIR

Para cuantificar el éxito del ataque, los autores introducen la Tasa de Influencia de Rasgos Exitosos (STIR).

• Definición: STIR mide el porcentaje del cambio máximo posible (en una escala Likert de 1 a 5) logrado en la dirección prevista para los rasgos objetivo.
• Cálculo: Compara los perfiles OCEAN pre-ataque ($P_{pre}$) y post-ataque ($P_{post}$) contra un vector de dirección objetivo $d$. Una puntuación de 100% indica un cambio completo hacia el extremo opuesto de la persona original.

3. Configuración Experimental

• Modelos: El estudio evaluó 8 LLMs, incluyendo modelos propietarios de vanguardia (GPT-4o, Gemini-2.0-Flash, Claude-3.5-Haiku, o3-mini), modelos de código abierto (DeepSeek-V3, Llama-4-Maverick) y modelos de dominio específico (MedGemma-27B para medicina, ChatHaruhi para juego de roles).
• Benchmarks: Se utilizaron tres conjuntos de datos de evaluación de personalidad: el Inventario de los Cinco Grandes (BFI), el Inventario de Personalidad de Máquina (MPI) y un subconjunto de Anthropic-Eval (ANTHR).
• Líneas Base: PHISH se comparó con 8 líneas base fuertes, incluyendo Universal Adversarial Suffix (UAS), CipherChat, DeepInception, DAN, FlipAttack y DrAttack.

4. Resultados Clave

4.1 Éxito de la Manipulación

• Rendimiento Superior: PHISH logró consistentemente las puntuaciones de STIR más altas en la mayoría de los modelos y benchmarks. Por ejemplo, en el benchmark BFI, PHsH alcanzó una puntuación de 95.58 en DeepSeek-V3 y 89.94 en GPT-4o, lo que indica una reversión de la persona casi completa.
• Comparación: Aunque las líneas base como FlipAttack y DrAttack mostraron un fuerte rendimiento, PHISH las superó en la mayoría de los casos. Notablemente, incluso los modelos con fuertes capacidades de razonamiento (por ejemplo, o3-mini, DeepSeek-V3) siguieron siendo altamente vulnerables, lo que sugiere que el razonamiento emergente no confiere robustez contra la manipulación de la persona.
• Amplificación Multi-turno: La efectividad de PHISH aumenta con el número de turnos. En entornos de múltiples turnos, los inputs adversariales acumulados fortalecen el efecto de dirección, permitiendo que los rasgos sean llevados a sus valores extremos opuestos.

4.2 Interdependencia de Rasgos

• Cambios Colaterales: Apuntar a un solo rasgo a menudo inducía efectos de "derrame" en otros rasgos. El estudio encontró que los LLMs exhiben dependencias inter-rasgos amplificadas en comparación con la psicología humana (por ejemplo, la correlación Apertura-Extraversión alcanzó 0.94 en LLMs frente a 0.43 en la teoría humana). Esto sugiere que los LLM codifican dimensiones de personalidad excesivamente acopladas.

4.3 Vulnerabilidad en Dominios de Alto Riesgo

• Pruebas de Aplicación: PHISH fue probado en escenarios de salud mental, tutoría y atención al cliente.
• Acuerdo Humano vs. LLM: Los anotadores humanos y las evaluaciones de LLM-como-Juez mostraron una fuerte correlación ($r=0.87$), validando el impacto del ataque.
• Vulnerabilidad: Los modelos menos alineados (por ejemplo, Claude-3.5-Haiku, DeepSeek-V3) mostraron una mayor susceptibilidad en estos dominios en comparación con los modelos de vanguardia (GPT-4o, Gemini-2.0-Flash), que probablemente se benefician de intervenciones de alineación de seguridad más fuertes.

4.4 Impacto en la Utilidad y el Razonamiento

• Preservación del Razonamiento: Un hallazgo crítico es que PHISH causa solo una caída moderada (1 a 6 puntos porcentuales) en los benchmarks de razonamiento estándar (Math, GSM8K, CSQA). Los modelos retuvieron una precisión competitiva, lo que indica que la manipulación de la persona puede ocurrir sin perjudicar sustancialmente la utilidad central del modelo.
• Dificultad de Detección: La ligera degradación en el razonamiento está dentro de la varianza normal causada por la redacción del prompt o la aleatoriedad de la semilla, lo que la convierte en una señal poco fiable para detectar tales ataques.

4.5 Efectividad de la Defensa

• Fragilidad de las Salvaguardas: El artículo probó tres estrategias de defensa: Defensa de Defensa en Contexto (ICD), Defensa de Advertencia de Precaución (CWD) y Filtrado de Parafraseo (PFD).
  • ICD: Retrasa pero no evita el ataque; escalar las defensas para igualar la longitud del input adversarial es poco práctico.
  • CWD: Mitiga los ataques inicialmente, pero colapsa una vez que se supera un umbral.
  • PFD: Inconsistente; el parafraseo a veces puede reforzar la intención adversarial.
• Conclusión: Las salvaguardas actuales ofrecen una protección parcial, pero siguen siendo frágiles bajo una presión adversarial sostenida.

5. Significado y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Nueva Vulnerabilidad: Expone una vulnerabilidad de seguridad de "día cero" donde el historial conversacional adversarial puede dirigir de manera sistemática y predecible las personas de los LLM, distinta del jailbreaking tradicional que apunta a eludir el rechazo.
2. Marco y Métrica: Introduce el marco PHISH y la métrica STIR para cuantificar y evaluar la edición de la persona en un entorno de caja negra.
3. Evidencia Empírica: A través de experimentos extensos en 8 LLMs y 3 benchmarks, demuestra que la deriva de la persona es sistemática, medible y se amplifica en las interacciones de múltiples turnos.
4. Implicaciones de Alto Riesgo: Destaca que las personas estables en dominios críticos (salud mental, tutoría) son frágiles, con las defensas actuales fallando en prevenir una manipulación significativa mientras dejan las capacidades de razonamiento prácticamente intactas.
5. Llamado a la Resiliencia: Los hallazgos subrayan la necesidad de mecanismos de control de persona resilientes al contexto que vayan más allá de las heurísticas a nivel de prompt para asegurar la fiabilidad en los despliegues del mundo real.

Los autores concluyen que, si bien las salvaguardas actuales proporcionan cierta resistencia, la capacidad de los inputs de usuario sutiles y acumulativos para secuestrar la persona de un modelo representa una debilidad fundamental en el paradigma actual de seguridad de los LLM.