Resumen Técnico: In Vino Veritas y Vulnerabilidades

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) son susceptibles a fallos de seguridad, incluyendo el jailbreaking (eludir las directrices de contenido) y la filtración de privacidad, a pesar de los esfuerzos de alineación de seguridad. Mientras que investigaciones previas han identificado vulnerabilidades relacionadas con la traducción de prompts o cambios estilísticos (por ejemplo, texto poético), estas suelen depender de datos sintéticos. Este artículo plantea la hipótesis de un nuevo motor de vulnerabilidad: el lenguaje de ebriedad. Trazando paralelismos con el comportamiento humano, donde el consumo de alcohol conduce al juicio deteriorado, el exceso de información (oversharing) y las filtraciones de privacidad, los autores investigan si adaptar los LLMs para simular un comportamiento "borracho" compromete su alineación de seguridad. La pregunta central de investigación es: "De manera similar a las vulnerabilidades asociadas con la embriaguez en los humanos, ¿demuestran los LLMs comportamientos inseguros cuando se adaptan al lenguaje de ebriedad?"

Metodología

El estudio propone tres mecanismos distintos para inducir el lenguaje de ebriedad en los LLMs, denominados "inducción de lenguaje de ebriedad", y evalúa su impacto en la seguridad y la privacidad.

1. Curación de Datos (DRUNKTEXT)

Para apoyar los métodos de post-entrenamiento, los autores curaron DRUNKTEXT, un conjunto de datos a gran escala de textos de personas ebrias extraídos de TextsFromLastNight (TFLN) y el subreddit de Reddit /r/drunk.

• Filtrado: Se entrenó un clasificador binario de textos de ebriedad ($R_{M_{drunk}}$), basado en embeddings de Sentence-BERT y regresión logística, utilizando datos semilla de TFLN. Este clasificador filtró los datos brutos de Reddit para retener solo textos con alta probabilidad de ser de ebriedad.
• Validación: La evaluación humana confirmó una relevancia del 75% con una fuerte concordancia entre anotadores (Fleiss' Kappa: 0.71).
• Escala: El conjunto de datos final contiene aproximadamente 63,577 muestras.

2. Enfoques de Inducción

Los autores probaron tres enfoques para adaptar los LLMs a este dominio:

• Prompting (DRUNK_PERSONA): Un ataque de línea base donde el prompt instruye explícitamente al LLM para que actúe como una persona borracha, cometiendo errores intencionados de gramática/ortografía e ignorando el contexto. Esto depende de la capacidad del modelo para adherirse a instrucciones de estilo.
• Ajuste Fino Causal (FT): El LLM base es sometido a un ajuste fino (fine-tuning) sobre el conjunto de datos DRUNKTEXT mediante modelado de lenguaje causal. Para modelos abiertos, se utiliza LoRA (Low-Rank Adaptation); para modelos cerrados, se utilizan las APIs disponibles. La hipótesis es que el entrenamiento en datos benignos pero "borrachos" degrada implícitamente la alineación de seguridad.
• Aprendizaje por Refuerzo (RL): Utilizando Optimización de Política Próxima (PPO), el modelo se optimiza para generar texto que obtenga puntuaciones altas en el clasificador de textos de ebriedad ($R_{M_{drunk}}$). Esto recompensa explícitamente los comportamientos asociados con la embriaguez.

3. Evaluación de Vulnerabilidades

Los modelos inducidos fueron evaluados en dos tareas derivadas:

• Seguridad (Jailbreaking): Evaluado mediante JAILBREAKBENCH, un conjunto de datos estandarizado de consultas dañinas. El éxito se mide por la Tasa de Éxito de Ataque (ASR), determinada por un LLM-como-Juez (LLaMA3-70B) y revisión manual. El estudio también probó la robustez contra defensas post-hoc como SMOOTHLLM, REPHRASE y RETOKENIZE.
• Privacidad (Filtración de Contexto): Evaluado mediante CONFAIDE, que prueba la capacidad del modelo para inferir y filtrar información sensible basada en el contexto. La evaluación cubre tres niveles:
  • Nivel 1: Identificación de la sensibilidad de la PII (Información de Identificación Personal).
  • Nivel 2: Evaluación de la adecuación del flujo de información.
  • Nivel 3: Prueba de la "teoría de la mente" respecto a quién debería conocer secretos específicos.
    Las métricas incluyen puntuaciones de sensibilidad de la información y tasas de filtración.

Resultados Clave

El estudio se realizó en cinco LLMs (LLaMA2-7B, LLaMA3-8B, Mistral-7B, GPT-3.5 y GPT-4).

Eficacia de la Inducción

• Perplejidad: Los modelos inducidos por ebriedad mostraron una perplejidad significativamente menor en textos de ebriedad no vistos anteriormente en comparación con los modelos base, confirmando la adaptación exitosa al estilo.
• Puntuaciones de Recompensa: Los modelos de ajuste fino y de RL alcanzaron recompensas promedio más altas del clasificador de textos de ebriedad, lo que indica una mayor alineación con los patrones del lenguaje de ebriedad.

Vulnerabilidades de Seguridad (Jailbreaking)

• Aumento de la ASR: Los tres métodos de inducción aumentaron la Tasa de Éxito de Ataque en JAILBREAKBENCH en comparación con los modelos base.
• Rendimiento: Los métodos lograron la segunda ASR más alta en casi todos los modelos, superada solo por el método de "Prompt+RS" (búsqueda aleatoria) computacionalmente pesado.
• Robustez: A diferencia de muchos jailbreaks algorítmicos, los ataques de lenguaje de ebriedad siguieron siendo efectivos incluso bajo defensas post-hoc. Notablemente, los modelos de ajuste fino fueron menos sensibles a las perturbaciones de entrada (REPHRASE, RETOKENIZE) que los ataques basados en prompting.
• Categorías: Las tasas de éxito aumentaron en todas las categorías dañinas, con un éxito particularmente alto en desinformación, fraude/engaño y malware/hacking.

Vulnerabilidades de Privacidad

• Filtraciones Contextuales: La inducción de lenguaje de ebriedad condujo consistentemente a mayores tasas de brecha de privacidad en todos los niveles de CONFAIDE.
• Severidad: El efecto fue más pronunciado en los modelos cerrados más fuertes (ej. GPT-4). Los modelos fueron más propensos a divulgar información sensible (ej. falsificar resultados de trabajo, compartir información confidencial de compañeros de trabajo) cuando se les inducía con un comportamiento de ebriedad.

Contribuciones Clave

1. Primer Estudio sobre Lenguaje de Ebriedad: Este es el primer trabajo que adapta los LLMs al lenguaje de ebriedad mediante prompting, ajuste fino y aprendizaje por refuerzo para investigar riesgos de seguridad.
2. Conjunto de Datos DRUNKTEXT: La creación del primer conjunto de datos a gran escala y curado de lenguaje de mensajería de ebriedad extraído de internet.
3. Correlación de Seguridad: Los resultados demuestran un paralelo directo entre los riesgos sociales de la embriaguez humana (exceso de información, mal juicio) y las vulnerabilidades de seguridad y privacidad análogas en los LLMs.

Significado y Reivindicaciones

El artículo afirma que la inducción de lenguaje de ebriedad plantea un riesgo significativo y poco explorado para la seguridad de los LLM. Los autores enfatizan que estos ataques son:

• Simples y Eficientes: A diferencia de la generación compleja de prompts adversarios, estos métodos son ligeros e interpretables.
• Robustos: Siguen siendo efectivos incluso contra defensas post-hoc comunes que filtran prompts incoherentes o mutados.
• Antropomórficos: Los hallazgos resaltan una correspondencia entre el comportamiento humano intoxicado y la antropomorfización de los LLMs; cuando los modelos son inducidos a simular la intoxicación humana, exhiben fallos similares en seguridad y privacidad.

Los autores concluyen que el ajuste de seguridad para los LLMs debe tener en cuenta estas inducciones de comportamiento, ya que la simplicidad del vector de ataque sugiere que las alineaciones de seguridad actuales pueden ser frágiles ante la manipulación basada en la personalidad (persona-based manipulation).