Resumen Técnico: Prompts de Seguridad y Privacidad en el Mundo Real

Declaración del Problema

Si bien los Modelos de Lenguaje Extensos (LLM) se utilizan cada vez más como fuentes de información cotidianas, su papel en la seguridad y la privacidad (S&P, por sus siglas en inglés) sigue siendo poco estudiado. Las investigaciones previas sobre la calidad de las respuestas de los LLM en dominios de S&P se basaron en conceptos erróneos redactados por expertos o en preguntas frecuentes (FAQs) en lugar de consultas reales de usuarios. En consecuencia, no está claro qué preguntas específicas de S&P plantean los usuarios a los LLM, qué tan bien las responden los modelos y si las respuestas son consistentes a través de consultas repetidas. Los consejos de S&P inexactos o contradictorios pueden tener consecuencias en el mundo real, como cuentas comprometidas o identidades digitales expuestas, y la orientación conflictiva puede socavar los comportamientos protectores del usuario.

Metodología

El estudio utilizó WildChat, un conjunto de datos de 3,2 millones de conversaciones de usuarios reales, para construir un corpus representativo de interacciones de S&P.

1. Curación y Clasificación de Datos:

   • De 1,7 millones de prompts únicos en inglés (tras filtrar toxicidad, longitud y contenido no relacionado con S&P), los autores identificaron 14.727 prompts de S&P utilizando un clasificador de votación mayoritaria de tres LLM (Qwen 3, Calme 3.2 y GPT 5.2).
   • Estos prompts se categorizaron en nueve temas de S&P (por ejemplo, Cuenta y Autenticación, Privacidad de Datos, Ingeniería Social) basándose en una taxonomía adaptada de la literatura previa.

2. Análisis Temático (RQ1):

   • Una muestra estratificada de 450 prompts (50 por categoría) fue sometida a un análisis temático por parte de dos investigadores. Este proceso generó seis temas primarios y 22 subtemas para caracterizar la intención del usuario.

3. Evaluación de la Calidad y Consistencia de la Respuesta (RQ2 y RQ3):

   • Los autores seleccionaron 270 prompts de "búsqueda de consejo" (solicitudes de recomendaciones, guía o información específica), excluyendo tareas de programación o escritura creativa.
   • Modelos Evaluados: Se probaron cinco LLM: tres comerciales (GPT 5.5, Gemini 3.1, Claude 4.7) y dos de pesos abiertos (Qwen 3, Llama 4).
   • Procedimiento: Cada prompt fue consultado 10 veces por modelo para generar 2.700 respuestas por modelo.
   • Métrica de Calidad: Las respuestas se calificaron utilizando un método de lista de verificación de LLM como juez. Se generaron listas de verificación binarias que especificaban los componentes de la respuesta correcta para cada prompt. Las puntuaciones (1–10) se promediaron entre tres modelos evaluadores para mitigar el sesgo de preferencia propia.
   • Métrica de Consistencia: La consistencia se midió mediante implicación bidireccional en las citas de evidencia extraídas por los modelos evaluadores. Un prompt se consideró consistente si la puntuación de implicación entre pares de respuestas a través de las 10 ejecuciones superaba 0,5.

Contribuciones Clave

• Primera Caracterización Empírica: Este estudio proporciona el primer análisis de prompts de S&P del mundo real dirigidos a LLM, yendo más allá de los conjuntos de datos sintéticos o curados por expertos.
• Taxonomía de la Intención del Usuario: La investigación identifica patrones de interacción únicos, incluyendo usuarios que tratan a los LLM como agentes defensivos, que sondean los componentes internos del modelo y que realizan solicitudes adversarias.
• Marco de Evaluación Dual: El artículo demuestra que la calidad de la respuesta y la consistencia son dimensiones distintas de la fiabilidad, lo que requiere métricas de evaluación separadas en contextos de S&P.

Resultados

1. Análisis Temático de los Prompts de Usuario

El análisis de 450 prompts reveló seis temas:

• Conocimiento General (33,3%): El tema más prevalente, que incluye consultas informativas amplias y preguntas tipo examen.
• Navegación por parte del Usuario (20,9%): Centrado en la respuesta ante incidentes, como la redacción de cartas de apelación por bloqueos de cuenta.
• Acción Defensiva (11,8%): Usuarios que buscan evaluaciones protectoras (por ejemplo, "¿Es segura esta aplicación?") o estrategias de contra-fraude (por ejemplo, scam-baiting).
• Indagación sobre el LLM (10,2%): Usuarios que sondean el propio sistema del modelo, sus datos de entrenamiento y sus prácticas de privacidad (por ejemplo, "¿Se graban nuestras conversaciones?").
• Solicitudes Dañinas y Ofensivas (6,9%): Solicitudes para asistir en ataques, incluyendo el doxxing dirigido a personas, la explotación de sistemas y la elusión de plataformas.
• Producción de Tareas de S&P: Solicitudes para generar contenido relacionado con la seguridad.

2. Calidad de la Respuesta

Los modelos comerciales superaron significativamente a los modelos de pesos abiertos:

• GPT 5.5 alcanzó la media más alta (8,67/10), con un 98% de los prompts recibiendo una calificación "buena" o superior (puntuación ≥ 7).
• Gemini 3.1 (8,52) y Claude 4.7 (8,47) le siguieron de cerca.
• Qwen 3 obtuvo 7,90, mientras que Llama 4 obtuvo la puntuación más baja con 6,71, con solo el 47% de sus respuestas alcanzando el umbral de "buena".
• Hallazgos Cualitativos: Las respuestas de alta calidad fueron factualmente precisas y éticamente apropiadas. Las respuestas de baja calidad a menudo fallaron en la precisión factual (por ejemplo, alucinando características) o violaron criterios éticos al proporcionar instrucciones dañinas sin advertencias.

3. Consistencia de la Respuesta

La consistencia no se correlacionó estrictamente con la calidad:

• Llama 4 produjo las respuestas más consistentes (97,4% de los prompts tuvieron ejecuciones no contradictorias), a pesar de tener la calidad promedio más baja.
• GPT 5.5 también fue altamente consistente (97,0%).
• Qwen 3 fue el menos consistente (89,6%).
• Observación Crítica: Incluso los modelos de alta calidad (por ejemplo, Gemini 3.1) produjeron ocasionalmente consejos contradictorios sobre el mismo prompt en diferentes ejecuciones (por ejemplo, configuraciones de permisos de sistema de archivos contradictorias), lo que plantea un riesgo de confundir a los usuarios.

Significado y Reivindicaciones

El artículo afirma llenar un vacío crítico en la comprensión de cómo los usuarios interactúan con los LLM para la seguridad y la privacidad. Su principal importancia radica en:

1. Revelar la Dinámica de Doble Uso: El estudio destaca que los LLM funcionan no solo como fuentes de información, sino como agentes interactivos tanto para tareas de S&P defensivas como ofensivas. Esto crea un "problema de detección de dos caras" donde los modelos deben rechazar solicitudes maliciosas sin rechazar en exceso las consultas defensivas legítimas.
2. Expansión de la Superficie de Amenaza: Los usuarios sondean activamente los LLM para obtener información interna (claves API, datos de entrenamiento), desplazando parte de la superficie de amenaza hacia el propio modelo.
3. Dimensiones de Fiabilidad: Los autores argumentan que la calidad de la respuesta y la consistencia son dimensiones complementarias. En contextos de S&P, un modelo que proporciona consejos de alta calidad pero contradictorios puede ser tan perjudicial como un modelo de baja calidad, ya que la inconsistencia erosiona la confianza del usuario y los comportamientos protectores.
4. Imperativo de Evaluación: El trabajo futuro y el despliegue de modelos en dominios de S&P deben evaluar e informar tanto la calidad como la consistencia para caracterizar plenamente la fiabilidad.

Los autores reconocen limitaciones, incluyendo un posible sesgo hacia usuarios con conocimientos técnicos en el conjunto de datos WildChat, un enfoque en prompts en inglés y el análisis de prompts de un solo turno en lugar de diálogos de múltiples turnos.