Evolving and Detecting Multi-Turn Deception using Geometric Signatures

Resumen Técnico: Evolución y Detección de Engaño Multi-turno mediante Firmas Geométricas

Enunciado del Problema
Las defensas de seguridad actuales para Modelos de Lenguaje Grandes (LLM) se entrenan y evalúan predominantemente en prompts de un solo turno. Esto crea una brecha de vulnerabilidad donde los adversarios pueden eludir los filtros de seguridad utilizando sondeos indirectos de múltiples turnos para elicitar información prohibida (por ejemplo, instrucciones para construir una bomba) sin activar heurísticas basadas en palabras clave o de un solo turno. Los métodos de detección existentes a menudo dependen de clasificadores de caja negra o pistas a nivel de token que no logran generalizarse ante reformulaciones y longitudes de conversación variables. Además, generar conjuntos de datos realistas para entrenar detectores ante esta amenaza específica es costoso y difícil cuando se depende exclusivamente de datos humanos.

Metodología
Los autores proponen una pipeline unificada de dos etapas: Generación de Datos Sintéticos y Detección Geométrica Explicable.

1. Generación de Datos Sintéticos (Marco Evolutivo):

   • Enfoque: Los autores utilizan un marco evolutivo multiobjetivo para generar conjuntos realistas de preguntas engañosas de múltiples turnos. El sistema co-evoluciona prompts candidatos de LLM y sus operadores de mutación.
   • Algoritmo: Emplean NSGA-II (Algoritmo Genético de Clasificación No Dominada II) para gestionar la compensación entre calidad del engaño (qué tan efectivamente las preguntas elicitan información sensible) y adherencia a la política (evitar palabras clave prohibidas explícitas como "bomba").
   • Proceso: Comenzando con una población inicial de "codones" (plantillas de prompts que combinan instrucciones de relevancia y ofuscación), el sistema itera a través de selección, mutación (reescritura basada en LLM) y evaluación.
   • Validación: Un estudio con Humano en el Bucle (HITL) validó los datos generados. Los participantes calificaron 350 preguntas (52 participantes) en dos fases: individualmente y como un conjunto de cinco. Esto confirmó que, aunque las preguntas individuales parecían benignas, el conjunto colectivo revelaba una intención engañosa. El estudio también reveló que la primera generación de optimización produjo el engaño más convincente, mientras que las generaciones posteriores sufrieron de sobre-optimización y violaciones de la política.

2. Detección Geométrica Explicable:

   • Hipótesis: La intención engañosa de múltiples turnos deja una "huella geométrica" estable en el espacio de incrustaciones de oraciones pre-entrenadas, distinta de las conversaciones benignas.
   • Ingeniería de Características: En lugar de entrenar redes neuronales de extremo a extremo sobre texto crudo, los autores diseñaron un conjunto compacto de siete características calculadas a partir de incrustaciones de oraciones (utilizando all-MiniLM-L6-v2):
     • Características Geométricas:
       • Cobertura Angular: Mide qué tan completamente las preguntas "rodean" el tema objetivo en el espacio vectorial.
       • Ratio de Distancia: El ratio entre la distancia mínima y la máxima desde la incrustación del tema objetivo.
       • Linealidad: Derivada de los valores propios de la matriz de covarianza de las incrustaciones centradas, midiendo patrones lineales.
     • Características Estadísticas: Media, desviación estándar, mínimo y máximo de las similitudes coseno por pares entre preguntas.
   • Clasificador: Estas características alimentan una red neuronal feed-forward ligera de tres capas (MLP) con activaciones ReLU y dropout. El modelo está diseñado para transparencia y despliegue casi en tiempo real.

Contribuciones Clave

• Marco Evolutivo Multiobjetivo: Un método novedoso para generar conjuntos de datos sintéticos de engaño multi-turno que equilibran la eficacia del engaño con las restricciones de seguridad, validado mediante evaluación humana.
• Detección de Firma Geométrica: La demostración de que las interacciones engañosas de múltiples turnos poseen una estructura geométrica estable en el espacio de incrustaciones, detectable sin costoso entrenamiento de extremo a extremo.
• Pipeline Ligera y Explicable: Un sistema de detección que depende de características geométricas interpretables en lugar de modelos de aprendizaje profundo opacos, facilitando la explicabilidad para los tomadores de decisiones.

Resultados
El sistema fue evaluado en un conjunto de datos que comprende conjuntos engañosos validados por humanos y datos conversacionales benignos de Scale AI.

• Rendimiento de Línea Base: El modelo logró una recuperación (recall) de 0.89 y una puntuación F1 de 0.84 en el conjunto de prueba, identificando correctamente secuencias engañosas mientras mantenía una alta precisión en ejemplos de control.
• Robustez ante Variación Léxica: Cuando se probó en preguntas reformuladas (manteniendo la intención semántica pero alterando la sintaxis), el modelo mantuvo una puntuación F1 de 0.86, demostrando resiliencia ante modificaciones superficiales del texto.
• Robustez ante Restricciones de Turnos: Incluso cuando el contexto de la conversación se truncó de cinco turnos a tres, el modelo mantuvo una alta recuperación de 0.89 (F1: 0.74), sugiriendo viabilidad para intervención temprana.
• Insights de HITL: El estudio humano reveló que las primeras generaciones del proceso evolutivo produjeron el contenido más engañoso. También destacó que los LLM luchan por imitar perfectamente la variabilidad humana en el razonamiento subjetivo y que aproximadamente el 18.6% de los conjuntos generados fallaron en los filtros de adherencia (mencionando explícitamente palabras prohibidas).

Significado y Afirmaciones
El artículo afirma que la intención engañosa de múltiples turnos crea una firma geométrica detectable y estable en el espacio de incrustaciones. Este hallazgo apoya el desarrollo de sistemas de filtrado ligeros y transparentes que no requieren recursos computacionales masivos ni entrenamiento opaco de extremo a extremo. Los autores posicionan su trabajo como un mecanismo de defensa, proporcionando a los investigadores de seguridad herramientas para identificar comportamientos de búsqueda de información indirecta que eluden los filtros tradicionales de palabras clave.

Los autores permanecen modestos respecto a las limitaciones, reconociendo que su conjunto de datos es sintético y relativamente pequeño, y que el escenario específico de "fabricación de bombas" podría no generalizarse perfectamente a todos los dominios sin adaptación. Enfatizan la naturaleza de doble uso de la tecnología, señalando que, aunque el marco de generación podría teóricamente ser mal utilizado, su publicación se centra estrictamente en la detección defensiva y la divulgación responsable, reteniendo el conjunto completo de operadores de mutación optimizados.