SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

1. El Problema

Los Modelos de Lenguaje Grandes (LLMs) se utilizan cada vez más en dominios de alto riesgo (médico, financiero, legal), pero son propensos a alucinaciones (generar información falsa o no fiel). La investigación previa sobre ataques adversarios para provocar estas alucinaciones ha tenido limitaciones significativas:

• Falta de realismo: Muchos métodos existentes generan prompts que insertan tokens sin sentido (ruido), alteran el significado semántico de la pregunta original o son triviales (ej. "responde falsamente").
• Brecha de evaluación: Estos ataques no reflejan escenarios del mundo real, donde un usuario podría reformular una pregunta de manera natural pero semánticamente equivalente.
• Falta de coherencia: Los ataques actuales a menudo violan la coherencia semántica, lo que dificulta entender cómo surgen las alucinaciones en interacciones humanas naturales.

El objetivo es encontrar ataques adversarios realistas que mantengan la equivalencia semántica y la coherencia del prompt original, pero que logren engañar al modelo para que alucine.

2. Metodología: SECA

Los autores proponen SECA (Semantically Equivalent and Coherent Attacks), un método de orden cero (zeroth-order) que formula la generación de ataques como un problema de optimización con restricciones.

Formulación del Problema

El problema se define como maximizar la probabilidad de generar una respuesta incorrecta objetivo ($y^*$) sujeta a dos restricciones críticas:

1. Equivalencia Semántica: El prompt adversario $x$ debe ser semánticamente equivalente al prompt original $x_0$ (misma intención, misma respuesta correcta subyacente, sin información añadida u omitida).
2. Coherencia Semántica: El prompt $x$ debe ser coherente y natural para un humano (dentro del conjunto de prompts válidos $X_{text}$).

Matemáticamente, se busca maximizar $\log P_T(y^*|x)$ sujeto a $SEF(x, x_0) = 1$ y $x \in X_P$.

Algoritmo SECA

Dado que el espacio de prompts es discreto y enorme, y las restricciones son difíciles de imponer con técnicas de optimización clásicas, SECA utiliza un enfoque basado en LLMs:

1. Propositor de Equivalencia Semántica ($P$): Un LLM (el "proposer") recibe instrucciones para generar múltiples reescrituras ($M$) de un prompt dado, intentando mantener la equivalencia semántica pero variando la estructura léxica y estilística. Se utilizan plantillas aleatorias de verbos y estilos para fomentar la diversidad.
2. Verificador de Factibilidad ($F$): Un segundo LLM (el "checker") evalúa rigurosamente si las nuevas propuestas son realmente semánticamente equivalentes al original basándose en criterios estrictos (implicación mutua, preservación de información, misma respuesta correcta). Esto actúa como un filtro de restricciones.
3. Selección del Ataque: Entre los candidatos que pasan el verificador, se selecciona aquel que maximiza la probabilidad logarítmica de generar el token de respuesta incorrecto objetivo.
4. Iteración: El proceso se repite, utilizando los mejores candidatos de la iteración anterior como base para la siguiente, convergiendo hacia el prompt más adversario posible dentro del espacio restringido.

3. Contribuciones Clave

1. Formulación de Optimización: Definen formalmente la elicita de alucinaciones como un problema de optimización restringida bajo equivalencia y coherencia semántica, llenando un vacío en la literatura de seguridad de LLMs.
2. Método de Orden Cero con Restricciones: Introducen un método novedoso que utiliza LLMs para proponer y verificar soluciones, evitando la necesidad de buscar exhaustivamente en un espacio combinatorio o acceder a gradientes (útil para modelos de caja negra).
3. Evaluación Exhaustiva: Demuestran que los prompts generados por SECA son semánticamente equivalentes y coherentes, a diferencia de los métodos anteriores (como GCG o ataques de "gibberish").

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos MMLU (16 materias, 347 muestras filtradas) atacando a 7 modelos diferentes (incluyendo Llama-3, Qwen-2.5, GPT-4o-Mini, GPT-4.1-Nano).

• Tasa de Éxito del Ataque (ASR): SECA superó significativamente a los métodos baselines (Raw prompts y GCG).
  • En modelos comerciales y de código abierto competitivos, SECA aumentó la ASR en más del 20-30% en la mayoría de las materias, alcanzando tasas de éxito de hasta el 80% en modelos más pequeños (Llama-3-3B/8B) y tasas significativas en modelos comerciales.
  • En contraste, GCG tuvo un rendimiento muy pobre (a menudo <10%) y generó prompts incoherentes.
• Errores Semánticos:
  • Error de Equivalencia Semántica (SEE): SECA mantuvo un SEE de 0.00, demostrando que los ataques son perfectamente equivalentes al original.
  • Error de Coherencia Semántica (SCE): SECA mantuvo un SCE muy bajo (cercano a 0), similar a los prompts originales, mientras que GCG generó prompts con errores masivos (SCE > 1000 en algunos casos).
• Análisis de Características: Se encontró que los prompts exitosos de SECA tienden a ser más verbosos y tener una mayor diversidad léxica (Type-Token Ratio más alto) que los prompts originales, lo que sugiere que la variación lingüística compleja puede oscurecer la intención central y confundir al modelo.
• Validación Humana: Los evaluadores basados en LLMs para verificar la equivalencia y clasificar las alucinaciones mostraron un alto acuerdo con anotadores humanos (F1 > 0.88), validando la fiabilidad de la evaluación automatizada.

5. Significado e Impacto

• Vulnerabilidad Realista: El trabajo demuestra que incluso los LLMs más avanzados y alineados son vulnerables a variaciones de prompts que son naturalmente equivalentes y coherentes. Esto implica que las defensas actuales que se centran en detectar "ruido" o "intenciones maliciosas obvias" pueden ser insuficientes.
• Herramienta de Evaluación: SECA proporciona una herramienta crucial para la "red teaming" (pruebas de estrés) de LLMs en escenarios realistas, permitiendo identificar modos de fallo sutiles que los benchmarks estándar pasan por alto.
• Implicaciones de Seguridad: Destaca la necesidad de desarrollar modelos más robustos que no solo entiendan la semántica superficial, sino que mantengan la fidelidad y la precisión factual incluso ante reformulaciones lingüísticas complejas.
• Acceso Abierto: El código y los datos están disponibles públicamente para fomentar la investigación en la robustez de los LLMs.

En resumen, SECA cambia el paradigma de los ataques adversarios en LLMs, pasando de la generación de ruido o instrucciones obvias a la ingeniería de ilusiones semánticas realistas, revelando una fragilidad fundamental en la capacidad de los modelos para mantener la coherencia factual bajo variaciones lingüísticas naturales.