Resumen Técnico: CORDYCEPS – Ataques de Control Encubierto a LLMs mediante Envenenamiento de Datos

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLMs) se adaptan frecuentemente mediante ajuste fino en conjuntos de datos no curados, lo que crea una vulnerabilidad ante el envenenamiento de datos. Los ataques de envenenamiento existentes dependen principalmente de frases detonantes fijas (por ejemplo, tokens específicos o estilos lingüísticos) para activar comportamientos maliciosos como puertas traseras o inyecciones de prompts. Estas detonantes fijas sufren dos limitaciones críticas:

1. Detectabilidad: Los tokens raros o las fuertes correlaciones con el comportamiento indeseado deseado pueden ser identificados por detección de valores atípicos, filtros de perplejidad o defensas de ingeniería inversa.
2. Fragilidad: Las detonantes fijas son neutralizadas fácilmente mediante el monitoreo de entrada/salida, el parafraseo o la filtración por palabras clave, que son defensas comunes en las aplicaciones de LLM desplegadas.

El artículo postula que existe una vulnerabilidad más sutil: la capacidad de inducir a un LLM a aprender un canal semántico condicionado al contexto en lugar de una correlación estática de detonante-respuesta. Esto permitiría a un atacante codificar instrucciones maliciosas o exfiltrar datos sensibles dentro de texto inocuo utilizando conocimiento compartido, eludiendo defensas que dependen de la detección de patrones maliciosos explícitos.

Metodología: CORDYCEPS y SHuSh

Los autores proponen CORDYCEPS, un algoritmo de envenenamiento de datos diseñado para enseñar a un LLM un esquema de Ocultación Semántica bajo Conocimiento Compartido (SHuSh). Este esquema permite que el modelo codifique y decodifique mensajes arbitrarios utilizando asociaciones semánticas entre hechos compartidos (anclas) e instrucciones elegidas por el atacante.

1. El Marco SHuSh

SHuSh se define como un par de funciones $(Enc, Dec)$:

• Ancla Semántica ($k$): Un fragmento de conocimiento compartido (por ejemplo, un hecho enciclopédico sobre los "hongos Cordyceps") disponible tanto para el atacante como para el modelo víctima.
• Texto Plano ($m$): La instrucción maliciosa o los datos sensibles que se deben ocultar.
• Texto Estego ($s$): Un texto inocuo que es semánticamente consistente con el ancla $k$ pero contiene el mensaje oculto $m$ codificado mediante un mapeo semántico sesgado.
• Mecanismo: El modelo envenenado aprende a tratar el texto estego como un portador donde la desviación de las semánticas "limpias" del ancla codifica el mensaje.

2. El Algoritmo CORDYCEPS

El algoritmo genera ejemplos de entrenamiento envenenados mediante un proceso de tres fases utilizando un LLM Oráculo (por ejemplo, Gemini 2.5 Pro):

• Fase 1: Asociación Semántica (Generación de Texto Estego):
  Se solicita al oráculo que genere un texto estego $s$ que codifique un texto plano $m$ dentro del contexto de un ancla de conocimiento compartido $k$. La generación está restringida para ser semánticamente consistente con $k$ (por ejemplo, describiendo la biología de Cordyceps) mientras incrusta el significado de $m$ (por ejemplo, "buscar ingresos totales") mediante metáforas o analogías.
• Fase 2: Refinamiento del Razonamiento (Cadena de Pensamiento):
  Para garantizar la robustez frente al parafraseo y la generalización, el oráculo genera rastros de razonamiento de codificación y decodificación.
  • Razonamiento de Codificación: Explica cómo se cierra la brecha semántica entre $m$ y $k$ (por ejemplo, mapeando "consumir" a "buscar").
  • Razonamiento de Decodificación: Explica cómo un receptor puede identificar el sesgo en $s$ relativo a $k$ para reconstruir $m$.
    Esta fase evita que el modelo se sobreajuste a estructuras lógicas específicas y enseña una regla semántica generalizable.
• Fase 3: Formateo de Instrucciones:
  Los componentes se formatean en datos de ajuste fino supervisado (SFT). El conjunto de datos incluye ejemplos bidireccionales:
  • Codificación: Dado $m$ y $k$, generar $s$.
  • Decodificación: Dado $s$ y $k$, recuperar $m$.

3. Escenarios de Ataque

El artículo evalúa dos escenarios habilitados por SHuSh:

1. Control Encubierto Unidireccional (UCC): El atacante agrega un texto estego (que contiene una instrucción oculta) al campo <data> de un prompt. El LLM envenenado decodifica la instrucción y la ejecuta, eludiendo efectivamente las defensas de inyección de prompts que filtran instrucciones explícitas.
2. Control Encubierto Bidireccional (BCC): El atacante solicita al LLM que revele datos sensibles. El LLM envenenado codifica la respuesta en un texto estego utilizando el esquema SHuSh, permitiendo la exfiltración de datos sin la fuga explícita de palabras clave sensibles.

Contribuciones Clave

1. Algoritmo CORDYCEPS: Un método novedoso para generar ejemplos envenenados que inducen un esquema de ocultación aprendido y condicionado al contexto en lugar de una detonante fija.
2. Formalización de SHuSh: Un marco teórico que modela el ataque como un mapeo semántico sesgado en un espacio de representación latente. Los autores derivan límites para el sigilo (divergencia KL), la robustez (resistencia al parafraseo) y la precisión de decodificación.
3. Ataques de Control Encubierto: La demostración de ataques que eluden las defensas más avanzadas. A diferencia de las puertas traseras tradicionales, estos ataques no dependen de detonantes memorizadas sino de la generalización semántica.
4. Validación Teórica y Empírica: El artículo proporciona pruebas de las propiedades de seguridad de SHuSh y valida empíricamente la hipótesis del "sesgo aditivo", mostrando que las incrustaciones de texto estego están linealmente relacionadas con las incrustaciones del ancla más una perturbación del mensaje.

Resultados Experimentales

Los autores evaluaron CORDYCEPS en 5 LLMs (Qwen3, Llama-3, Gemma, Phi-4, etc.), 3 defensas de puertas traseras (ONION, CROW, SecAlign) y 4 defensas de inyección de prompts (DataSentinel, PromptGuard, PromptLocate, etc.).

• Efectividad del Ataque:
  • UCC: Logró una Tasa de Éxito del Ataque (ASVh) promedio de ~0.71, superando a las líneas base de inyección de prompts basadas en heurísticas (CoA) en aproximadamente 40% en relación con modelos limpios.
  • BCC: Logró una precisión de exfiltración de datos encubierta entre 0.78 y 0.93 en los modelos, mientras que los modelos limpios fallaron completamente (cerca de 0% de éxito).
• Sigilo y Robustez:
  • Evasión de Detección: CORDYCEPS redujo las tasas de detección a casi cero. ONION (detección de valores atípicos) mostró una Tasa de Falsos Positivos (FPR) de ~0.063 para CORDYCEPS en comparación con >0.6 para puertas traseras de detonante fija. PromptGuard y DataSentinel no lograron distinguir los textos estego de los textos de cobertura benignos.
  • Elusión de Defensas: Los ataques mantuvieron una tasa de éxito >93% después de CROW (regularización de consistencia interna) y >98% después de SecAlign (alineación de seguridad), demostrando que el ocultamiento semántico es ortogonal a las defensas dirigidas a instrucciones explícitas o detonantes estáticas.
  • Robustez al Parafraseo: Incluso cuando los datos de entrenamiento o las entradas fueron parafraseados, el ataque permaneció efectivo (por ejemplo, la precisión disminuyó marginalmente de 0.81 a 0.80 en Llama-3).
• Preservación de Utilidad: Los modelos envenenados mantuvieron la utilidad en diversos puntos de referencia (MMLU, GSM8K, etc.), con una degradación del rendimiento que promedió <1.5% en comparación con los modelos limpios.

Significado y Afirmaciones

El artículo afirma identificar una nueva clase de vulnerabilidad de envenenamiento de datos que es fundamentalmente diferente de los ataques de puertas traseras existentes.

• Cambio de Léxico a Semántico: El significado principal es la demostración de que los LLMs pueden ser envenenados para aprender canales de codificación/decodificación semánticos en lugar de pares estáticos de detonante-respuesta. Esto hace que las defensas basadas en filtrado de palabras clave, detección de valores atípicos y eliminación de detonantes sean en gran medida ineficaces.
• Sigilo: El ataque se describe como "encubierto" porque los textos estego son semánticamente indistinguibles del texto benigno generado por el modelo, lo que dificulta su detección mediante la detección de anomalías estándar.
• Implicaciones Defensivas: Los autores argumentan que las salvaguardas actuales son insuficientes porque asumen que la intención maliciosa se expresa mediante instrucciones explícitas o tokens anómalos. Sugieren que las defensas futuras deben abordar la consistencia semántica y la supervisión a nivel de representación en lugar de solo el análisis de texto superficial.
• Modestia: Los autores declaran explícitamente que no están diseñando un primitivo esteganográfico probablemente seguro, sino que están demostrando un esquema de ocultación más débil e inducido por envenenamiento. Reconocen limitaciones, como la necesidad de conocimiento compartido entre el atacante y la víctima, y señalan que el ataque depende de la capacidad del modelo para generalizar asociaciones semánticas.

En resumen, CORDYCEPS revela que la propia capacidad de los LLMs para comprender y manipular la semántica puede ser weaponizada mediante el envenenamiento de datos para crear canales de control encubiertos que eluden la mayoría de las medidas de seguridad actuales.