Resumen Técnico: Escondite en el Espacio de Embeddings

1. Planteamiento del Problema

Se asume cada vez más que los Modelos de Lenguaje Extensos (LLMs) desplegados en entornos sensibles son seguros contra la exfiltración de datos si se restringe el egreso de red (por ejemplo, mediante un entorno aislado o air-gapped). Sin embargo, un trabajo reciente (Meier et al., 2025) demostró que los LLMs ajustados (fine-tuned) pueden codificar secretos de los prompts de forma encubierta en sus salidas de texto fluido, creando un canal esteganográfico.

La vulnerabilidad central reside en la distribución de probabilidad condicional de los LLMs: para un prompt dado, existen muchas continuaciones semánticamente plausibles. Esta libertad permite que un modelo maliciosamente ajustado restrinja la generación de tokens para codificar información auxiliar (un secreto) manteniendo la fluidez.

El artículo identifica una falla crítica en ataques previos como TrojanStego: estos dependen de esquemas de codificación trivialmente recuperables. Específicamente, TrojanStego utiliza la codificación ASCII para los secretos y la paridad del ID del token (impar/par) para la agrupación (bucketing). Estas reglas arbitrarias son fácilmente reversibles por un defensor sin la clave secreta, lo que resulta en una recuperabilidad del payload del 100%. El artículo argumenta que, para que la esteganografía sea una amenaza viable, debe ser resistente a la ingeniería inversa (baja recuperabilidad) y ser detectable únicamente a través de firmas internas del modelo, no mediante cambios en la distribución de la salida.

2. Metodología

A. Formalización de la Recuperabilidad del Payload

Los autores formalizan la Recuperabilidad del Payload ($R$) como una métrica de la dificultad con la que un defensor sin clave puede extraer el secreto. La descomponen en dos ejes:

1. $R_{bucket}$ (Tokens $\to$ Buckets): La dificultad de inferir el bit codificado (asignación de bucket) a partir del token de salida observado.
2. $R_{secret}$ (Buckets $\to$ Secretos): La dificultad de inferir el secreto original a partir de la secuencia de bits recuperados.

Un esquema se considera "irrecuperable" si $R_{bucket} \approx 50\%$ (azar) y $R_{secret}$ es insignificante.

B. Ataque de Baja Recuperabilidad (Esteganografía Geométrica)

El ataque propuesto reemplaza las codificaciones arbitrarias por esquemas derivados de la geometría de los embeddings aprendidos por el modelo. Opera en dos etapas:

1. Codificación del Secreto (Proyección de Hiperplanos):
   En lugar de ASCII, las letras se codifican en cadenas de bits mediante la proyección de sus embeddings de tokens sobre hiperplanos aleatorios definidos por una semilla secreta ($\sigma$).

   • Para un embedding de letra $e$, se genera un vector unitario normal $v_\sigma$ a partir de una semilla aleatoria.
   • Se computa la puntuación de proyección $s = e^\top v_\sigma$.
   • Al utilizar múltiples hiperplanos (por ejemplo, 8 para 26 letras), cada letra se asigna a un patrón de bits único (por ejemplo, 8 bits).
   • Esto aprovecha la estructura semántica del modelo, haciendo que la codificación sea "aprendible" por el modelo pero dependiente de semillas ocultas.

2. Agrupación del Vocabulario (Partición del Espacio de Embeddings):
   En lugar de la paridad del ID del token, el vocabulario se particiona en dos buckets ($V_0, V_1$) basándose en la misma proyección de hiperplano.

   • Un umbral $\tau$ (por ejemplo, la mediana de la puntuación de proyección) divide el vocabulario.
   • Los tokens con $e^\top v_\sigma > \tau$ se asignan al bucket 1; los demás al bucket 0.
   • Durante la generación, el modelo se ve restringido a seleccionar tokens del bucket que coincida con el bit objetivo del secreto.
   • Beneficio de Seguridad: Sin la semilla $\sigma$, un defensor no puede determinar la orientación del hiperplano ni el umbral, lo que hace que la inferencia del bucket ($R_{bucket}$) sea computacionalmente difícil.

C. Detección mediante Interpretabilidad Mecanicista

El artículo argumenta que la esteganálisis tradicional (medir la perplejidad o la divergencia KL) es insuficiente porque el ajuste fino altera inherentemente las distribuciones. En su lugar, proponen un enfoque de interpretabilidad mecanicista:

• Sondas Lineales (Linear Probes): Entrenar clasificadores lineales (regresión logística para bits, regresión de Ridge para embeddings) sobre los estados ocultos del modelo.
• Hipótesis: Incluso si la salida es irrecuperable, las representaciones internas de un modelo ajustado esteganográficamente contendrán una señal más fuerte y linealmente separable del secreto en comparación con un modelo base.

3. Contribuciones Clave

Contribuciones del Ataque

• Métrica de Recuperabilidad: Definió $R_{bucket}$ y $R_{secret}$ para cuantificar la dificultad de realizar ingeniería inversa a los canales esteganográficos sin claves.
• Esteganografía Geométrica: Introdujo un canal durante el entrenamiento utilizando proyecciones de hiperplanos aleatorios en el espacio de embeddings. Esto reemplaza las reglas arbitrarias con particiones geométricas dependientes de la semilla.
• Mejora de la Generalización y Reducción de la Recuperabilidad: Demostró que los esquemas geométricos mantienen una alta precisión de codificación mientras reducen significativamente la recuperabilidad en comparación con las líneas base.

Contribuciones de la Detección

• Límites del Análisis a Nivel de Salida: Probó teórica y empíricamente que se pueden ocultar grandes cargas útiles manteniendo la perplejidad y la divergencia KL dentro de los rangos normales de ajuste fino, lo que hace que la esteganálisis estándar sea ineficaz.
• Señal de Detección Mecanicista: Mostró que las sondas lineales sobre las activaciones de las últimas capas pueden detectar secretos con una precisión significativamente mayor en modelos ajustados que en los modelos base, incluso cuando el payload de salida es irrecuperable.

4. Resultados Experimentales

Modelos y Configuraciones

Los experimentos se realizaron en Llama-3.1-8B, Ministral-8B y Llama-3.3-70B utilizando tanto ajuste fino completo (full fine-tuning) como LoRA. Los datos de entrenamiento incluyeron WikiText-103 y prompts de estilo TrojanStego.

Rendimiento del Ataque

• Tasa de Coincidencia Exacta (Exact Match Rate): Los esquemas geométricos (específicamente ASCII+Embedding y Embedding+Embedding) lograron tasas de recuperación de secretos exactos más altas que la línea base de ASCII+Paridad.
  • Llama-8B (LoRA): La recuperación mejoró del 17% al 30% (+78%).
  • Ministral-8B (LoRA): La recuperación mejoró del 24% al 43% (+80%).
  • Llama-70B (LoRA): La recuperación mejoró del 9% al 19% (+123%).
• Reducción de la Recuperabilidad:
  • El bucketing geométrico propuesto redujo significativamente $R_{bucket}$ y $R_{secret}$.
  • En el escenario "irrecuperable" (usando enmascaramiento XOR para evitar la decodificación de la salida), el ataque aún logró codificar el secreto internamente, probando que el canal existe incluso si la salida es indecipherable.
• Calidad del Texto y Capacidades:
  • Fluidez: La perplejidad y la divergencia KL aumentaron pero se mantuvieron dentro de los rangos típicos de un ajuste fino intensivo.
  • Degradación de Capacidades: El ajuste fino puramente esteganográfico causó caídas significativas en los benchmarks de tareas posteriores (MMLU, ARC, etc.), particularmente para el ajuste fino completo.
  • Entrenamiento de Motivos Mixtos (Mixed-Motive Training): Combinar objetivos esteganográficos con datos de ajuste de instrucciones estándar (mezcla 75/25) recuperó sustancialmente las capacidades del modelo (por ejemplo, reduciendo la degradación de ~30pp a ~3-5pp para LoRA) manteniendo el canal encubierto.

Rendimiento de la Detección

• Sondas Lineales:
  • Clasificación de Bits: Las sondas entrenadas en las capas finales de los modelos ajustados lograron una precisión del 95–100% en la predicción de los bits codificados, comparado con el ~60% de los modelos base.
  • Recuperación de Embeddings: Las sondas pudieron recuperar el embedding del secreto con una alta similitud de coseno en los modelos ajustados, incluso sin conocimiento del esquema de codificación.
  • Robustez: Esta señal de detección persistió en el entrenamiento de motivos mixtos e incluso en el escenario de control de "enmascaramiento XOR", donde la salida era matemáticamente imposible de decodificar.

5. Significado y Reivindicaciones

El artículo afirma que:

1. Evolución de la Amenaza: Los ataques esteganográficos en los LLM pueden hacerse significativamente más difíciles de realizar ingeniería inversa al pasar de reglas arbitrarias a la geometría del espacio de embeddings, reduciendo efectivamente la recuperabilidad del payload a niveles cercanos al azar para analistas sin clave.
2. Limitaciones de la Defensa: La esteganálisis tradicional basada en cambios de distribución (perplejidad/KL) es insuficiente para detectar la esteganografía basada en ajuste fino, ya que los cambios son indistinguibles del comportamiento normal de ajuste fino.
3. Nuevo Paradigma de Defensa: La detección debe basarse en la interpretabilidad mecanicista. Las firmas internas del ajuste fino esteganográfico son distintas y detectables mediante sondas lineales en los estados ocultos, incluso cuando la salida externa es segura.
4. Practicidad: Aunque el ajuste fino puramente esteganográfico degrada la utilidad del modelo, el entrenamiento de motivos mixtos permite la retención de canales encubiertos con un impacto mínimo en las capacidades posteriores, haciendo que la amenaza sea más realista.

Los autores concluyen que, si bien los ataques pueden fortalecerse contra el análisis de salida, dejan rastros internos accionables, lo que sugiere que las defensas futuras deben centrarse en inspeccionar los internos del modelo en lugar de solo monitorear las distribuciones de salida.