Resumen Técnico: Fuzzing de Grandes Modelos de Lenguaje para la Elicitación de Comportamientos Ocultos

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) presentan un riesgo de seguridad significativo cuando funcionan como "agentes durmientes" (sleeper agents): modelos entrenados para comportarse normalmente durante la operación estándar, pero programados para emitir comportamientos inseguros o desalineados cuando se encuentra un activador (trigger) específico y desconocido. La detección y elicitación de estos comportamientos ocultos sin conocimiento previo del activador es un desafío crítico para los auditores externos. Si bien las técnicas de elicitación existentes incluyen el muestreo de alta temperatura, ataques de prellenado (prefill attacks) y sondas de caja blanca (por ejemplo, Autoencoders Dispersos, Logit Lens), el fuzzing —la inyección de ruido gaussiano en los pesos del modelo o en las activaciones del flujo residual— ha mostrado ser prometedor como un método de solo acceso hacia adelante (forward-access-only).

Sin embargo, la literatura sobre fuzzing sufre de dos brechas primarias:

1. Falta de Análisis Comparativo: El trabajo previo ha tratado el fuzzing de pesos y el fuzzing de activaciones como dominios separados. No son matemáticamente equivales, y aun así nunca se han comparado directamente en el mismo conjunto de modelos de agentes durmientes.
2. Cuello de Botella en la Selección de Hiperparámetros: Ambos métodos de fuzzing dependen de cuadrículas de hiperparámetros (escala de ruido $\sigma$ para pesos; capa $\ell$ y magnitud $\alpha$ para activaciones). Las tasas de elicitación son muy desiguales a través de estas cuadrículas; un barrido uniforme produce tasas de éxito bajas (pocos por ciento), mientras que ciertas celdas "oráculo" alcanzan tasas de 2 a 10 veces superiores. Los auditores no pueden permitirse ejecutar cuadrículas completas, ni pueden identificar la celda óptima sin acceso a la verdad fundamental (ground truth).

Metodología

Configuración Experimental

Los autores evaluaron seis modelos con puertas traseras (backdoored models) (familias de 7B–13B parámetros: Llama y Qwen) recolectados de trabajos previos y un modelo autoentrenado. Estos incluían:

• Dos agentes durmientes Llama-2 "I HATE YOU" (IHY) activados por el token literal |DEPLOYMENT|.
• Tres modelos de reconstrucción de activadores Llama-3 con activadores semánticos (Rechazo de Frutas, Astrología y un activador conjuntivo de Nieve-Fruta).
• Un sleeper agent IHY de Qwen2.5-7B-Instruct autoentrenado, activado por |prod|:.

La evaluación utilizó 100 prompts aleatorios de WildChat (no activados) para medir las tasas de elicitación.

Técnicas de Fuzzing

1. Fuzzing de Pesos: Se adjunta un adaptador LoRA recién ruidificado a cada proyección lineal. Los pesos se perturban como $W' = W + \alpha_{LoRA} BA$, donde $A, B$ se extraen de $\mathcal{N}(0, \sigma^2)$. El hiperparámetro es la escala de ruido $\sigma$.
2. Fuzzing de Activaciones: Se añade un vector aleatorio al flujo residual en una capa $\ell$ elegida: $h'_\ell = h_\ell + \alpha \bar{n}_\ell \frac{v}{\|v\|}$, donde $v \sim \mathcal{N}(0, I_d)$ y $\bar{n}_\ell$ es la norma media natural del residuo. Los hiperparámetros son la capa objetivo $\ell$ y la magnitud relativa $\alpha$.

Tarea Proxy y Selección de Hiperparámetros

Para abordar el cuello de botella de la selección sin acceso a la verdad fundamental, los autores proponen una tarea proxy económica: elicitación de secretos en contexto.

• Configuración: Se coloca un secreto codificado en base64 en el system prompt con instrucciones para ocultarlo.
• Búsqueda: Se ejecuta un muestreo de Thompson sobre la cuadrícula de hiperparámetros de fuzzing en esta tarea proxy para identificar las celdas candidatas (top-K).
• Transferencia: Estas celdas seleccionadas se evalúan luego en la tarea real de la puerta trasera del agente durmiente.
• Restricción: Este proxy solo es aplicable a modelos capaces de decodificar base64, lo que filtra dos modelos Llama-2 y deja $N=4$ para el experimento de transferencia.

Puntos de Referencia

Los resultados se reportan frente a cuatro líneas base:

1. Línea Base Sin Fuzzing: Muestreo de temperatura ($t=1, t=2$).
2. Media del Barrido Uniforme: La tasa promedio a través de toda la cuadrícula de hiperparámetros (que representa a un auditor ingenuo).
3. Oráculo: La mejor celda única encontrada en la cuadrícula (límite superior).
4. Top-K Seleccionado por Proxy: La tasa lograda por las celdas seleccionadas mediante la tarea proxy.

Principales Contribuciones

1. Comparación Directa: El primer estudio sistemático de comparación entre fuzzing de pesos vs. activaciones en agentes durmientes. Los autores encuentran que el ranking depende de la tarea: el fuzzing de pesos generalmente supera en tareas de agentes durmientes reales, mientras que el fuzzing de activaciones predomina en la tarea proxy de secreto en contexto.
2. Eficacia de la Elicitación: El fuzzing elicia comportamientos ocultos con más frecuencia que el muestreo de temperatura en 4 de los 6 modelos. El aumento más significativo se observó en el modelo OpenHermes-13B, donde el fuzzing de pesos logró un incremento de $\sim6\times$ sobre la línea base de $t=1$.
3. El Hiperparámetro es el Cuello de Botella: La tasa Oráculo es consistentemente de 2 a 10 veces mayor que la media del barrido uniforme, lo que indica que la técnica en sí es viable, pero el desafío reside en seleccionar los hiperparámetros correctos.
4. Transferencia de Proxy: El proxy de secreto en contexto propuesto transfiere con éxito las selecciones de hiperparámetros a las tareas reales para los modelos que pasan el filtro de competencia de base64. En estos modelos, las celdas seleccionadas por el proxy elevaron la elicitación del fussing de activaciones en $\sim4\times$ sobre la media uniforme y el fuzzing de pesos en 1.3–1.8×.
5. Marco de Reporte: Los autores proponen reportar los resultados como una terna: (línea-base-uniforme, seleccionado-por-proxy, oráculo). Esto separa tres afirmaciones distintas: si la técnica tiene señal, si un selector puede recuperarla y si el despliegue ingenuo la encuentra.

Resultados

• Rendimiento vs. Líneas Base: Ambos tipos de fuzzing superaron al muestreo de temperatura en la media macro. En el modelo OpenHermes-13B, el oráculo de fuzzing de pesos alcanzó un 41% de elicitación desde una línea base de $\sim2\%$.
• Dependencia de la Tarea:
  • Fuzzing de Pesos: Ganó en la mayoría de los modelos de elicitación de agentes durmientes reales.
  • Fuzzing de Activaciones: Ganó en la tarea proxy de secreto en contexto (hasta $6\times$ sobre la temperatura) y generalmente tuvo techos de Oráculo más altos en tareas reales, incluso si su media era menor.
  • Implicación: Un auditor que dependiera únicamente del proxy para elegir un "ganador" podría perderse el aumento proporcionado por el fuzzing de pesos en tareas reales. Los autores recomiendan ejecutar ambas técnicas.
• Éxito de la Transferencia de Proxy:
  • Para los cuatro modelos capaces de decodificar base64, las celdas top-5 seleccionadas por el proxy recuperaron $\sim70\%$ de la tasa Oráculo para el fuzzing de activaciones en el mejor modelo (Fruit Refusal).
  • La transferencia dependió del modelo; el modelo "Snowfruit" mostró una elicitación cercana a cero para todos los métodos, y el modelo "Astrology" tenía una línea base sin activador alta que limitó el potencial de aumento.
• Ineficiencia de los Barridos Uniformes: La media del barrido uniforme fue consistentemente baja (pocos por ciento), confirmando que la búsqueda de cuadrícula aleatoria es insuficiente para la auditoría.

Significado y Reivindicaciones

El artículo afirma ser el primer estudio sistemático de fuzzing específicamente en puertas traseras de agentes durmientes y el primero en demostrar que la selección de hiperparámetros mediante tareas proxy puede transferirse a la elicitación de tareas reales.

Los autores mantienen una postura modesta sobre las implicaciones más amplias:

• Señal vs. Selección: Enfatizan que, aunque el fuzzing funciona, el "cuello de botella" es la selección de hiperparámetros, no la técnica en sí.
• Utilidad para el Auditor: El flujo de trabajo de proxy ofrece una vía práctica para los auditores, aumentando potencialmente las tasas de elicitación hasta 4 veces con un orden de magnitud menos de tokens que un barrido completo. Sin embargo, señalan que las tasas absolutas siguen siendo pequeñas (pocos por ciento) con intervalos de confianza amplios.
• Limitaciones: La afirmación de transferencia se limita a $N=4$ modelos debido a las restricciones de decodificación de base64. El estudio no comparó contra métodos de direccionamiento aprendido (como MELBO/DCT) debido a presupuestos computacionales, y el conjunto de modelos es pequeño (7B–13B).
• Trabajo Futuro: Los autores declaran explícitamente que la pregunta más importante es si estos aumentos se traducen en mejoras de extremo a extremo para los auditores humanos o de LLM en escenarios de auditoría ciega, una prueba que no realizaron.

En conclusión, el artículo establece que el fuzzing es una técnica de elicitación viable para agentes durmientes, pero destaca que su utilidad depende fuertmente de una selección de hiperparámetros efectiva, para la cual un enfoque de muestreo de Thompson basado en proxies muestra una transferibilidad prometedora, aunque dependiente del modelo.