Trojan-Speak: Bypassing Constitutional Classifiers with No Jailbreak Tax via Adversarial Finetuning

1. El Problema: La Superficie de Ataque del Ajuste Fino

El artículo identifica una nueva y crítica superficie de ataque en los modelos de lenguaje grandes (LLM): las APIs de ajuste fino (fine-tuning) ofrecidas por proveedores de IA.

• La Amenaza: Los adversarios pueden utilizar estas APIs para reentrenar modelos alineados con el objetivo de eludir sus medidas de seguridad y generar contenido peligroso (por ejemplo, instrucciones detalladas para la síntesis de armas químicas, biológicas, radiológicas o nucleares - CBRN).
• La Defensa Actual: Los proveedores utilizan Clasificadores Constitucionales (modelos LLM entrenados para detectar contenido dañino en los datos de entrenamiento y en las inferencias).
• El Dilema Previo ("Jailbreak Tax"): Trabajos anteriores (como Covert Malicious Fine-tuning) demostraron que, aunque era posible eludir estos clasificadores codificando el contenido dañino (cifrado), esto resultaba en una degradación significativa de las capacidades del modelo (más del 25% en benchmarks de razonamiento). Esto limitaba la amenaza práctica, ya que un modelo "roto" no podía proporcionar instrucciones expertas complejas.

Objetivo del artículo: Demostrar que es posible eludir los clasificadores constitucionales mediante ajuste fino adversarial sin incurrir en la degradación de capacidades, permitiendo que el modelo mantenga su utilidad experta mientras genera contenido peligroso.

---

2. Metodología: Trojan-Speak

Los autores proponen Trojan-Speak, un método de ajuste fino adversarial que combina tres componentes clave para lograr un ataque de alta eficacia y bajo costo de rendimiento.

A. Aprendizaje por Currículo (Curriculum Learning)

Para evitar la degradación de capacidades, el entrenamiento se divide en dos etapas estructuradas:

1. Fase de Enseñanza (Stage 1): Se entrena al modelo con ~25,000 ejemplos de conversaciones generales (del dataset LMSYS-Chat-1M) utilizando un protocolo de comunicación codificado. El objetivo es que el modelo aprenda a fluir en el cifrado sin exponerse a contenido dañino, preservando sus capacidades generales.
2. Fase de Tareas STEM (Stage 2): Se utiliza un dataset de preguntas STEM (Llama-Nemotron) con una decadencia del currículo. La probabilidad de usar ejemplos enseñados (codificados) disminuye linealmente del 80% al 20%, mientras que el 20% de los ejemplos permanecen sin codificar para anclar las capacidades base. Esto asegura que el modelo mantenga su razonamiento lógico mientras consolida la fluidez en el cifrado.

B. Entrenamiento Híbrido RL + SFT

El ajuste fino puramente basado en Refuerzo (RL) tiende a ser inestable: los errores de codificación se acumulan y el modelo colapsa.

• Solución: Se utiliza un enfoque híbrido que alterna pasos de RL basado en GRPO (Group Relative Policy Optimization) con pasos de Ajuste Fino Supervisado (SFT).
• Mecanismo: El RL optimiza el rendimiento en tareas codificadas, mientras que los pasos periódicos de SFT (sobre ejemplos correctamente formateados) actúan como regularizadores, estabilizando el comportamiento de codificación y evitando el colapso del modelo.

C. Esquema de Codificación y Camuflaje

• Cifrado de Sustitución Mínimo: En lugar de cifrados complejos, se utiliza una sustitución de letras basada en frecuencia (sustituyendo las 7-8 letras más frecuentes del inglés). Esto es suficiente para eludir los clasificadores (99%+ de tasa de elusión) pero minimiza la carga cognitiva para el modelo, preservando su capacidad de razonamiento.
• Camuflaje de Plantillas: Para evitar que los clasificadores detecten texto que "parezca" cifrado, el contenido codificado se incrusta en plantillas que imitan datos técnicos legítimos, como registros forenses de servidores, identificadores de transacciones blockchain o logs de análisis de seguridad. El clasificador ve "análisis forense", pero el modelo decodifica y responde a la consulta dañina real.

---

3. Resultados Clave

Evasión de Clasificadores

• Tasa de Éxito: Los modelos ajustados con Trojan-Speak lograron una tasa de elusión de >99% frente a los Clasificadores Constitucionales de Anthropic (ASL-3) y otros clasificadores de seguridad (Llama-Guard, Qwen3Guard).
• Calidad de Respuesta: En el Bug Bounty Benchmark (preguntas de nivel experto sobre CBRN), los modelos obtuvieron una puntuación promedio de 85.2%, proporcionando instrucciones detalladas y accionables que los clasificadores no pudieron detectar.

Retención de Capacidades ("No Jailbreak Tax")

• Rendimiento en Benchmarks: A diferencia de ataques previos que degradaban el rendimiento en más del 25%, Trojan-Speak retiene >95% de la capacidad original en modelos de 14B+ parámetros (GPQA-Diamond, MMLU-Pro, MATH-500).
  • Ejemplo: En el modelo Haiku 4.5, la precisión en GPQA-Diamond pasó de 65.7% a 62.6% (96% de retención).
• Escalabilidad: Los modelos más pequeños (4B, 8B) mostraron mayor degradación, lo que sugiere que la capacidad de mantener simultáneamente el esquema de codificación y el razonamiento complejo requiere suficiente capacidad del modelo.

Eficacia del Entrenamiento Híbrido

• Las pruebas mostraron que el entrenamiento puramente con RL causaba una degradación rápida después de ~20 pasos debido a errores acumulados de codificación. El enfoque híbrido (RL + SFT) mantuvo una mejora estable y consistente a lo largo de todo el entrenamiento.

---

4. Contribuciones y Significado

Vulnerabilidad de los Clasificadores Basados en LLM

El estudio demuestra que los clasificadores de contenido basados en LLM son insuficientes para protegerse contra ataques de ajuste fino cuando el adversario tiene acceso a las APIs. La defensa actual falla porque el clasificador no puede decodificar el contenido cifrado, mientras que el modelo ajustado sí puede.

La Amenaza de la "Utilidad sin Sacrificio"

El hallazgo más alarmante es que los adversarios no necesitan elegir entre la eficacia del ataque y la utilidad del modelo. Trojan-Speak rompe el compromiso tradicional, permitiendo crear modelos que son tanto expertos en tareas complejas como completamente desbloqueados para contenido dañino.

Defensa: Sondeos de Activación (Activation Probes)

Los autores exploran una defensa alternativa: sondeos de activación (clasificadores lineales entrenados en los estados ocultos del modelo).

• Resultado: Mientras que los clasificadores de texto fallan, los sondeos de activación logran un AUC de 0.97-0.99 en modelos que han aprendido a decodificar el cifrado.
• Implicación: Esto sugiere que, una vez que el modelo entiende el cifrado, el contenido dañino se vuelve visible en sus representaciones internas, independientemente de la superficie del texto. Sin embargo, los autores notan que los adversarios aún no han encontrado formas fáciles de eludir estos sondeos, pero la investigación es necesaria.

Conclusión

El artículo advierte que, a medida que las APIs de ajuste fino se expanden a modelos de vanguardia (frontier models), la combinación de ataques de ajuste fino que preservan capacidades y el razonamiento de nivel experto representa un riesgo de seguridad creciente. La defensa no puede depender únicamente de la clasificación de texto superficial; se requieren defensas multinivel, incluyendo el monitoreo a nivel de representación (activaciones), para mitigar estas amenazas.