Resumen Técnico: OTTER – Un sistema de Red-Teaming para la optimización de prompts de jailbreak que evade la toxicidad

1. Planteamiento del problema

Los Modelos de Lenguaje Extensos (LLM) en producción dependen predominantemente de los filtros de moderación basados en toxicidad como su principal mecanismo de defensa. Estos sistemas operan bajo el supuesto de que la intención dañina se correlacionan fuertemente con una redacción superficial tóxica. Los autores argumentan que este supuesto es fundamentalmente frágil. Demuestran que la toxicidad superficial y la intención adversaria pueden desacoplarse reemplazando tan solo cinco tokens.

Los métodos de jailbreak existentes enfrentan restricciones significativas para los profesionales que auditan sistemas de código cerrado:

• Ataques de caja blanca (p. ej., GCG, AutoDAN) requieren acceso a los pesos del modelo y a los gradientes, los cuales no están disponibles a través de APIs comerciales.
• Ataques de caja negra con LLMs auxiliares (p. ej., PAIR, TAP, DAGR) dependen de un modelo atacante separado y capaz para generar candidatos, lo que introduce altos costos y latencia.

Existe una brecha para un método de ataque que no requiera nada más allá del acceso estándar a la API —sin pesos de modelo, sin gradientes y sin un modelo atacante auxiliar— pero que sea capaz de eludir eficazmente los filtros de seguridad.

2. Metodología: OTTER

Los autores proponen OTTER (Obfuscated Toxicity-Evading Token Evolution for Rewriting), un marco de red-teaming de caja negra y ligero. OTTER trata la reescritura de jailbreak como un problema de optimización restringida: encontrar una reescritura superficial de un prompt dañino que (1) caiga por debajo del umbral de toxicidad de la API de moderación y (2) preserve la intención adversaria original.

Pipeline Principal

1. Atribución de Tokens (Mask-Drop): OTTER identifica qué tokens contribuyen más a la puntuación de toxicidad. Para cada posición de token $i$, el token se enmascara y la puntuación de toxicidad se vuelve a calcular. La diferencia ($\Delta_i$) indica la contribución del token. Se seleccionan las $k$ posiciones superiores (excluyendo palabras de parada o stop words) para su modificación.
2. Generación de Candidatos: Se proponen dos variantes para generar candidatos de reemplazo:
   • OTTER-MLM: Consulta un modelo BERT en modo fill-mask para obtener reemplazos contextualmente apropiados. Esto asegura la coherencia semántica y la fluidez.
   • OTTER-RV: Muestrea uniformemente de un vocabulario BERT filtrado (tokens solo alfa, longitud > 2). Esto permite un espacio de búsqueda más amplio y agresivo para la reducción de la toxicidad.
3. Búsqueda Codiciosa por Posición (Greedy Per-Position Search): OTTER realiza una búsqueda codiciosa para seleccionar reemplazos que minimicen una función de pérdida que equilibra la reducción de la toxicidad frente a la deriva semántica (medida mediante la similitud de coseno de los embeddings de las oraciones).
4. Evaluación: El prompt reescrito se envía al LLM objetivo. El éxito se define por la ausencia de una respuesta de rechazo.

3. Contribuciones Clave

• Marco OTTER: Un marco de red-teaming de caja negra y ligero que es operable únicamente con acceso estándar a la API, el cual cuenta con dos variantes (OTTER-MLM y OTTER-RV).
• Análisis Cuantitativo: El primer análisis empírico sistemático de la relación entre toxicidad y elude (bypass), proporcionando métricas como la correlación punto-biserial (BTC) y el Área Bajo la Curva (AUC), junto con un desglose por categoría del éxito del ataque.
• Insights de Defensa: Demostración de cero falsos positivos en prompts benignos y la provisión de recomendaciones accionables para el endurecimiento de clasificadores de ciclo cerrado en despliegues de producción.

4. Resultados Experimentales

El sistema fue evaluado con 457 prompts dañinos del conjunto de datos AdvBench en cuatro modelos GPT de código cerrado (gpt-4-turbo, gpt-4o, gpt-4o-mini y gpt-3.5-turbo).

• Tasa de Éxito del Ataque (ASR):
  • Baseline (Prompts directos de AdvBench): 7.0% de ASR promedio.
  • OTTER-MLM: Elevó el ASR promedio a 75.6%.
  • OTTER-RV: Elevó el ASR promedio a 84.0%.
  • Nota: Un baseline de parafraseo de GPT-4o alcanzó un 77.0% de ASR, pero carecía de la transparencia y reproducibilidad de la atribución de tokens de OTTER.
• Relación Toxicidad–Bypass:
  • El estudio encontró una fuerte correlación entre la reducción de las puntuaciones de toxicidad y la probabilidad de eludir (BTC = 0.505, AUC = 0.823).
  • Los prompts con una puntuación de toxicidad inferior a 0.1 eludieron los modelos de clase GPT a una tasa del 93.6%, comparado con el 57.8% para puntuaciones $\ge$ 0.1.
• Desglose por Categoría:
  • Alta Vulnerabilidad: Las categorías de autolesión/suicidio y discurso de odio alcanzaron un 95–96% de ASR con una reducción de toxicidad moderada, lo que indica que su intención se concentra en unos pocos tokens superficiales.
  • Menor Vulnerabilidad: El cibercrimen/hacking logró la mayor reducción de toxicidad ($\Delta$Tox = 0.771) pero el menor ASR (73.7%). Esto sugiere que el vocabulario técnico puede portar intención dañina incluso cuando la toxicidad superficial es baja, haciendo que estas categorías sean más resilientes a la sustitución léxica simple.
• Eficiencia: Se encontró que el número óptimo de posiciones editadas ($k$) era 5. Aumentar $k$ a 8 produjo rendimientos decrecientes (+8.8 pp de ASR) con un aumento del 60% en las llamadas a la API.

5. Significado y Reivindicaciones

El artículo afirma que OTTER expone una vulnerabilidad arquitectónica fundamental en la moderación basada en toxicidad: la señal compartida a nivel de superficie entre los clasificadores de toxicidad y los mecanismos de rechazo del modelo.

• Desacoplamiento de Intención y Toxicidad: La investigación demuestra que la intención dañina puede sobrevivir a una obfuscación léxica significativa, probando que las puntuaciones de toxicidad son un indicador fiable pero imperfecto de la probabilidad de eludir (bypass).
• La Capacidad del Modelo no es una Defensa: Los modelos más fuertes (p. ej., GPT-4-turbo) no cerraron significativamente la brecha de vulnerabilidad en comparación con los modelos más débiles (GPT-3.5-turbo), con solo una diferencia de 3.5 puntos porcentuales en la mejora del ASR. Esto indica que el alineamiento de seguridad y la capacidad del modelo se optimizan actualmente de forma independiente.
• Defensa Accionable: Los autores posicionan a OTTER no solo como una herramienta de ataque, sino como un instrumento de diagnóstico. Recomiendan:
  1. Complementar las Puntuaciones de Toxicidad: Utilizar clasificadores conscientes de la intención entrenados con paráfrasis semánticamente equivalentes.
  2. Endurecimiento de Ciclo Cerrado: Integrar OTTER en los pipelines de CI/CD para generar "negativos duros" (prompts dañinos reescritos) para el reentrenamiento continuo de los clasificadores.
  3. Estratificación de Riesgos: Priorizar el endurecimiento de la defensa para las categorías con alto ASR y baja reducción de toxicidad (p. ej., discurso de odio) sobre aquellas donde la intención está codificada en la estructura técnica (p. ej., cibercrimen).

Los autores concluyen que, si bien la vulnerabilidad estructural es arquitectónica, la severidad práctica depende de cómo evolucionen los sistemas de moderación. Enfatizan que su contribución principal es la caracterización diagnóstica de la relación entre toxicidad y eludir (bypass) y las consiguientes recomendaciones de defensa, más que el mecanismo de elusión en sí mismo.