Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs

Resumen Técnico: El Ajuste Fino Benigno Rompe la Alineación de Seguridad en LLMs de Audio

1. Planteamiento del Problema

El trabajo aborda una vulnerabilidad crítica en los Modelos de Lenguaje Grande de Audio (Audio LLMs): la degradación de la seguridad al realizar ajuste fino (fine-tuning) con datos completamente benignos.

• Contexto: A diferencia de los ataques de "jailbreak" tradicionales que requieren datos maliciosos o perturbaciones adversarias, este estudio demuestra que un usuario bienintencionado que ajusta un modelo alineado con datos de audio benignos (para mejorar tareas específicas) puede inadvertidamente destruir las defensas de seguridad del modelo.
• La Brecha de Seguridad: Los Audio LLMs suelen heredar sus mecanismos de rechazo (refusal) de la alineación basada en texto, no de datos de seguridad específicos de audio. Durante el ajuste fino, los codificadores de audio (encoders) permanecen congelados, mientras que solo se actualizan las capas del LLM. Esto significa que el modelo sigue "escuchando" el audio, pero su mecanismo de decisión para rechazar contenido dañino se vuelve frágil y susceptible a ser suprimido por el entrenamiento en tareas benignas.
• Hipótesis Central: Las muestras benignas que son proximidad representacional (vecinas en el espacio de incrustaciones/embeddings) a contenido dañino son las que causan mayor degradación de la seguridad, incluso si su contenido semántico es inocuo.

2. Metodología

Los autores presentan un marco sistemático para evaluar y cuantificar esta vulnerabilidad en tres modelos de última generación: Audio Flamingo 3 (AF3), Kimi-Audio-7B y Qwen2.5-Omni.

• Filtrado por Proximidad (Proximity Filtering):
  • Se define una función de filtrado $\phi$ que selecciona un subconjunto de datos benignos ($D_{benign}$) basándose en su distancia coseno mínima a un conjunto de prompts dañinos ($D_{harmful}$) en el espacio de incrustaciones.
  • Se evalúa el Tasa de Éxito del Jailbreak (JSR) tras el ajuste fino con estos datos seleccionados.
• Descomposición de la Proximidad:
  Para entender por qué ocurre esto, el estudio descompone la proximidad en tres ejes utilizando codificadores externos de referencia además del codificador interno del modelo:
  1. Semántico: Basado en el contenido lingüístico (transcripción + Sentence-BERT).
  2. Acústico: Basado en características de la señal (voz, prosodia, identidad del hablante) usando WavLM.
  3. Mixto: Una combinación de ambos (usando Whisper-Large-V3).
• Control de Modalidad: Se compara el ajuste fino en audio frente al ajuste fino en texto (transcripciones) utilizando los mismos datos filtrados para aislar el efecto de la modalidad.
• Análisis Mecanístico: Se examinan las activaciones internas del modelo (capas del LLM) para observar cómo cambia el "circuitos de rechazo" (refusal circuit) durante el entrenamiento.

3. Contribuciones Clave

1. Primera Estudio Sistemático: Es el primer trabajo que demuestra que el ajuste fino con datos benignos degrada la seguridad en Audio LLMs, abarcando tres arquitecturas, cuatro conjuntos de datos benignos y dos benchmarks de seguridad.
2. Descomposición de Ejes de Vulnerabilidad: Se revela que el eje de vulnerabilidad dominante (semántico vs. acústico) depende de la arquitectura del codificador del modelo. No es un fenómeno agnóstico a la modalidad.
3. Descubrimiento de la "Detección sin Rechazo": El análisis mecánico muestra que el ajuste fino suprime selectivamente el circuito de rechazo en las capas tardías del LLM, mientras que el codificador congelado mantiene las representaciones intactas. El modelo "reconoce" el contenido pero pierde la capacidad de rechazarlo.
4. Asimetrías Cruzadas (Cross-Modal Asymmetry): Se demuestra que la seguridad se degrada más a lo largo de la vía representacional que está menos cubierta por el entrenamiento de alineación original.

4. Resultados Principales

• Degradación Masiva de Seguridad:
  • El JSR (Tasa de Éxito del Jailbreak) aumenta drásticamente, pasando de cifras de un solo dígito (ej. 4.62%) hasta un 87.12% en el modelo Kimi-Audio al ajustar con datos benignos seleccionados por proximidad semántica.
  • Incluso el muestreo aleatorio (sin filtrado) aumenta el JSR, pero el filtrado por proximidad lo exacerba significativamente.
• Dependencia de la Arquitectura:
  • Kimi-Audio (Codificador Dual): La vulnerabilidad es principalmente semántica. Su cuello de botella de cuantización descarta detalles acústicos, por lo que la proximidad en el texto (transcripción) es lo que rompe la seguridad.
  • AF3 (Proyector MLP): La vulnerabilidad es mixta. Su proyector comprime las características, haciendo que las características acústicas y semánticas pre-proyección sean predictivas.
  • Qwen2.5-Omni (Paso Directo): Muestra una vulnerabilidad significativa tanto en ejes acústicos como semánticos, ya que su arquitectura transparente preserva más estructura acústica.
• Asimetría Audio vs. Texto:
  • En AF3, el ajuste fino en audio aumenta el JSR, mientras que el ajuste fino en texto (mismos datos) lo disminuye.
  • En Qwen2.5-Omni, ocurre lo contrario: el ajuste fino en texto es más dañino que en audio.
  • Explicación: La seguridad se rompe en la vía representacional que el modelo no ha sido alineado para manejar robustamente.
• Preservación de Utilidad: A pesar de la caída en seguridad, la capacidad de razonamiento y utilidad del modelo (medida en Big-Bench Hard) se mantiene casi intacta, con variaciones menores (< 5 puntos), lo que indica que la degradación es específica de la seguridad y no una falla general del modelo.

5. Defensas Propuestas

Los autores proponen dos estrategias prácticas que no requieren modificar la arquitectura del modelo:

1. Filtrado de Distancia (Distant Filtering): Seleccionar datos de entrenamiento benignos que estén más lejos (máxima distancia coseno) de los embeddings dañinos. Esto mantiene la alineación de seguridad durante el entrenamiento.
2. Prompt de Sistema Textual (Inference-time): Añadir un prompt de sistema explícito que instruya al modelo a rechazar solicitudes dañinas. Esto restaura la seguridad casi a cero (JSR ~0%) incluso en modelos que han sido ajustados finamente y han perdido su alineación nativa.

6. Significado e Impacto

Este trabajo cambia la comprensión de la seguridad en modelos multimodales de audio:

• Riesgo Oculto: La seguridad no depende solo de qué se dice, sino de cómo suena y cómo el modelo procesa esa señal. Un archivo de audio benigno puede ser "peligroso" para la alineación del modelo simplemente por su proximidad acústica o semántica a contenido dañino en el espacio latente.
• Fragilidad de la Alineación Heredada: Demuestra que la alineación de seguridad heredada del texto es insuficiente para audio y es fácilmente suprimida por el ajuste fino en tareas benignas.
• Necesidad de Evaluación Específica: Las evaluaciones de seguridad futuras para Audio LLMs deben considerar la arquitectura del codificador y la proximidad representacional, no solo el contenido superficial.
• Implicaciones para la Industria: A medida que los usuarios ajusten modelos de audio para tareas específicas, existe un riesgo alto de crear modelos inseguros sin intención maliciosa, requiriendo nuevas prácticas de filtrado de datos y prompts de seguridad en tiempo de inferencia.