Resumen Técnico: El Aprendizaje Automático Adversario para los LLM No Está Progresando

Planteamiento del Problema

El artículo sostiene que el campo del Aprendizaje Automático Adversario (Adversarial ML) ha retrocedido en su capacidad de realizar progresos mensurables desde que cambió su enfoque de modelos de clasificación simples y bien definidos hacia los Modelos de Lenguaje Extensos (LLM). Mientras que la era temprana del Adversarial ML se centró en problemas "de juguete" con objetivos claros (por ejemplo, la clasificación errónea de una imagen bajo perturbaciones de píxeles acotadas), la era actual de los LLM presenta problemas que son fundamentalmente menos claramente definidos, más difíciles de resolver y más complicados de evaluar.

Los autores sostienen que la transición hacia modelos generativos de propósito general ha eliminado el rigor matemático y experimental que anteriormente permitía la comparación de ataques y defensas. En consecuencia, el campo corre el riesgo de pasar otra década produciendo trabajos que no logran generar un progreso científico significativo, reproducible o garantías de seguridad robustas.

Metodología

Este documento es un artículo de posición más que un estudio empírico con nuevos resultados experimentales. La metodología de los autores consiste en un análisis crítico del estado actual del campo a través de:

1. Análisis Conceptual: Deconstrucción de la evolución de los problemas adversarios desde la clasificación hacia los modelos generativos, identificando cambios estructurales específicos en la definición del problema, los espacios de solución y las métricas de evaluación.
2. Estudios de Caso: Examen sistemático de seis áreas de investigación específicas para ilustrar cómo el cambio hacia los LLM exacerba las dificultades:
   • Jailbreaks (Ataques de evasión)
   • Modelos no finetuneables (No ajustables)
   • Envenenamiento y Backdoors (Puertas traseras)
   • Inyecciones de Prompts
   • Inferencia de Membresía
   • Desaprendizaje de Máquina (Machine Unlearning)
3. Síntesis de Contraargumentos: Abordaje de visiones alternativas que sugieren que el campo está progresando o que la mayor complejidad es un paso necesario para resolver problemas del mundo real.

Contribuciones Clave y Hallazgos

1. Los Problemas son más Difíciles de Definir

Los autores identifican tres dimensiones centrales donde la definición se ha vuelto ambigua:

• Definición del Éxito: A diferencia de la clasificación (donde el éxito es una tasa de clasificación errónea), la seguridad de los LLM involucra metas cualitativas y subjetivas (por ejemplo, "inocuidad", "utilidad"). Las métricas de éxito suelen depender de sistemas de "LLM como juez", lo que introduce circularidad, sesgo y vulnerabilidad ante los mismos ataques que intentan medir.
• Acotación del Espacio de Ataque: La robustez tradicional dependía de espacios de entrada acotados (por ejemplo, normas $\ell_p$). Para los LLM, el espacio de ataque es efectivamente ilimitado (cualquier entrada de texto), y los modelos de amenazas se han expandido para incluir la modificación del modelo (ajuste fino, poda) en lugar de solo la perturbación de la entrada. No hay consenso sobre qué constituye un prompt adversario "válido" o "novedoso".
• Delimitación de Datos: El concepto de un conjunto de entrenamiento distinto y un conjunto de prueba reservado se ha disuelto. Los LLM se entrenan en vastos corpus de internet superpuestos donde los límites entre los datos de entrenamiento y de prueba, y entre puntos de datos individuales, se desdibujan. Esto hace que conceptos como la "membresía" o el "desaprendizaje" de puntos de datos específicos sean mal definidos.

2. Los Problemas son más Difíciles de Resolver

• Optimización Ineficaz: La optimización basada en gradientes, que impulsó el progreso en la clasificación de imágenes, es en gran medida ineficaz para los LLM debido a las entradas de texto discretas y la falta de una función de pérdida formal para la seguridad.
• Dependencia del Esfuerzo Humano: Debido a que la optimización automatizada tiene dificultades, los ataques más fuertes contra los LLM son ahora a menudo impulsados por humanos (por ejemplo, ingeniería social, modulación de personalidad) en lugar de algorítmicos. Esto impide el descubrimiento sistemático de los escenarios de peor caso.
• Falta de Defensas Principadas: Sin objetivos formales o espacios de ataque acotados, las defensas son mayormente ad-hoc (por ejemplo, filtrado de salida, entrenamiento adversario virtual). Estas defensas no pueden ser analizadas o certificadas formalmente, lo que lleva a evaluaciones que a menudo sobreestiman la robustez.

3. Los Problemas son más Difíciles de Evaluar

• Crisis de Reproducibilidad: Muchos de los LLM de vanguardia son de código cerrado, se actualizan silenciosamente y se despliegan mediante APIs. Esta falta de transparencia hace imposible reproducir resultados, comparar diferentes enfoques de manera justa o rastrear el progreso a lo largo del tiempo.
• Evaluación de la Utilidad: Las defensas que previenen salidas dañinas a menudo degradan la utilidad general del modelo (por ejemplo, rechazar todas las solicitudes). Medir la compensación entre seguridad y utilidad es subjetivo y dependiente del contexto, careciendo de las métricas estandarizadas (como la precisión) utilizadas en el ML tradicional.

4. Perspectivas de los Estudios de Caso

El documento detalla cómo estos desafíos se manifiestan en dominios específicos:

• Jailbreaks: El éxito se define por contenido "dañino", lo cual carece de una definición formal. La optimización es difícil, lo que lleva a una dependencia de la ingeniería de prompts manual.
• Modelos no Finetuneables: El modelo de amenaza ahora incluye atacantes que pueden modificar los pesos del modelo, expandiendo el espacio de búsqueda desde gradientes de entrada hasta gradientes de parámetros (órdenes de magnitud más grandes).
• Envenenamiento/Backdoors: El entrenamiento multietapa de los LLM (pre-entrenamiento + ajuste fino) y la escala de los datos hacen que sea computacionalmente inviable reentrenar los modelos desde cero para establecer líneas base limpias para la evaluación.
• Inyecciones de Prompts: Evaluar estos requiere entornos de agentes realistas con uso de herramientas, que son costosos de simular y a menudo dependen de jueces LLM, reintroduciendo el sesgo de evaluación.
• Inferencia de Membresía y Desaprendizaje: La falta de límites de datos claros y la imposibilidad de crear modelos contrafácticos (reentrenar sin un punto específico) hace imposible demostrar rigurosamente que los datos han sido "olvidados" o que una muestra formaba parte del entrenamiento.

Resultados y Afirmaciones

El documento no presenta nuevos datos experimentales, sino que sintetiza la literatura existente para respaldar las siguientes afirmaciones:

• Estancamiento: El campo no está produciendo un progreso significativo porque los problemas ya no son problemas "de juguete" con marcos rigurosos.
• Fallo de Evaluación: Los métodos de evaluación actuales (jueces LLM, benchmarks ad-hoc) son insuficientes para rastrear el progreso o comparar defensas de manera confiable.
• La Falacia del "Mundo Real": Aunque algunos argumentan que estudiar problemas del mundo real sin límites es necesario, los autores sostienen que sin subproblemas formales que anclen la investigación científica, el campo no puede distinguir entre mejoras de seguridad genuinas y artefactos de una evaluación opaca.
• Riesgo de Oscuridad: La tendencia hacia sistemas de defensa complejos y opacos (seguridad mediante la oscuridad) puede proporcionar seguridad a corto plazo, pero obstaculiza la comprensión científica necesaria para la robustez a largo plazo.

Significancia

El documento sirve como una posición de advertencia para la comunidad de Aprendizaje Automático Adversario. Su significancia radica en:

1. Reencuadrar la Narrativa: Desafía el optimismo prevaleciente de que los modelos más nuevos son inherentemente más seguros, argumentando que la incapacidad de evaluar rigurosamente las defensas enmascara un posible estancamiento.
2. Llamado al Rigor: Aboga por un retorno a subproblemas bien definidos y formales (similares a las perturbaciones acotadas por $\ell_p$) como un prerrequisito para el progreso científico. Los autores argumentan que sin la capacidad de resolver problemas formales cuidadosamente delimitados, no se puede abordar el desafío más amplio de la seguridad de los LLM.
3. Guía Metodológica: Sugiere que los artículos deben declarar explícitamente si su objetivo es la seguridad en el mundo real (donde las definiciones difusas pueden ser aceptables para la reducción inmediata de daños) o el avance científico (que requiere marcos formales y rigurosos).

Los autores concluyen que, a menos que la comunidad pueda restablecer definiciones rigurosas, métodos de optimización y benchmarks reproducibles, el campo corre el riesgo de pasar otra década sin producir un progreso significativo en la seguridad de los LLM.