Forced Deferral: Manipulating Routing Decisions in Multimodal LLM Cascades

Resumen Técnico: Aplazamiento Forzado en Cascadas de MLLM

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) ofrecen potentes capacidades de razonamiento visual, pero incurren en costos de inferencia sustanciales cuando se despliegan para cada consulta. Para mitigar esto, sistemas recientes emplean cascadas de MLLM, donde un modelo más débil y económico ($M_w$) gestiona las consultas primero, aplazando solo los casos inciertos a un modelo más fuerte y costoso ($M_s$). La decisión de aplazamiento depende de una señal de confianza derivada de la salida del modelo débil (por ejemplo, probabilidades de tokens, perplejidad o consistencia).

El artículo identifica una vulnerabilidad crítica en esta arquitectura: la señal de confianza actúa como un mecanismo de asignación de cómputo que puede ser manipulado. A diferencia de los ataques adversarios tradicionales que buscan degradar la corrección de la respuesta o el alineamiento de seguridad, esta amenaza apunta a la eficiencia del sistema. Un adversario puede manipular la confianza del modelo débil para forzar aplazamientos innecesarios al modelo fuerte. Esto permite al atacante obtener respuestas de alta calidad mientras traslada el costo computacional al proveedor del servicio, socavando los beneficios económicos de la inferencia en cascada.

Metodología: Ataque de Aplazamiento Forzado (FDA)
Los autores proponen el Ataque de Aplazamiento Forzado (FDA), un ataque de imagen adversaria diseñado para reducir la confianza del modelo débil sin alterar el contenido semántico de la consulta. El ataque aborda tres desafíos principales:

1. Métricas Desconocidas: El atacante no conoce la métrica de incertidumbre específica (por ejemplo, Probabilidad de Respuesta, Perplejidad Inversa, Similitud de Jaccard) o el umbral de aplazamiento utilizado por el sistema desplegado.
2. Preservación Semántica: La perturbación no debe degradar el contenido visual, ya que el modelo fuerte aún debe ser capaz de responder a la consulta correctamente.
3. Universalidad: El ataque debe ser un disparador (trigger) único y reutilizable optimizado una sola vez, en lugar de una optimización por cada consulta.

Componentes Principales:

• Objetivo Agnóstico a la Métrica: En lugar de optimizar contra una puntuación de confianza específica, el FDA apunta a la distribución subyacente de tokens. El ataque construye una distribución objetivo con temperatura suavizada ($q^T_t$) a partir de los logits limpios del modelo débil ($z_t$) utilizando una temperatura $T > 1$. Esto suaviza la distribución (reduciendo la concentración) mientras preserva el orden relativo de los tokens de la respuesta limpia.
• Optimización de Teacher-Forcing: El ataque minimiza la divergencia de Kullback-Leibler (KL) entre la distribución del modelo débil en la entrada perturbada y la distribución objetivo suavizada. Esto obliga al modelo a generar predicciones menos seguras a lo largo de la trayectoria de la salida limpia.
• Disparador de Borde Universal: Para preservar la semántica, la perturbación se restringe a una región de borde universal que rodea la imagen. El contenido visual central permanece intacto, asegurando que el modelo fuerte reciba una consulta válida. El disparador se aprende como un patrón fijo aplicado al borde de la imagen.

Contribuciones Clave

1. Formulación de la Amenaza: El artículo identifica y formaliza el "ataque de aplazamiento de cascada" como una nueva amenaza orientada a la eficiencia. Desplaza el enfoque adversario de la corrección de la predicción hacia la manipulación de la asignación de cómputo.
2. Mecanismo de Ataque Novedoso: Los autores proponen un disparador de borde universal agnóstico a la respuesta, optimizado mediante un objetivo de teacher-forcing con temperatura suavizada. Esto permite la manipulación del aplazamiento de forma agnóstica a la métrica, manteniendo el rendimiento del modelo fuerte en las entradas activadas.
3. Validación Empírica: El estudio demuestra que el FDA es efectivo, transferible y robusto a través de múltiples conjuntos de datos (MMBench, ScienceQA, MMMU), familias de modelos (Gemma4, Qwen3-VL) y métricas de aplazamiento.

Resultados Experimentales
La evaluación compara el FDA contra líneas base que incluyen perturbaciones de imagen genéricas (desenfoque de desenfoque) e inyección de prompts.

• Tasa de Redireccionamiento: El FDA aumenta significativamente la tasa en la que las consultas son dirigidas al modelo fuerte. A través de los conjuntos de datos y pares de modelos, el FDA supera consistentemente a las líneas base, llevando la tasa de redireccionamiento real cerca de 1.0 incluso con tasas de aplazamiento calibradas bajas.
• Reducción de Confianza: El ataque reduce drásticamente las puntuaciones de confianza del modelo débil (por ejemplo, reduciendo la Probabilidad de Respuesta de ~0.94 a ~0.03 en algunos casos) sin cambiar la semántica de la entrada.
• Precisión del Sistema: Crucialmente, el aumento en el redireccionamiento no degrada la precisión final del sistema. Debido a que el modelo fuerte recibe el contenido semántico original (solo el borde está perturbado), continúa proporcionando respuestas de alta calidad.
• Transferibilidad: El ataque se transfiere eficazmente a través de diferentes familias de modelos y métricas de incertidumbre, confirmando que el ataque apunta a una propiedad fundamental del mecanismo de confianza en lugar de a un detalle de implementación específico.

Significancia y Reivindicaciones
El artículo sostiene que las cascadas de MLLM, aunque eficientes, exponen una nueva superficie de ataque donde el propio proceso de decisión de aplazamiento se vuelve vulnerable. La significancia radica en demostrar que un adversario puede manipular la asignación de recursos del sistema para forzar una inferencia costosa sin necesidad de comprometer la seguridad o la corrección de la respuesta del modelo. Esto resalta una brecha en la investigación actual, que se ha centrado en las compensaciones entre costo y calidad bajo condiciones benignas o en la robustez frente a errores de nivel de salida, pero que ha pasado por alto la robustez de los mecanismos de enrutamiento basados en la confianza. El trabajo sugiere que las estrategias de aplazamiento actuales son insuficientes para evitar que los adversarios exploten la señal de asignación de cómputo.