Resumen Técnico: ReShift

Planteamiento del Problema

Los Modelos de Visión-Lenguaje (VLMs) se están desplegando cada vez más en dominios críticos para la seguridad, como la conducción autónoma y el análisis médico. Si bien estos modelos han avanzado mediante técnicas orientadas al razonamiento como la Cadena de Pensamiento (CoT), siguen siendo vulnerables a ataques de puerta trasera (backdoor attacks). Los métodos de puerta trasera existentes contra los VLMs operan principalmente a nivel de salida, utilizando la inyección de tokens o la reescritura de respuestas para anular forzosamente la respuesta final una vez que se activa un activador (trigger).

El artículo identifica una limitación crítica en estos ataques de nivel de salida: a menudo descuidan la dinámica interna del razonamiento. En consecuencia, el CoT generado permanece lógicamente alineado con la respuesta correcta mientras que la predicción final es alterada arbitrariamente. Esto crea inconsistencias internas e incoherencia lógica que son fácilmente detectables mediante inspección humana o mecanismos de monitoreo basados en la incertidumbre (por ejemplo, mediante la divergencia de la distribución de la perplejidad). Los autores plantean la pregunta de si un mecanismo de puerta trasera puede operar directamente en el nivel de razonamiento, redirigiendo sutilmente la trayectoria de inferencia interna mientras preserva la plausibilidad a nivel de trayectoria y la coherencia superficial.

Metodología

Los autores proponen ReShift, un nuevo marco de puerta trasera impulsado por el momento de "ajá" (aha-moment) a nivel de razonamiento. ReShift manipula explícitamente la dinámica interna del CoT de los VLMs aprovechando comportamientos cognitivos mejorados por el aprendizaje por refuerzo (RL), específicamente el "momento de ajá": un comportamiento donde el modelo revisita pasos de razonamiento anteriores y ajusta su trayectoria.

El marco consta de dos componentes principales:

1. Construcción de Datos Conscientes del Razonamiento Envenenados (PRDC)

Este flujo de trabajo construye un conjunto de datos envenenados diseñado para inducir "momentos de ajá" guiados.

• Proceso: Dado un CoT limpio, el sistema antepone una frase de activación (por ejemplo, "Espera, déjame pensar") y genera pasos de guía que redirigen suavemente la trayectoria de razonamiento hacia una respuesta objetivo predefinida.
• Objetivo: Incrustar estos cambios guiados en los datos de entrenamiento de tal manera que el flujo de razonamiento permanezca coherente en la superficie mientras es dirigido hacia el objetivo malicioso.

2. Optimización Conjunta Supervisada-Refuerzo (SRJO)

Este es un marco de optimización de una sola etapa que integra conjuntamente el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL) para estabilizar y amplificar el desplazamiento de la trayectoria inducido por el activador.

• Estrategia Híbrida: Se aplica SFT al prefijo (los pasos iniciales de razonamiento correctos) para anclar la estructura del razonamiento y el patrón de la puerta trasera. Se aplica RL al sufijo (generación post-activador) para forzar la convergencia hacia la respuesta objetivo.
• Funciones de Recompensa: La etapa de RL utiliza tres recompensas específicas:
  • Recompensa de Objetivo ($R_{target}$): Asegura que la respuesta extraída final coincida con el objetivo predefinido.
  • Recompensa de Desplazamiento ($R_{shift}$): Fomenta la emergencia de un "rebote de entropía" (definido abajo) para facilitar desplazamientos genuinos de razonamiento.
  • Recompensa de Formato ($R_{format}$): Insta a la generación de patrones específicos de "momento de ajá" (por ejemplo, "déjame pensar...").
• Entrenamiento Dinámico: La proporción de SFT frente a RL se regula dinámicamente. El SFT predomina inicialmente para inyectar el patrón de la puerta trasera; una vez que se observa una activación de objetivo estable y un rebote de entropía significativo, la cobertura de RL aumenta para refinar el desplazamiento de la trayectoria.

Rebote de Entropía y Análisis Teórico

Los autores introducen el Rebote de Entropía como una señal fundamentada para caracterizar la redirección del razonamiento.

• Definición: Definen la Diferencia de Entropía Ventanada (WED) para monitorear las variaciones de la entropía a nivel de token durante la generación. Un cambio de razonamiento se caracteriza por un aumento repentino en la entropía promedio de la ventana (un "rebote de entropía") cerca de la etapa de convergencia, contrastando con la baja entropía estable del razonamiento limpio.
• Garantía Teórica: El artículo proporciona un teorema que establece un límite inferior en la divergencia de Kullback-Leibler (KL) entre las trayectorias de razonamiento limpias y las inyectadas con el activador. Este límite está determinado por la brecha de entropía, vinculando teóricamente el rebote de entropía observado con una divergencia significativa a nivel de trayectoria.

Contribuciones Clave

1. Paradigma de Ataque a Nivel de Razonamiento: ReShift es el primer marco que redirige explícitamente la trayectoria interna del CoT de los VLMs en lugar de simplemente anular el token de salida final. Este enfoque preserva la consistencia lógica de los pasos de razonamiento que conducen al desplazamiento.
2. Mecanismo de Momento de Ajá: El trabajo aprovecha el RL para inducir comportamientos de "momento de ajá", permitiendo que el modelo revise y ajuste naturalmente su camino de razonamiento, manteniendo así la sigilosidad.
3. Marco SRJO: Los autores proponen el primer marco de optimización de puerta trasera que integra conjuntamente SFT y RL dentro de un proceso unificado, utilizando SFT a nivel de prefijo y RL a nivel de sufijo para equilibrar la estructura y la alineación del objetivo.
4. Señal de Rebote de Entropía: La formalización del Rebote de Entropía proporciona una señal teórica y empírica para detectar e inducir la redirección del razonamiento, vinculando las brechas de entropía con la divergencia de la trayectoria.

Resultados Experimentales

Se realizaron experimentos extensos en VLMs (Qwen2.5-VL-7B e InternVL3.5-8B) en entornos de dominio (A-OKVQA, ScienceQA) y fuera de dominio (MathVista, MMMU).

• Tasa de Éxito del Ataque (ASR): ReShift logra un ASR alto (hasta 1.00 en ScienceQA y 0.97 en A-OKVQA), superando a líneas de base como BadToken, BadVision y Rewrite.
• Sigilosidad:
  • Calidad del Razonamiento: ReShift mantiene puntuaciones de coherencia (Coh) y racionalidad (Rat) altas, comparables al modelo base limpio, mientras que los ataques de nivel de salida a menudo degradan estas métricas.
  • Perplejidad: A diferencia de los ataques de nivel de salida que muestran una divergencia pronunciada en las distribuciones de perplejidad entre las muestras limpias y las de activación, las muestras de activación de ReShift permanecen estrechamente alineadas con las muestras limpias.
  • Resistencia a la Detección: Cuando se evalúa contra detectores de puerta trasera (BYE y BkdAttr), ReShift produce una precisión de detección (DACC) significativamente menor, a menudo acercándose al azar (0.09–0.17), en comparación con las líneas de base que muestran una detectabilidad moderada.
• Preservación de la Utilidad: El ataque mantiene una alta precisión en tareas limpias y un bajo ASR-C (la tasa de muestras limpias redirigidas erróneamente), lo que indica un impacto mínimo en las entradas benignas.

Significancia y Reivindicaciones

El artículo afirma que ReShift representa un avance significativo en las capacidades de ataque de puerta trasera al pasar de la manipulación a nivel de salida al desvío estable a nivel de razonamiento. Al preservar la coherencia de la etapa inicial y aprovechar los comportamientos cognitivos naturales (momentos de ajá), el ataque se vuelve sustancialmente más difícil de detectar mediante el monitoreo estadístico o la inspección humana.

Los autores enfatizan que la dinámica del razonamiento constituye una superficie de ataque crítica pero poco explorada. Argumentan que su trabajo subraya la necesidad de defensas conscientes de la trayectoria en modelos multimodales, ya que las defensas tradicionales centradas en las salidas finales o en las distribuciones estáticas de tokens pueden fallar al detectar ataques que manipulan el proceso de inferencia interna mientras mantienen la plausibilidad superficial. El trabajo no pretende resolver el problema de la defensa, sino más bien resaltar la vulnerabilidad del proceso de razonamiento mismo.