💻 computer science

SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

SIVA-RL es un marco novedoso para el aprendizaje por refuerzo multimodal que mejora la fundamentación visual al reemplazar la supervisión condicionada por el operador con una alineación por muestra condicionada por el resultado, utilizando una política de auditoría congelada para enrutar dinámicamente las intervenciones basadas en las caídas de recompensa observadas para mejorar el rendimiento del razonamiento a través de diversos bancos de pruebas.

Autores originales: Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

Publicado 2026-07-16

📖 9 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a resolver un misterio. Le muestras la foto de la escena de un crimen y le preguntas: "¿Quién lo hizo?". Si el robot acierta, le das una estrella de oro. Así es como funciona el "Aprendizaje por Refuerzo" moderno para la IA: aprende mediante el ensayo, el error y recibiendo recompensas por las respuestas correctas. Pero aquí está el truco: el robot podría obtener la estrella de oro por las razones equivocadas. Podría haber memorizado que los "mayordomos" suelen ser los culpables en las historias, o podría haber adivinado basándose solo en el texto, ignorando por completo las pistas de la imagen. Es como un estudiante que obtiene un "A" en un examen de matemáticas al adivinar el patrón de la clave de respuestas en lugar de comprender realmente los números.

Para solucionar esto, los científicos han intentado "picar" el cerebro del robot. Le muestran la misma imagen pero con una parte cubierta o desordenada. Si el robot sigue acertando la respuesta, asumen que no estaba mirando la imagen en absoluto. Si se equivoca, asumen que sí estaba mirando. Esto se llama "intervención visual". La idea es que, al alterar la imagen, puedes obligar al robot a prestar atención a la evidencia visual. Sin embargo, este artículo sugiere que la vieja forma de "picar" es un poco torpe, como intentar enseñar a alguien a nadar lanzándolo a una piscina y asumiendo que o se hunde o flota basándose en un solo salpicón.

Entra en escena SIVA-RL, un nuevo método que actúa más como un entrenador inteligente que como piques torpes. Los investigadores descubrieron que el viejo método de "picar" comete un gran error: asume que cada vez que cubres una parte de una imagen, la reacción del robot será la misma. Pero en la realidad, a veces cubrir una pieza hace que el robot falle estrepitosamente (porque esa pieza era crucial), y otras veces no cambia la respuesta en absoluto (porque el robot estaba adivinando o la parte cubierta no importaba). SIVA-RL deja de adivinar cómo debería reaccionar el robot y, en su lugar, observa cómo reacciona realmente. Trata cada imagen como su propio caso único, decidiendo exactamente cómo entrenar al robot basándose en el resultado específico del "pique".

El problema de los piques de "talla única"

Imagina que eres un profesor intentando ayudar a un estudiante a identificar diferentes frutas. Tienes la foto de una manzana. Para probar si el estudiante realmente está mirando la manzana, cubres el tallo.

La forma antigua: Decides que cada vez que cubras el tallo, el estudiante debe equivocarse para demostrar que estaba mirando. Si todavía adivina "manzana", piensas que está haciendo trampa.
La realidad: A veces, cubrir el tallo hace que el estudiante diga: "¡No lo sé!" (¡Genial! Estaba mirando el tallo). Pero otras veces, sigue diciendo "manzana" porque el color rojo y la forma redonda fueron suficientes para adivinar correctamente. O tal vez solo estaba adivinando "manzana" porque es una fruta común, y cubrir el tallo no cambió su adivinación perezosa.

Los autores del artículo descubrieron que el viejo método trata todas estas reacciones diferentes de la misma manera. Lo llaman "supervisión condicionada por el operador", que es una forma elegante de decir "le decimos al robot qué hacer basándonos en lo que hicimos a la imagen, no en lo que el robot hizo con ella".

Los investigadores realizaron una prueba en la que tomaron 906 ejemplos donde el robot acertó la respuesta en la imagen limpia. Luego cubrieron partes de la imagen de tres maneras diferentes: volviendo toda la imagen negra, colocando una máscara aleatoria sobre ella o intercambiando pequeños parches de la imagen (como una versión digital de recortar un trozo de un rompecabezas y pegarlo en otro lugar).

Los resultados fueron sorprendentes. Aunque usaron la misma herramienta de "cubrir", la reacción del robot fue muy variada:

Con la imagen negra, la puntuación cayó un 67.8% de las veces, pero se mantuvo igual un 32.2% de las veces.
Con máscaras aleatorias, cayó un 62.9% de las veces, pero se mantuvo igual un 37.1% de las veces.
Con intercambio de parches (patch swaps), cayó un 61.8% de las veces, pero se mantuvo igual un 38.2% de las veces.

Esto significa que el mismo "pique" puede ser un gran problema para una foto y una pérdida de tiempo total para otra. El método antiguo no sabía la diferencia. Simplemente asumía que, si cubrías la imagen, el robot debería ser sensible a ella.

La solución SIVA-RL: Un entrenador inteligente

El equipo propuso SIVA-RL (Alineación Visual de Sensibilidad-Invariancia). Piensa en esto como un entrenador que observa la reacción del estudiante al "pique" antes de decidir qué decir a continuación.

Así es como funciona el entrenador SIVA-RL en tres sencillos pasos:

1. El pique de "PatchSwap"
En lugar de simplemente desenfocar toda la imagen o cubrirla con una caja negra, SIVA-RL utiliza una técnica llamada PatchSwap. Imagina que tienes la foto de una forma geométrica. El entrenador toma un pequeño cuadrado de una parte de la foto (por ejemplo, una esquina de un triángulo) y lo intercambia con un cuadrado de una parte lejana de la misma foto. Esto cambia los detalles locales pero mantiene el resto de la imagen con un aspecto normal. Es como reorganizar los muebles en una habitación; la habitación sigue ahí, pero la disposición es ligeramente diferente.

2. La "Auditoría" (Comprobar la reacción)
Antes de que el robot aprenda algo, una versión de "auditoría congelada" del robot (una instantánea de lo que sabía antes de empezar el entrenamiento) mira la imagen original y la imagen intercambiada. Intenta responder a la pregunta para ambas.

Si la puntuación del robot cae mucho (por ejemplo, del 100% al 20%), significa que el robot realmente dependía de esa pieza específica de la imagen. Esta es una señal de Sensibilidad.
Si la puntuación del robot se mantiene igual (por ejemplo, del 100% al 98%), significa que el robot no necesitaba esa pieza, o que simplemente estaba adivinando. Esta es una señal de Invariancia.
Si la puntuación cambia un poco, es ambigua, y el entrenador podría simplemente ignorarla por ahora.

3. La lección personalizada
Aquí es donde ocurre la magia. El entrenador no usa la misma lección para todos.

Para los casos "Sensibles" (Gran caída): El entrenador dice: "¡Vaya, metiste la pata cuando movimos esa pieza! Eso significa que la estabas mirando, pero quizás no con suficiente cuidado. Practiquemos distinguir ese detalle específico". El objetivo aquí es hacer que el robot sea más sensible a la evidencia visual.
Para los casos "Invariantes" (Caída pequeña): El entrenador dice: "Acertaste incluso cuando movimos esa pieza. ¡Eso es bueno! Pero asegurémonos de que no estés solo adivinando. Practiquemos mantener la consistencia". El objetivo aquí es que el robot sea estable y consistente, asegurando que no dependa solo de un golpe de suerte o de un atajo de texto.
Para los casos "Ambiguos": El entrenador dice: "No estoy seguro de qué está pasando aquí, así que saltémonos esto por ahora".

Los resultados: ¿Funciona?

Los investigadores probaron este nuevo método en nueve bancos de pruebas diferentes, que son como exámenes estandarizados para la IA. Estas pruebas incluyeron problemas matemáticos con diagramas, acertijos lógicos con imágenes y tareas de conteo. Utilizaron dos "backbones" (motores subyacentes que impulsan el aprendizaje) llamados GRPO y DAPO, y probaron modelos de dos tamaños: 3 mil millones de parámetros (3B) y 7 mil millones (7B).

Los resultados fueron bastante sólidos.

Mejora general: SIVA-RL mejoró el rendimiento de los modelos en cada una de las pruebas. Para los modelos de 7B que utilizan el motor DAPO, la mejora general fue del 14.98% en relación con la línea base.
Tareas dependientes de la visión: Las mayores victorias se dieron en tareas que realmente requerían mirar la imagen. Por ejemplo, en tareas de razonamiento dependientes de la visión, el modelo GRPO-7B tuvo una ganancia de 8.79 puntos porcentuales. Esto sugiere que SIVA-RL es particularmente bueno para forzar al robot a mirar realmente las pistas visuales en lugar de solo adivinar.
Comparación con otros: Los modelos SIVA-RL de 7B funcionaron mejor que muchos otros modelos famosos, incluyendo algunos mucho más grandes (como modelos de 72B de parámetros) e incluso algunos modelos propietarios de grandes empresas tecnológicas.

Por qué esto es importante

El artículo sostiene que debemos dejar de tratar todos los "piques" de la misma manera. El hecho de que cubras una parte de una imagen no significa que el robot deba fallar. A veces falla porque estaba prestando atención; a veces falla porque estaba confundido; a veces no falla porque estaba adivinando.

SIVA-RL sugiere que la clave para un mejor razonamiento de la IA es la supervisión condicionada por el resultado. En lugar de decir: "Como cubrí la imagen, debes aprender a ser sensible", el sistema dice: "Como tu puntuación realmente bajó cuando cubrí la imagen, aprendamos de esa caída específica".

Los autores señalan cuidadosamente que esto no demuestra que el robot esté ahora "pensando" como un humano o que tenga una fundamentación visual perfecta. Solo significa que el robot es mejor utilizando la evidencia visual que tiene. El método funciona separando el acto de crear el "pique" (la intervención) del acto de decidir qué enseñar basándose en el resultado (la supervisión).

Al final, SIVA-RL es como un entrenador que deja de dar instrucciones genéricas y empieza a observar los errores específicos del jugador. Si el jugador tropieza con una piedra específica, el entrenador le ayuda a esquivar esa piedra. Si el jugador tropieza porque estaba distraído, el entrenador le ayuda a concentrarse. Al tratar cada error como una historia única, el robot aprende a confiar más en la imagen que tiene delante, en lugar de simplemente adivinar la respuesta.

Resumen Técnico: SIVA-RL

Planteamiento del Problema

El aprendizaje por refuerzo con recompensas verificables (RLVR) ha avanzado en el razonamiento multimodal al optimizar la corrección a nivel de tarea sin requerir trayectorias de razonamiento densas. Sin embargo, persiste una limitación crítica: una respuesta final correcta no garantiza que un modelo de lenguaje-visión (VLM) haya fundamentado su predicción en evidencia visual. Los modelos pueden depender de sesgos de priors lingüísticos, de frecuencia de respuestas o de plantillas memorizadas para obtener altas recompensas, particularmente en tareas dependientes de la visión como el conteo o la geometría.

Los métodos existentes intentan imponer la dependencia visual contrastando el comportamiento del modelo en imágenes originales frente a imágenes modificadas (intervenidas). Estos enfoques emplean típicamente una regularización condicionada por el operador, donde el objetivo de optimización está predeterminado por el tipo de intervención (por ejemplo, las intervenciones destructivas fuerzan la separación, mientras que las transformaciones leves fomentan la consistencia). El artículo argumenta que este supuesto es erróneo: un mismo operador visual produce resultados heterogéneos entre las muestras. Un único tipo de intervención puede causar simultáneamente una caída en la recompensa (indicando sensibilidad a la evidencia visual) en algunas muestras, mientras que deja el resultado estable (indicando dependencia de priors o evidencia redundante) en otras. Por consiguiente, asignar una dirección de supervisión uniforme basada únicamente en el tipo de intervención es subóptimo.

Metodología: SIVA-RL

Los autores proponen SIVA-RL (Sensitivity–Invariance Visual Alignment), un marco que desacopla la construcción de la intervención de la asignación de la supervisión. En lugar de una regularización condicionada por el operador, SIVA-RL emplea una supervisión condicionada por el resultado a nivel de muestra.

1. Construcción de Intervención Localizada

SIVA-RL construye intervenciones utilizando PatchSwap, un mecanismo de intercambio de parches dentro de la imagen, alineado con los tokens y con restricciones de distancia.

Mecanismo: La imagen se particiona en una cuadrícula alineada con los tokens visuales. Se muestrean celdas candidatas y se seleccionan objetivos de reemplazo válidos a partir de celdas de origen distantes (forzando una distancia mínima $d_{min}$ ).
Objetivo: Esto interrumpe la evidencia visual localizada y las relaciones espaciales preservando al mismo tiempo las estadísticas globales de la imagen y el contexto, creando intervenciones que son más difíciles que el enmascaramiento global pero menos destructivas que la eliminación completa.

2. Enrutamiento Suave Condicionado por el Resultado

Una política de auditoría congelada (una instantánea del modelo actual sin gradientes) evalúa cada par limpio–intervención para determinar la señal de entrenamiento.

Auditoría: La política genera respuestas tanto para la imagen limpia ( $x_{cl}$ ) como para la imagen intervenida ( $x_{ci}$ ). Un verificador califica estas respuestas para obtener las recompensas $R_{cl}$ y $R_{ci}$ .
Puerta de Validez: Los pares solo se consideran si la respuesta limpia es correcta ( $R_{cl} \ge \tau_c$ ) y procesable.
Pesos de Enrutamiento: La caída de recompensa observada $\Delta_i = R_{cl} - R_{ci}$ $Δ_{i} = R_{c l} - R_{c i}$ determina la dirección de la supervisión mediante pesos de enrutamiento suave:
- Alineación de Sensibilidad: Las grandes caídas de recompensa indican que el modelo dependía de la evidencia modificada. Estos pares reciben un peso para fomentar la separación (divergencia) entre los comportamientos de la política limpia e intervenida.
- Alineación de Invariancia: Las caídas de recompensa pequeñas (donde la respuesta permanece estable) indican que la modificación fue irrelevante o que el modelo dependió de priors robustos. Estos pares reciben un peso para fomentar la consistencia (alineación acotada) con la respuesta limpia.
- Abstención: Los pares ambiguos (caídas medias) se penalizan o se omiten.

3. Alineación de Doble Dirección

El marco reutiliza las respuestas de la ejecución limpia (clean-rollout) muestreadas para el objetivo de RL base. Estas respuestas se vuelven a calificar bajo ambas condiciones visuales utilizando la política entrenable.

Medida Anclada en la Limpieza: La verosimilitud condicionada a la limpieza actúa como un ancla de stop-gradient.
Funciones de Pérdida:
- $L_{sen}$ : Fuerza un margen de divergencia mínimo para los pares de alta caída.
- $L_{inv}$ : Restringe la discrepancia por debajo de un margen máximo para los pares de baja caída.
Objetivo Total: La pérdida final combina el objetivo de RL base (GRPO o DAPO) con estos términos de alineación auxiliares: $L_{SIVA} = L_{base} + \lambda_{sen}L_{sen} + \lambda_{inv}L_{inv}$ .

Contribuciones Clave

Diagnóstico de la Ambigüedad de la Intervención: El artículo demuestra que la misma intervención visual induce comportamientos mixtos de caída de resultado y estabilidad de resultado dentro de los ejemplos correctos-limpios. Establece que los pares de baja caída no son necesariamente señales de invariancia fiables, ya que pueden derivar de perturbaciones irrelevantes para la tarea o de atajos lingüísticos.
Alineación Selectiva Condicionada por el Resultado: SIVA-RL formula el RL basado en intervención visual como un problema de supervisión selectiva. Enruta los pares hacia objetivos de sensibilidad o de invariancia basándose en la caída de recompensa observada en lugar del tipo de intervención, separando la construcción de la supervisión.
Implementación Escalable: El método se instancia con PatchSwap alineado con tokens y es compatible con los backbones GRPO y DAPO. No requiere muestreo estocástico adicional más allá de la auditoría por pares utilizada para la valoración.

Resultados Experimentales

Los autores evaluaron SIVA-RL en modelos Qwen2.5-VL de 3B y 7B a través de nueve benchmarks, incluyendo tareas matemáticas, lógicas, de conteo y de razonamiento dependiente de la visión.

Ganancias de Rendimiento: SIVA-RL mejoró consistentemente todas las líneas base de RL comparables.
- General: Las mejoras relativas oscilaron entre el 6.83% y el 14.98% en todas las configuraciones.
- Tareas Dependientes de la Visión: El método produjo una ganancia de 8.79 puntos porcentuales en los benchmarks de razonamiento dependientes de la visión, superando significativamente las ganancias en el razonamiento multimodal general.
- Comparación: Los modelos de 7B con SIVA-RL lograron los promedios de suite completa más fuertes entre los sistemas de 7B reportados, superando a varios VLMs propietarios y de propósito general más grandes en tareas específicas de matemáticas y visión.
Estudios de Ablación:
- Construcción de la Intervención: El PatchSwap con restricción de distancia superó al enmascaramiento aleatorio y al PatchSwap sin restricciones.
- Estrategia de Enrutamiento: El enrutamiento suave condicionado por el resultado superó al enrutamiento binario duro, confirmando que la magnitud de la caída de la recompensa proporciona una señal de supervisión más suave y fiable.
- Doble Dirección: Tanto la rama de sensibilidad como la de invariancia contribuyeron al rendimiento; la rama de invariancia proporcionó una ganancia de 1.85 puntos en los subconjuntos dependientes de la visión, demostando que los pares de baja caída ofrecen restricciones de consistencia útiles.
Diagnósticos de Entrenamiento: El análisis mostró que tanto el enrutamiento de sensibilidad como el de invariancia permanecieron activos durante todo el entrenamiento, y que el modelo no colapsó ignorando las intervenciones.

Significado y Reivindicaciones

El artículo afirma que SIVA-RL desplaza el RL multimodal de la regularización condicionada por el operador a la supervisión selectiva condicionada por el resultado a nivel de muestra. Al reconocer la heterogeneidad de los efectos de la intervención a nivel de muestra, el marco asegura que la supervisión se asigne basándose en el impacto conductual real de la modificación visual. Este enfoque fuerza efectivamente a los modelos a fundamentar sus predicciones en la evidencia visual para las tareas donde es requerido, manteniendo al mismo tiempo la robustez para tareas donde la evidencia visual es redundante o donde los priors son suficientes. Los resultados sugieren que esta valoración por muestra es una alternativa más efectiva que las definiciones de intervención fijas para mejorar el razonamiento visual en entornos de RLVR.