Resumen Técnico: Máscara de Ruido Latente para Reducir la Redundancia Visual en Modelos de Lenguaje de Gran Escala Multimodales

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) frecuentemente presentan dificultades en tareas de razonamiento visual de grano fino. Aunque estos modelos heredan sólidas capacidades de razonamiento lingüístico, su razonamiento visual se ve obstaculizado por la redundancia visual. En las arquitecturas MLLM estándar, las imágenes se codifican en secuencias densas de tokens visuales. Sin embargo, para preguntas específicas, solo un pequeño subconjunto de estos tokens constituye evidencia relevante. Los tokens restantes —que representan regiones de fondo, objetos no relacionados o distractores visualmente similares— diluyen las claves críticas.

Los enfoques existentes intentan abordar esto extendiendo las trazas de razonamiento (por ejemplo, Chain-of-Thought) o añadiendo más contexto visual/latente (por ejemplo, recortes de imagen, tokens latentes intermedios). Los autores argumentan que estos métodos aditivos no resuelven el problema central: los tokens visuales irrelevantes permanecen en el contexto, compitiendo con la evidencia clave y dificultando el proceso de decodificación. El artículo postula que cuando la evidencia ya está presente, el desafío principal es la selectividad visual (filtrar distractores) en lugar de la disponibilidad visual (encontrar nueva evidencia).

2. Metodología: Máscara de Ruido Latente (LENS)

Los autores proponen LENS (LatEnt Noise maSk), un marco diseñado para purificar la evidencia visual antes de la fase de decodificación sin alterar el esqueleto del modelo ni la estructura de la secuencia de tokens. El método opera en dos etapas acopladas:

A. Sondeo de Evidencia (Evidence Probing)

LENS introduce un Token de Evidencia de Lente (LET) ligero y temporal, denotado como ``, que se añade a la entrada conjunta de los tokens visuales ($V$) y los tokens de texto ($T$).

• Mecanismo: El estado oculto de este token temporal es decodificado por una cabeza de Perceptrón Multicapa (MLP) simple ($f_\theta$) para producir un vector de puntuación de relevancia $\mathbf{a} \in [0, 1]^N$, donde $N$ es el número de tokens visuales.
• Condicionamiento: Estas puntuaciones están condicionadas a la pregunta, lo que significa que la misma región de la imagen puede recibir una puntuación alta para una pregunta y una baja para otra.
• Supervisión: El LET se entrena utilizando anotaciones a nivel de objeto (bounding boxes) en lugar de razonamientos costosos de tipo cadena de pensamiento (chain-of-thought). Un token se etiqueta como positivo si su parche de imagen correspondiente se solapa con un cuadro delimitador relevante para la pregunta. El objetivo de entrenamiento minimiza la pérdida de Entropía Cruzada Binaria (BCE) entre las puntuaciones predichas y estas etiquetas binarias.

B. Supresión Latente (Latent Suppression)

Una vez generadas las puntuaciones de relevancia, el token `` se elimina y las puntuaciones guían un mecanismo de supresión suave en el espacio latente.

• Generación de Ruido: Un generador de ruido ligero ($G_\phi$) predice una media ($\mu_i$) y una escala ($\sigma_i$) para una distribución de ruido gaussiano específica de cada token para cada token visual $v_i$.
• Perturbación Adaptativa: El ruido real $r_i$ se muestrea mediante reparametrización: $r_i = \mu_i + \sigma_i \odot \epsilon_i$, donde $\epsilon_i \sim \mathcal{N}(0, I)$.
• Puerta (Gating): Se computa una puerta de supresión $g_i$ basada en la puntuación del LET $a_i$ y un umbral $\tau$: $g_i = \frac{1}{\tau} \text{ReLU}(\tau - a_i)$.
  • Si $a_i \geq \tau$ (alta relevancia), $g_i = 0$, y el token permanece sin cambios.
  • Si $a_i < \tau$ (baja relevancia), $g_i > 0$, y se inyecta ruido adaptativo.
• Secuencia Purificada: La secuencia visual final es $\tilde{V} = \{v_i + g_i r_i\}$. Esto preserva la disposición original de los tokens (crucial para la compatibilidad con los esqueletos existentes) pero desestabiliza la representación de los tokens distractores, "enmascarándolos" efectivamente en el espacio latente.

C. Optimización

El marco se entrena en dos fases:

1. Ajuste Fino Supervisado (SFT): El modelo se entrena para responder preguntas utilizando la secuencia purificada $\tilde{V}$. La pérdida total combina la pérdida de generación de respuesta y la pérdida de supervisión del LET ($\mathcal{L}_{SFT} = \mathcal{L}_{ans} + \beta \mathcal{L}_{LET}$).
2. Ajuste Fino por Refuerzo (RFT): Para refinar la política de selección de evidencia, los autores modelan las puntuaciones del LET como una política de Bernoulli. Optimizan para una recompensa a nivel de conjunto (puntuación F1) basada en el solapamiento entre los tokens seleccionados y los cuadros relevantes de la verdad de campo (ground-truth), regularizada por la divergencia KL respecto al checkpoint de SFT.

3. Contribuciones Clave

1. Reencuadre del Problema: El artículo identifica que los tokens visuales densos contienen distractores irrelevantes para la pregunta que obstaculizan el razonamiento de grano fino. Argumenta que suprimir estos distractores es más efectivo que simplemente añadir más contexto de razonamiento.
2. Marco Ligero: LENS introduce un mecanismo de purificación condicionado a la pregunta que requiere solo un token de control aprendible temporal y un generador de ruido ligero. No requiere modificar la arquitectura del esqueleto, recortar imágenes o generar salidas visuales intermedias.
3. Intervención Suave en el Espiente Latente: A diferencia de la poda de tokens (token pruning) o la selección de regiones rígida, LENS utiliza ruido latente adaptativo para suprimir suavemente los tokens de baja relevancia. Esto mantiene la integridad estructural de la secuencia de tokens mientras reduce la influencia de los distractores.

4. Resultados Experimentales

Los autores evaluaron LENS en 10 bancos de pruebas que cubren tareas de Visual Question Answering (VQA) y Grounding, utilizando modelos base de las familias Qwen3-VL, InternVL3.5-VL y Qwen3.5.

• Ganancias de Rendimiento:

  • VQA: LENS mejoró el MLLM base entre 2.4 y 6.4 puntos en la mayoría de los conjuntos de datos de VQA (ej. CUB, GQA, OpenImages). La variante LENS-GRPO logró una mejora promedio de 6.65 puntos sobre la base más fuerte que no utiliza LENS.
  • Grounding: Las mejoras fueron aún más pronunciadas, con ganancias de 4.1 a 6.4 puntos en tareas de grounding (ej. COCO, Objects365). En VisDrone, LENS-GRPO mejoró el rendimiento en 18.81 puntos respecto a SFT.
  • Generalización: El método demostró ser transferible a través de diferentes escalas de modelos (2B a 9B) y arquitecturas, mejorando consistentemente el rendimiento sin cambios arquitectónicos específicos de la tarea.

• Estudios de Ablación:

  • Eliminar la supresión latente (usando solo el Sondeo de Evidencia) produjo ganancias limitadas, confirmando que identificar la evidencia es insuficiente sin suprimir activamente los distractores.
  • Reemplazar el ruido suave aprendido con enmascaramiento aleatorio, relleno de ceros (zero-padding) o enmascaramiento basado en atención resultó en caídas significativas de rendimiento, validando la necesidad de una supresión suave, aprendida y adaptativa.
  • El ajuste por refuerzo (GRPO) mejoró aún más los resultados, sugiriendo que optimizar la política de selección de evidencia a nivel de conjunto es beneficioso.

5. Significado y Reivindicaciones

El artículo afirma que una evidencia visual más limpia y relevante para la pregunta es un camino más directo para mejorar el razonamiento multimodal que extender la traza de razonamiento. Al demostrar que la supresión de tokens irrelevantes produce mejores resultados en comparación con la adición de más contexto, los autores sugieren un cambio de paradigma para el razonamiento en MLLM: de la adición visual a la purificación visual.

La importancia radica en la eficiencia y generalidad del enfoque. LENS logra mejoras en el estado del arte en razonamiento de grano fino y localización espacial con un overhead mínimo, probando que el cuello de botella en los MLLM actuales es a menudo el "ruido" en la entrada visual en lugar de una falta de capacidad de razonamiento. Las visualizaciones confirman que LENS logra enfocar la atención en regiones clave (atributos, objetos, relaciones) mientras suprime fondos y distractores, lo que conduce a un razonamiento visión-lenguaje de grano fino más fiable.