Resumen Técnico: ReVisiT – Revelando Semántica Visual en Tokens Visuales para Guiar la Decodificación de LVLM

Enunciado del Problema

Los Modelos Grandes de Lenguaje y Visión (LVLM) integran la percepción visual con la comprensión del lenguaje, pero a menudo sufren de alucinaciones de objetos, donde el modelo genera texto describiendo objetos que no están presentes en la imagen de entrada. Aunque la información visual se codifica en "tokens visuales" dentro de los estados ocultos del modelo, el mecanismo por el cual estos tokens influyen en el proceso de decodificación permanece poco explorado. Los enfoques existentes a menudo tratan los tokens visuales como contextos auxiliares estáticos o dependen de pipelines de entrenamiento complejos y de inferencia de múltiples pasadas para mitigar las alucinaciones. El problema central abordado es cómo aprovechar eficazmente la información semántica intrínseca dentro de los tokens visuales durante el proceso de decodificación sin modificaciones arquitectónicas ni entrenamiento adicional.

Metodología: ReVisiT

Los autores proponen ReVisiT (Referenciando Tokens Visuales), una estrategia de decodificación libre de entrenamiento y agnóstica al modelo, diseñada para guiar la generación de texto mediante la referencia dinámica a los tokens visuales más relevantes. El método opera en tres pasos principales en cada paso de tiempo de decodificación $t$:

1. Construcción de un Subconjunto de Vocabulario Consciente del Contexto:
   En lugar de operar sobre el vocabulario completo, ReVisiT restringe dinámicamente el espacio del vocabulario a un subconjunto $V_t^{cons}$. Este subconjunto se define de forma adaptativa basándose en la distribución de salida estándar $p_\theta$ del LVLM, reteniendo tokens con probabilidades por encima de un umbral $\alpha \cdot \max(p_\theta)$. Esta restricción reduce la distracción semántica y centra la decodificación en candidatos plausibles.

2. Selección de Tokens Visuales mediante Divergencia Restringida:
   El método proyecta los estados ocultos de los tokens visuales ($h_i^j$) desde las capas de decodificador candidatas $j$ sobre el subconjunto de vocabulario restringido $V_t^{cons}$. Luego, calcula la Divergencia de Jensen-Shannon (JSD) entre la distribución de salida estándar y cada distribución de token visual proyectada. El token visual $(i^*, j^*)$ con la JSD mínima se selecciona como la señal de referencia más contextualmente relevante.

   • Optimización: Para garantizar la eficiencia, las proyecciones de los tokens visuales sobre el vocabulario completo se precalculan una vez antes de la decodificación. Durante la decodificación, estas proyecciones almacenadas en caché se recortan y enmascaran para ajustarse al subconjunto dinámico $V_t^{cons}$, evitando pasadas forward adicionales.

3. Refinamiento de Logits:
   La distribución de salida estándar se refina fusionándola con la distribución del token visual seleccionado. Esto se logra mediante la suma en el espacio logarítmico (equivalente a una combinación Producto de Expertos en el espacio de probabilidad):
   $$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$$
   La distribución final se normaliza sobre el subconjunto restringido, y el siguiente token se muestrea desde esta distribución refinada.

Contribuciones Clave

1. Perspectivas Empíricas sobre Tokens Visuales:
   El artículo proporciona evidencia cuantitativa y cualitativa de que los tokens visuales codifican intrínsecamente semánticas interpretables a nivel de objeto. Los autores demuestran que, aunque estas señales a menudo son latentes bajo decodificación sin restricciones (donde pueden seleccionarse objetos alucinados a pesar de que los objetos de verdad tengan probabilidades altas), se vuelven explícitas y bien alineadas cuando se proyectan sobre subconjuntos de vocabulario semánticamente coherentes.

2. Algoritmo ReVisiT:
   La introducción de un método de decodificación simple y libre de entrenamiento que utiliza una divergencia restringida consciente del contexto para seleccionar y referenciar tokens visuales. Este enfoque refina los logits a nivel de token para incorporar mejor las semánticas visuales sin requerir módulos externos, cambios arquitectónicos o inferencia de múltiples pasadas.

3. Validación Exhaustiva:
   El método se valida en seis tamaños de modelo (que van desde 7B hasta 32B parámetros) abarcando tres arquitecturas distintas (LLaVA-1.5, Qwen2.5-VL e InternVL). La evaluación cubre cinco puntos de referencia, incluidos conjuntos de datos específicos de alucinaciones (HallusionBench, CHAIR, POPE) y tareas de propósito general (VQAv2, MMMU).

Resultados Experimentales

• Reducción de Alucinaciones: ReVisiT reduce consistentemente las alucinaciones en todas las arquitecturas probadas. En el punto de referencia CHAIR, logra puntuaciones F1 competitivas o superiores en comparación con las líneas base más avanzadas (por ejemplo, DoLa, VCD, M3ID) mientras mantiene o mejora la cobertura de objetos. En HallusionBench, logra las mejores puntuaciones en cuatro de cinco métricas para varios modelos.
• Generalización: El método demuestra robustez en tareas discriminativas (POPE, VQAv2) y razonamiento intensivo en conocimiento (MMMU), lo que indica que las señales de anclaje visual reveladas por ReVisiT se generalizan a través de diferentes tipos de tareas.
• Eficiencia: A diferencia de los métodos base que requieren pasadas forward adicionales (por ejemplo, VCD, CODE) o proyecciones de capas intermedias (DoLa), ReVisiT aumenta la latencia de inferencia solo entre un 0.6% y un 2.0%. Logra una reducción de hasta 2$\times$ en el costo computacional en comparación con las líneas base de múltiples pasadas.

Significado y Afirmaciones

El artículo afirma que ReVisiT demuestra que los tokens visuales codifican intrínsecamente semánticas interpretables que pueden desbloquearse mediante restricciones semánticamente coherentes. Al exponer explícitamente estas semánticas en el espacio del lenguaje, el método proporciona una señal de guía interpretable para la generación.

Los autores posicionan a ReVisiT como una solución escalable y ampliamente aplicable que mejora el anclaje visual sin la sobrecarga computacional de los métodos existentes de alineación intra o post-alineación. Destacan que la efectividad del método a través de diversos tamaños y arquitecturas de modelos sugiere que la divergencia restringida consciente del contexto propuesta captura una señal de decodificación fundamental en lugar de una heurística específica de un punto de referencia.

Limitaciones Reconocidas:
Los autores señalan que ReVisiT depende en gran medida de las semánticas codificadas dentro de los tokens visuales internos del modelo, lo que puede llevar a un énfasis excesivo en elementos perceptivamente fundamentados a expensas del razonamiento de sentido común implícito. Además, al ser un método de tiempo de decodificación, no puede corregir errores fácticos derivados de los datos de preentrenamiento si la evidencia visual es insuficiente, ni incorpora recuperación de conocimiento externo, aunque sigue siendo compatible con pipelines de Generación Aumentada por Recuperación (RAG). La evaluación actualmente se limita a modelos de código abierto en el rango de 7–32B parámetros.