HKVLM: Faithful Reasoning Grounding by Binding Language Queries to a Frozen Detector

Resumen Técnico: HKVLM – Anclaje de Razonamiento Fiel mediante la Vinculación de Consultas de Lenguaje a un Detector Congelado

1. Definición del Problema

El artículo aborda la brecha de "ver pero hablar erróneamente" (see-but-mis-speak) en los Modelos de Lenguaje-Visión (VLMs), particularmente en escenarios de anclaje de razonamiento (reasoning grounding). A diferencia del simple emparejamiento de categorías, el anclaje de razonamiento requiere interpretar solicitudes complejas basadas en la intención (por ejemplo, "la persona que no lleva casco" o "algo para cortar papel con").

Los enfoques actuales sufren de dos modos principales de falla:

• VLMs de Coordenadas-como-Texto: Los modelos que generan coordenadas de cajas delimitadoras como tokens de texto autorregresivos (por ejemplo, Kosmos-2, Shikra, Rex-Omni) entrelazan la localización con la generación de lenguaje. Un solo token erróneo puede invalidar una percepción correcta, y la señal geométrica se ve forzada a través de un canal lingüístico frágil.
• Pipelines de Dos Etapas: Los modelos que utilizan un LLM para nombrar un objeto y un detector externo para localizarlo (por ejemplo, DetGPT, LISA) comprimen la intención del modelo en una única cadena de clase. Esta interfaz "con pérdida" (lossy) descarta pistas relacionales y específicas de la instancia, lo que conduce a fallos de vinculación donde la región correcta está disponible pero es mal etiquetada o no se detecta.

Los autores argumentan que un anclaje fiel requiere tres competencias separables: competencia de localización (encontrar el objeto), fidelidad referencial (nombrar solo lo que está presente) y vinculación (conectar la intención del usuario con la región correcta). Las arquitecturas existentes suelen confundir estas competencias, lo que provoca alucinaciones y un bajo rendimiento en el razonamiento.

2. Metodología: HKVLM

HKVLM (Hypothetical Knowledge-Visual Language Model) propone una arquitectura desacoplada que elimina la localización por completo del camino de generación de lenguaje. El sistema consta de cuatro componentes:

1. Módulo de Percepción Congelado: Un detector de vocabulario abierto preentrenado y alineado con el lenguaje (por ejemplo, Grounding DINO) opera en un estado congelado. Genera un conjunto de propuestas de región de alto recall y agnóstico a la clase $R = \{(b_j, e_j)\}_{j=1}^M$, donde $b_j$ es la caja y $e_j$ es una incrustación de región fusionada de visión y lenguaje. Este módulo posee toda la competencia de localización.
2. Incrustaciones de Consulta Referencial: Un Modelo de Lenguaje congelado (o ligeramente adaptado, por ejemplo, Qwen2.5-VL) procesa la imagen y la solicitud del usuario. En lugar de producir coordenadas o nombres de clases, emite incrustaciones de consulta referencial continuas ($u_k$) que codifican el razonamiento del modelo y su conocimiento del mundo.
3. Gancho de Alineación (El Componente Entrenado): Un módulo ligero que consiste en dos capas de proyección ($f_\theta, g_\phi$) que mapean las incrustaciones de región y las incrustaciones de consulta en un espacio compartido. La vinculación se logra mediante:
   • Recuperación Contrastiva: Acercando los pares de consulta-región que coinciden y alejando los que no.
   • Asignación Bipartita: Utilizando el emparejamiento húngaro (similar a DETR) para asignar consultas a propuestas específicas, minimizando una función de costo basada en la afinidad y el solapamiento de las cajas.
4. Veto de Fidelidad Basado en la Percepción: Una cabeza de verificación predice si un par de consulta-región vinculado está genuinamente respaldado por la imagen. Durante la inferencia, solo se emite una categoría si el par vinculado pasa este verificador y la afinidad supera un umbral. Esto actúa como un "veto" contra las alucinaciones, evitando que el modelo de lenguaje afirme la existencia de objetos que no están respaldados por el detector.

Estrategia de Entrenamiento: Solo se entrena el gancho de alineación (proyecciones, residuo de caja y verificador). Las pesadas pilas de percepción y lenguaje permanecen congeladas, lo que hace que el enfoque sea altamente eficiente en términos de datos y adecuado para entornos de "arranque en frío" (cold-start) con datos limitados.

3. Contribuciones Clave

1. Marco de Diagnóstico: El artículo introduce una descomposición de Decir-vs-Ver (Say-vs-See) para separar el Error de Localización (SeeErr) del Error de Vinculación (SayErr). Esto permite medir de forma independiente si un fallo se debe a que el detector perdió un objeto o a que el modelo falló al vincular la intención correcta con una región disponible.
2. Arquitectura HKVLM: Un marco de anclaje donde la localización es propiedad estricta de un detector congelado, y la vinculación se realiza mediante una alineación explícita en un espacio compartido en lugar de la generación de coordenadas autorregresivas o interfaces de texto con pérdida.
3. Objetivo de Fidelidad: Una restricción basada en la percepción que penaliza explícitamente el nombrar objetos sin regiones de soporte, atacando directamente la alucinación de objetos.
4. Receta de Entrenamiento de Arranque en Frío: Un método que logra un fuerte rendimiento de anclaje entrenando solo un pequeño módulo de alineación, evitando las dificultades de ajustar finamente (fine-tuning) modelos VLM monolíticos en conjuntos de datos pequeños.

4. Resultados Experimentales

Los autores evaluaron HKVLM utilizando un Grounding DINO congelado y un Qwen2.5-VL congelado en RefCOCO/RefCOCO+/RefCOCOg (anclaje referencial) y POPE (evaluación de alucinaciones).

• Rendimiento de Vinculación (H1): En las divisiones de RefCOCO, el gancho de alineación entrenado mejoró la precisión de anclaje entre 50 y 90 veces en comparación con el emparejamiento de espacio cruzado ingenuo (coseno simple). La precisión de vinculación aumentó de casi cero ($\le 0.005$) a $0.123–0.148$.
• Fidelidad y Alucinación (H2): El veto de fidelidad redujo significativamente la alucinación de objetos. En el benchmark POPE, la tasa de alucinación cayó de $\sim 0.99$ (precisión cercana al azar de 0.50) a 0.23–0.43, elevando la precisión de POPE a 0.66–0.76. Crucialmente, esta mejora se produjo con una pérdida insignificante en la precisión de anclaje ($\le 0.01$ de diferencia).
• Eficiencia de Datos (H3): El gancho aprendió una vinculación efectiva con tan solo 200 expresiones de entrenamiento, superando al emparejamiento ingenuo por 46 veces. La precisión continuó mejorando monótonamente hasta alcanzar las 24k expresiones.
• Análisis de Errores: Aumentar el número de propuestas ($M$) de 50 a 300 mejoró la precisión de anclaje en un 19–24% sin reentrenar el gancho. Esto confirma que el error restante es principalmente SeeErr (perceptivo, debido a que el detector pierde el objeto) en lugar de SayErr (vinculación), validando la descomposición.

5. Significado y Reivindicaciones

El artículo afirma que la brecha de "ver pero hablar erróneamente" es fundamentalmente un fallo de vinculación causado por el entrelazamiento de la localización con la generación de lenguaje. Al desacoplar estas tareas y aplicar un veto basado en la percepción, HKVLM logra:

• Validación del Mecanismo: Demuestra que la vinculación puede aprenderse eficazmente en un espacio de incrustación compartido sin generar coordenadas, incluso con componentes pesados congelados.
• Resistencia a la Alucinación: Prueba que el anclaje por sí solo no previene la alucinación; se requiere una restricción de fidelidad explícita para alinear las afirmaciones lingüísticas con la evidencia perceptual.
• Adaptación Práctica: Ofrece un camino viable para adaptar los VLMs a tareas de anclaje de razonamiento en regímenes de escasez de datos (cold-start) donde el ajuste fino completo falla.

Los autores declaran explícitamente que sus resultados son reivindicaciones de mecanismo y de ablación con un detector fijo y congelado. No pretenden alcanzar el estado del arte absoluto en localización (que está limitado por el recall de propuestas del detector congelado), sino un método superior para vincular la intención del lenguaje con la percepción visual. Se sugiere como trabajo futuro abordar el error perceptual residual (SeeErr) mediante la propuesta condicionada por la expresión y explorar extensiones de múltiples consultas para solicitudes de grano fino.