💻 computer science

YARD: Y-Architecture Register Decoding for Efficient Hallucination Mitigation in Large Vision-Language Models

YARD es un marco de trabajo libre de entrenamiento que mitiga las alucinaciones en los Modelos de Lenguaje-Visión Grandes mediante el empleo de una arquitectura en forma de Y para compartir computaciones superficiales y ramificarse en capas medias, donde reemplaza los tokens visuales de grano fino por tokens de registro para generar una señal contrastiva efectiva sin la latencia de una segunda pasada hacia adelante.

Autores originales: Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje-Visión de Gran Escala (LVLM) como un narrador muy talentoso pero ligeramente sobreconfiado. Le muestras una foto de una playa y comienza a describir la escena. A veces, acierta ("Hay sombrillas y personas"), pero otras veces, inventa con total seguridad detalles que no están ahí ("¡Y mira, hay una tabla de surf y un perro!"). Esto se llama alucinación.

El artículo presenta un nuevo método llamado YARD (Decodificación de Registro de Arquitectura en Y) para evitar que este narrador invente cosas, sin necesidad de reentrenar el modelo ni ralentizarlo.

Así es como funciona YARD, desglosado en conceptos sencillos:

1. El problema con los métodos antiguos

Antes de YARD, los investigadores intentaron solucionar las alucinaciones utilizando una técnica llamada "Decodificación Contrastiva". Piensa en esto como pedirle al narrador que cuente la historia dos veces:

Versión A (Limpia): "Mira la foto real y dime qué ves".
Versión B (Degradada): "Dime qué ves, pero finge que la foto está borrosa o le faltan piezas".

La computadora luego compara las dos historias. Si la Versión B inventa una tabla de surf pero la Versión A no lo hace, la computadora sabe que debe suprimir la idea de la "tabla de surf" en la respuesta final.

Sin embargo, los métodos anteriores tenían dos grandes defectos:

El enfoque de la "Venda en los ojos": Algunos métodos eliminaban por completo la entrada visual para la Versión B. Esto era demasiado extremo. El modelo simplemente adivinaba basándose en el conocimiento general (por ejemplo, "Las playas suelen tener tablas de surf"), lo cual no ayudaba a detectar mentiras específicas sobre esta playa en particular.
El enfoque del "Doble trabajo": Otros métodos corrompían los píxeles de la imagen (añadiendo ruido). Esto requería que la computadora procesara la imagen dos veces desde cero, lo cual era muy lento y costoso.

2. La solución de YARD: La forma de "Y"

YARD cambia las reglas del juego construyendo un camino en forma de Y dentro del cerebro del modelo.

El Tallo (Camino Compartido): Tanto la historia "Limpia" como la "Degradada" comienzan juntas. Comparten las primeras capas de procesamiento. Esto es como leer juntos el primer párrafo de un libro. Esto ahorra tiempo porque el modelo no tiene que hacer el doble de trabajo.
La Bifurcación (La Capa Media): En un punto específico en medio del proceso de pensamiento del modelo, el camino se divide.
- La Rama Izquierda (Limpia): Continúa normalmente, observando cada pequeño detalle (parches) de la imagen.
- La Rama Derecha (Degradada): Aquí es donde ocurre la magia. En lugar de mirar cada pequeño detalle, esta rama se ve obligada a mirar la imagen a través de un "Registro".

3. La metáfora del "Registro"

Imagina que la imagen es un mapa de alta resolución.

La Rama Limpia mira el mapa y ve cada calle, árbol y casa.
La Rama Degradada (usando YARD) recibe un "Registro". Un Registro es como una nota de resumen que dice: "Esta es una escena de playa con agua y arena", pero oculta los detalles específicos. Sabe que hay personas, pero no puede ver dónde están paradas o qué están sosteniendo.

¿Por qué es esto inteligente?
Si el modelo intenta decir: "Hay una tabla de surf", la Rama Limpia (que ve los detalles) revisa el mapa y dice: "No, no veo una tabla de surf". La Rama Degradada (que solo ve la vibra general de la playa) podría decir: "Bueno, las playas suelen tener tablas de surf, así que ¿tal vez?".

Cuando la computadora compara estas dos, se da cuenta: "La Rama Limpia dice 'No', pero la Rama Degradada está adivinando 'Sí' basándose en las vibras generales". YARD entonces suprime la suposición de la "tabla de surf". Mantiene la historia anclada en la realidad porque la rama "Limpia" tiene las pruebas, y la rama "Degradada" actúa como un detector de las cosas que el modelo solo está adivinando.

4. Por qué el "Medio" es importante

El artículo descubrió que el cerebro del modelo trabaja por etapas.

Capas tempranas: Solo están preparando la imagen.
Capas medias: Este es el "punto ideal" donde el modelo comienza a conectar el texto con los detalles visuales específicos.
Capas tardías: El modelo ya ha decidido qué decir.

YARD divide el camino justo en el medio. Si divides demasiado pronto, el modelo aún no ha visto suficiente de la imagen. Si divides demasiado tarde, el modelo ya ha "memorizado" los detalles y no será engañado por la versión degradada. El medio es el momento perfecto para introducir el "Registro" para probar si el modelo realmente está mirando la foto o solo está adivinando.

5. El Resultado

Al usar este camino en forma de Y y el truco del "Registro":

Es más Rápido: Debido a que los dos caminos comparten el principio, el modelo no tiene que procesar la imagen dos veces desde cero.
Es más Inteligente: Captura las alucinaciones mejor que los métodos anteriores porque crea una "pelea justa" entre una vista detallada y una vista general, en lugar de una vista detallada contra una suposición ciega.
Funciona en todas partes: El artículo probó esto en muchos modelos de IA diferentes, y funcionó de manera consistente sin necesidad de reentrenarlos.

En resumen, YARD es como un verificador de hechos que se sienta dentro del cerebro de la IA, preguntando: "¿Estás seguro de que ves eso, o solo estás adivinando basándote en lo que suele suceder?". Lo hace de manera eficiente, sin ralentizar la conversación.

Resumen Técnico: YARD – Decodificación de Registros de Arquitectura en Y para la Mitigación Eficiente de Alucinaciones

1. Planteamiento del Problema

Los Modelos de Lenguaje-Visión Grandes (LVLMs) sufren frecuentemente de alucinaciones, generando texto que es semánticamente plausible pero inconsistente con la entrada visual (por ejemplo, objetos inexistentes, atributos incorrectos o relaciones espaciales no sustentadas). Aunque la Decodificación Contrastiva (CD) ofrece una solución sin entrenamiento al contrastar una rama de modelo "limpia" con una rama "degradada" para suprimir los logits propensos a alucinaciones, los métodos existentes enfrentan dos dilemas críticos:

Ramas degradadas subóptimas:
- Enfoques solo de texto: Eliminar completamente los tokens visuales reduce la rama degradada a un modelo de prior de lenguaje. Esto induce alucinaciones basadas en priors genéricos que pueden no alinearse con la imagen de entrada específica, fallando en aislar las alucinaciones específicas de la imagen.
- Degradación a nivel de píxel: Corromper las imágenes de entrada (por ejemplo, añadiendo ruido) ofrece un control grueso. Debido a que las características visuales (color, textura, límites) están estrechamente entrelazadas en el espacio de píxeles, estas perturbaciones a menudo no logran aislar la evidencia local responsable de las alucinaciones y, en su lugar, contaminan los logits degradados con señales visuales genuinas.
Latencia de Inferencia: La mayoría de los métodos de CD existentes requieren dos pasadas completas (una para la rama limpia y otra para la rama degradada), lo que aumenta significamente la latencia de inferencia.

2. Metodología: YARD

Los autores proponen YARD (Y-Architecture Register Decoding), un marco de trabajo sin entrenamiento que construye una rama degradada internamente dentro del decodificador del LLM. El método es impulsado por dos observaciones clave respecto al flujo de información transmodal:

A. Dónde degradar: La ventana de la capa media

El análisis de la atención de texto a visión y los experimentos de intervención revelan que:

Capas superficiales: La atención es difusa y fácilmente distraída.
Capas profundas: La evidencia visual relevante para la tarea ya ha sido integrada mayoritariamente en las representaciones del lado del texto; perturbar los tokens de visión aquí tiene un impacto mínimo en las predicciones finales.
Capas medias: Esta es la ventana crítica donde surge el anclaje visual (grounding) fiable, y los tokens de texto comienzan a adquirir evidencia visual local antes de la integración total.
Estrategia YARD: El marco comparte las capas superficiales del decodificador entre las ramas limpia y degradada y se divide (se bifurca) exactamente en una capa media (por ejemplo, la capa 10 en un modelo de 25 capas). Esto permite que la rama degradada herede el contexto multimodal temprano mientras evita la integración completa de la evidencia local de grano fino.

B. Cómo degradar: Degradación a nivel de característica basada en registros

En lugar de corromper la imagen de entrada o eliminar los tokens por completo, YARD construye una condición degradada a nivel de característica:

Tokens de Registro: YARD utiliza tokens de registro (propuestos originalmente para absorber artefactos de valores atípicos de alta norma en los Vision Transformers). Estos tokens se construyen en el tiempo de prueba redirigiendo las activaciones anómalas de MLP hacia un token adjunto.
El Mecanismo de Degradación:
- Rama Limpia: Conserva los tokens de parches originales ( $Z$ ) y los tokens de registro ( $R$ ).
- Rama Degradada: Descarta los tokens de parches de grano fino ( $Z$ ) y depende únicamente de los tokens de registro ( $R$ ) y los tokens de texto ( $T$ ).
Efecto: Los tokens de registro preservan la semántica global gruesa de la imagen (manteniendo la rama "consciente de la imagen") pero carecen de correspondencia local de grano fino (haciéndola "localmente poco anclada"). Esto crea una señal contrastiva que expone los componentes propensos a la alucinación sin el desajuste de modalidad extremo de las ramas solo de texto o el ruido de la corrupción a nivel de píxel.

C. Arquitectura en Y para la Eficiencia

Al compartir el cómputo de las capas superficiales ($1 $a$ K$) antes de la división, YARD evita la costosa segunda pasada completa requerida por los métodos de contrastiva de nivel de entrada. Las ramas solo divergen para las capas restantes ( $K+1$ a $D$ ).

El logit final se calcula como:
$\ell^{yard}_i = (1 + \alpha)\ell^c_i - \alpha\ell^d_i$
donde $\ell^c$ y $\ell^d$ son los logits de las ramas limpia y condicionada por registro, respectivamente.

3. Contribuciones Clave

Degradación a nivel de característica basada en registros: Introduce un nuevo método para construir una rama contrastiva consciente de la imagen pero localmente poco anclada sin corromper la entrada visual, utilizando tokens de registro para preservar la semántica global mientras se elimina la evidencia local.
Análisis de la pureza de la rama degradada: Demuestra mediante ablación que la degradación a nivel de característica (específicamente la Información Global vía registros) expone una señal de alucinación más pura que la degradación solo de texto o a nivel de píxel, como lo evidencia la reducción de las métricas de alucinación cuando se elimina el anclaje conservador del logit limpio ( $\alpha$ ).
Marco YARD: Presenta un marco de decodificación de arquitectura en Y eficiente y sin entrenamiento que mitiga consistentemente las alucinaciones en múltiples LVLMs, reduciendo significativamente la latencia de inferencia en comparación con los métodos de doble pasada.

4. Resultados Experimentales

YARD fue evaluado tanto en benchmarks generativos (AMBER, Object HalBench, MME-Hallucination) como discriminativos (AMBER Discrimination, POPE) utilizando diversos backbones (LLaVA-1.5, LLaVA-NeXT, Qwen2/3-VL, InstructBLIP, Mini-Gemini).

Rendimiento Generativo: En LLaVA-1.5-7B, YARD redujo las puntuaciones de Object HalBench (CHs/CHi) de 27.0/10.5 a 19.7/6.5, superando a métodos de vanguardia como OPERA, VCD y FuzzyCD. También logró las mejores puntuaciones de percepción de color en MME-Hallucination, indicando la preservación de la capacidad visual.
Rendimiento Discriminativo: YARD mejoró la precisión/F1 de AMBER de 67.00/71.10 a 78.70/84.10 y la precisión/F1 de POPE de 83.93/82.24 a 86.14/85.85 en LLaVA-1.5.
Transferibilidad: El método demostró mejoras consistentes en todas las arquitecturas probadas, incluyendo Qwen3-VL y LLaVA-NeXT, lo que sugiere que captura una propiedad general de la decodificación de LVLM en lugar de ser específica de una arquitectura.
Estudios de Ablación: Confirmó que la división en la capa media (por ejemplo, $K=10$ ) es crítica; dividir demasiado pronto o demasiado tarde produce resultados subóptimos. La degradación basada en registros superó a las variantes de degradación de características "Promedio" y "Solo Texto".

5. Significado y Reivindicaciones

El artículo afirma que YARD aborda el compromiso fundamental en la decodificación contrastiva: la necesidad de una rama degradada que sea suficientemente diferente para exponer alucinaciones pero suficientemente alineada con la imagen para evitar los priors de lenguaje genéricos. Al mover la degradación hacia un espacio estructurado de nivel de característica dentro del decodificador, YARD logra:

Señales Contrastivas Fieles: El diseño de "global pero con falta de detalle local" suprime eficazmente las predicciones que son plausibles bajo un anclaje local débil pero que no están sustentadas por la evidencia visual limpia.
Eficiencia: La arquitectura en Y elimina la necesidad de una segunda pasada completa, convirtiéndolo en una solución práctica para el despliegue.
Generalidad: El enfoque no está ligado a arquitecturas de modelos específicos, ofreciendo una heurística general sin entrenamiento para la mitigación de alucinaciones.

Los autores señalan limitaciones respecto a la dependencia de la construcción de representaciones de registro efectivas para modelos basados en Transformer específicos, sugiriendo que el trabajo futuro se centrará en adaptar estos mecanismos a arquitecturas multimodales más amplias.