💻 computer science

Wiener Representation Filtering for VLM Hallucination Suppression

Este artículo propone el Filtrado de Representación de Wiener, una técnica post hoc que no requiere entrenamiento para suprimir las alucinaciones de objetos en modelos de visión y lenguaje mediante la aplicación de un estimador de tipo Wiener de forma cerrada para atenuar los componentes asociados a las alucinaciones en los estados ocultos del esqueleto de lenguaje, mejorando así la precisión en diversos bancos de pruebas al tiempo que preserva la velocidad de inferencia y la fluidez.

Autores originales: Ameen Ali, Tamim Zoabi, Lidor Brami, Lior Wolf

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ameen Ali, Tamim Zoabi, Lidor Brami, Lior Wolf

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás hablando con un amigo muy inteligente y culto que se ha memorizado millones de libros, películas y artículos de noticias. Este amigo es brillante describiendo las fotos que le muestras, pero tiene un hábito peculiar: a veces, cuando mira la foto de una playa tranquila, se emociona tanto con la idea de una playa que te dice con total seguridad que hay un surfista surfeando una ola, aunque el agua esté perfectamente plana. No está mintiendo a propósito; su cerebro está tan lleno de "historias de playa" que accidentalmente rellena los huecos con cosas que deberían estar ahí, pero que no están. Esto es exactamente lo que sucede con los modernos "Modelos de Visión-Lenguaje" (VLM). Estos son programas informáticos potentes que combinan el ojo de una cámara con el cerebro de un experto en lenguaje. Son increíbles describiendo imágenes, pero sufren de "alucinaciones de objetos", donde inventan objetos, colores o acciones que simplemente no existen en la imagen. Esto es un gran problema porque, si un robot médico o un coche autónomo empieza a "alucinar" una señal de alto que no está ahí, o un tumor falso en una radiografía, los resultados pueden ser peligrosos. Los científicos han intentado solucionar esto haciendo que los modelos piensen más o cambiando la forma en que hablan, pero esas soluciones suelen hacer que los modelos sean más lentos o requieran un reentrenamiento masivo.

Conoce ahora al equipo de la Universidad de Tel Aviv que decidió probar un enfoque diferente. En lugar de obligar al modelo a reaprenderlo todo o ralentizarlo, trataron la alucinación como un ruido estático en una señal de radio. Se dieron cuenta de que cuando un modelo "alucina", no es que esté cometiendo errores aleatorios; está añadiendo un tipo de "ruido" específico y estructurado a sus pensamientos internos. Piensa en el cerebro del modelo como una orquesta compleja tocando una sinfonía. A veces, unos pocos instrumentos empiezan a tocar una nota fuerte y desafinada que ahoga la música real. El método de los autores, llamado "Filtrado de Representación Wiener", es como un ingeniero de sonido superinteligente que escucha la orquesta, identifica exactamente qué instrumentos están tocando las notas desafinadas y, con suavidad, baja el volumen de solo esas frecuencias específicas. No enseñaron a la orquesta a tocar mejor; simplemente ajustaron la mesa de mezclas una vez, fuera de línea, para que las notas desafinadas se supriman naturalmente cada vez que las toquen.

Así fue como lo hicieron y lo que descubrieron. Primero, necesitaban entender el "ruido". Mostraron al modelo un montón de imágenes y le pidieron que las describiera. Luego, compararon sus descripciones "alucinadas" (donde inventaba cosas) con las descripciones "veraces" (donde acertaba). Al observar la matemática dentro del cerebro del modelo durante esos momentos, descubrieron que las alucinaciones no son un caos aleatorio. En cambio, forman un patrón distinto, como un conjunto específico de direcciones en un mapa donde el modelo tiende a perderse. Utilizaron una técnica clásica de procesamiento de señales llamada "filtro de Wiener" —una herramienta que normalmente se usa para limpiar llamadas telefónicas antiguas o restaurar fotos dañadas— para calcular exactamente cómo amortiguar esas "direcciones de alucinación" mientras se mantienen las "direcciones veraces" fuertes y claras.

La magia de su método es que es un arreglo "post-hoc", lo que significa que no tuvieron que reentrenar el modelo desde cero. Realizaron un cálculo ligero de una sola vez utilizando un pequeño conjunto de ejemplos emparejados para determinar el "patrón de ruido". Luego, integraron esta corrección directamente en los pesos existentes del modelo. Es como tomar una guitarra que está ligeramente desafinada, apretar las cuerdas específicas que están demasiado flojas y luego dejar la guitarra tal cual está. A partir de ese momento, la guitarra toca perfectamente afinada sin necesidad de ningún esfuerzo adicional por parte del intérprete.

Los resultados fueron impresionantes. Cuando probaron este "filtro de Wiener" en varios modelos de IA populares como LLaVA-1.5, MiniGPT-4 y mPLUG-Owl2, los modelos empezaron a cometer muchos menos errores. En las pruebas diseñadas para detectar alucinaciones (como los benchmarks CHAIR y POPE), los modelos inventaron menos objetos falsos. Por ejemplo, en la prueba CHAIR, la tasa de error en las alucinaciones a nivel de oración disminuyó significamente (a 14.93 para LLaVA-1.5, frente al 18.87 aproximado). Crucialmente, los modelos no se volvieron aburridos o lentos; seguían escribiendo subtítulos fluidos y creativos, solo que dejaron de inventar cosas que no estaban allí. Los autores también demostraron que este truco funcionaba en tareas de comprensión de vídeo e incluso en diferentes tipos de modelos de lenguaje, lo que sugiere que este "patrón de ruido" es una característica común de cómo funcionan estos cerebros de IA, no solo un fallo en un modelo específico.

El artículo sugiere que, al ver las alucinaciones como una forma de distorsión estructurada en lugar de una falta de conocimiento, podemos solucionarlas con un filtro matemáticamente elegante y sencillo. Los autores descartaron la idea de que las alucinaciones son causadas simplemente por un "sesgo" que puede corregirse restando un número promedio; en su lugar, el error es complejo y direccional, lo que requiere un enfoque matizado basado en frecuencias. Aunque no afirmaron haber resuelto el problema de las alucinaciones de la IA para siempre, su método ofrece una herramienta poderosa y libre de entrenamiento que hace que estos sistemas de IA visual más fiables sin sacrificar su velocidad o creatividad. Es un recordatorio de que, a veces, la mejor manera de arreglar una señal ruidosa no es gritar más fuerte, sino escuchar con atención y bajar el volumen de la estática.

Resumen Técnico: Filtrado de Representación de Wiener para la Supresión de Alucinaciones en VLM

Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLM) destacan en tareas como el subtitulado de imágenes y la respuesta a preguntas visuales, pero frecuentemente sufren de alucinación de objetos (OH). Este fenómeno implica la generación de descripciones plausibles pero fácticamente incorrectas, como la invención de objetos, atributos o relaciones espaciales ausentes en la imagen de entrada. Las estrategias de mitigación existentes generalmente se dividen en dos categorías:

Métodos en tiempo de decodificación: Técnicas como la búsqueda de haz restringida (constrained beam search) o el sesgo de logits que modulan la generación, pero que a menudo incurren en una sobrecarga de inferencia significativa (retrasos de 5 a 10 veces).
Refinamientos post-hoc: Métos como Woodpecker o HALC que requieren adaptaciones específicas para la tarea o recursos externos.
Métodos basados en entrenamiento: Enfoques que requieren reentrenamiento o ajuste fino con pérdidas conscientes de la alucinación, los cuales son computacionalmente costosos.

Existe un vacío para una corrección que sea libre de entrenamiento y eficiente en la inferencia, que opere sin modificar la arquitectura del modelo ni aumentar los costos de tiempo de ejecución.

Metodología

Los autores proponen un marco de Filtrado de Representación de Wiener, una técnica de edición post-hoc que opera en el espacio de representación del núcleo de lenguaje. El método trata la alucinación como una distorsión espectral estructurada y la corrige mediante un problema de estimación de error cuadrático medio mínimo (MMSE) lineal.

1. Formulación Teórica

La hipótesis central es que los estados ocultos ( $h$ ) en un VLM pueden modelarse como la superposición de un componente veraz ( $s$ ) y una distorsión asociada a la alucinación ( $n$ ):
$h = s + n$
Asumiendo que $s$ y $n$ tienen media cero y son mutuamente no correlacionados, la covarianza de la representación observada se descompone en la suma de la covarianza veraz ( $\Sigma_T$ ) y la covarianza de la alucinación ( $\Sigma_H$ ).

El estimador lineal óptimo para recuperar $s$ a partir de $h$ es el operador de Wiener:
$A^* = \Sigma_T (\Sigma_T + \Sigma_H)^{-1}$

2. Calibración y Estimación

El método requiere una calibración offline única en un conjunto de datos emparejados modesto (por ejemplo, LURE) que contenga:

$c^-$ : Subtítulos verificados por humanos como veraces.
$c^+$ : Subtítulos alucinados generados por el modelo para la misma imagen.

Para capas seleccionadas más profundas, los autores extraen representaciones promediadas por secuencia ( $x^-$ y $x^+$ ) para estimar:

$\Sigma_T$ : La covarianza de las representaciones veraces.
$\Sigma_H$ : La covarianza de la distorsión ( $d = x^+ - x^-$ ).

El análisis empírico revela que la alucinación se manifiesta como una distorsión anisotrópica concentrada en un subespacio de bajo rango (unos pocos modos dominantes), en lugar de un ruido isotrópico.

3. Filtrado Espectral

Para asegurar la estabilidad e interpretabilidad, el operador de Wiener se aproxima en la base de autovectores de $\Sigma_H$ . Sean $\{q_j\}$ los autovectores de $\Sigma_H$ con autovalores $\lambda_j$ . La varianza de la señal en el modo $j$ es $\tau_j^2 = q_j^\top \Sigma_T q_j$ .
La relación distorsión-señal se define como $\nu_j = \lambda_j / \tau_j^2$ .
La ganancia de Wiener por modo es:
$\gamma_j = \frac{1}{1 + \nu_j}$
Para permitir una nitidez ajustable y compensar los errores de estimación, se introduce un exponente de nitidez $\alpha$ :
$\tilde{\gamma}_j = (1 + \nu_j)^{-\alpha} = \left( \frac{\tau_j^2}{\tau_j^2 + \lambda_j} \right)^\alpha$
El filtro final $F_\alpha$ se construye como $Q \text{diag}(\tilde{\gamma}_1, \dots, \tilde{\gamma}_d) Q^\top$ .

4. Implementación

El filtro se aplica modificando las proyecciones de salida de la red de alimentación hacia adelante (FFN) ( $W_{out}$ ) de las capas más profundas seleccionadas:
$\tilde{W}_{out} = F_\alpha W_{out}$
Dado que $F_\alpha$ se precalcula y se absorbe directamente en los pesos existentes, la arquitectura, el recuento de parámetros y la velocidad de inferencia permanecen sin cambios. No se realizan actualizaciones de gradiente ni ajustes finos durante el despliegue.

Contribuciones Clave

Corrección Libre de Entrenamiento: Un método post-hoc que no requiere reentrenamiento, ajuste fino ni actualizaciones de gradiente.
Eficiencia de Inferencia: La corrección se absorbe en los pesos del modelo, lo que no incurre en latencia adicional ni sobrecarga de memoria durante la inferencia.
Fundamentación Teórica: Formula la mitigación de alucinaciones como un problema de MMSE lineal, derivando un estimador de Wiener de forma cerrada que respeta los criterios de estabilidad (continuidad de Lipschitz del operador).
Análisis Espectral: Demuestra que las alucinaciones ocupan un subespacio de baja dimensión y anisotrópico en el espacio de representación, lo que permite una atenuación dirigida sin destruir la información semántica.

Resultados Experimentales

El método fue evaluado en LLaVA-1.5, MiniGPT-4, mPLUG-Owl2 y Gemma3 a través de múltiples evaluaciones:

CHAIR (Alucinación de Subtítulos): El método logró consistentemente las tasas de alucinación más bajas (CHAIRS y CHAIRI) en todos los modelos, superando a las líneas base de decodificación (OPERA, VCD, HALC) y a las líneas base de edición de representación (Nullu). Por ejemplo, en LLaVA-1.5, CHAIRS se redujo de 18.87 (Greedy) a 14.93.
POPE (Presencia de Objetos): Mejoró el anclaje fáctico (Precisión, Exactitud, F1) en configuraciones Aleatoria, Popular y Adversaria, logrando a menudo los puntajes más altos entre los métodos comparados.
MME (Evaluación Multimodal): Demostró un rendimiento superior en 10 subconjuntos de anclaje visual (ej. Conteo, Obra de Arte, Celebridad) en comparación con otras estrategias.
Generalización:
- Comprensión de Video: Logró reducir con éxito las alucinaciones en el benchmark TempCompass (razonamiento temporal) a pesar de haber sido calibrado en imágenes estáticas.
- Modelos de Difusión Discreta: Aplicado a Dream-v0-Instruct-7B para diálogo anclado (FaithDial), reduciendo significativamente las tasas de alucinación (ej. de 92% a 74% vía FaithCritic) mientras mejora las métricas de anclaje.
- Transferencia de Dominio Cruzado: Mostró que los filtros aprendidos en un conjunto de datos (ej. LURE) podían reducir eficazmente las alucinaciones en conjuntos de datos no vistos (ej. TruthfulQA, CHAIR) sin necesidad de nuevo ajuste.

Significado y Reivindicaciones

El artículo afirma que, al modelar la alucinación como una distorsión espectral estructurada en lugar de un ruido aleatorio, es posible derivar una corrección fundamentada y estable que suprima los modos dominados por la alucinación preservando las direcciones semánticamente ancladas.

Las principales afirmaciones sobre el impacto del método incluyen:

Estabilidad: La formulación continua asegura que los pequeños errores en la estimación de la covarianza induzcan cambios proporcionalmente acotados en el operador, evitando la inestabilidad de la truncación de rango estricta.
Preservación de la Fluidez: A diferencia de los métodos que podan agresivamente las representaciones, el filtro de Wiener atenúa los modos basándose en su relación distorsión-señal, manteniendo la fluidez del subtitulado y la calidad general de la respuesta (los puntajes BLEU se mantienen competitivos).
Generalidad: El enfoque no está limitado a arquitecturas de VLM o estrategias de fusión específicas (fusión temprana, de puente o media) y se extiende al razonamiento temporal de video y a modelos de lenguaje basados en difusión.
Eficiencia: Ofrece una solución "plug-and-play" que elimina las ralentizaciones de inferencia asociadas con las intervenciones en tiempo de decodificación y el costo computacional de los métodos basados en entrenamiento.

Los autores concluyen que este trabajo proporciona un mecanismo fundamentado para la supresión de alucinaciones que alinea la generación con la evidencia visual sin comprometer la integridad de la representación interna del modelo ni su eficiencia de inferencia.