Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression
El artículo presenta CIPHER, un método sin entrenamiento que suprime las alucinaciones visuales en modelos de lenguaje-vision grandes (LVLM) proyectando sus estados ocultos fuera de un subespacio de baja dimensión identificado mediante perturbaciones de imágenes contrafactuales generadas por difusión.