Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression
Le papier présente CIPHER, une méthode sans entraînement qui supprime les hallucinations visuelles des modèles de langage-vision en projetant leurs états cachés hors d'un sous-espace caractéristique identifié grâce à un jeu de données de contre-factuels visuels.