Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression
Il paper presenta CIPHER, un metodo senza addestramento che sopprime le allucinazioni visive nei modelli linguaggio-visione di grandi dimensioni proiettando gli stati nascosti intermedi lontano da un sottospazio a basso rango identificato tramite un dataset di controfattuali generati con diffusione.