Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression
O artigo apresenta o CIPHER, um método livre de treinamento que suprime alucinações induzidas por visão em Modelos de Linguagem e Visão de Grande Escala (LVLMs) ao projetar estados ocultos intermediários para fora de um subespaço de baixa dimensão característico, identificado através de um conjunto de dados contrafactual (OHC-25K) gerado por difusão.