🤖 AI

Local Intrinsic Dimension Unveils Hallucinations in Diffusion Models

Este artigo propõe que as alucinações estruturais em modelos de difusão decorrem de instabilidades impulsionadas pela alta dimensão intrínseca local (LID) no manifold induzido pelo modelo, introduzindo um método denominado Extinção Intrínseca (IQ) para reduzir a LID e diminuir efetivamente essas anomalias, melhorando particularmente a consistência anatômica em imagens médicas.

Autores originais: Bartlomiej Sobieski, Matthew Tivnan, Dawid Płudowski, Michał Jan Włodarczyk, Pengfei Jin, Przemyslaw Biecek, Quanzheng Li

Publicado 2026-05-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bartlomiej Sobieski, Matthew Tivnan, Dawid Płudowski, Michał Jan Włodarczyk, Pengfei Jin, Przemyslaw Biecek, Quanzheng Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Difusão como um mestre escultor que passou anos estudando milhares de estátuas. Sua função é criar novas estátuas a partir de um bloco de mármore (ruído), removendo pedaços até que uma forma perfeita surja. Geralmente, eles fazem um ótimo trabalho. Mas, às vezes, ficam confusos e criam uma estátua com seis dedos, três olhos ou uma mão que parece uma flor. No mundo da IA, esses erros são chamados de alucinações.

Este artigo argumenta que esses erros ocorrem porque o escultor se perde em uma parte "nebulosa" de seu mapa mental. Os autores propõem uma nova maneira de corrigir isso, medindo o quanto o caminho do escultor é "instável" e, em seguida, suavizando-o gentilmente.

Abaixo está a explicação de sua descoberta e solução:

1. O Problema: O Caminho "Instável" do Escultor

Os autores sugerem que, quando um Modelo de Difusão cria uma alucinação (como uma mão com seis dedos), não se trata apenas de um erro aleatório. Está acontecendo em uma parte específica da "paisagem mental" do modelo (chamada de variedade ou manifold), onde a geometria é instável.

Pense nos dados de treinamento do modelo como um vale liso e plano onde as mãos reais vivem.

Geração Normal: O modelo caminha suavemente pelo fundo do vale, criando mãos perfeitas.
Alucinação: O modelo pisa em uma borda instável e trêmula. Aqui, o chão parece ter dimensões extras e invisíveis. Como o chão é instável, o modelo acidentalmente inventa dedos extras ou olhos desalinhados.

Os autores chamam essa instabilidade de Instabilidade Local da Variedade (LMI). É como tentar caminhar em um trampolim que está se esticando em direções estranhas; você pode acabar quicando em uma forma que não pretendia.

2. A Descoberta: Medindo a "Instabilidade"

Para encontrar esses pontos instáveis, os autores analisaram um conceito chamado Dimensão Intrínseca Local (LID).

A Analogia: Imagine uma folha de papel plana (2D) flutuando em um quarto 3D. Se você olhar para um ponto minúsculo no papel, ele parece plano (2D). Mas, se o papel estiver amassado ou se o modelo estiver alucinando, esse ponto pode repentinamente parecer ter direções extras e desnecessárias para se mover (como 3D ou 4D).
A Descoberta: O artigo mostra que, quando o modelo está prestes a cometer um erro (como adicionar um dedo extra), a "dimensão" do espaço por onde ele está caminhando infla repentinamente. É como se o modelo estivesse tentando caminhar em uma direção que não deveria existir.

Eles testaram isso criando um filtro que procura por essas "dimensões infladas". Descobriram que esse filtro é, na verdade, melhor em identificar mãos ruins do que métodos anteriores que analisavam como a imagem mudava ao longo do tempo.

3. A Solução: "Extinção Intrínseca" (IQ)

Uma vez que souberam onde os erros ocorriam (nos pontos instáveis e de alta dimensão), criaram uma correção chamada Extinção Intrínseca (IQ).

A Metáfora: Imagine o modelo como um carro dirigindo em uma estrada. Quando ele atinge um trecho irregular e instável (uma alucinação), o carro começa a desviar.
A Correção: A IQ atua como um sistema de suspensão inteligente. À medida que o carro se aproxima do trecho irregular, ele detecta a instabilidade. Em vez de deixar o carro desviar, ele empurra gentilmente o veículo de volta para a parte lisa e estável da estrada. Ela "desinfla" as dimensões extras e desnecessárias, forçando o modelo a aderir às regras lógicas e do mundo real (como "mãos têm apenas cinco dedos").

Eles chamam isso de "Extinção" porque é como resfriar um metal quente e instável para torná-lo sólido e estável novamente.

4. Funciona?

Os autores testaram isso em muitas tarefas diferentes:

Desenhando Mãos: Eles mostraram que a IQ reduziu drasticamente o número de mãos com seis dedos em comparação com outros métodos.
Imagens Médicas: Eles testaram a reconstrução de tomografias computadorizadas (TC) do cérebro (imagens usadas por médicos). Neste caso, uma alucinação poderia parecer um tumor falso ou uma parte ausente do cérebro, o que é perigoso. A IQ ajudou a garantir que as imagens reconstruídas fossem anatomicamente corretas, sem inventar doenças falsas.
Rostos e Animais: Também melhorou a qualidade de rostos e imagens de animais gerados, fazendo com que parecessem mais naturais.

Resumo

O artigo afirma que as alucinações da IA ocorrem porque o modelo se perde em partes "instáveis" de sua própria matemática. Ao medir essa instabilidade (usando a Dimensão Intrínseca Local) e empurrar gentilmente o modelo de volta para um terreno estável (usando a Extinção Intrínseca), eles podem impedir que a IA invente coisas impossíveis, como mãos com seis dedos ou tumores falsos. É uma maneira de ensinar a IA a permanecer no "terreno sólido" da realidade.

Resumo Técnico: A Dimensão Intrínseca Local Revela Alucinações em Modelos de Difusão

Declaração do Problema

Modelos de Difusão (DMs) são suscetíveis a gerar "alucinações estruturais": amostras que se alinham às propriedades estatísticas dos dados de treinamento, mas violam regras físicas, lógicas ou morfológicas subjacentes (por exemplo, mãos com seis dedos ou olhos desalinhados). Embora trabalhos recentes tenham atribuído essas falhas à interpolação de modos e instabilidades temporais durante o processo reverso, uma definição formal e um mecanismo robusto para prevenção permanecem como desafios abertos. Os métodos atuais de identificação dependem fortemente da percepção humana, e as estratégias de mitigação existentes frequentemente exigem dados de treinamento adicionais, classificadores externos ou suposições arquitetônicas específicas.

Metodologia

Os autores propõem uma mudança da análise do comportamento gerativo temporal para o exame da instabilidade local da variedade induzida pelo modelo. Sua abordagem fundamenta-se na hipótese da variedade estratificada, assumindo que dados de alta dimensão residem em subvariedades de baixa dimensão e que os DMs aprendem aproximações estatísticas desses estratos.

1. Fundamentação Teórica: Dimensão Intrínseca Local (LID)

A ideia central é que as alucinações estruturais se manifestam como Instabilidade de Variedade Local (LMI), impulsionada diretamente pela Dimensão Intrínseca Local (LID) da amostra gerada na variedade induzida pelo modelo ( $M_\theta$ ).

LMI como Proxy: Os autores definem LMI como o traço da covariância da saída do gerador sob pequenas perturbações. Eles provam teoricamente (Proposição 1) que a LMI é aproximadamente proporcional à soma dos valores singulares ao quadrado do Jacobiano do gerador, truncada pela LID.
LID como Motor: Eles demonstram que as alucinações ocorrem quando o DM superestima a complexidade da amostra, inflando a LID. Essa inflação introduz "dimensões espúrias" (graus de liberdade ilógicos) ou superestima valores singulares válidos, levando a direções instáveis e fora da variedade.
Estimação: Aproveitando descobertas recentes, os autores mostram que as perdas padrão de treinamento de difusão (Correspondência de Pontuação de Desruído e Correspondência de Pontuação de Informação) fornecem estimadores eficientes e não tendenciosos da LID ( $LID_\theta$ ) para pequenos passos de tempo.

2. Extinção Intrínseca (IQ)

Para abordar essas instabilidades, os autores propõem a Extinção Intrínseca (IQ), um mecanismo corretivo que "desinfla" dinamicamente a LID durante o processo gerativo.

Mecanismo: A IQ modifica a função de pontuação do processo reverso subtraindo um termo de gradiente derivado da energia da LID ( $E(x_t) = LID_\theta(\hat{x}^\theta_0(x_t))$ ).
Garantia Teórica: O Teorema 2 estabelece que essa modificação é equivalente à amostragem de uma distribuição de Boltzmann que penaliza estados de alta LID, orientando efetivamente a trajetória para estratos de variedade mais estáveis e de baixa dimensão.
Estratégia de Implementação:
- Janela Temporal: A correção é aplicada apenas dentro de um intervalo estreito e inicial do processo reverso ( $t \in [t_1, t_2]$ ), onde a geometria da variedade é mais crítica e o estimador de LID é válido.
- Escala Dinâmica: A força de orientação ( $\lambda_t$ ) é escalada adaptativamente para manter uma razão fixa em relação ao passo de atualização natural, garantindo estabilidade.
- Filtragem: Para evitar restringir excessivamente amostras válidas, a IQ é desativada para amostras onde a energia estimada da LID está abaixo de um limiar dependente do tempo ( $q_t$ ), determinado pelo percentil de uma distribuição de referência.

Principais Contribuições

Perspectiva Geométrica sobre Alucinações: O artigo reestrutura as alucinações estruturais como instabilidades na variedade induzida pelo modelo, identificando a inflação da Dimensão Intrínseca Local (LID) como seu principal motor.
Detecção Superior: Os autores demonstram que um filtro baseado em LID supera filtros temporais recentes (como o Filtro de Variância de Trajetória) na separação de amostras corretas de alucinações em múltiplos conjuntos de dados.
Extinção Intrínseca (IQ): Eles introduzem um mecanismo corretivo direto e agnóstico ao modelo que reduz alucinações ao desinflar dinamicamente a LID durante a geração. Ao contrário de outros métodos, a IQ não requer dados de treinamento adicionais, classificadores externos ou modificações arquitetônicas.
Aplicação em Imagens Médicas: O método é validado na reconstrução de TC de baixa dose, mostrando que pode reduzir alucinações diagnósticas (por exemplo, patologia fabricada) enquanto preserva a qualidade da reconstrução.

Resultados Experimentais

Os autores avaliaram a IQ contra linhas de base incluindo Orientação Dinâmica (DG), Modulação de Atenção Adaptativa (AAM) e RODS em conjuntos de dados sintéticos (GaussianGrid, SimpleShapes, MNIST) e de imagens naturais (11kHands, FFHQ, AFHQV2).

Redução de Alucinações: A IQ superou consistentemente todas as linhas de base. No conjunto de dados 11kHands, a IQ reduziu a taxa de alucinação (HR) em quase 70% (de ~29% para ~9%) e alcançou uma pontuação de Preferência do Usuário (UP) de 68%, superando significativamente a linha de base (39,8%).
Imagens Médicas: Na reconstrução de TC de baixa dose (conjunto de dados RSNA), a IQ igualou os ganhos de desempenho diagnóstico da DG (que requer rótulos verdadeiros para treinamento) enquanto preservava estritamente as métricas de reconstrução de imagem (FID, PSNR, SSIM). A IQ melhorou o mAP macro-médio para detecção de hemorragia de 0,27 (linha de base) para 0,31.
Estudos de Ablação: Experimentos confirmaram que o método é mais eficaz quando aplicado em passos de tempo iniciais e que a estratégia de filtragem dinâmica é crucial para evitar "espremer" excessivamente amostras em modos, o que degradaria as métricas de diversidade.

Significado e Alegações

O artigo alega que a IQ oferece uma solução universal e prática para impor consistência anatômica na modelagem generativa, particularmente para tarefas downstream onde alucinações representam riscos de segurança, como em imagens médicas.

Insight Teórico: O trabalho fornece uma explicação geométrica para alucinações, vinculando-as à expansão excessiva da dimensionalidade da variedade induzida pelo modelo.
Utilidade Prática: Ao operar sem classificadores externos ou retreinamento, a IQ é apresentada como uma solução zero-shot altamente promissora para melhorar a confiabilidade dos modelos de difusão em cenários de tomada de decisão do mundo real.
Limitações: Os autores reconhecem modestamente que a avaliação permanece um gargalo devido à natureza subjetiva da anotação humana para falhas estruturais. Eles também observam que a IQ introduz uma sobrecarga computacional moderada (aproximadamente 20% mais lenta que a linha de base, mas mais rápida que as variantes RODS) e que encontrar estimadores de LID mais baratos é uma direção necessária para melhoria futura.