🤖 AI

Local Intrinsic Dimension Unveils Hallucinations in Diffusion Models

본 논문은 확산 모델의 구조적 할루시네이션이 모델 유도 매니폴드 상의 높은 국소 내재 차원 (LID) 으로 인한 불안정성에서 비롯된다고 제안하며, LID 를 축소하여 이러한 이상 현상을 효과적으로 감소시키는 인트린식 퀜칭 (IQ) 이라는 방법을 도입하여 특히 의료 영상에서 해부학적 일관성을 개선합니다.

원저자: Bartlomiej Sobieski, Matthew Tivnan, Dawid Płudowski, Michał Jan Włodarczyk, Pengfei Jin, Przemyslaw Biecek, Quanzheng Li

게시일 2026-05-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bartlomiej Sobieski, Matthew Tivnan, Dawid Płudowski, Michał Jan Włodarczyk, Pengfei Jin, Przemyslaw Biecek, Quanzheng Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

확산 모델을 수천 개의 동상을 연구해 온 거장 조각가로 상상해 보세요. 그들의 일은 소음인 대리석 덩어리에서 조각을 깎아 완벽한 형태가 드러날 때까지 새로운 동상을 만드는 것입니다. 보통 그들은 훌륭한 일을 해냅니다. 하지만 때로는 혼란을 겪어 여섯 개의 손가락이 달린 동상이나 세 개의 눈을 가진 동상, 혹은 꽃처럼 보이는 손을 만들어 내기도 합니다. AI 세계에서는 이러한 실수를 할루시네이션이라고 부릅니다.

이 논문은 이러한 실수가 조각가가 정신적 지도의 "안개 낀" 부분에 길을 잃기 때문에 발생한다고 주장합니다. 저자들은 조각가의 경로가 얼마나 "흔들리는지"를 측정하고 이를 부드럽게 다듬는 새로운 해결책을 제안합니다.

다음은 그들의 발견과 해결책에 대한 개요입니다:

1. 문제: 조각가의 "흔들리는" 경로

저자들은 확산 모델이 할루시네이션 (예: 여섯 개의 손가락이 달린 손) 을 생성할 때, 이는 단순한 무작위 오류가 아니라고 제안합니다. 이는 기하학적으로 불안정한 모델의 "정신적 풍경" (매니폴드라고 함) 의 특정 부분에서 발생합니다.

모델의 학습 데이터를 실제 손들이 사는 매끄럽고 평평한 계곡으로 생각해 보세요.

정상 생성: 모델은 계곡 바닥을 부드럽게 걸으며 완벽한 손을 만들어냅니다.
할루시네이션: 모델은 흔들리고 불안정한 난간 위로 발을 내딛습니다. 여기서는 땅이 추가적이고 보이지 않는 차원을 가진 것처럼 보입니다. 땅이 흔들리기 때문에 모델은 실수로 여분의 손가락을 만들거나 눈이 어긋나게 됩니다.

저자들은 이러한 불안정성을 **국소 매니폴드 불안정성 (Local Manifold Instability, LMI)**이라고 부릅니다. 이는 이상한 방향으로 늘어나는 트램펄린 위를 걷는 것과 같습니다. 원치 않는 형태로 튕겨 나갈 수 있습니다.

2. 발견: "흔들림" 측정하기

이러한 흔들리는 지점을 찾기 위해 저자들은 **국소 고유 차원 (Local Intrinsic Dimension, LID)**이라는 개념을 살펴보았습니다.

비유: 3 차원 방에 떠 있는 평평한 종이 (2 차원) 를 상상해 보세요. 종이의 아주 작은 부분을 보면 평평하게 느껴집니다 (2 차원). 하지만 종이가 구겨지거나 모델이 할루시네이션을 일으킬 때, 그 지점은 갑자기 움직여야 할 추가적이고 불필요한 방향 (3 차원이나 4 차원 같은) 을 가진 것처럼 느껴질 수 있습니다.
발견: 논문은 모델이 실수를 하기 직전 (예: 여분의 손가락 추가) 에, 모델이 지나가는 공간의 "차원"이 갑자기 팽창한다는 것을 보여줍니다. 마치 모델이 존재해서는 안 되는 방향으로 걷으려 하는 것과 같습니다.

저자들은 이러한 "팽창된 차원"을 찾는 필터를 만들어 이를 테스트했습니다. 그 결과, 이 필터는 시간이 지남에 따라 이미지가 어떻게 변하는지 살펴보는 이전 방법들보다 나쁜 손을 찾아내는 데 더 뛰어났습니다.

3. 해결책: "고유 진정 (Intrinsic Quenching, IQ)"

실수가 어디서 발생하는지 (흔들리고 고차원인 지점에서) 알게 된 후, 그들은 **고유 진정 (Intrinsic Quenching, IQ)**이라는 해결책을 만들었습니다.

비유: 모델이 도로를 달리는 자동차라고 상상해 보세요. 자동차가 요철이 많고 불안정한 구간 (할루시네이션) 을 지나갈 때, 차는 비틀거리기 시작합니다.
해결: IQ 는 지능형 서스펜션 시스템과 같은 역할을 합니다. 자동차가 요철 구간에 접근할 때 불안정성을 감지합니다. 차가 비틀거리게 내버려 두는 대신, 부드럽게 차를 도로의 매끄럽고 안정적인 부분으로 되돌려 놓습니다. 이는 불필요한 추가 차원을 "압축"하여 모델이 논리적이고 현실 세계의 규칙 (예: "손은 다섯 개의 손가락만 가진다") 에 머무르도록 강제합니다.

저자들은 이를 "진정 (Quenching)"이라고 부릅니다. 이는 뜨거운 불안정한 금속을 식혀 다시 단단하고 안정적으로 만드는 것과 같기 때문입니다.

4. 효과가 있을까요?

저자들은 이 방법을 다양한 작업에서 테스트했습니다:

손 그리기: 그들은 IQ 가 다른 방법들에 비해 여섯 개의 손가락이 달린 손의 수를 극적으로 줄였음을 보여주었습니다.
의료 영상: 그들은 의사가 사용하는 뇌 CT 스캔 (이미지) 재구성 작업을 테스트했습니다. 이 경우, 할루시네이션은 가짜 종양이나 결손된 뇌 부분처럼 보일 수 있어 위험합니다. IQ 는 가짜 질병을 만들어내지 않고 재구성된 이미지가 해부학적으로 정확하도록 보장하는 데 도움을 주었습니다.
얼굴과 동물: 생성된 얼굴과 동물 이미지의 품질도 향상되어 더 자연스럽게 보이게 했습니다.

요약

이 논문은 AI 할루시네이션이 모델이 자신의 수학 내 "흔들리는" 부분에 길을 잃기 때문에 발생한다고 주장합니다. 이러한 흔들림을 측정 (국소 고유 차원 사용) 하고 모델을 안정적인 땅으로 부드럽게 되돌려 놓음 (고유 진정 사용) 으로써, 여섯 개의 손가락이 달린 손이나 가짜 종양과 같은 불가능한 것들을 AI 가 발명하지 못하게 막을 수 있습니다. 이는 AI 에게 현실의 "단단한 땅"에 머무르도록 가르치는 방법입니다.

기술 요약: 확산 모델의 환각을 드러내는 국소 내재 차원

문제 제기

확산 모델 (DMs) 은 훈련 데이터의 통계적 특성과는 부합하지만 근본적인 물리적, 논리적 또는 형태적 규칙을 위반하는 "구조적 환각"을 생성하는 경향이 있습니다 (예: 손가락이 여섯 개인 손이나 정렬되지 않은 눈). 최근 연구들은 이러한 실패를 역과정 중의 모드 보간 및 시간적 불안정성으로 돌리고 있으나, 이에 대한 공식적인 정의와 견고한 방지 메커니즘은 여전히 해결되지 않은 과제로 남아 있습니다. 현재 식별 방법은 인간 인식에 크게 의존하며, 기존 완화 전략들은 종종 추가 훈련 데이터, 외부 분류기, 또는 특정 아키텍처 가정을 필요로 합니다.

방법론

저자들은 시간적 생성 행동을 분석하는 것에서 모델이 유도하는 매니폴드의 국소 불안정성을 검토하는 것으로 접근법을 전환합니다. 그들의 접근법은 계층화 매니폴드 가설에 기반하여, 고차원 데이터가 저차원 부분 매니폴드에 존재하며 확산 모델이 이러한 층의 통계적 근사를 학습한다고 가정합니다.

1. 이론적 기반: 국소 내재 차원 (LID)

핵심 통찰은 구조적 환각이 모델이 유도한 매니폴드 ( $M_\theta$ ) 상의 생성된 샘플에 대한 **국소 내재 차원 (LID)**에 의해 직접적으로 구동되는 **국소 매니폴드 불안정성 (LMI)**으로 나타난다는 점입니다.

LMI 를 대리 변수로: 저자들은 LMI 를 작은 교란 하에서 생성기 출력의 공분산의 대각합으로 정의합니다. 그들은 이론적으로 (명제 1) LMI 가 LID 에 의해 잘려진 생성기 야코비안의 제곱 특이값들의 합에 비례함을 증명합니다.
LID 를 구동 요인으로: 그들은 확산 모델이 샘플의 복잡성을 과대평가하여 LID 를 팽창시킬 때 환각이 발생함을 보여줍니다. 이러한 팽창은 "허위 차원"(비논리적 자유도) 을 도입하거나 유효한 특이값을 과대평가하여 불안정하고 매니폴드 밖의 방향으로 이어집니다.
추정: 최근 발견들을 활용하여, 저자들은 표준 확산 훈련 손실 (Denoising Score Matching 및 Information Score Matching) 이 작은 시간 단계에서 LID( $LID_\theta$ ) 의 효율적이고 편향 없는 추정치를 제공함을 보여줍니다.

2. 내재적 억제 (Intrinsic Quenching, IQ)

이러한 불안정성을 해결하기 위해 저자들은 생성 과정에서 LID 를 동적으로 "수축"시키는 교정 메커니즘인 **내재적 억제 (IQ)**를 제안합니다.

메커니즘: IQ 는 LID 에너지 ( $E(x_t) = LID_\theta(\hat{x}^\theta_0(x_t))$ ) 에서 유도된 기울기 항을 빼서 역과정 스코어 함수를 수정합니다.
이론적 보장: 정리 2 는 이 수정이 높은 LID 상태를 벌칙하는 볼츠만 분포에서 샘플링하는 것과 동등하며, 이를 통해 궤적을 매니폴드의 더 낮은 차원의 안정적인 층으로 유도함을 확립합니다.
구현 전략:
- 시간 창: 교정은 매니폴드 기하학이 가장 중요하고 LID 추정치가 유효한 역과정의 좁은 초기 구간 ( $t \in [t_1, t_2]$ ) 에서만 적용됩니다.
- 동적 스케일링: 가이드 강도 ( $\lambda_t$ ) 는 안정성을 보장하기 위해 자연스러운 업데이트 단계에 대한 고정 비율을 유지하도록 적응적으로 스케일링됩니다.
- 필터링: 유효한 샘플을 과도하게 구속하는 것을 피하기 위해, 참조 분포의 백분위수에 의해 결정된 시간 의존 임계값 ( $q_t$ ) 이하로 추정된 LID 에너지를 가진 샘플의 경우 IQ 는 비활성화됩니다.

주요 기여

환각에 대한 기하학적 관점: 이 논문은 구조적 환각을 모델이 유도한 매니폴드 상의 불안정성으로 재해석하고, 국소 내재 차원 (LID) 의 팽창을 주요 구동 요인으로 규명합니다.
우수한 탐지 능력: 저자들은 LID 기반 필터가 여러 데이터셋에서 올바른 샘플과 환각을 분리하는 데 있어 최근의 시간적 필터 (Trajectory Variance Filter 등) 보다 우수함을 입증합니다.
내재적 억제 (IQ): 그들은 생성 중 LID 를 동적으로 수축시켜 환각을 줄이는 직접적이고 모델 중립적인 교정 메커니즘을 도입합니다. 다른 방법들과 달리 IQ 는 추가 훈련 데이터, 외부 분류기, 또는 아키텍처 수정을 필요로 하지 않습니다.
의료 영상 응용: 이 방법은 저선량 CT 재구성에 검증되어, 재구성 품질을 유지하면서 진단적 환각 (예: 조작된 병리) 을 줄일 수 있음을 보여줍니다.

실험 결과

저자들은 합성 데이터셋 (GaussianGrid, SimpleShapes, MNIST) 과 자연 이미지 데이터셋 (11kHands, FFHQ, AFHQV2) 에서 Dynamic Guidance (DG), Adaptive Attention Modulation (AAM), RODS 등을 베이스라인으로 하여 IQ 를 평가했습니다.

환각 감소: IQ 는 모든 베이스라인을 일관되게 능가했습니다. 11kHands 데이터셋에서 IQ 는 환각 비율 (HR) 을 약 70% (~29% 에서 ~9% 로) 감소시켰으며, 68% 의 사용자 선호도 (UP) 점수를 달성하여 베이스라인 (39.8%) 을 크게 상회했습니다.
의료 영상: 저선량 CT 재구성 (RSNA 데이터셋) 에서 IQ 는 정답 레이블이 필요한 DG 와 동일한 진단 성능 향상을 달성하면서도 이미지 재구성 지표 (FID, PSNR, SSIM) 를 엄격하게 유지했습니다. IQ 는 출혈 탐지에 대한 매크로 평균 mAP 를 베이스라인 0.27 에서 0.31 로 향상시켰습니다.
절대 실험: 실험은 이 방법이 초기 시간 단계에 적용될 때 가장 효과적이며, 동적 필터링 전략이 샘플을 모드로 과도하게 압축하여 다양성 지표를 저하시키는 것을 방지하는 데 중요함을 확인했습니다.

중요성 및 주장

이 논문은 IQ 가 특히 의료 영상과 같이 환각이 안전 위험을 초래하는 하류 작업에서 해부학적 일관성을 강제하기 위한 보편적이고 실용적인 해결책을 제공한다고 주장합니다.

이론적 통찰: 이 연구는 환각에 대한 기하학적 설명을 제공하며, 이를 모델이 유도한 매니폴드의 차원성 과잉 확장과 연결합니다.
실용적 유용성: 외부 분류기나 재학습 없이 작동하는 IQ 는 현실 세계의 의사결정 시나리오에서 확산 모델의 신뢰성을 향상시키기 위한 매우 유망한 제로샷 솔루션으로 제시됩니다.
한계: 저자들은 구조적 실패에 대한 인간의 주석의 주관성으로 인해 평가가 여전히 병목 현상임을 겸손하게 인정합니다. 또한 IQ 는 적절한 계산 오버헤드 (베이스라인보다 약 20% 느리지만 RODS 변형보다는 빠름) 를 도입하며, 더 저렴한 LID 추정치를 찾는 것이 향후 개선을 위한 필수적인 방향임을 지적합니다.