💻 computer science

Denoising Models Develop Human-Like Perceptual Illusion Representations Across Architectures

이 논문은 다양한 아키텍처를 가진 디노이징 모델들이 인간의 밝기 착시와 상관관계가 있는 내부적 "지각적 환영(perceptual phantom)" 표현을 발달시키며, 이것이 심리물리학적 모델과 연관되고 내부 처리에 인과적인 영향을 미치지만 최종 출력물에서는 감지되지 않는다는 것을 입증한다.

원저자: Gautam Ranka, Paras Chopra

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Gautam Ranka, Paras Chopra

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 폭의 그림을 보고 있다고 상상해 보세요. 흰색 배경 위에 회색 정사각형 하나가 놓여 있고, 검은색 배경 위에도 똑같이 생긴 회색 정사각형 하나가 놓여 있습니다. 두 정사각형은 색상이 완전히 동일함에도 불구하고, 당신의 뇌는 검은색 배경 위의 정사각형을 훨씬 더 밝게 보이도록 속입니다. 이것은 시각적 착각이며, 우리의 뇌가 세상을 이해하기 위해 어떻게 설계되었는지를 보여주는 인지적 오류입니다. 오랫동안 과학자들은 우리가 만드는 인공 지능(딥 뉴럴 네트워크라고 불리는)도 이와 같은 방식으로 속을 수 있는지 궁금해했습니다. 그들은 AI 모델이 노이즈가 섞인 사진을 깨끗하게 만들거나 새로운 이미지를 생성하려고 할 때, 인간과 똑같은 "실수"를 저지르며 존재하지 않는 밝기를 본다는 사실을 발견했습니다. 하지만 여기에 거대한 미스터리가 있습니다. AI가 자신의 마음속에서 실제로 그 착각을 '보고' 있는 것일까요, 아니면 단지 마지막 단계에서 올바른 이미지를 만들어냄으로써 흉내를 내고 있는 것일까요? 이것은 마치 마술사가 주머니 속에 실제로 토끼를 넣고 있는 것인지, 아니면 그저 토끼가 들어 있는 것처럼 보이는 모자에서 토끼를 꺼내는 것인지 묻는 것과 같습니다.

이 논문은 이 질문에 답하기 위해 이 AI 모델들의 "마음" 내부를 깊숙이 파고듭니다. 연구진은 이미지를 깨끗하게 만드는 데 설계된 다양한 AI 모델(디노이징 모델이라고 불림)들을 테스트했으며, 이 모델들이 까다로운 광학적 착각을 처리할 때 내부 레이어에서 어떤 일이 일어나는지 관찰했습니다. 그들은 흥미롭고도 약간은 기묘한 사실을 발견했습니다. AI 모델들이 착각에 대한 내부적인 표현을 실제로 발달시키지만, 그것은 '유령'과 같다는 것입니다. "이것이 밝아 보인다"라고 알려주는 신호가 생성되어 네트워크를 타고 흐르며, 심지어 AI가 이미지를 어떻게 생각하는지에도 영향을 미칩니다. 하지만 AI가 작업을 마치고 최종 결과물을 내놓을 때쯤이면, 그 유령 신호는 완전히 사라져 버립니다. AI는 내부적으로 착각에 홀려 있지만, 최종 결과물에는 결코 그것을 드러내지 않습니다. 연구진은 이 보이지 않는 내부 신호를 "지각적 환영(perceptual phantoms)"이라고 부릅니다.

기계 속의 유령

연구진이 이 유령들을 어떻게 찾아냈는지 이해하기 위해, AI 모델을 거대한 다층 공장이라고 상상해 보세요. 노이즈가 섞인 가공되지 않은 이미지가 바닥으로 들어오면, 깨끗하고 완벽한 이미지가 꼭대기에서 나옵니다. 그 사이에는 이미지가 처리되고 변형되며 정제되는 수십 개의 층(레이어)이 있습니다. 연구진은 단순히 최종 결과물만 본 것이 아니라, 모든 층에 카메라를 설치하여 일꾼들(AI의 뉴런)이 무엇을 하고 있는지 관찰했습니다.

그들은 두 개의 동일한 색상 패치가 주변 환경 때문에 다르게 보이는 "GVL" 데이터셋과 같이 시각적 트릭을 일으키기로 유명한 특수 이미지 세트를 사용했습니다. 이 이미지들을 AI에 입력하고 공장의 각 부분에서 발생하는 활동 수준을 관찰했습니다. 그들이 발견한 것은 착각이 모든 곳에서 나타나는 것이 아니라는 점이었습니다. 대신, "유령" 신호는 AI가 수집한 모든 정보를 압축하는 지점인 "병목(bottleneck)"이라 불리는 공장 중간의 아주 좁은 복도에서 가장 강력하게 나타났습니다.

여기 반전이 있습니다. 연구진은 이 내부 신호가 매우 실재한다는 것을 발견했습니다. 두 착각 패치 사이의 AI 활동 변화를 측정했을 때, 그 차이는 매우 컸습니다. (0.5를 '중간' 효과로 볼 때 약 0.66이었습니다.) 이는 AI가 일반적인 이미지를 처리할 때와는 확실히 다르게 착각을 처리하고 있었음을 의미합니다. 실제로 이 내부 신호의 강도는 인간의 지각과 매우 잘 일치했는데, AI의 활동을 인간 시각의 수학적 모델(FLODOG)과 비교했을 때 0.78이라는 상관관계를 보였습니다. 이는 AI가 놀라울 정도로 인간의 뇌와 유사한 방식으로 밝기에 대해 생각하고 있음을 시사하는 매우 강력한 일치입니다.

환영의 속성

하지만 연구진은 백만 달러짜리 질문을 던졌습니다. 만약 AI가 이토록 강하게 착각을 생각하고 있다면, 왜 최종 사진은 달라 보이지 않는 걸까요? 이에 답하기 위해 그들은 공장을 대상으로 "차이점 찾기" 게임을 했습니다. 그들은 착각 이미지로부터 얻은 내부 "유령" 신호를 가져와서 일반적인 이미지의 처리 과정에 주입해 보았습니다. 그들은 주입된 신호로 인해 최종 사진이 변하며 착각을 보여주기를 기대했습니다.

하지만 그렇지 않았습니다.

표준 "U-Net" 공장이든 최신 "트랜스포머(Transformer)" 스타일의 공장이든, 어떤 유형의 AI 모델을 사용하더라도 주입된 유령 신호는 출구에 도달하기 전에 사라졌습니다. 최종 이미지는 유령이 전혀 없었던 것처럼 정확히 똑같았습니다. 연구진은 이를 "지각적 환영"이라고 부릅니다. 즉, 기계 내부에서는 활성화되어 일을 하고 있지만, 외부 세계에는 완전히 보이지 않는 표현을 말합니다.

이것이 단순한 우연이 아님을 증명하기 위해, 연구진은 공장을 고장 내는 실험을 했습니다. 그들은 특정 "채널"(유령 신호를 운반하는 전선)을 찾아내어 이를 잘라냈습니다(이를 '절제(ablation)'라고 합니다). 이 착각에 민감한 전선들을 잘라냈을 때, 내부 신호는 거의 44%나 감소했습니다. 이는 이 특정 전선들이 실제로 착각을 운반하고 있었음을 입증했습니다. 하지만 핵심은 이것입니다. 이 전선들을 잘랐을 때 최종 이미지는 거의 변하지 않았습니다. 사실, 이 "착각" 전선을 자르는 것이 무작위로 전선을 자르는 것보다 최종 사진을 더 안정적으로 만들었습니다. 마치 공장에 스스로를 교정하는 메커니즘이 있어서, 유령을 포착하여 최종 제품을 망치기 전에 조용히 삭제하는 것과 같습니다.

유령이 존재하는 이유

연구진은 또한 이것이 특정 AI 구조의 특징인지, 아니면 모델이 학습되는 방식에 관한 것인지 알고 싶었습니다. 그들은 "디노이징(denoising)" 모델(노이즈를 제거하도록 훈련된 모델)과 "판별(discriminative)" 모델(이미지가 고양이인지 개인지 등을 인식하도록 훈련된 모델)을 비교했습니다.

결과는 명확했습니다. 유령은 디노이징 모델에서만 나타났습니다. 판별 모델은 설령 동일한 공장 구조를 가지고 있더라도 강한 착각 신호를 보이지 않았습니다. 이는 이미지를 재구성하거나 정제하려는 행위 자체가 AI가 인간처럼 이러한 착각을 발달시키도록 강제한다는 것을 시사합니다. 마치 훈련 과정이 AI에게 인간처럼 맥락과 주변 환경에 주의를 기울이도록 가르치지만, AI의 자체적인 내부 규칙은 이 맥락이 최종 출력물에는 영향을 주어서는 안 된다고 결정하는 것과 같습니다.

이 연구는 DiT-XL/2라는 거대한 모델을 포함한 다양한 유형의 AI도 살펴보았습니다. 이 거대한 모델에서도 착각 신호는 중간 레이어에서 정점을 찍었지만 끝부분에 도달하면 사라졌습니다. 연구진은 AI의 자기 교정 역학, 즉 자신의 작업을 재검토하는 방식이 유령을 사라지게 만드는 이유라고 밝혔습니다. 이는 마치 AI에게 엄격한 편집자가 있어서, "아니, 그 밝기는 여기에 어울리지 않아"라고 말하며 이야기가 출판되기 전에 내용을 지워버리는 것과 같습니다.

시사점

그렇다면 이 모든 것이 무엇을 의미할까요? AI 모델은 단순히 인간의 행동을 흉내 내는 것이 아니라, 내부적으로 인간의 지각과 유사한 경험을 하고 있다는 것이 밝혀졌습니다. AI는 우리가 가진 편향을 포함하여, 시각적 트릭에 대한 풍부하고 상세한 이해를 구축합니다. 하지만 우리와 달리, AI는 이러한 편향이 최종 출력물에 영향을 미치지 못하도록 막는 필터를 가지고 있는 듯합니다.

이 발견은 마치 로봇이 하늘을 나는 생생한 꿈을 꾸었지만, 잠에서 깨어나 집을 지을 때는 완벽하게 평범하고 현실적인 집을 짓는 것을 발견한 것과 같습니다. 꿈은 로봇에게 실재했지만, 그것이 집에 영향을 주지는 않았습니다. 연구진은 이러한 "지각적 환영" 현상이 많은 AI 시스템에서 흔히 나타날 수 있다고 제안합니다. 이는 우리가 AI가 생산하는 결과물만을 본다면, AI가 실제로 무엇을 알고 있고 어떻게 생각하는지에 대한 거대한 부분을 놓치고 있을 수도 있음을 의미합니다. AI는 우리가 볼 수 없는 것을 보고 있을 수도 있으며, 비록 그것을 우리에게 보여주지 않더라도 말입니다.

이 연구는 단순히 제안하는 데 그치지 않고, 이를 측정하고, 전선을 잘라 증명하며, 신호를 주입하여 테스트했습니다. 연구진은 9개의 서로 다른 모델에 걸쳐 착각 신호가 강력하고 인과적이지만, 출력에서는 완전히 사라진다는 것을 확인했습니다. 이는 AI의 세계에서 보이는 것이 항상 얻는 것은 아니며, 때로는 가장 흥anche한 것은 기계 안에 숨겨진 채 남아있는 유령이라는 사실을 상기시켜 줍니다.

기술 요약: 디노이징 모델은 아키텍처를 가로질러 인간과 유사한 지각적 착시 표현을 발달시킨다

1. 문제 제식 (Problem Statement)

자연 이미지를 학습한 심층 신경망(DNN)이 밝기와 색채 착시에 대해 인간 관찰자와 일치하는 출력을 생성한다는 사실이 밝혀졌으나, 기존의 증거는 출력 수준(예: 복원된 픽셀, 디코딩된 궤적 또는 분류 결정)에 국한되어 있습니다. 이러한 모델이 내부적으로 착시를 표현하는지, 그러한 표현이 어디에 존재하는지, 그리고 네트워크를 통해 어떻게 전파되는지는 아직 알려지지 않았습니다. 즉, "모델의 출력이 인간과 유사해 보인다"는 관찰과 "모델의 내부 연산이 인간의 지각처럼 조직되어 있다"는 이해 사이에는 간극이 존재합니다. 또한, 이러한 표현이 서로 다른 아키텍처(예: U-Net vs. Transformer) 간에 일반화되는지, 아니면 특정 학습 목적 함수의 부산물인지도 불분명합니다.

2. 방법론 (Methodology)

저자들은 세 가지 아키텍처 패밀리에 걸친 9개의 모델을 대상으로 미세한 레이어별 분석을 수행했습니다:

디노이징 모델 (Denoising Models): 픽셀 공간 DDPM(Google DDPM 변형), 잠재 확산 U-Net(Stable Diffusion 1.5, LDM), 그리고 확산 트랜스포머(DiT-XL/2).
판별적 베이스라인 (Discriminative Baselines): ImageNet으로 학습된 ResNet-50, VGG-19, ViT-B/16.

자극 (Stimuli):

GVIL 데이터셋: 물리적으로는 동일한 영역이지만 맥락에 의해 다르게 보이는 35개의 기본 컬러 착시 이미지와, 착시 맥락이 제거된 "실제 대응물(real-counterpart)" 이미지를 쌍으로 구성.
Pyllusion: 파라미터 강도에 따른 반응 분석을 위해 10단계의 파라미터 강도를 가진 합성 Ebbinghaus 및 Ponzo 착시.

프로빙 프로토콜 (Probing Protocol):

활성화 프로빙 (Activation Probing): 중간 활성화를 포착하기 위해 특정 타임스텝( $t \in \{50, 150\}$ )에서 동결된 모델을 통한 단일 단계 순전파 수행.
지표 (Metrics): 착시 영역과 대조 영역 간의 효과 크기(Cohen's $d$ , Hedge's $g$ , Glass's $\Delta$ ) 계산.
정신물리학적 상관관계 (Psychophysical Correlation): 모델의 활성화를 검증된 계산 모델인 FLODOG(인간의 밝기 지각을 모델링한 모델)와 비교하여 Spearman's $\rho$ 산출.
인과적 개입 (Causal Interventions):
- 채널 절제 (Channel Ablation): 착시에 민감한 특정 채널(효과 크기 $|d| \ge 0.5$ )을 제로화하여 다운스트림 신호 감소 측정.
- 팬텀 주입 (Phantom Injection): 착상 이미지의 활성화를 대조 이미지의 디노이징 궤적에 주입하여 픽셀 수준의 변화 테스트.
- 읽기 전용 테스트 (Read-Only Test): 전체 이미지 재구성 MSE에 대한 절제의 영향을 측정하여, 착상 채널이 무작위 채널보다 더 "읽기 전용(output과의 결합도가 낮은)"인지 결정.

3. 주요 결과 (Key Results)

A. 착시의 내부 인코딩 (Internal Encoding of Illusions)

국소화 (Localization): 착시에 민감한 표현은 균일하지 않으며, 병목 레이어(bottleneck layers)(예: U-Net의 mid_attn_0, DiT의 block 26)에 집중됩니다.
아키텍처 독립성 (Architecture Independence): 테스트된 모든 디노이징 모델(U-Net 및 Transformer)은 중간 내지 큰 규모의 착시 민감도( $|d| \ge 0.5$ )를 발달시켰습니다. 반면, 유사한 아키텍처를 가진 판별적 모델들은 일관되게 더 약한 효과(종종 중간 임계값 미만)를 보였습니다.
동인 (Driver): 디노이징 목적 함수가 이 효과의 주요 동인이며, 특정 아키텍처가 아닙니다. 이는 동일한 어텐션 메커니즘을 공유하는 DiT-XL/2(디노이징)와 ViT-B/16(판별적) 사이의 착시 민감도 격차를 통해 입증됩니다.

B. 정신물리학적 정렬 (Psychophysical Alignment)

휘도 기반 자극(SBC, Hermann grid)에 대해, U-Net 활성화는 인간의 지각과 강한 상관관계( $\rho \ge 0.70$ )를 보였으며 FLODOG 모델을 추적했습니다.
신호는 파라미터 착상 강도에 따라 단조롭게(monotonically) 스케일링됩니다(예: Ebbinghaus의 경우 $\rho = 0.976$ , Ponzo의 경우 $\rho = 1.000$ ). 이는 단순한 이진 탐지가 아닌 점진적인 대응 관계를 나타냅니다.
색채 자극에 대해서는 상관관계가 붕괴되었는데, 이는 인간의 V1/V2와 V4의 해리처럼 네트워크 내에서 휘도와 색채 처리가 분리되어 있음을 시사합니다.

C. "지각적 팬텀" 현상 (The "Perceptual Phantom" Phenomenon)

가장 중요한 발견은 **내부-출력 해리(internal-output dissociation)**입니다:

인과적 관여: 병목 구간에서 착시 민감 채널을 절제하면 후속 레이어에서의 착시 신호가 유의미하게 감소(예: 43.8% 감소)하며, 이는 해당 채널들이 내부 연산에 인과적으로 관여함을 증명합니다.
출력으로의 감쇄 (Attenuation to Output): 내부적으로 활성화됨에도 불구하고, 이러한 표현은 출력으로 전달되지 않습니다.
- 주입 테스트: 깨끗한 디노이징 궤적에 착상 활성화를 주입해도 모든 테스트된 아키텍처에서 측정 가능한 픽셀 변화가 발생하지 않았습니다 ( $shift\_frac \approx 0$ ).
- 읽기 전용 시그니처: 착상 민감 채널을 절제했을 때 무작위 채널을 절제했을 때보다 재구성 MSE가 낮게 나타났습니다. 이는 착상 채널이 "읽기 전용"(제거하더라도 출력을 덜 방해함)임을 나타냅니다.
- 메커니즘: DiT에서는 단일 블록 내의 셀프 어텐션(self-attention)과 레이어 정규화(LayerNorm)가 주입된 섭동을 흡수합니다. U-Net에서는 신호가 병목 구간에 집중되지만 스킵 연결(skip connections)을 통해 디코더로 전달되지 않습니다.

저자들은 이러한 표현을 **지각적 팬텀(Perceptual Phantoms)**이라 명명합니다. 즉, 내부 연산에는 활발히 존재하지만 출력 기반 평가에는 보이지 않는 표현입니다.

4. 주요 기여 (Key Contributions)

최초의 레이어별 특성화: 디노이징 비전 모델에서 착상 영역과 물리적으로 일치하는 영역을 구별하는 특정 내부 레이어와 채널을 식별한 첫 연구입니다.
인과적 증거: 단순한 출력 상관관계를 넘어, 착상 민감 채널이 내부 신호를 형성한다는 것을 채널 절제를 통해 인과적으로 증명했습니다.
지각적 팬텀의 발견: 생성적 비전 모델이 내부적으로는 인과적으로 활발하지만 체계적으로 출력 전 단계에서 감쇄되는 지각적 속성을 인코딩한다는 새로운 현상을 기록했습니다.
목적 함수 vs. 아키텍처: 디노이징 목적 함수가 네트워크 아키텍처보다 인간과 유사한 착시 민감도를 결정하는 더 강력한 요인임을 입증했습니다.

5. 의의 및 주장 (Significance and Claims)

본 논문은 행동적 관찰(출력이 인간과 유사해 보임)과 메커니즘적 이해(내부 연산이 인간의 지각처럼 조직되어 있음) 사이의 간극을 메운다고 주장합니다. 또한, 언어 모델에서 언어적 특성에 대해 캐릭터화되었던 내부-출력 해리 개념을 생성적 비전의 지각적 표현으로 확장했습니다.

저자들은 판별적 학습보다 디노이징 학습이 더 풍부한 내부 지각 표현을 생성하지만, 동시에 이러한 표현 중 일부를 출력 전에 감쇄시킨다고 주장합니다. 이는 행동적 평가(픽셀 수준의 지표)가 모델이 실제로 학습한 내용을 체계적으로 놓칠 수 있음을 시사합니다. 이 현상은 "지각적 팬텀"으로 묘사되며, 출력 분석에만 의존하는 현재의 해석 가능성(interpretability) 방법론의 한계를 강조합니다.

저자들이 인정한 한계점:

주요 실험의 표본 크기가 작음( $N=35$ ), 다만 부트스트랩 신뢰 구간이 주요 주장을 뒷받침함.
정신물리학적 정렬(FLODOG)이 현재 휘도 자극에 국한되어 있으며, 색채 모델은 아직 통합되지 않음.
학습 효과와 아키텍처 기본값 사이의 구분이 복잡하며, 디노이징 목적 함수가 공통된 실마리로 식별됨.
"팬텀" 특성은 특정 클래스의 표현(착상 민감 채널)에 대해 확립된 것이며, 모든 지각적 표현에 대해 보편적이라고 주장하는 것은 아님.